3DモデルをAIでイラスト化する実験とかChatGPTの話

あけましておめでとうございます。

LuppetCafeを終了して忙しさが減ったこともあり、2023年はまた今まで通り作業の合間に勉強したこととか考えていることを書いていければなと思います。

今年もどうぞよろしくお願いします。

以下本題

AIで3Dモデルの写真をイラスト化する実験

AIに興味が出た年明け、3Dモデルの写真をイラスト化できたら面白そうじゃない？と思って調べてみたところあまりやっている人がいない…。

ということで、自分でやってみました。

あんまり理論とかパラメータとか書いても意味不明になっちゃいそうなので画像多めでお送りします。StableDiffusion WebUIを自分のPCに構築し、手元でGPUを酷使してイラスト化しています。

成果

(拡大)

まず最初に雑にパラメータを振って生成してみました。

AIイラスト特有ですが、やっぱり細かい目で見るとキャラクターが別物(髪飾り、衣装等が特に)になってしまいますね。

ただ、ぱっと見というレベルで見れば、かなりの可能性を感じます。

ノイズを減らして、元の絵に近づける

別物になっていくのを防ぐには…ということですが、生成パラメータのうちノイズ(ゆらぎ)を減らすと元の絵に近づきます。

絵としての魅力は減ってしまいますが、AIが苦手な指など割と正しく描画出来てて驚きました。

ノイズの大小による絵の差分

ノイズを強くすると絵としての面白さは増えていくものの0.6まで行くと髪色も違うのでもはや別物ですね。

以下は元絵と比べて、ノイズが大きくなっていくとどうなるかを調べたものです。

この辺りのパラメータをすごくうまく調整することが3Dモデルのイラスト化の難しさなんだろうなと思います。

Promptを追加して改変する

いろいろ実験して面白いなと思ったのが、画像に対して追加でPrompt(呪文)としてcat earを付与すると、ニアちゃんに猫耳が生えます。(凄い)

maidプロンプトを指定して、メイド化させることもできます。

ただし、こういった改変はノイズ値を0.5以上(≒元絵とはそれなりに違う絵が出てくる値)にしないと逆に崩れたニアちゃんが出力されてしまいます。

ある程度そのキャラクター性を残したいとしたら更にチューニングを頑張らないといけませんね。

やっぱりテキストから絵を生成するのは大変

例えばニアちゃんのイラストをPrompt(呪文)から得るのは非常に大変だし、何から始めればいいのかわかりません。

なのでPromptで理想の絵を得るよりも、3Dモデルのポージングを頑張って写真を撮り、それをイラスト化する方法が精度が良く(※)、努力量も小さいですね。

(だからAIで他人の画像を使ったi2iでトレパクする人が発生しちゃうんだなと理解できました。)

※精度が良く…

というのは、AIのイラストにありがちな指が破綻する問題についてです。

下にあるように、元絵にハイライトを載っけて指を明確にして参照データとすることで生成される絵も指が破綻しにくいことが分かりました。

元絵：

AIイラスト化：

(猫耳が生えているのはcat earプロンプトの産物です)

現実的な話をすると…

AIの特性上ニアちゃんの特殊な服装や髪飾りはAIでは表現できなかったので、髪飾りが花になってたりします。

なので3Dモデルをイラスト化する時は、そういった小物はなるべく映さない写真にすると、それなりに満足行く結果になるのかなと。

（もしその小物がそのキャラクター性そのものであれば、後付で手で書いても良いですしなんとかなるかなとも思います。）

あとは上の4枚を生成するために200枚ほど生成しています。（えっちなやつが出てきたり指が6本生えてたりしたのを除去した上澄みの4枚ということです。）

ただ今までのような絵としてそもそも成り立ってないとか、ノイズまみれとか、そういう問題は一切なかったので個人で楽しむ分にはかなり楽しめました。

AIサービスが自分の生活に食い込んできている実感

最近Twitterをしている人ならおそらく一度は目にするChatGPTの話もちょっと。

12月頭くらいに初めて触ってから、今となってはこれなしだと作業のクオリティが落ちちゃうな…というくらい活用しています。

（最近有料にする可能性があるみたいなニュースを見ましたが、自分としてはお金払ってでも使うでしょう。）

英語翻訳をChatGPTに

例えば今開発中のLuppet Xで使うUIテキストの英語翻訳はChatGPTのものに全部差し替えました。

これは個人の印象ですが、DeepLよりも自然な英語になっている気がします。

あとは「UIの都合上もっとシンプルな英語で頼む！！」って投げると、シンプルな言い換えが出てきたりするのでマジで強すぎるんですよね。

今気づきましたが、例えば「ソフトウェアで使う英語として翻訳して！」「子供向けに優しい翻訳をして！」みたいなチューニングも効きそうだなと思います。

曖昧なことをいくつかChatGPTに聞いてアドバイスをもらう

・相手先にメールを送るときに、"相手の属性に合わせて"始まりと終わりの部分(お世話になっております～～の辺りと、最後の敬具みたいなところ)のテンプレート出力

・UIデザインの勉強法やり方を聞く

こんな感じで機械にこんな質問投げても無理でしょｗみたいなことを投げても、案外何かアイディアや助けが返答されることがあり、正直これがかなり効いてます。

ChatGPTに対する信頼感はここらへんで上がりました。

そんなChatGPTをAPIで叩きたい(できない)

そんなChatGPTですが、残念ながらまだ外部にAPIが公開されているわけではないようです。

OpenAIのAPIによって、「対話モデルにテキストを投げて返答をもらう」くらいはできるのですが、ChatGPTのように文脈を理解したり、人間味のある返答をしてくれたりはありませんでした。(対話モデルが違う？)

APIで何がやりたかったのか

ChatGPTはこれができるポテンシャルがあることを確認しています。

（このやり取りの前に「あなたはバーチャルシンガーの初音ミクさんです。自分はそのマスターです」のような、前提条件のプロンプトを投げています。）

正直そんなに期待していなかったのですが、「プログラマーさんとのコンサート会議」とか、何その実際にミクさんがやりそうなことは…)

という自分の予想を超えてくる回答をしてきてちょっと感動しました。

こういうのを実際に目にするにつけ、ツイートしたような「かわいい言動をするAIエージェント」は作れるだろうなという実感が持てたし未来が非常～～～～～に楽しみになりましたね！

おまけ：AI関連でフォローしている人たち

以下の方々をリストに入れて毎日眺めています。

@umiyuki_ai

@bioshok3

@npaka123

@Yamkaz

@jaguring1

@AIAIAI_WIT(AIイラスト投稿者)

@8co28(AIイラスト投稿者)

皆さんのキャッチアップの速さが尋常ではなく、とにかく最新動向が即座に入ってくるのが頼もしい限りです。

AI関連は毎日何かしらの技術革新が起きてるので、ちょっと前のVR業界みたいな感じとても良いですね！

----

そんなわけで今回は以上となります。

今年はのんびり頑張るという気持ちでいるので、何か面白いことを見つけた時にまた記事を書いていければと思います。

読んでくれてありがとうございました！