【Live2Dアプデ進捗2】nizimaLIVEの口トラッキング考察
Added 2022-03-20 14:25:29 +0000 UTCbandicam 2022-03-20 20-39-38-383
ようやく時間が空いたので今日は口を作ってました(生首ゴメン)
前から試してみたかったnizimaLIVEの口トラッキングを実装してみたのですが、なるほど中々綺麗に動きますね。
上の動画だと何が変わったのか全く分からないと思うので、これまでのトラッキングアプリと何が違うのかを解説します。
ｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰ
従来のトラッキングアプリの口トラッキングは、2つのトラッキング項目で動きを表現していました。
【口の開閉】と
【口角】です。
私は普段口のモデリングをするときに、「笑顔が出来る」「母音表現が出来る」ことを重視しているのですが、
トラッキング項目が二つの場合、このような内訳になります
※「笑顔」が「口角」の事です
bandicam 2022-03-20 21-09-47-714
動かすとこんな感じ。
見て分かるように、「笑顔」のパラメータで
【口の横幅】【口角】を一度に動かしています。
口角を上げたときは口の横幅も広くなり、
口角を下げたときは口の横幅は狭くなる(すぼめた口になる)
こうすることで比較的シンプルに、簡単に、母音表現を行う事が出来ます。
口の作り方は色々あると思いますが、Facerig時代からずっと研究してきた身としてはこれが最適解なんじゃないかなぁと思ってます。
ところがですよ、この口変形には一つ大きな欠点があります。
それは
「口角を上げた横幅が狭い口」
「口角を下げた横幅が広い口」
が出来ないということです。
特に「口角を下げた横幅が広い口」
これが出来ないのは致命的です。
ホラーゲームで叫んでこんな顔になったとしても
モデルはめっちゃ嬉しそうです
この「感情の不一致」、どうにかできないかと長年悩んでいたんですけど、
トラッキング項目2種類ではどうしても表現に限界があり、
bandicam 2022-03-20 22-28-52-361
このようにキーバインドで口を切り替えて使ってました。
ところが、nizimaLIVEの口トラッキングは
【口の開閉】【口角】
ではなく
【口の開閉】【横幅】
で口の動きを検知しています。
よく「nizimaLIVEだと口のマイナスの変形が凄い出やすい」と言われていますが、これが原因です。
リアル人間の口角は、アニメなどと違いよほどじゃないとへの字にはなりませんので、口角でトラッキングしているFacerigやVTSなんかは数値の調整を行わないとマイナス方向に口が動きませんでしたが、
nizimaLIVEは口の横幅検知なので、口をすぼめれば簡単にマイナスの動きを出すことが出来ます。
さらにですよ、nizimaLIVEはiOS限定で「笑顔 目」という検知項目があります。
表情筋をこねくりまわして試してみたところ、どうやら頬の動きを検知しているようです。
口角の動きと頬の動きは連動していますので、ほぼほぼ同じ部位を検知しているといっていいでしょう。
しかもこの「笑顔 目」項目、「左右別」であります
つまり…nizimaLIVEは「口角」「口の横幅」「口の開閉」を別々に検知することが出来、さらに口角は左右別々に動かすことができる…
これは…キーバインドに頼らずめちゃくちゃ表情豊かな口が作れるのでは…？
という事で早速作ってみました
bandicam 2022-03-20 22-50-10-068
まず「口の横幅」では純粋に横幅のみを動かします
歯を見せて笑いたいので、横幅が広い時には途中で歯を表示させます。
ちなみにちょっとしたテクニックで、
bandicam 2022-03-20 22-53-24-018
歯の線画と塗りを分けておき、線画を塗りの下に置き、噛みしめる瞬間に塗りをギザギザにとがらせることで、線画の一部分だけが見える形になり、
アニメっぽい自然な「い」の口になります
そして、口角パラメータは左右別に作って動かします。
bandicam 2022-03-20 22-57-57-944
紐づけパラメータ数が増えるのが嫌だったので、上下の唇パーツを二つずつ作ってグルーで繋ぐことで紐づけ2種類に抑えています
変形が出来たのでいざ実装…
それぞれのパラメータを適切な場所に配置します。
(ついでに目の笑顔も左右に分離しました)
どうやら笑顔目はマイナスの値には動かないようなので、波形編集を弄って「0の時マイナスに振り切れる」ようにします。
「ニカッ！」と笑うために笑顔目と口の横幅のプラスの動きを強調。
逆に口開閉は「変に半開きの口にならないように」閉じた状態を強調します。
設定が済んだので、まずは普通の母音表現を確認してみます。
bandicam 2022-03-20 23-08-56-144
「あいうえお」と言ってみました。普通に綺麗に出来ますね。
では次に、今までのトラッキングでは出来なかったこの口をやってみます…！
bandicam 2022-03-20 23-10-33-373
できたーーーーーーーー！！！
めっちゃ簡単に出来たーーーーーーーーー！！！！
bandicam 2022-03-20 23-11-11-445
「ホラーゲームでびっくりした顔」もご覧の通りバッチリです。
bandicam 2022-03-20 23-12-48-696
逆に、こんな感じのドヤったおちょぼ口も出来ます。
ここまでの動きは理想通りでめちゃくちゃテンションが上がりますが、
では「左右別口角」はどのように動くのでしょうか…
口を思いっきり左右非対称に動かしてみます。
bandicam 2022-03-20 23-14-32-087
ｗｗｗｗｗ
なんかおもろい
表情豊かであることは確かなんですけど、やりたい口を狙って出すのはかなり難しく、私の表情筋ではこれが限界でした。VTSの「口X」のほうが使いやすいかなぁという印象です。(ここに口Xも実装されたら最強だとは思う)
意図せず変に左右非対称になる場合は無理に実装しなくてもいいかな？とは思います。
bandicam 2022-03-20 23-19-39-090
総合的にはめちゃくちゃに表情豊かになったので大満足です。
今んところ口トラッキングに関してはnizimaLIVEが頭一つ抜けてると思います。
ただなぁ…
nizimaLIVEには頬プクも口Xもハンドトラッキングもないんだよなぁ…；；
ガッツリ手とかも動かしたいので、そうなるとやっぱりVTSを使う選択肢しかなく、
中々どちらも痒い所に手が届かずグギギギという感じです。
この口をパラメータ数減らしてVTSへ実装するのは簡単なので
「表情重視」→nizimaLIVE
「全身の動き重視」→VTS
みたいな感じで使い分けるのも手かもしれません。
ということで、お口の進捗と考察記事でした。
余談ですが、
前回目の解説記事をUPしたらFanboxの支援者数が4倍になりましたｗ
あまりの増加数に変な声が出てしまったのですが、沢山の方に見ていただけて嬉しいです。今後もこんな感じでちょくちょく進捗を載せていくのでどうぞお楽しみに！
それでは！
Comments
なるほど！nizimaだと口の動きはめちゃめちゃ良くなりますね…VTSでもこれができるようになったら嬉しいですが… どちらのソフトも色々と試してみていますが、同じく痒いところに手が届かない！といった感じで歯がゆいですね； 現在公開中の進捗状況全部読ませていただいています！今後も進捗楽しみにしています！どうか無理はせず！
秋乃雨音
2022-03-22 14:11:41 +0000 UTC相変わらず凄まじい技術… 地味なようで表現が格段に変わるようで見ていて気持ちいい あと、とにかく可愛い 完成が早く見たいですが、ご無理なさらないようひものさんのペースで頑張ってください
紅葉崎もみじ
2022-03-21 01:38:38 +0000 UTC最後の動画の0.08口窄めて半目の「ふふ」 0.12イの口ちょい開き黒目きゅの「あ、やべ」 って表現がいい。 なんかモデラーというか研究者のようだ。いや探求者かな？ 次の進捗楽しみにだなぁ。 辛い物は程々に。
ハクオー
2022-03-20 17:07:46 +0000 UTC口角を上げた「い」の口の形が気に入りました（とてもかわいいので）。口Xって口の位置そのものがセンターから動くってことですか？ スネた表情とか、できそうですね。 咄嗟の感情表現って、キーバインドは厳しいので、干物さんが得意な、ゲーム実況とかだったら、nizimaLiveのほうが向いてそうですね。
たかき
2022-03-20 15:03:53 +0000 UTC
