【Live2D/VTubeStudio解説】ハンドトラッキングの仕組みとカメラについて

皆さんこんにちは　乾物ひものです。

上半身が出来てきたので動画撮り放題で最高ですね

bandicam 2022-10-11 22-46-22-393

この記事を書いている途中テンションが上がり過ぎて歌を歌い始めてしまい

自作のマイクアイテムと組み合わせてみたら動きが最強だったので勢いで別記事を更新してました↓

【動画あり雑記】マイクアイテムと組み合わせたら歌枠最強じゃね？

ハンドトラッキングの解説記事を書いてたんですけど、唐突に歌いたくなったので歌ってました(歌いたくなった時は作業しながら一人で熱唱するのが日常茶飯事なんです。防音室最強！) そしてふと思ったのです。 「nizimaで販売してる自作マイクアイテムと組み合わせたらいい感じになるのでは？」と。 試してみた結果👇 ※音...

それは置いといて…

今回からハンドトラッキングや体の解説を始めたいと思いますが、

VTubeStudio(以下VTS)のハンドトラッキングは解説も少なく「そもそもどうやって作ればいいの？」レベルの人も多いと思うので、

まずは原理と反応するパラメータについて解説します。

VTSのハンドトラッキングはWebカメラで検知します。

普段iOSで顔のトラッキングをしている方でも「手はWebカメラ」「顔はiOS」と組み合わせが出来ます。

精度はこんな感じ。

bandicam 2022-10-11 22-48-08-603

VTS公式からご連絡を頂いてリリース前にちょっとだけ体験させていただいた(その時は過去モデルを軽くカスタマイズして使った)んですけど、第一印象は「Webカメラでこんな精度良くトラッキング出来るの！？怖」「リープモーション(1万円以上するハンドトラッキング用機材)要らんやん！」でしたｗ

特に「正面向きの指のトラッキング」「手の角度」に関してはリープモーション顔負けだと思います。全くブレが無いです。

bandicam 2022-10-11 22-50-00-542

横向きの指トラッキングもご覧の通り。手前の指で奥の指が隠れてるのにどうやってるのかマジで謎です。

bandicam 2022-10-12 02-52-29-910

半面、手の座標に関しては早く動かし過ぎると検知が外れます。

bandicam 2022-10-12 02-56-36-457

これに関しては慣れてくると「検知が外れない手の速度」が分かってきて綺麗に動かせるようになります。

また当たり前ですがカメラ外に手が出ると検知は外れます。

bandicam 2022-10-12 02-57-40-225

私はWebカメラをモニターの←側に置いているので、カメラと距離が生まれる→側に手をやりすぎると動きがバグって気持ち悪い事になります。これも慣れるとバグらない範囲を掴めます。

bandicam 2022-10-12 02-57-19-742

そして今から言うのがデメリットで、一つは手首の角度に難があります。

ご覧の通り、普通に作った場合、手を正面に向けているときは想定通りに手首が動きますが、手の平を返すと動きが逆になってしまいます

bandicam 2022-10-12 03-02-17-992

更に！もっと問題なのが手を横に向けているときは手首は全く反応しません。

bandicam 2022-10-12 03-05-48-246

要は、このハンドトラッキング機能は「モニターから見た角度」ではなく「手からみた角度」を拾っています。横向きの時の手の角度は我々から見ると角度Zですが、手から見ると角度Yなんですね。手の角度Yはトラッキング項目に存在してないので動かないのです。

VTSの運営が一から開発していたらこんなことは起こらない(Live2D的な考え方を熟知している開発者なので)と思うのですが、これは外部で公開されているハンドトラッキング技術を流用しているそうなので、そもそもその機能がLive2Dで使う事を想定していない感じはありますね。

更に更に更に。一番問題なのがこれ。手首を内側にひねり過ぎると手がめちゃくちゃにバグります。なんで！？

bandicam 2022-10-12 03-10-55-105

手首が柔らかい人はこんくらいの範囲簡単に捻ることが可能なのでマジでうっかりバグります。

なので意外と「綺麗に動ける範囲」は少なくて、それがどれくらいなのかを脳に叩き込むために結構慣れが必要です。

仕組みについてはこんな感じ！

次。手のモデリングの前に考えたいのが「Webカメラの選定」についてです。

「画質が良く高性能なカメラを買えばいい」と思いきやそうではないんです。

この機能がリリースされた当初、「検知が外れないように」と広画角のカメラを買ったのですが、画角が広い＝画面に映る範囲が広く手が小さいので、比例して動きも小さくなってしまいました。

bandicam 2022-10-12 03-15-53-782

ちっちゃｗ

小さすぎてちょくちょく左右の手を誤検知されます。

もっと問題なのは、広画角なのでいくら手を横にやっても「トラッキングが外れない」んです…

するとどうなるか…

bandicam 2022-10-12 03-17-36-422

めちゃくちゃにバグります

画角が狭いカメラであれば、あくびをする際伸びをしたり、コップを取るために手を横に伸ばしたりすると、自動的に検知が外れて腕が下におります。

しかし画角が広いと手が雑に検知し続けられているので、上の動画みたいにめちゃくちゃにバグってしまいます。

なので、「動かしたいときに綺麗に動かす」にはリモート会議とかで使うごく普通のWebカメラが一番よかったりします。私は2013年に買ったオンボロWebカメラを使い続けてます。画質は720pしかありません。

(当時3DSのモンハン実況をしていたのですがキャプボを持ってなくて直撮りするために買いました。懐かしすぎる)

カメラの高さは顔(目線)と同じくらいが一番いいんじゃないかなーと思います。(一番クオリティ高く見せたいのが顔周りに手をやった時だと思うので。)

私はこんな感じで(机の上汚くてごめんだけど)机いっぱいにモニターが３つあって、

カメラは一番左端にあります。

下にあるのが使ってない広画角カメラで上が普段使ってる通常カメラです。

(カメラの下にある機材も買ったはいいものの使い方分からなくてカメラ置きになってます；；)

こんな偏った位置にあっても綺麗にトラッキングしてくれるので横の位置より高さの方が重要なんじゃないかなーと思います。

という事で今回は

・手を綺麗に動かすには動かす側の理解と慣れが必要

・カメラは安いの買え

というお話をしました。

次回はパラメータのお話をしたいと思います！