HandTracking_KK/KKS
Added 2023-10-08 06:27:08 +0000 UTC何これ？
ウェブカメラから手／指をトラッキングしモデルに反映するMODです。
AR/VR用途ではなく、静止したシーンで手の形状を楽に設定するためのものです。
インストール方法
1. zipを解凍しDLLとhand_trackingディレクトリをBepInExプラグインディレクトリにコピーする
KKのプラグインディレクトリ: illusion\Koikatu\BepInEx\plugins
KKSのプラグインディレクトリ: illusion\KoikatsuSunshine\BepInEx\plugins
2. [Plugin/mod settings]からHandTrackingを検索しウィンドウにショートカットキーを割り当てる
ショートカットキーを押して下記のウィンドウがでればOK
使い方
1. 対象キャラクターのFKあるいはFK&IKを有効にしておく
2. ウィンドウから対象キャラクターの手を選択
3. [Start hand tracking]をクリック。ビデオキャプチャーのウィンドウが別途出てくるので手を映してよしなに動かす。
4. 手をお好みのポーズにできたら[Bake HandFK]をクリックする。とFKに設定される。
Q&A
Q. 認識の精度が良くない
A. 認識部分はOSSを利用しています。こちらにお問い合わせください。
Q. ビデオキャプチャーのウィンドウが出てこない / 何も表示されない
A. デバイスによっては分単位の初期時間がかかるので３分ほど待ってみてください
A. [Use cv::CAP_DSHOW] のON/OFFを切り替えてみてください
Q. ぶるぶる震える
A. カメラと手をなるべく固定して[Smooth Frames]を上げてください。
Q. 指の曲がり方がおかしい
A. こちらにお問い合わせください。
A. カメラに対し手を若干傾けるなど、指の曲がり方がカメラ上で明確になるように注意してみてください。例えば手を真正面から写した場合、指をどれだけ曲げているかを判別することは難しいです。
Q. 指の認識ミスる
A. 指をゆっくり動かしたり（推定は前のフレームからの影響を多少受けます）、背景や光源や影に注意して認識しやすい（見た目の手の形状が分かりやすい）ようにするとある程度改善します。
Q. 左右反転してる
A. 仕様です。キャプチャ画面だけなのでスルーしてください。
Q. 親指ズレてね？
A. 仕様です。mediapipe（認識に使ってるOSS)の手の形状とコイカツの手の形状のズレによるものです。無理やりposition弄ってどうにかするのもイマイチだったのでそのままにしてます。
