What is this
まずは、説明動画を見てみてください。
以下のことができます。
VR機器を買った人なら、一度はUnity上で自分の体を動かそうとすると思いますが、SteamVRの導入や設定、IKの導入、スクリプトを書き...と、やってみると大変な作業です。
(やってみたい方は、バーチャルモーションキャプチャーの作者様の記事を参照)
3点トラッキングならともかく、フルトラッキングはなおのこと大変で、動きが変になったりしますし、1体のアバターならともかく、複数体を変えられるようにしたり、複数人同時に動かそうなんてしようものなら1つの製品並みに大変です。
アバターをおいて、カメラとライトと家具を置いてVTuberのように撮影したいだけなのに！プログラムなんて書かずにワールド作るくらい簡単に作りたい！
バーチャルモーションキャプチャーなら起動するだけで手軽に撮影できるのに！
EVMC4Uでは、バーチャルモーションキャプチャーのOSCモーション送信機能を利用しこの問題を解決します。
トラッキング・キャリブレーション、手や足の動き、表情の操作、視線の操作などをすべてバーチャルモーションキャプチャーでやってもらい、その結果だけを受け取ってUnity内のアバターに反映します。
バーチャルモーションキャプチャー側の設定と起動が必須なのを引き換えに、VR対応すら不要になるというわけです。
これにより、Unity側では軽量単純なスクリプトを1つと、いくつかのライブラリを導入するだけで、極めて簡単にアバターを動かすことができます。
OSC通信を使用していますので、複数台のPCを用意してネットワークでつなげる(あるいはバーチャルモーションキャプチャーを同時に起動して特別に設定するかをすれば)、複数人で複数のアバターを同時に1つのシーンで動かすことも可能になります。(インターネット経由で動かしてる人もいるらしいです。)
Unity内に動きが反映されるので、物理演算との干渉もできますし、ライティングも、後処理も、シェーダーも、好きなことができます。
EasyMotionRecorderと組み合わせれば、モーション記録だってできます。
プログラミングは不要
アバターは動くようになりました。でもカメラを操作しないといけません。
Unityのカメラの制御は、アニメーションを付けるか、スクリプトで動かすか。でも、バーチャルモーションキャプチャー単体で撮影するみたいに簡単に操作できたら便利ですよね。
バーチャルモーションキャプチャーには、トラッカーをカメラとして使う機能もあります。
というわけで、バーチャルモーションキャプチャーのカメラ制御データもUnityに送っちゃいました。
受け取りたいカメラを登録するだけで、バーチャルモーションキャプチャーと全く同じように動きます。
VTuberで配信してると動きをなめらかにしたくなるときがありますよね。簡易的ですができるようにしてあります。
トラッカーカメラも、体の動きもぬるっと動きます。オンオフも調整もできます。
ただ、簡易的なのであまり期待しないでください。
ここまで動くと、物を掴んだり、Unity側をキーボードやコントローラで操作したくなってきますよね。
バーチャルモーションキャプチャーには高度なキー入力機能とコントローラ互換性があります。 それを受け取る機能もつけました。
ただし、こちらはスクリプトの知識が少しは必要になります。