mikusan-utauyo-AR

ミクさんうたうよAR

どんなAR？

欲望

• ミクさんを現実空間で歌わせたい！
• デュエットしたい！

要件・目指すもの

• Vroid Studioのモデル（VRM）を使用したい
• どのVRMを読み込んでもアニメーションするようにしたい（3Dモデルとアニメーションの分離）
• アニメーションはできるだけ簡便につけたい（今回はmixamoでつけたものをJSON化したアニメーションファイルを作った）
• みんなができるだけ簡単に実装できるようにしたい（ワークフローの確立）

機能

text-aliveで使用している機能

• 歌詞　→画面に歌詞表示
• 感情　→色が変わっていくぞ

実装されている機能

• ARマーカー上にミクさんを登場させる
• 歌ってくれる　歌詞が出る

実装したい機能（今後の課題）

• 顔認識で目線を合わせてほしかった
• 感情値次第でエモーショナルに歌うモーションに切り替えたかった

現状認識している課題

• ARマーカーの撮影角度の関係上、等身大程度に表示させるためには、モデルを縦に90°回転させる実装が必要です。（7/21対応）
• アニメーション用のjson生成方法は課題があります。 　結局はthree.jsのanimatonClipで読み込める形にしてあげればよいのですが、ボーンが崩れないように留意が必要です。vrmへのアニメーション付加は、blenderやunityでの作業後にgltfへの書き出しをするとよい、とのWEB情報は多くありますが、gltf内のアニメーションがvrmとの互換性を保ったまま出力されるのか、未確認です。

使用ライブラリ

• AR.js with A-frame
• A-frame(three.js)
• three-vrm
• aframe-html-shader(html2canvas)