ChatVRMはブラウザで簡単に3Dキャラクターと会話ができるデモアプリケーションです。
VRMファイルをインポートしてキャラクターに合わせた声の調整や、感情表現を含んだ返答文の生成などを行うことができます。
ChatVRMの各機能は主に以下の技術を使用しています。
- ユーザーの音声の認識
- 返答文の生成
- 読み上げ音声の生成
- 3Dキャラクターの表示
個人用にいくつかの機能を追加
-
APIキー、システムプロンプト、声の設定、読み込んだVRMの保存
- Local StorageやIndexedDBなど、いずれもローカルに保存されます。
-
OpenAI以外のAPIに対応（ローカルに立てたものなど）
-
5秒間APIから応答がなかった場合に適当な発言をさせる
-
APIから応答がなかった場合に、自動的にユーザが送信したメッセージをログから削除する
GitHub Pagesでデモを公開しています。
https://pixiv.github.io/ChatVRM
ローカル環境で実行する場合はこのリポジトリをクローンするか、ダウンロードしてください。
git clone git@github.com:pixiv/ChatVRM.git必要なパッケージをインストールしてください。
npm installパッケージのインストールが完了した後、以下のコマンドで開発用のWebサーバーを起動します。
npm run dev実行後、以下のURLにアクセスして動作を確認して下さい。
ChatVRMでは返答文の生成にChatGPT APIを使用しています。
ChatGPT APIの仕様や利用規約については以下のリンクや公式サイトをご確認ください。
- https://platform.openai.com/docs/api-reference/chat
- https://openai.com/policies/api-data-usage-policies
ChatVRMでは返答文の音声読み上げにKoeiro APIを使用しています。
Koeiro APIの仕様や利用規約については以下のリンクや公式サイトをご確認ください。