Repository navigation
📒J.U.I.C.E. v0.1.0 リリースノート
公開日: 2024年07月30日
JUICE (Just Unlimited Intelligent Conversational Engine) は、リアルタイムなAI会話システムを構築するためのソフトウェアです。このバージョンでは、主要な機能の開発と、将来の拡張に向けた基盤作りに重点を置きました。
新機能
- 低遅延のリアルタイムAI会話システムの初期バージョンを実装しました。
- 音声認識、言語モデル(LLM)、テキスト読み上げ(TTS)、アバター生成といった主要技術を活用しました。
- ユーザーがリアルなデジタルアバターと自然な会話を開始できるよう設計しました。
- シームレスで自然なユーザー体験を目指しました。
変更点
- D-ID APIキーとOpenAI APIキーの読み込みをapi.jsonから行うようにしました。
- startSpeechRecognition()関数でブラウザのWeb Speech APIを使用して音声認識を開始するようにしました。
- 認識されたテキストはgetGPTResponse()関数に渡されるようにしました。
- getGPTResponse()関数はOpenAI APIを使用して、認識されたテキストに対するGPTの応答を生成するようにしました。
- synthesizeSpeech()関数は ElevenLabs の Turbo v2.5 を利用して、GPTの応答テキストを音声に変換するようにしました。
- sendScriptToDId()関数は音声URLをD-ID APIに送信し、動画生成をリクエストするようにしました。
- 各ステップの進行状況はstatusLabelに表示するようにしました。
- ストリーミングされていない間は、playIdleVideo()関数で設定された画像が表示されるようにしました。
修正された問題
- 今回は最初のリリースなので、修正された問題はありません。
既知の問題
- 各APIの利用方法、エラー処理などは、それぞれの公式ドキュメントを参照してください。
今後の予定
- 今後のバージョンでは、ユーザーエクスペリエンスを向上させるための新機能の追加や、より多くのユースケースに対応するための拡張を予定しています。
- 特に、感情分析やパーソナライズされた応答の生成など、AI会話の質を高める機能の開発に力を入れていきます。
開発について
このリポジトリのリリースノートやREADME、コミットメッセージの9割近くは、claude.ai や ChatGPT4 を活用した AIRA、SourceSage、Gaiah、HarmonAI_II で生成しています。