Skip to content

📒J.U.I.C.E. v0.1.0 リリースノート

Choose a tag to compare

@smorce smorce released this 29 Jul 17:47
· 82 commits to main since this release

CbB-bqYIS5y-sBY6_Z935w

公開日: 2024年07月30日

JUICE (Just Unlimited Intelligent Conversational Engine) は、リアルタイムなAI会話システムを構築するためのソフトウェアです。このバージョンでは、主要な機能の開発と、将来の拡張に向けた基盤作りに重点を置きました。

新機能

  • 低遅延のリアルタイムAI会話システムの初期バージョンを実装しました。
  • 音声認識、言語モデル(LLM)、テキスト読み上げ(TTS)、アバター生成といった主要技術を活用しました。
  • ユーザーがリアルなデジタルアバターと自然な会話を開始できるよう設計しました。
  • シームレスで自然なユーザー体験を目指しました。

変更点

  • D-ID APIキーとOpenAI APIキーの読み込みをapi.jsonから行うようにしました。
  • startSpeechRecognition()関数でブラウザのWeb Speech APIを使用して音声認識を開始するようにしました。
  • 認識されたテキストはgetGPTResponse()関数に渡されるようにしました。
  • getGPTResponse()関数はOpenAI APIを使用して、認識されたテキストに対するGPTの応答を生成するようにしました。
  • synthesizeSpeech()関数は ElevenLabs の Turbo v2.5 を利用して、GPTの応答テキストを音声に変換するようにしました。
  • sendScriptToDId()関数は音声URLをD-ID APIに送信し、動画生成をリクエストするようにしました。
  • 各ステップの進行状況はstatusLabelに表示するようにしました。
  • ストリーミングされていない間は、playIdleVideo()関数で設定された画像が表示されるようにしました。

修正された問題

  • 今回は最初のリリースなので、修正された問題はありません。

既知の問題

  • 各APIの利用方法、エラー処理などは、それぞれの公式ドキュメントを参照してください。

今後の予定

  • 今後のバージョンでは、ユーザーエクスペリエンスを向上させるための新機能の追加や、より多くのユースケースに対応するための拡張を予定しています。
  • 特に、感情分析やパーソナライズされた応答の生成など、AI会話の質を高める機能の開発に力を入れていきます。

開発について

このリポジトリのリリースノートやREADME、コミットメッセージの9割近くは、claude.ai や ChatGPT4 を活用した AIRA、SourceSage、Gaiah、HarmonAI_II で生成しています。