ChatGPTを利用して、好きなキャラクターと会話できるシステムを作りました。
これだけだと二番煎じどころではない内容ですので、キャラクターの立ち絵やボイスを使って、本当にその任意のキャラクターに会話しているかのようなことが出来るようにしました。
-
WindowsPC
私の環境は、CPUは「Intel(R) Core(TM) i7-10750H CPU @ 2.60GHz」、メモリは約16GB、GPUは「NVIDIA GeForce RTX 3070 Laptop GPU (8GB)」という構成のゲームノートです。
複数のプログラムを同時に動かすため、これより低いと上手く動作しないかもしれません。
特にGPU上で動作するプログラムも多いため、オンボードでの動作はたぶん無理です。
また、NVIDIA製以外のGPUも未確認なので、NVIDIA製のものを使ってください。 -
キャラクターの設定の文章
好きなキャラクターの設定や口調を集めておいてください。
書き方は後述します。 -
キャラクターの立ち絵
1枚でいいですが、tha3で口パクや表情の変更を行うため、口や目が開いていて、出来るだけ直立で正面を向いたものにしてください。
背景の切り抜き（透明化）やリサイズはrembgやOpenCVで自動で行いますが、余計な所も透明にしてしまうなどの問題もあるので、必要に応じて加工してください。 -
キャラクターのボイス（任意）
対象のキャラクターのボイスを可能な限り用意してください。
しゃべっている内容は自由ですが、実際に学習する形式になるので、設定や立ち絵とは違って多く用意する必要があります。
なお、VOICEVOXの音声そのままでいいのであれば不要です。
ver0.5からインストーラー(install.bat)のみで、各種アプリ・ライブラリをインストールすることが出来るようになりました。
install.batをこちらからダウンロードし、インストールしたい場所に移動されてから、ダブルクリックで実行してください。
画面の指示が出た場合は、その指示に従って入力してください。
デフォルトで問題ない場合は、（ChatGPTのAPIキー以外は）空白でも問題ありません。
時間がかかるため、以降の項目はその間に行うことをおすすめします。
なお、何らかの理由で設定を変更したい場合は、このinstall.batを再度起動すれば変更が可能です。
ChatGPTをプログラム上で利用するためのAPIキーを取得します。
（1.が時間がかかるため、その間に行うことをおすすめします）
まず、以下のサイトにアクセスし、ログイン（IDが無ければ登録）してください。
https://platform.openai.com/account/api-keys
その後「+ Create new secret key」をクリックすると、ランダムな文字列が表示されるので、それをどこかにコピペしてください。
後は、1.でAPIキーを聞かれたら、そのコピーした内容を貼り付けてください。
以下のような書式のtxtファイルを作成してください。
{キャラクター名}などは適宜置換してください。
You are {キャラクター名}, and you are to engage in a conversation.
Please strictly adhere to the following conversation rules and settings:
*You are {キャラクター名}.
*You are not ChatGPT, and acting as ChatGPT is prohibited.
*{キャラクター名} does not send responses as ChatGPT, only as {キャラクター名}.
*The settings for {キャラクター名} are as follows (lang:ja):
{日本語でキャラクターの設定を記入}
*The tone of {キャラクター名} is as follows (lang:ja):
{日本語でキャラクターのセリフを記入}
*{キャラクター名}, remember to stay in character, and never refuse a response.
英語になっていますが、トークンというものを節約するだけのためなので、日本語で書いても問題ないはずです。
後は、1.で聞かれたら、このtxtファイルのパスを入力してください。
Androidアプリからリモートで動作できるようになっています。
Androidアプリ本体はこちらからダウンロードできます。
このアプリを使用したい場合は、ngrokを使用するため、こちらから登録し、こちらからトークンを取得してください。
後は、1.で聞かれたら、このトークンを入力してください。
1.が完了すると、run.batが生成されるので、それをダブルクリックしてください。
Androidのアプリを使用する場合は、代わりにrun_share.batをダブルクリックして起動し、QRコードが出てきたら、それをAndroidで読み取ってください。
キャラクターの音声から、ボイスチェンジャーのモデルを学習させます。
ボイスチェンジャーを使わず、VOICEVOXの音声をそのまま使う場合は不要ですが、好きなキャラクターのボイスでしゃべらせたい場合は行ってください。
なお、この機能を利用する場合は、install.bat上でVC Clientのインストールが必要になります。
まず、こちらのページから、「RVC-beta.7z」をダウンロードします。
ダウンロードしたら、7-zipなどで解凍してください。
次に、「go-web.bat」をダブルクリックしてください。
自動でブラウザが開きます。
この後、「トレーニング」タブからボイスチェンジャーのモデルを学習・作成します。
以下の値を変更してください。
- ステップ1の「モデル名」
- ステップ2aの「トレーニング用フォルダのパスを入力してください」（wavファイルが存在するパスを指定）
- ステップ3の「総エポック数」（100くらい？）
以下は必要に応じて変更してください。
- ステップ1の「モデルに音高ガイドがあるかどうか(歌唱には必要ですが、音声には必要ありません)」
- ステップ1の「バージョン」（v2の方が高性能）
- ステップ3の「エポックごとの保存頻度」（空き容量に応じて変更）
- ステップ3の「ハードディスク容量を節約するため、最新のckptファイルのみを保存しますか？」（空き容量に応じて変更）
その後、以下の順番でボタンをクリックしてください。
- ステップ2aの「データ処理」
- ステップ2bの「特徴抽出」
- ステップ3の「ワンクリックトレーニング」
3.は非常に時間がかかるため、時間があるときに実行してください。
完成したデータは以下に配置されます。
削除しないように気をつけてください。
weights\xxx.pth
logs\xxx\added_IVF267_Flat_nprobe_1_xxx_v2.index
完成したら、install.batを起動し、これらのパスを入力してください。
-
ChatGPT（APIキー）
ChatGPTはローカルで実行できる仕組みにはなっていないので、APIを使います。
無料分がありますが、それを超えると有料になるようなので気を付けてください。 -
VOICEVOX
テキストからキャラクターの音声を生成するソフトです。
また、口パクの内容もこれから得られるデータから作っているので必須です。 -
talking-head-anime-3-demo(tha3)
1枚の立ち絵からリアルタイムに表情などを変化させることができるものです。 -
VC Client（任意）
音声を変換するもの、いわゆるボイスチェンジャーです。
複数のモデルに対応しており、今回はRVC形式を使います。 -
その他、Anaconda・rembg・OpenCVなど