音声認識による自動調整

[Patchethium]

内容

ちょっと伝えにくいかもしれませんが、たとえば、この動画にあるユーザー音声>>合成音声の機能を実装してみていきたいと思います。

議論したいことについてですが、まずその可能な仕組みが2つあることです。

1. ユーザー音声>音声認識>モーラごとの音素&ピッチ&長さ>GUI>synthesis>合成音声
2. ユーザー音声>音声認識>フレームごとの音素&ピッチ>decode_forwarder>合成音声

1つ目にはユーザーの調整空間が広くなりますが、精度は下がるかもしれません。2つ目のは逆に精度が高いですけど、ユーザーは音声の他に何も調整できなくなります。両方を実装して、2つ目の仕組みを高精度モードという名前をつける手もあるんですが、これ書くコードが多くて面倒になりそうです。

そして音声認識/合成を触ることは初めてですが、ここでこの実装は可能であるのかどうかわかりません。ご意見があればぜひ。

Pros 良くなる点

ユーザーの調整空間を広くなる

ボイスチェンジャーとして使えることになる

Cons 悪くなる点

やることが多い

実現方法

音素の抽出はJulius、音高の抽出はWORLDでできると思います。

ちょっと長さをどうすればいいのかよくわかりません。。。

[Hiroshiba]

面白いアイデアだと思います！
音素の長さはJuliusのalignmentを使えば実装できるかもしれません。

が、この機能をエンジンに実装すべきかどうかは疑問です。
エンジンはTTS機能があれば十分で、声変換機能はなくても良いはずなためです。

とはいえ面白い試みだとは思います。
エンジンは抽出された音素や音高から、音声を合成できます。
音素や音高を抽出するコードを @Patchethium -san が別リポジトリ（もしくはエンジンをforkしたリポジトリ）で実装し、完成したらVOICEVOXでメンテナンスするか考える、というのはどうでしょう？

とりあえず一旦closeします。
開発の助けになるようなヒントはお伝えできると思うので、聞いて頂ければできる限りお答えします！

[Patchethium]

I don't think there could be a better place than engine for this feature. We can access the decoder_forwarder right here and we have pyworld already, we just need to maybe link some Julius libs and we're good to go. I was not considering it as just a voice changer, but also an assistance for tuning referencing user's voice, as in the first plan we can return an AccentPhrase json to GUI. In my opinion it should be considered as more like the morphing feature.

[Patchethium]

開発の助けになるようなヒントはお伝えできると思うので、聞いて頂ければできる限りお答えします！

As a matter of fact, I do have some questions:

Julius turns out to be pretty inaccurate, any advice in improving the quality of output?

[Hiroshiba]

なるほど。
確かにエンジンに実装されていても良いかもしれないと思いました！

Julius turns out to be pretty inaccurate, any advice in improving the quality of output?

ESPNetに音声認識機能があります。Juliusよりは制度が良いかもしれません。
https://github.com/espnet/espnet/tree/9e98e430dca60ce746cb68b3786d6d4be825b94b#asr-automatic-speech-recognition

もしくは、音声認識（音素認識）はせず、ユーザーにテキストを入力してもらうという手もあるかもしれません（Seiren Voiceのように）。

[tarepan]

前提条件の変化

2024年3月時点の VOICEVOX ENGINE はモーラ単位・フレーム単位どちらの入力からも波形合成が可能になりました。

本 issue の状況

現時点でアイデアが共有され、その意義や必要性は議論中との認識です。
本 issue にリンクされた open pull request は 0 個で、最後の議論から2年以上経過しています。

@Hiroshiba
当時とはかなり状況が変わっているため、改めて議論を再開するか、あるいは issue としては一旦 close するか、様々なやり方が有り得そうです。
本 issue の方向性はどのような感じでしょうか？

[Hiroshiba]

どうするべきかかなり迷っています！

というのも、有用だしどちらかといえば賛成なのですが、手が回らずかつすぐに手を回せる人もいないというタスクになっていそうです。
チャレンジャーがいたら応援したいけど、率先してやれないようなタスクをどう扱うべきかで迷っています。

なにか他のOSSプロジェクトや製品で良い例があれば真似したいですね…。