FrameAudioQueryの変更を反映できるようにする #1961

sigprogramming · 2024-03-28T14:18:08Z

内容

FrameAudioQueryの変更を反映できるようにします。

その他

修正

sigprogramming · 2024-03-31T04:17:42Z

src/store/singing.ts

-          // TODO: 助詞や拗音の扱いはあとで考える
-          const lyric = note.lyric
-            .replace("じょ", "ジョ")
-            .replace("うぉ", "ウォ")
-            .replace("は", "ハ")
-            .replace("へ", "ヘ");


この処理は無くても問題ないと思うので削除しました。

sigprogramming · 2024-03-31T04:32:30Z

src/store/singing.ts

+          if (startRenderingRequested() || stopRenderingRequested()) {
+            return;
+          }


再レンダリング・レンダリング停止フラグのチェックは、歌い方の推論の直前（音声合成の直後）のみ行うようにしました。（時間がかかるのは音声合成なので、これで十分かなと思います）

sigprogramming · 2024-03-31T04:37:54Z

src/store/singing.ts

@@ -906,7 +899,7 @@ export const singingStore = createPartialStore<SingingStoreTypes>({
        frameAudioQuery: FrameAudioQuery
      ) => {
        frameAudioQuery.volume = frameAudioQuery.volume.map((value) => {
-          return value * Math.pow(10, volumeRangeAdjustment / 20);
+          return value * decibelToLinear(volumeRangeAdjustment);


decibelToLinearを使用するようにしました。

sigprogramming · 2024-03-31T04:45:10Z

tests/unit/lib/selectPriorPhrase.spec.ts

 const createPhrase = (
  start: number,
  end: number,
  state: PhraseState
 ): Phrase => {
  return {
-    notes: [],
-    startTicks: start * DEFAULT_TPQN,
-    endTicks: end * DEFAULT_TPQN,
-    keyRangeAdjustment: 0,
-    volumeRangeAdjustment: 0,
+    notes: [
+      {
+        id: uuidv4(),
+        position: start * DEFAULT_TPQN,
+        duration: (end - start) * DEFAULT_TPQN,
+        noteNumber: 60,
+        lyric: "ド",
+      },
+    ],
    state,
-    tempos,
-    tpqn: DEFAULT_TPQN,
-    singer: {
-      engineId: EngineId("00000000-0000-0000-0000-000000000000"),
-      styleId: StyleId(0),
-    },
  };
 };


phrase.notesからstartTicksとendTicksを計算する形に変更したので、ここの処理も変更しています。

Hiroshiba

ほぼLGTMです！！
細かいとこをいっぱいコメントしてしまいました 🙇

途中で気づいたのですが、singing style＝歌い方、singing voice＝歌声ですかね！
styleがエンジン側のスタイルと被ってしまうので、guideとかどうでしょう。

あと将来的に簡単なキャッシュ機構を持つクラスを定義してもいいかもと思いました！

src/store/type.ts

src/store/singing.ts

Hiroshiba · 2024-03-31T06:56:31Z

src/store/singing.ts

+        for (const [notesHash, foundPhrase] of foundPhrases) {
+          const phraseKey = notesHash;


keyでありhashであることを示す便利ワードか規則があるとこの辺りすっと書けそうですね！

良いワード・規則が思いつきませんでした…

src/store/singing.ts

src/sing/domain.ts

src/store/singing.ts

src/sing/domain.ts

Hiroshiba

実際に動かしてみたところ、キャラを変えて即時再生すると、レンダリング中の時に前のキャッシュが再生されるようになってるかもです！
（以前は確かダミーの音が流れてたはず？）

src/store/type.ts

src/store/singing.ts

Hiroshiba

LGTM！！！
（レビュー可能状態かわからないのですが、動かしてみた感じ問題なさそうだったので）

@sigprogramming さん的にレビューOKな状態であってたらマージで良さそう！
設計から実装まで大変だったと思います、おつです！！！！！

あ、@romot-co さん、 @sevenc-nanashi さん、 @y-chan さん、もしお手すきでしたら実行チェックをお願いできると心強いです！ 🙏

もし可能ならもう少し小さめのPRだと嬉しいかもと思ったのですが、今回の変更を速度落とさずやるのは無理な気もしました。src/sing/domain.ts関数分けを別PRにするくらい･･･？
まだまだ硬さよりも速度優先で良いフェーズだと思うので、もしいけそうだったらくらいの気持ちです 🙏

sigprogramming · 2024-04-08T15:08:02Z

レビューOKです、レビューありがとうございます！

今回データ構造を一度に大きく変更したので、差分も大きくなってしまいました。
次回からなるべく分割して、小さくなるようにします…！

src/store/singing.ts

sigprogramming · 2024-04-08T15:41:14Z

用語、仕様、処理の流れを整理してみました。

用語、仕様、処理の流れ

用語

フレーズ（`Phrase`）

歌い方（のソースのハッシュ）を保持する
歌声（のソースのハッシュ）を保持する

歌い方のソース（`SingingGuideSource`）

歌い方を生成するために必要なデータ

歌い方（`SingingGuide`）

生成された歌い方
歌い方のソースのハッシュと紐づけてstate.singingGuidesで保持される
キャッシュはsingingGuideCacheで保持される

歌声のソース（`SingingVoiceSource`）

歌声を合成するために必要なデータ

歌声（`SingingVoice`）

合成された音声（歌声）
歌声のソースのハッシュと紐づけてsingingVoicesで保持される
キャッシュはsingingVoiceCacheで保持される

シーケンス（`Sequence`）

実際に再生されるもの
- ノートシーケンスの場合は、シンセの音でノートが再生される
- オーディオシーケンスの場合は、音声が再生される
フレーズのキー（phraseKey）と紐づけてsequencesで保持される

仕様

以下のデータが変更されたときに歌い方を再生成し音声（歌声）を再合成
- tpqn
- tempos
- phrase.notes
- track.singer.engineId
- track.keyRangeAdjustment
- track.volumeRangeAdjustment
- engineManifest.frameRate
- restDurationSeconds（前後の休符の長さ）
以下のデータが変更されたときに音声（歌声）を再合成
- phrase.singingGuide.frameAudioQuery
- track.singer
シンガーが未設定の場合は、プレビュー音（シンセの音）で再生
レンダリング未完了のフレーズは、プレビュー音（シンセの音）で再生
レンダリングできなかったフレーズは、次回レンダリング時に歌い方の生成からやり直す

`render`関数の処理の流れ

1. レンダリング中に変更される可能性のあるデータをコピーする

重なっているノートの削除も行う

2. `state.phrases`を更新する

フレーズを調べる
無くなったフレーズを見つけた場合、以下を行い、state.phrasesから削除する
1. フレーズに紐づいている歌い方と歌声を削除する
2. フレーズに紐づいているシーケンスの接続を解除して削除する
新しいフレーズを見つけた場合、state.phrasesに追加する
state.phrasesにすでに存在するフレーズの場合、以下を行う
1. シンガーが未設定、またはstateがCOULD_NOT_RENDERの場合、歌い方と歌声を削除する
2. シンガーが設定されていてstateがCOULD_NOT_RENDERではない場合、以下を行う
  1. 歌い方が存在する場合、以下を行う
    1. 歌い方のソースのハッシュを計算する
    2. 計算したハッシュとフレーズが保持しているハッシュが一致しない場合、歌い方と歌声を削除する
  2. 歌声が存在する場合、以下を行う
    1. 歌声のソースのハッシュを計算する
    2. 計算したハッシュとフレーズが保持しているハッシュが一致しない場合、歌声を削除する
3. 歌い方が存在しない、または歌声が存在しない場合、stateをWAITING_TO_BE_RENDEREDに設定する

3. `state.phrases`に存在する、`state`が`WAITING_TO_BE_RENDERED`のフレーズに対して、以下を行う

シーケンスが存在する場合、シーケンスの接続を解除して削除する
プレビュー音を再生するためのノートシーケンスを作成して接続する

4. `state.phrases`に存在する、`state`が`WAITING_TO_BE_RENDERED`のフレーズに対して、優先度が高い順に以下を行う

レンダリングの停止・やり直しが必要な場合は処理を終了
シンガーが未設定の場合、stateをPLAYABLEに設定し、このフレーズの処理を終了
stateをNOW_RENDERINGに設定する
歌い方が存在しない場合、以下を行う
1. 歌い方のソースのハッシュを計算する
2. 歌い方のキャッシュが存在する場合、取得する
3. 歌い方のキャッシュが存在しない場合、以下を行う
  1. FrameAudioQueryのフェッチを行う
  2. フェッチしたFrameAudioQueryに対して、以下を行う
    1. f0のシフトを行う
    2. volumeのスケーリングを行う
  3. フレーズの開始時刻を計算する
  4. 歌い方を生成する
  5. 歌い方をキャッシュする
4. 歌い方をフレーズに設定する
  - 実際には、フレーズは歌い方のソースのハッシュを保持し、
    歌い方は、歌い方のソースのハッシュと紐づけてstate.singingGuidesで保持する
以下を行う
1. 歌声のソースのハッシュを計算する
2. 歌声のキャッシュが存在する場合、取得する
3. 歌声のキャッシュが存在しない場合、以下を行う
  1. 音声合成を行う
  2. 歌声を生成する
  3. 歌声をキャッシュする
4. 歌声をフレーズに設定する
  - 実際には、フレーズは歌声のソースのハッシュを保持し、
    歌声は、歌声のソースのハッシュと紐づけてsingingVoicesで保持する
ノートシーケンスの接続を解除して削除する
歌声を再生するためのオーディオシーケンスを作成して接続する
stateをPLAYABLEに設定し、このフレーズの処理を終了

Hiroshiba · 2024-04-10T07:22:57Z

マージします！
ロガー周りの変更とコンフリクトが発生していたのでこちらで変えさせていただきました！

sigprogramming added 4 commits March 27, 2024 19:07

レンダリング処理をリファクタリング、データ構造を変更

c7954af

修正

コメントを少し修正

7738ead

歌い方と音声をキャッシュするように

2346ab8

リファクタリング

f671de5

sigprogramming marked this pull request as ready for review March 31, 2024 04:14

sigprogramming requested a review from a team as a code owner March 31, 2024 04:14

sigprogramming requested review from y-chan and removed request for a team March 31, 2024 04:14

sigprogramming commented Mar 31, 2024

View reviewed changes

Hiroshiba reviewed Mar 31, 2024

View reviewed changes

sigprogramming added 6 commits April 1, 2024 20:02

キャッシュ周りが正しく実装できていなかったので修正

54be5fa

SingingStyleからSingingGuideに変更、コメントを追加

536f24b

コメントの追加・修正

7f99354

ブランド型にした

4cbc61a

singerAndFrameRateに変更

d3021b1

hashとcalculatedHashに変更

feefe5b

sigprogramming requested a review from Hiroshiba April 6, 2024 04:17

Hiroshiba reviewed Apr 6, 2024

View reviewed changes

src/store/type.ts Show resolved Hide resolved

src/store/singing.ts Outdated Show resolved Hide resolved

sigprogramming added 4 commits April 7, 2024 13:14

コメントを追加、処理を共通化

574fd31

レンダリング中に前の音声のキャッシュを再生しないように変更

9e4db3f

リファクタリング

ee2cf29

ノートシーケンスを作成して接続するタイミングを変更、コメントを修正

d5618be

Hiroshiba reviewed Apr 7, 2024

View reviewed changes

sigprogramming commented Apr 8, 2024

View reviewed changes

src/store/singing.ts Show resolved Hide resolved

Merge branch 'main' into pr/sigprogramming/1961-3

1e50727

Hiroshiba merged commit e6ee7e5 into VOICEVOX:main Apr 12, 2024
9 checks passed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

FrameAudioQueryの変更を反映できるようにする #1961

FrameAudioQueryの変更を反映できるようにする #1961

sigprogramming commented Mar 28, 2024

sigprogramming Mar 31, 2024

sigprogramming Mar 31, 2024

sigprogramming Mar 31, 2024

sigprogramming Mar 31, 2024 •

edited

Hiroshiba left a comment •

edited

Hiroshiba Mar 31, 2024

sigprogramming Apr 8, 2024

Hiroshiba left a comment

Hiroshiba left a comment •

edited

sigprogramming commented Apr 8, 2024

sigprogramming commented Apr 8, 2024 •

edited

用語

フレーズ（`Phrase`）

歌い方のソース（`SingingGuideSource`）

歌い方（`SingingGuide`）

歌声のソース（`SingingVoiceSource`）

歌声（`SingingVoice`）

シーケンス（`Sequence`）

仕様

`render`関数の処理の流れ

1. レンダリング中に変更される可能性のあるデータをコピーする

2. `state.phrases`を更新する

3. `state.phrases`に存在する、`state`が`WAITING_TO_BE_RENDERED`のフレーズに対して、以下を行う

4. `state.phrases`に存在する、`state`が`WAITING_TO_BE_RENDERED`のフレーズに対して、優先度が高い順に以下を行う

Hiroshiba commented Apr 10, 2024

		for (const [notesHash, foundPhrase] of foundPhrases) {
		const phraseKey = notesHash;

FrameAudioQueryの変更を反映できるようにする #1961

FrameAudioQueryの変更を反映できるようにする #1961

Conversation

sigprogramming commented Mar 28, 2024

内容

関連 Issue

その他

sigprogramming Mar 31, 2024

Choose a reason for hiding this comment

sigprogramming Mar 31, 2024

Choose a reason for hiding this comment

sigprogramming Mar 31, 2024

Choose a reason for hiding this comment

sigprogramming Mar 31, 2024 • edited

Choose a reason for hiding this comment

Hiroshiba left a comment • edited

Choose a reason for hiding this comment

Hiroshiba Mar 31, 2024

Choose a reason for hiding this comment

sigprogramming Apr 8, 2024

Choose a reason for hiding this comment

Hiroshiba left a comment

Choose a reason for hiding this comment

Hiroshiba left a comment • edited

Choose a reason for hiding this comment

sigprogramming commented Apr 8, 2024

sigprogramming commented Apr 8, 2024 • edited

用語

フレーズ（Phrase）

歌い方のソース（SingingGuideSource）

歌い方（SingingGuide）

歌声のソース（SingingVoiceSource）

歌声（SingingVoice）

シーケンス（Sequence）

仕様

render関数の処理の流れ

1. レンダリング中に変更される可能性のあるデータをコピーする

2. state.phrasesを更新する

3. state.phrasesに存在する、stateがWAITING_TO_BE_RENDEREDのフレーズに対して、以下を行う

4. state.phrasesに存在する、stateがWAITING_TO_BE_RENDEREDのフレーズに対して、優先度が高い順に以下を行う

Hiroshiba commented Apr 10, 2024

sigprogramming Mar 31, 2024 •

edited

Hiroshiba left a comment •

edited

Hiroshiba left a comment •

edited

sigprogramming commented Apr 8, 2024 •

edited

フレーズ（`Phrase`）

歌い方のソース（`SingingGuideSource`）

歌い方（`SingingGuide`）

歌声のソース（`SingingVoiceSource`）

歌声（`SingingVoice`）

シーケンス（`Sequence`）

`render`関数の処理の流れ

2. `state.phrases`を更新する

3. `state.phrases`に存在する、`state`が`WAITING_TO_BE_RENDERED`のフレーズに対して、以下を行う

4. `state.phrases`に存在する、`state`が`WAITING_TO_BE_RENDERED`のフレーズに対して、優先度が高い順に以下を行う