Repository navigation
Standard performance suite 2026 11 01
測定方式更新: 現行方式は各実行最低1周・実時間10ms下限のburn-in、無作為化した10ブロック、ブロック間5秒、対応t検定とHolm補正を使用する。設計・統計的妥当性・実測結果を参照。時間設定の短縮実験も参照。以下は旧方式の記録。
対象コミット: 42d6983b145e899320686e1e7dcdf0e1650bfab2。通常の音色・演奏13ケースと実用的なオートメーション8ケース、計21ケースを固定した。
ベース/リード/プラック/4音コード/パッド/3発振器/位相変調/ディストーション/無音を測定する。Monoは1枠、プラック・ベルは4枠、コード・パッドは8枠。ユニゾンは1〜5、Detuneは0〜12 centとし、コードとパッドではノートオフ後のreleaseが次のコードと重なる。
オートメーションはCutoff、Resonance、Gain、Mix、Pan、Master Volume、Width、位相変調量を1ケース1パラメーターずつ4秒周期で往復させる。各ブロック末尾に変更点が届く条件をモデル化し、本体の保持/補間方式に従う。
- Intel Core i9-14900K、Linux 6.1.0-41-amd64、x86_64、Rust 1.99.1、CPU 0固定。
- 48 kHz、256サンプル、2秒分をウォームアップし、4秒分を5回計測する。Phase Zero、ベロシティ0.65〜0.8。
-
opt-level=3、panic=abort、codegen-units=16。ブロックごとにFTZ/DAZを設定する。 - 時間はステレオ1サンプル(左右1組)あたりのns。各反復の平均時間について中央値・最小・最大を示す。
- 初期化・確保・ノート列と変更曲線の準備・出力検査は計測前後に行う。計測中には設定更新・ノート処理・DSP・バッファ書き込みを行う。
- Synthesizer入口で測定する。ホストから届くVST3変更キューの走査費用は別の指標となる。
| ケース | 中央値 ns | 最小 ns | 最大 ns |
|---|---|---|---|
sine-mono |
40.1 | 39.9 | 43.5 |
saw-bass |
56.2 | 56.1 | 58.1 |
triangle-pluck |
102.4 | 102.3 | 102.4 |
square-lead |
51.1 | 50.9 | 51.2 |
saw-chords |
291.2 | 290.8 | 294.4 |
slow-pad |
345.1 | 344.2 | 345.3 |
three-osc-keys |
221.4 | 221.3 | 222.5 |
phase-mod-bell |
136.9 | 136.8 | 137.1 |
soft-x1-off |
86.5 | 86.3 | 86.5 |
soft-x2-first |
152.5 | 152.4 | 152.6 |
soft-x4-second |
233.0 | 233.0 | 233.1 |
hard-x2-second |
120.1 | 119.4 | 120.9 |
idle-pad |
121.0 | 119.4 | 122.0 |
auto-cutoff |
304.7 | 304.3 | 308.1 |
auto-resonance |
337.6 | 337.4 | 341.2 |
auto-drive |
1014.6 | 1014.2 | 1019.4 |
auto-mix |
1006.8 | 1006.1 | 1010.5 |
auto-pan |
333.7 | 333.3 | 336.9 |
auto-volume |
322.2 | 321.6 | 324.0 |
auto-width |
329.0 | 328.8 | 331.5 |
auto-phase-mod |
166.6 | 166.5 | 169.1 |
基準値JSON(コミット・条件・音声ハッシュ・ピーク・RMS)
同じ環境で変更前後を順に測定する。通常は手元で基準値を作成し、変更後に比較する。
python3 scripts/bench-standard.py --cpu 0 --output target/performance/baseline.json
python3 scripts/bench-standard.py --cpu 0 --baseline target/performance/baseline.json --output target/performance/candidate.json基準値とケース定義・コンパイラー・OS・CPU・affinity・計測条件が一致しなければ比較を拒否する。中央値が10%を超えて悪化すると終了コード1を返す。出力ハッシュの差はaudio=changedとして表示する。結果が変動する場合はCPUクロック・温度・他プロセスの負荷を揃えて再測定する。
検証時の同一実装2回の測定では21ケースすべての音声がビット一致し、中央値の変動は−2.2〜+0.7%だった。全ケースの有限性・発音/無音と、同一実行内の反復出力一致も成功。基準値を意図的に小さくした比較で性能低下の終了コード1、条件不一致および基準ファイルと出力先の一致で終了コード2を確認した。
Rust 1.95でもコンパイルし、44.1 kHz・128サンプル・3反復でオートメーション8ケースの出力検査を通過した。