Skip to content

Standard performance suite 2026 11 01

odashi edited this page Nov 16, 2026 · 1 revision

通常運用の標準性能回帰スイート

過去の調査・実験ログです。本文の版・条件・結果は記録当時のものです。分類索引 · 技術資料

現行構成の41ケースと検証結果

測定方式更新: 現行方式は各実行最低1周・実時間10ms下限のburn-in、無作為化した10ブロック、ブロック間5秒、対応t検定とHolm補正を使用する。設計・統計的妥当性・実測結果を参照。時間設定の短縮実験も参照。以下は旧方式の記録。

対象コミット: 42d6983b145e899320686e1e7dcdf0e1650bfab2。通常の音色・演奏13ケースと実用的なオートメーション8ケース、計21ケースを固定した。

ベース/リード/プラック/4音コード/パッド/3発振器/位相変調/ディストーション/無音を測定する。Monoは1枠、プラック・ベルは4枠、コード・パッドは8枠。ユニゾンは1〜5、Detuneは0〜12 centとし、コードとパッドではノートオフ後のreleaseが次のコードと重なる。

オートメーションはCutoff、Resonance、Gain、Mix、Pan、Master Volume、Width、位相変調量を1ケース1パラメーターずつ4秒周期で往復させる。各ブロック末尾に変更点が届く条件をモデル化し、本体の保持/補間方式に従う。

全ケースの設定・演奏・比較手順

測定条件

  • Intel Core i9-14900K、Linux 6.1.0-41-amd64、x86_64、Rust 1.99.1、CPU 0固定。
  • 48 kHz、256サンプル、2秒分をウォームアップし、4秒分を5回計測する。Phase Zero、ベロシティ0.65〜0.8。
  • opt-level=3、panic=abort、codegen-units=16。ブロックごとにFTZ/DAZを設定する。
  • 時間はステレオ1サンプル(左右1組)あたりのns。各反復の平均時間について中央値・最小・最大を示す。
  • 初期化・確保・ノート列と変更曲線の準備・出力検査は計測前後に行う。計測中には設定更新・ノート処理・DSP・バッファ書き込みを行う。
  • Synthesizer入口で測定する。ホストから届くVST3変更キューの走査費用は別の指標となる。

初回基準値

ケース 中央値 ns 最小 ns 最大 ns
sine-mono 40.1 39.9 43.5
saw-bass 56.2 56.1 58.1
triangle-pluck 102.4 102.3 102.4
square-lead 51.1 50.9 51.2
saw-chords 291.2 290.8 294.4
slow-pad 345.1 344.2 345.3
three-osc-keys 221.4 221.3 222.5
phase-mod-bell 136.9 136.8 137.1
soft-x1-off 86.5 86.3 86.5
soft-x2-first 152.5 152.4 152.6
soft-x4-second 233.0 233.0 233.1
hard-x2-second 120.1 119.4 120.9
idle-pad 121.0 119.4 122.0
auto-cutoff 304.7 304.3 308.1
auto-resonance 337.6 337.4 341.2
auto-drive 1014.6 1014.2 1019.4
auto-mix 1006.8 1006.1 1010.5
auto-pan 333.7 333.3 336.9
auto-volume 322.2 321.6 324.0
auto-width 329.0 328.8 331.5
auto-phase-mod 166.6 166.5 169.1

基準値JSON(コミット・条件・音声ハッシュ・ピーク・RMS)

回帰試験の使い方

同じ環境で変更前後を順に測定する。通常は手元で基準値を作成し、変更後に比較する。

python3 scripts/bench-standard.py --cpu 0 --output target/performance/baseline.json
python3 scripts/bench-standard.py --cpu 0 --baseline target/performance/baseline.json --output target/performance/candidate.json

基準値とケース定義・コンパイラー・OS・CPU・affinity・計測条件が一致しなければ比較を拒否する。中央値が10%を超えて悪化すると終了コード1を返す。出力ハッシュの差はaudio=changedとして表示する。結果が変動する場合はCPUクロック・温度・他プロセスの負荷を揃えて再測定する。

検証時の同一実装2回の測定では21ケースすべての音声がビット一致し、中央値の変動は−2.2〜+0.7%だった。全ケースの有限性・発音/無音と、同一実行内の反復出力一致も成功。基準値を意図的に小さくした比較で性能低下の終了コード1、条件不一致および基準ファイルと出力先の一致で終了コード2を確認した。

Rust 1.95でもコンパイルし、44.1 kHz・128サンプル・3反復でオートメーション8ケースの出力検査を通過した。

Clone this wiki locally