Skip to content

Standard performance suite 2026 11 13

odashi edited this page Nov 16, 2026 · 1 revision

現行構成の標準性能回帰スイート

過去の調査・実験ログです。本文の版・条件・結果は記録当時のものです。分類索引 · 技術資料

対象:DSP 892a2b7、計測コード cf4fee6。

構成

標準スイートを**41ケース(固定設定25、連続操作16)**へ更新しました。各3発振器のVoice、音量/カットオフAHDSR、Voice内フィルタ、全Voice合成後の3エフェクトスロット、EQ、Limiter、Masterを対象にします。

単体のDelay・Reverb・Chorus/Flanger・Phaser・EQ・Limiter、2種類の3段エフェクト連結、Portamento、Pitch Bend、発音終了後の残響を加えました。操作量は曲中で連続変更する用途を選び、各ケース1パラメーターで負荷を切り分けます。

音色は134パラメーターを明示し、製品初期値の変更で測定内容が変わらないよう固定します。エフェクトの種類も明示し、定常発音はgenerate_samples、連続操作はgenerate_sample、Pitch Bendはset_pitch_bendを使います。各音声ブロックで120 BPMを通知します。

測定規約

  • 10ブロック、各ブロック内の全ケース×A/Bを無作為化。初回seedは20261113。
  • 各実行は準備音声2秒+測定演奏4秒を最低1周処理し、音源を再初期化して準備2秒を生成した後に計測。burn-inの実時間下限は10 ms、ブロック間は5秒待機。
  • 48 kHz・256サンプル。1測定は192,000ステレオサンプル。全820実行に約144.1秒を要しました。
  • 実際のburn-inは11.916〜173.637 ms、本測定は1.151〜89.624 msでした。
  • 対応差B−A、対応のある両側t検定、全41ケースに対するHolm補正5%。図の95%信頼区間はケース別の未補正区間です。
  • 全順序・時刻・測定値・音声ハッシュ・ソースとバイナリのハッシュを保存。観測値やケースを結果に応じて除外していません。

環境:Intel(R) Core(TM) i9-14900K、CPU 0固定、Linux-6.1.0-41-amd64-x86_64-with-glibc2.36、rustc 1.99.1 (58cf8f9c3 2026-10-13)、Python 3.11.2、NumPy 2.4.6、SciPy 1.17.1。コンパイルはopt-level=3 / panic=abort / codegen-units=16、各音声ブロックでFTZ/DAZを有効にします。

全体検証とA/A結果

同一DSPから作ったバイナリハッシュの一致するA/Bを比較しました。全41ケースで20実行の出力ハッシュ・Peak・RMSが一致しました。波形の有限性と発音/無音検査も通過しました。

  • Rustのシナリオ検証4件とPythonの統計・実行規約検証8件が成功。
  • Rust 1.95.0と1.99.1で警告をエラーとしてビルド。Clippy・rustfmt成功。
  • 44.1 kHz/127サンプル、96 kHz/512サンプルでもMSRVビルドで41ケースずつ実行し、有限性と発音/無音を確認。
  • Limiterケースは入力を十分な強さにし、48 kHzでMaster −6 dB後のピークが0.501187となるゲイン抑制を確認。

初回A/Aでは40ケースがnot_detected、**auto-pitch-bendだけがslower**でした。A=102.020710 ns、B=103.341258 ns、平均差+1.320548 ns(+1.294%)、95% CI [+1.031104, +1.609992] ns、t=10.3208、Holm補正p=0.000112733です。コード差はないため、DSP改変による速度低下を表す結果ではありません。

これは測定環境・実行配置等の影響を、無作為化とクールタイムだけでは完全に排除できないことを示します。対応差のShapiro–Wilk検定p<0.05は24/41ケースで、10ブロックのt検定を単独の採否根拠にすることはできません。not_detectedも同等性の証明ではありません。今後の改善比較でも信頼区間・効果量・実行順の診断を併用します。

処理時間

A側10実行の平均±標本標準偏差です。青は固定設定、緑は連続操作。設定の違うケース間では、音色・ポリフォニー等の負荷も異なります。

ケース別処理時間

同一DSP間の差

点は平均対応差、線はケース別95%信頼区間、赤はHolm補正後に差が検出されたケースです。

A/A対応差と信頼区間

ケース A平均±SD (ns) B平均±SD (ns) 平均差 (ns) t (df=9) Holm p 判定
sine-mono 18.189 ± 0.567 18.191 ± 0.591 +0.002 0.009 1 not_detected
saw-bass 40.984 ± 1.665 40.396 ± 0.221 -0.588 -1.064 1 not_detected
triangle-pluck 61.384 ± 0.353 61.452 ± 0.228 +0.068 0.459 1 not_detected
square-lead 39.863 ± 0.176 40.784 ± 2.868 +0.922 1.030 1 not_detected
saw-chords 192.782 ± 0.407 194.626 ± 4.003 +1.844 1.510 1 not_detected
slow-pad 285.354 ± 1.647 285.073 ± 0.413 -0.281 -0.483 1 not_detected
three-osc-keys 190.493 ± 0.235 190.695 ± 0.193 +0.202 2.542 1 not_detected
phase-mod-bell 85.661 ± 0.462 86.016 ± 1.024 +0.355 0.914 1 not_detected
portamento-lead 52.220 ± 0.270 53.204 ± 1.376 +0.983 2.456 1 not_detected
soft-bass 49.201 ± 1.737 48.729 ± 0.262 -0.472 -0.879 1 not_detected
hard-lead 42.528 ± 0.481 42.394 ± 0.279 -0.134 -0.766 1 not_detected
compressor-bass 49.575 ± 0.224 49.610 ± 0.221 +0.035 0.274 1 not_detected
compressor-chords 204.221 ± 0.288 210.613 ± 17.422 +6.393 1.152 1 not_detected
delay-lead 43.632 ± 0.314 43.699 ± 0.233 +0.067 0.459 1 not_detected
ping-pong-keys 90.167 ± 0.476 90.538 ± 1.921 +0.371 0.555 1 not_detected
reverb-pad 294.746 ± 0.440 295.091 ± 0.707 +0.345 1.269 1 not_detected
chorus-pad 291.773 ± 0.202 292.860 ± 2.483 +1.087 1.355 1 not_detected
flanger-lead 47.145 ± 0.340 47.274 ± 0.471 +0.129 0.691 1 not_detected
phaser-keys 203.546 ± 0.786 203.987 ± 1.788 +0.441 0.673 1 not_detected
eq-keys 200.762 ± 0.334 201.847 ± 2.635 +1.085 1.254 1 not_detected
limiter-chords 193.185 ± 1.191 193.075 ± 0.224 -0.110 -0.283 1 not_detected
chain-pad 313.651 ± 0.396 313.711 ± 0.416 +0.061 0.359 1 not_detected
chain-lead 75.312 ± 0.293 75.082 ± 0.398 -0.230 -1.224 1 not_detected
release-tail 72.965 ± 0.135 73.077 ± 0.278 +0.112 1.268 1 not_detected
idle-pad 6.255 ± 0.200 6.162 ± 0.118 -0.093 -1.103 1 not_detected
auto-cutoff 277.540 ± 2.072 277.270 ± 0.438 -0.271 -0.383 1 not_detected
auto-resonance 284.261 ± 0.694 287.719 ± 4.028 +3.458 2.706 0.918647 not_detected
auto-cutoff-amount 333.929 ± 0.732 334.951 ± 1.272 +1.022 2.952 0.646965 not_detected
auto-drive 347.669 ± 1.065 348.511 ± 0.766 +0.842 1.812 1 not_detected
auto-mix 349.253 ± 1.102 349.958 ± 0.769 +0.705 1.880 1 not_detected
auto-pan 297.448 ± 4.584 296.566 ± 2.423 -0.881 -0.504 1 not_detected
auto-volume 280.619 ± 0.849 281.327 ± 0.341 +0.708 2.357 1 not_detected
auto-width 290.569 ± 0.418 291.070 ± 0.416 +0.502 2.799 0.808914 not_detected
auto-phase-mod 201.282 ± 0.537 201.769 ± 0.505 +0.487 2.638 0.998918 not_detected
auto-pitch-bend 102.021 ± 0.231 103.341 ± 0.444 +1.321 10.321 0.000112733 slower
auto-eq-frequency 346.135 ± 1.217 346.782 ± 0.902 +0.647 1.205 1 not_detected
auto-delay-feedback 145.904 ± 2.901 145.518 ± 0.528 -0.386 -0.467 1 not_detected
auto-reverb-mix 458.330 ± 3.370 458.118 ± 0.917 -0.212 -0.187 1 not_detected
auto-chorus-depth 452.568 ± 0.576 452.858 ± 0.625 +0.290 1.284 1 not_detected
auto-phaser-center 370.566 ± 3.936 370.549 ± 1.412 -0.017 -0.015 1 not_detected
auto-compressor-threshold 416.748 ± 2.425 416.085 ± 0.681 -0.664 -0.774 1 not_detected

Pitch Bendの実行配置を変えた対照実験

初回の偏りに対して、実行パスとファイル実体を分けた4条件を測定しました。初回とは別の10ブロック、seed=2026111301、クールタイム5秒。各ブロックで4条件×A/Bを無作為化し、同一のauto-pitch-bendを実行しました。

条件 内容 平均差 (ns) Holm p(4条件)
same-file A/Bとも同じ実行パス・同じファイル -2.940245 0.650201
hardlinks 長さの異なるパス、hardlinkで同じファイル実体 +0.043933 1
equal-length 同じ長さのパス、別ファイルへ同一バイナリをコピー +0.101783 1
different-length 長さの異なるパス、別ファイルへ同一バイナリをコピー +0.318188 0.345342

4条件とも差を検出せず、初回の偏りは再現しませんでした。実行パスの長さだけを原因と断定する根拠にはならず、初回結果もそのまま保存しています。この対照実験を初回結果の置き換えや、合格するまでの再試行には使用していません。

実行配置の対照実験

ケース一覧と設定

PhaseはZero、PortamentoのケースはKeepです。ベロシティは0.65〜0.8、Masterは−6 dB、Pitchの適用幅は200 centです。Amp Sensitivityは100%、Filter Amount Sensitivityはsaw-bassで75%、その他は0%です。 基本AHDSRはA=10 ms、H=0、D=120 ms、S=0.7、R=100 ms。Osc1のVolは0 dB、表で変更していないOsc2/3はSine・Tune=0・Vol=−∞、変調量は0です。 Cutoffはノート基準のcentで指定します。左右の音声出力と、ノートオン/オフによるエンベロープ・フィルタ残響を計測に含めます。

ケース 音色・設定 演奏
sine-mono Sine、Unison 1、Filterなし モノのメロディー
saw-bass Saw、LP2、Cutoff +1200、Q=1.2、カットオフAHDSRのD=250 ms・S=0・Amount +2400、音量A=5 ms・D=180 ms・S=0.45 低音リフ
triangle-pluck Triangle、Poly 4、LP1、Cutoff +3600、音量A=2 ms・D=250 ms・S=0・R=180 ms アルペジオ
square-lead Square、Unison 2、Detune 7 cent、LP2、Cutoff +2400、Q=0.9 モノのメロディー
saw-chords Saw、Poly 8、Unison 3、Detune 9 cent、Width 60%、LP2、Cutoff +3600、Q=0.8、音量A=15 ms・D=200 ms・S=0.6・R=400 ms 4音コード、releaseの重なりあり
slow-pad Saw、Poly 8、Unison 5、Detune 12 cent、Width 80%、LP2、Cutoff +2400、音量A=300 ms・D=500 ms・R=800 ms、カットオフA=600 ms・D=500 ms・Amount +1200 4音コード、releaseの重なりあり
three-osc-keys Poly 8、LP1、Saw −6 dB+Triangle −12 dB/−1200 cent+Sine −18 dB、音量R=400 ms 4音コード
phase-mod-bell Sine、Poly 4、Osc2 Tune +1200・変調量30%、Osc3 Tune +1900・変調量10%、音量A=2 ms・D=1000 ms・S=0・R=300 ms アルペジオ
portamento-lead リード+Portamento 120 ms、Phase Keep、Poly 1 500 msごとに550 ms発音し、50 ms重ねる
soft-bass ベース+Soft、Gain +9 dB、Mix 40%、ADAA2 低音リフ
hard-lead リード+Hard、Gain +6 dB、Mix 25%、ADAA2 モノのメロディー
compressor-bass ベース+Compressor:Threshold −18 dB、Ratio 4、A=10 ms、R=100 ms、Knee 6 dB、Makeup 0 dB、Mix 100% 低音リフ
compressor-chords コード+同じCompressor 4音コード
delay-lead リード+Delay:1/8、Feedback 35%、Mix 25%、Dual モノのメロディー
ping-pong-keys ベル+Delay:1/8 D、Feedback 40%、Mix 30%、PP-L アルペジオ
reverb-pad パッド+Reverb:Decay 2.5 s、Damping 5000 Hz、Size 110%、Mix 25% 4音コード
chorus-pad パッド+Chorus:Time 18 ms、Depth 2.5 ms、Rate 0.6 Hz、Detune 0.03、Feedback 0%、Mix 35% 4音コード
flanger-lead リード+Chorus:Time 2 ms、Depth 1 ms、Rate 0.3 Hz、Detune 0.02、Feedback 65%、Mix 40% モノのメロディー
phaser-keys コード+Phaser:Center 1000 Hz、Depth 1200 cent、Rate 0.5 Hz、Feedback 50%、Mix 50% 4音コード
eq-keys コード+EQ:Low 180 Hz/+3 dB、Mid 1200 Hz/−4 dB/Q=1.2、High 6000 Hz/+2 dB 4音コード
limiter-chords コード+Osc1 Vol +6 dB、Limiter On 4音コード、ゲイン抑制が働く入力
chain-pad パッド+Chorus → Delay → Reverb → EQ 4音コード、releaseの重なりあり
chain-lead リード+Distortion → Phaser → Compressor → EQ → Limiter モノのメロディー
release-tail パッド+Reverb(reverb-padと同設定) 最初の4音コードを1.75秒で離し、2秒以降のreleaseと残響を測定
idle-pad パッドの設定、ノートなし 無音時の処理

連結ケースの設定は以下のとおりです。各処理の順序・パラメーターはスロット位置に固定します。

  • chain-pad:Chorus 20 ms/Depth 2 ms/Rate 0.7 Hz/Detune 0/Feedback 0%/Mix 30%、Delay 1/8 D/Feedback 30%/Mix 20%/Cross、Reverb 2.5 s/5000 Hz/Size 100%/Mix 20%。EQは250/1000/4000 Hz、Gain −3/+2/−2 dB、Mid Q=1。
  • chain-lead:Soft/Gain +9 dB/Mix 40%、Phaser 1000 Hz/1200 cent/0.5 Hz/Feedback 50%/Mix 30%、Compressor −12 dB/Ratio 3/A=10 ms/R=100 ms/Knee 6 dB/Makeup +2 dB/Mix 100%。EQは250/1000/4000 Hz、Gain −3/0/+2 dB、Mid Q=1。Limiter On。

120 BPM相当で、メロディーは500 msごとに400 ms発音、低音リフは250 msごとに190 ms発音、アルペジオは250 msごとに160 ms発音します。 コードはC系 [48,55,60,64] とF系 [53,60,65,69] を2000 msごとに切り替え、1750 msでノートオフします。 Monoは1枠、プラック・ベルは4枠、コード・パッドは8枠の循環割り当てです。同時刻のノートはNote Off→Note Onとし、パラメーターを先に適用します。

オートメーションケース

各ケースは1パラメーターだけを4秒周期の三角波で往復させ、何の更新が負荷を生むか比較できます。

ケース 対象・範囲 基本音色
auto-cutoff Cutoff +1200〜+4800 cent コード
auto-resonance Q=0.7〜2.5 コード
auto-cutoff-amount Cutoff Amount 0〜2400 cent コード
auto-drive Gain +3〜+15 dB コード+Soft、ADAA2、Mix 40%
auto-mix Mix 10〜50% コード+Soft、ADAA2、Gain +9 dB
auto-pan Pan −40〜+40% コード
auto-volume Master −12〜0 dB コード
auto-width Width 20〜80% コード
auto-phase-mod Osc2の位相変調量10〜40% ベル
auto-pitch-bend ベンド入力−1〜+1(適用幅200 cent) リード、50 ms重なるノート切替
auto-eq-frequency Mid Frequency 500〜2500 Hz eq-keys
auto-delay-feedback Feedback 20〜55% delay-lead
auto-reverb-mix Mix 10〜40% reverb-pad
auto-chorus-depth Depth 1〜4 ms chorus-pad
auto-phaser-center Center 500〜2000 Hz phaser-keys
auto-compressor-threshold Threshold −30〜−12 dB compressor-chords

ブロック末尾に1変更点が届く条件をモデル化します。連続パラメーターは前ブロック末尾の値から正規化値を線形補間し、 Cutoffは本体のholds_between_pointsに従い変更点まで保持します。Pitch Bendは音色設定の配列と分け、専用の入力へ連続値を渡します。 曲線とノート列は計測前に準備し、計測中は設定更新・ノート処理・DSP・ステレオ出力バッファ書き込みを行います。 測定の入口はSynthesizerの生成・設定メソッドです。

毎回の出力について有限性・発音/無音・反復のビット一致を検査し、ハッシュ・ピーク・RMSも保存します。 audio_same=falseは波形差の確認を促す表示で、時間差の検定とは分けます。数値計算を変更した場合は音声側の回帰テストも実行します。

実行と保存データ

python3 scripts/bench-standard.py --list
python3 scripts/bench-standard.py --before <変更前worktree> --after <変更後worktree> --cpu 0 --output target/performance/paired.json

環境準備・全オプション・検証コマンド。

スイートSHA-256:ba864c61f061492e3a00e6b4007249593e0bac1293ab5cce1b0543f2cb0a7540。

Clone this wiki locally