Repository navigation
Standard performance suite 2026 11 13
標準スイートを**41ケース(固定設定25、連続操作16)**へ更新しました。各3発振器のVoice、音量/カットオフAHDSR、Voice内フィルタ、全Voice合成後の3エフェクトスロット、EQ、Limiter、Masterを対象にします。
単体のDelay・Reverb・Chorus/Flanger・Phaser・EQ・Limiter、2種類の3段エフェクト連結、Portamento、Pitch Bend、発音終了後の残響を加えました。操作量は曲中で連続変更する用途を選び、各ケース1パラメーターで負荷を切り分けます。
音色は134パラメーターを明示し、製品初期値の変更で測定内容が変わらないよう固定します。エフェクトの種類も明示し、定常発音はgenerate_samples、連続操作はgenerate_sample、Pitch Bendはset_pitch_bendを使います。各音声ブロックで120 BPMを通知します。
- 10ブロック、各ブロック内の全ケース×A/Bを無作為化。初回seedは
20261113。 - 各実行は準備音声2秒+測定演奏4秒を最低1周処理し、音源を再初期化して準備2秒を生成した後に計測。burn-inの実時間下限は10 ms、ブロック間は5秒待機。
- 48 kHz・256サンプル。1測定は192,000ステレオサンプル。全820実行に約144.1秒を要しました。
- 実際のburn-inは11.916〜173.637 ms、本測定は1.151〜89.624 msでした。
- 対応差B−A、対応のある両側t検定、全41ケースに対するHolm補正5%。図の95%信頼区間はケース別の未補正区間です。
- 全順序・時刻・測定値・音声ハッシュ・ソースとバイナリのハッシュを保存。観測値やケースを結果に応じて除外していません。
環境:Intel(R) Core(TM) i9-14900K、CPU 0固定、Linux-6.1.0-41-amd64-x86_64-with-glibc2.36、rustc 1.99.1 (58cf8f9c3 2026-10-13)、Python 3.11.2、NumPy 2.4.6、SciPy 1.17.1。コンパイルはopt-level=3 / panic=abort / codegen-units=16、各音声ブロックでFTZ/DAZを有効にします。
同一DSPから作ったバイナリハッシュの一致するA/Bを比較しました。全41ケースで20実行の出力ハッシュ・Peak・RMSが一致しました。波形の有限性と発音/無音検査も通過しました。
- Rustのシナリオ検証4件とPythonの統計・実行規約検証8件が成功。
- Rust 1.95.0と1.99.1で警告をエラーとしてビルド。Clippy・rustfmt成功。
- 44.1 kHz/127サンプル、96 kHz/512サンプルでもMSRVビルドで41ケースずつ実行し、有限性と発音/無音を確認。
- Limiterケースは入力を十分な強さにし、48 kHzでMaster −6 dB後のピークが0.501187となるゲイン抑制を確認。
初回A/Aでは40ケースがnot_detected、**auto-pitch-bendだけがslower**でした。A=102.020710 ns、B=103.341258 ns、平均差+1.320548 ns(+1.294%)、95% CI [+1.031104, +1.609992] ns、t=10.3208、Holm補正p=0.000112733です。コード差はないため、DSP改変による速度低下を表す結果ではありません。
これは測定環境・実行配置等の影響を、無作為化とクールタイムだけでは完全に排除できないことを示します。対応差のShapiro–Wilk検定p<0.05は24/41ケースで、10ブロックのt検定を単独の採否根拠にすることはできません。not_detectedも同等性の証明ではありません。今後の改善比較でも信頼区間・効果量・実行順の診断を併用します。
A側10実行の平均±標本標準偏差です。青は固定設定、緑は連続操作。設定の違うケース間では、音色・ポリフォニー等の負荷も異なります。
点は平均対応差、線はケース別95%信頼区間、赤はHolm補正後に差が検出されたケースです。
| ケース | A平均±SD (ns) | B平均±SD (ns) | 平均差 (ns) | t (df=9) | Holm p | 判定 |
|---|---|---|---|---|---|---|
sine-mono |
18.189 ± 0.567 | 18.191 ± 0.591 | +0.002 | 0.009 | 1 | not_detected |
saw-bass |
40.984 ± 1.665 | 40.396 ± 0.221 | -0.588 | -1.064 | 1 | not_detected |
triangle-pluck |
61.384 ± 0.353 | 61.452 ± 0.228 | +0.068 | 0.459 | 1 | not_detected |
square-lead |
39.863 ± 0.176 | 40.784 ± 2.868 | +0.922 | 1.030 | 1 | not_detected |
saw-chords |
192.782 ± 0.407 | 194.626 ± 4.003 | +1.844 | 1.510 | 1 | not_detected |
slow-pad |
285.354 ± 1.647 | 285.073 ± 0.413 | -0.281 | -0.483 | 1 | not_detected |
three-osc-keys |
190.493 ± 0.235 | 190.695 ± 0.193 | +0.202 | 2.542 | 1 | not_detected |
phase-mod-bell |
85.661 ± 0.462 | 86.016 ± 1.024 | +0.355 | 0.914 | 1 | not_detected |
portamento-lead |
52.220 ± 0.270 | 53.204 ± 1.376 | +0.983 | 2.456 | 1 | not_detected |
soft-bass |
49.201 ± 1.737 | 48.729 ± 0.262 | -0.472 | -0.879 | 1 | not_detected |
hard-lead |
42.528 ± 0.481 | 42.394 ± 0.279 | -0.134 | -0.766 | 1 | not_detected |
compressor-bass |
49.575 ± 0.224 | 49.610 ± 0.221 | +0.035 | 0.274 | 1 | not_detected |
compressor-chords |
204.221 ± 0.288 | 210.613 ± 17.422 | +6.393 | 1.152 | 1 | not_detected |
delay-lead |
43.632 ± 0.314 | 43.699 ± 0.233 | +0.067 | 0.459 | 1 | not_detected |
ping-pong-keys |
90.167 ± 0.476 | 90.538 ± 1.921 | +0.371 | 0.555 | 1 | not_detected |
reverb-pad |
294.746 ± 0.440 | 295.091 ± 0.707 | +0.345 | 1.269 | 1 | not_detected |
chorus-pad |
291.773 ± 0.202 | 292.860 ± 2.483 | +1.087 | 1.355 | 1 | not_detected |
flanger-lead |
47.145 ± 0.340 | 47.274 ± 0.471 | +0.129 | 0.691 | 1 | not_detected |
phaser-keys |
203.546 ± 0.786 | 203.987 ± 1.788 | +0.441 | 0.673 | 1 | not_detected |
eq-keys |
200.762 ± 0.334 | 201.847 ± 2.635 | +1.085 | 1.254 | 1 | not_detected |
limiter-chords |
193.185 ± 1.191 | 193.075 ± 0.224 | -0.110 | -0.283 | 1 | not_detected |
chain-pad |
313.651 ± 0.396 | 313.711 ± 0.416 | +0.061 | 0.359 | 1 | not_detected |
chain-lead |
75.312 ± 0.293 | 75.082 ± 0.398 | -0.230 | -1.224 | 1 | not_detected |
release-tail |
72.965 ± 0.135 | 73.077 ± 0.278 | +0.112 | 1.268 | 1 | not_detected |
idle-pad |
6.255 ± 0.200 | 6.162 ± 0.118 | -0.093 | -1.103 | 1 | not_detected |
auto-cutoff |
277.540 ± 2.072 | 277.270 ± 0.438 | -0.271 | -0.383 | 1 | not_detected |
auto-resonance |
284.261 ± 0.694 | 287.719 ± 4.028 | +3.458 | 2.706 | 0.918647 | not_detected |
auto-cutoff-amount |
333.929 ± 0.732 | 334.951 ± 1.272 | +1.022 | 2.952 | 0.646965 | not_detected |
auto-drive |
347.669 ± 1.065 | 348.511 ± 0.766 | +0.842 | 1.812 | 1 | not_detected |
auto-mix |
349.253 ± 1.102 | 349.958 ± 0.769 | +0.705 | 1.880 | 1 | not_detected |
auto-pan |
297.448 ± 4.584 | 296.566 ± 2.423 | -0.881 | -0.504 | 1 | not_detected |
auto-volume |
280.619 ± 0.849 | 281.327 ± 0.341 | +0.708 | 2.357 | 1 | not_detected |
auto-width |
290.569 ± 0.418 | 291.070 ± 0.416 | +0.502 | 2.799 | 0.808914 | not_detected |
auto-phase-mod |
201.282 ± 0.537 | 201.769 ± 0.505 | +0.487 | 2.638 | 0.998918 | not_detected |
auto-pitch-bend |
102.021 ± 0.231 | 103.341 ± 0.444 | +1.321 | 10.321 | 0.000112733 | slower |
auto-eq-frequency |
346.135 ± 1.217 | 346.782 ± 0.902 | +0.647 | 1.205 | 1 | not_detected |
auto-delay-feedback |
145.904 ± 2.901 | 145.518 ± 0.528 | -0.386 | -0.467 | 1 | not_detected |
auto-reverb-mix |
458.330 ± 3.370 | 458.118 ± 0.917 | -0.212 | -0.187 | 1 | not_detected |
auto-chorus-depth |
452.568 ± 0.576 | 452.858 ± 0.625 | +0.290 | 1.284 | 1 | not_detected |
auto-phaser-center |
370.566 ± 3.936 | 370.549 ± 1.412 | -0.017 | -0.015 | 1 | not_detected |
auto-compressor-threshold |
416.748 ± 2.425 | 416.085 ± 0.681 | -0.664 | -0.774 | 1 | not_detected |
初回の偏りに対して、実行パスとファイル実体を分けた4条件を測定しました。初回とは別の10ブロック、seed=2026111301、クールタイム5秒。各ブロックで4条件×A/Bを無作為化し、同一のauto-pitch-bendを実行しました。
| 条件 | 内容 | 平均差 (ns) | Holm p(4条件) |
|---|---|---|---|
same-file |
A/Bとも同じ実行パス・同じファイル | -2.940245 | 0.650201 |
hardlinks |
長さの異なるパス、hardlinkで同じファイル実体 | +0.043933 | 1 |
equal-length |
同じ長さのパス、別ファイルへ同一バイナリをコピー | +0.101783 | 1 |
different-length |
長さの異なるパス、別ファイルへ同一バイナリをコピー | +0.318188 | 0.345342 |
4条件とも差を検出せず、初回の偏りは再現しませんでした。実行パスの長さだけを原因と断定する根拠にはならず、初回結果もそのまま保存しています。この対照実験を初回結果の置き換えや、合格するまでの再試行には使用していません。
PhaseはZero、PortamentoのケースはKeepです。ベロシティは0.65〜0.8、Masterは−6 dB、Pitchの適用幅は200 centです。Amp Sensitivityは100%、Filter Amount Sensitivityはsaw-bassで75%、その他は0%です。
基本AHDSRはA=10 ms、H=0、D=120 ms、S=0.7、R=100 ms。Osc1のVolは0 dB、表で変更していないOsc2/3はSine・Tune=0・Vol=−∞、変調量は0です。
Cutoffはノート基準のcentで指定します。左右の音声出力と、ノートオン/オフによるエンベロープ・フィルタ残響を計測に含めます。
| ケース | 音色・設定 | 演奏 |
|---|---|---|
sine-mono |
Sine、Unison 1、Filterなし | モノのメロディー |
saw-bass |
Saw、LP2、Cutoff +1200、Q=1.2、カットオフAHDSRのD=250 ms・S=0・Amount +2400、音量A=5 ms・D=180 ms・S=0.45 | 低音リフ |
triangle-pluck |
Triangle、Poly 4、LP1、Cutoff +3600、音量A=2 ms・D=250 ms・S=0・R=180 ms | アルペジオ |
square-lead |
Square、Unison 2、Detune 7 cent、LP2、Cutoff +2400、Q=0.9 | モノのメロディー |
saw-chords |
Saw、Poly 8、Unison 3、Detune 9 cent、Width 60%、LP2、Cutoff +3600、Q=0.8、音量A=15 ms・D=200 ms・S=0.6・R=400 ms | 4音コード、releaseの重なりあり |
slow-pad |
Saw、Poly 8、Unison 5、Detune 12 cent、Width 80%、LP2、Cutoff +2400、音量A=300 ms・D=500 ms・R=800 ms、カットオフA=600 ms・D=500 ms・Amount +1200 | 4音コード、releaseの重なりあり |
three-osc-keys |
Poly 8、LP1、Saw −6 dB+Triangle −12 dB/−1200 cent+Sine −18 dB、音量R=400 ms | 4音コード |
phase-mod-bell |
Sine、Poly 4、Osc2 Tune +1200・変調量30%、Osc3 Tune +1900・変調量10%、音量A=2 ms・D=1000 ms・S=0・R=300 ms | アルペジオ |
portamento-lead |
リード+Portamento 120 ms、Phase Keep、Poly 1 | 500 msごとに550 ms発音し、50 ms重ねる |
soft-bass |
ベース+Soft、Gain +9 dB、Mix 40%、ADAA2 | 低音リフ |
hard-lead |
リード+Hard、Gain +6 dB、Mix 25%、ADAA2 | モノのメロディー |
compressor-bass |
ベース+Compressor:Threshold −18 dB、Ratio 4、A=10 ms、R=100 ms、Knee 6 dB、Makeup 0 dB、Mix 100% | 低音リフ |
compressor-chords |
コード+同じCompressor | 4音コード |
delay-lead |
リード+Delay:1/8、Feedback 35%、Mix 25%、Dual | モノのメロディー |
ping-pong-keys |
ベル+Delay:1/8 D、Feedback 40%、Mix 30%、PP-L | アルペジオ |
reverb-pad |
パッド+Reverb:Decay 2.5 s、Damping 5000 Hz、Size 110%、Mix 25% | 4音コード |
chorus-pad |
パッド+Chorus:Time 18 ms、Depth 2.5 ms、Rate 0.6 Hz、Detune 0.03、Feedback 0%、Mix 35% | 4音コード |
flanger-lead |
リード+Chorus:Time 2 ms、Depth 1 ms、Rate 0.3 Hz、Detune 0.02、Feedback 65%、Mix 40% | モノのメロディー |
phaser-keys |
コード+Phaser:Center 1000 Hz、Depth 1200 cent、Rate 0.5 Hz、Feedback 50%、Mix 50% | 4音コード |
eq-keys |
コード+EQ:Low 180 Hz/+3 dB、Mid 1200 Hz/−4 dB/Q=1.2、High 6000 Hz/+2 dB | 4音コード |
limiter-chords |
コード+Osc1 Vol +6 dB、Limiter On | 4音コード、ゲイン抑制が働く入力 |
chain-pad |
パッド+Chorus → Delay → Reverb → EQ | 4音コード、releaseの重なりあり |
chain-lead |
リード+Distortion → Phaser → Compressor → EQ → Limiter | モノのメロディー |
release-tail |
パッド+Reverb(reverb-padと同設定) |
最初の4音コードを1.75秒で離し、2秒以降のreleaseと残響を測定 |
idle-pad |
パッドの設定、ノートなし | 無音時の処理 |
連結ケースの設定は以下のとおりです。各処理の順序・パラメーターはスロット位置に固定します。
-
chain-pad:Chorus 20 ms/Depth 2 ms/Rate 0.7 Hz/Detune 0/Feedback 0%/Mix 30%、Delay 1/8 D/Feedback 30%/Mix 20%/Cross、Reverb 2.5 s/5000 Hz/Size 100%/Mix 20%。EQは250/1000/4000 Hz、Gain −3/+2/−2 dB、Mid Q=1。 -
chain-lead:Soft/Gain +9 dB/Mix 40%、Phaser 1000 Hz/1200 cent/0.5 Hz/Feedback 50%/Mix 30%、Compressor −12 dB/Ratio 3/A=10 ms/R=100 ms/Knee 6 dB/Makeup +2 dB/Mix 100%。EQは250/1000/4000 Hz、Gain −3/0/+2 dB、Mid Q=1。Limiter On。
120 BPM相当で、メロディーは500 msごとに400 ms発音、低音リフは250 msごとに190 ms発音、アルペジオは250 msごとに160 ms発音します。
コードはC系 [48,55,60,64] とF系 [53,60,65,69] を2000 msごとに切り替え、1750 msでノートオフします。
Monoは1枠、プラック・ベルは4枠、コード・パッドは8枠の循環割り当てです。同時刻のノートはNote Off→Note Onとし、パラメーターを先に適用します。
各ケースは1パラメーターだけを4秒周期の三角波で往復させ、何の更新が負荷を生むか比較できます。
| ケース | 対象・範囲 | 基本音色 |
|---|---|---|
auto-cutoff |
Cutoff +1200〜+4800 cent | コード |
auto-resonance |
Q=0.7〜2.5 | コード |
auto-cutoff-amount |
Cutoff Amount 0〜2400 cent | コード |
auto-drive |
Gain +3〜+15 dB | コード+Soft、ADAA2、Mix 40% |
auto-mix |
Mix 10〜50% | コード+Soft、ADAA2、Gain +9 dB |
auto-pan |
Pan −40〜+40% | コード |
auto-volume |
Master −12〜0 dB | コード |
auto-width |
Width 20〜80% | コード |
auto-phase-mod |
Osc2の位相変調量10〜40% | ベル |
auto-pitch-bend |
ベンド入力−1〜+1(適用幅200 cent) | リード、50 ms重なるノート切替 |
auto-eq-frequency |
Mid Frequency 500〜2500 Hz | eq-keys |
auto-delay-feedback |
Feedback 20〜55% | delay-lead |
auto-reverb-mix |
Mix 10〜40% | reverb-pad |
auto-chorus-depth |
Depth 1〜4 ms | chorus-pad |
auto-phaser-center |
Center 500〜2000 Hz | phaser-keys |
auto-compressor-threshold |
Threshold −30〜−12 dB | compressor-chords |
ブロック末尾に1変更点が届く条件をモデル化します。連続パラメーターは前ブロック末尾の値から正規化値を線形補間し、
Cutoffは本体のholds_between_pointsに従い変更点まで保持します。Pitch Bendは音色設定の配列と分け、専用の入力へ連続値を渡します。
曲線とノート列は計測前に準備し、計測中は設定更新・ノート処理・DSP・ステレオ出力バッファ書き込みを行います。
測定の入口はSynthesizerの生成・設定メソッドです。
毎回の出力について有限性・発音/無音・反復のビット一致を検査し、ハッシュ・ピーク・RMSも保存します。
audio_same=falseは波形差の確認を促す表示で、時間差の検定とは分けます。数値計算を変更した場合は音声側の回帰テストも実行します。
python3 scripts/bench-standard.py --list
python3 scripts/bench-standard.py --before <変更前worktree> --after <変更後worktree> --cpu 0 --output target/performance/paired.json- 初回A/A全測定・統計量・条件(JSON)
- ケース別全統計量(CSV):前後と対応差の平均・標本SD・中央値・最小・最大、t・自由度・p・Holm p・CI・分布/相関診断。
- 実行配置の対照実験(JSON)
- 44.1/96 kHzの実行結果(JSON)
スイートSHA-256:ba864c61f061492e3a00e6b4007249593e0bac1293ab5cce1b0543f2cb0a7540。