Repository navigation
Optimization 12h Final heldout 2026 11 04
odashi edited this page Nov 16, 2026
·
1 revision
固定基準 27ecc45e105abaab7497e26146ca5a6d0c68dce4 と最終実装 4aa7f97eb39324644ef9dd13d0eba16ff00f8f51 を比較する。探索途中の候補間の差を加算せず、同一の条件を前後に適用した。
18条件・40ブロック。ケースごとの平均処理時間は基準の39.55〜81.84%。平均時間が半分以下の条件は3件。
対応t検定+Holm補正では短縮18件、悪化0件。差が検出されなかった結果を同等性の証明とは扱わない。
各ブロック内のケース・前後の実行順を無作為化し、ケースごとに最低10 msかつシナリオ1周のburn-inを置いた。ブロック間は5秒。測定は4秒分の音声生成。重いローカル処理を停止し、CPUを固定した。外れ値は削除していない。
対応差の両側t検定、当該ページ全ケースへのHolm補正、α=0.05。表の95%信頼区間はケース単位。補助判定として対応差の符号入替検定を最大99,999通り行い(全組合せ数2^Bが99,999以下なら全列挙)、同じケース族でHolm補正した。Shapiro–Wilkとlag-1相関を生データへ保存した。5秒の休止だけで独立性を証明する扱いはしない。
単位はns/ステレオframe、±は標準偏差。Audio identical欄は性能ハーネスのfingerprint一致であり、許容誤差の判定は全サンプルの波形比較を参照する。
logs/assets/optimization-12h-2026-11-04/Final-performance-final2/heldout/performance.png
| Case | Blocks | Before mean ± SD | After mean ± SD | Difference mean ± SD | Difference 95% CI | t (df) | p | Holm p | Audio identical |
|---|---|---|---|---|---|---|---|---|---|
| validation-sub-bass | 40 | 43.216 ± 0.093 | 20.510 ± 2.963 | -22.706 ± 2.961 | -23.653 … -21.759 | -48.5 (39) | 1.772e-36 | 1.772e-36 | True |
| validation-dual-triangle | 40 | 62.542 ± 0.182 | 38.084 ± 0.103 | -24.458 ± 0.200 | -24.522 … -24.394 | -772.8 (39) | 3.119e-83 | 4.367e-82 | True |
| validation-square-pad | 40 | 306.134 ± 0.663 | 183.336 ± 0.481 | -122.798 ± 0.899 | -123.086 … -122.511 | -864 (39) | 4.033e-85 | 6.049e-84 | True |
| validation-saw-organ | 40 | 332.822 ± 1.957 | 194.881 ± 1.815 | -137.941 ± 2.763 | -138.824 … -137.057 | -315.7 (39) | 4.502e-68 | 3.151e-67 | True |
| validation-noise-hihat | 40 | 90.742 ± 1.273 | 44.601 ± 0.129 | -46.141 ± 1.300 | -46.557 … -45.726 | -224.5 (39) | 2.673e-62 | 1.069e-61 | True |
| validation-noise-snare | 40 | 211.299 ± 0.212 | 83.559 ± 0.513 | -127.740 ± 0.551 | -127.917 … -127.564 | -1465 (39) | 4.564e-94 | 8.215e-93 | True |
| validation-soft-pluck | 40 | 344.737 ± 0.529 | 179.780 ± 1.038 | -164.956 ± 1.113 | -165.312 … -164.601 | -937.8 (39) | 1.649e-86 | 2.639e-85 | True |
| validation-hard-bass | 40 | 70.972 ± 0.153 | 37.518 ± 0.050 | -33.454 ± 0.159 | -33.505 … -33.403 | -1333 (39) | 1.81e-92 | 3.078e-91 | False |
| validation-mod-keyboard | 40 | 409.819 ± 2.463 | 238.326 ± 0.502 | -171.493 ± 2.421 | -172.268 … -170.719 | -448 (39) | 5.36e-74 | 5.896e-73 | True |
| validation-mod-saw-lead | 40 | 109.310 ± 1.140 | 75.354 ± 0.403 | -33.957 ± 1.249 | -34.356 … -33.557 | -172 (39) | 8.653e-58 | 1.731e-57 | True |
| validation-bandpass-keys | 40 | 320.515 ± 2.231 | 189.679 ± 1.092 | -130.836 ± 2.332 | -131.581 … -130.090 | -354.9 (39) | 4.704e-70 | 4.234e-69 | True |
| validation-highpass-pad | 40 | 363.446 ± 0.678 | 206.810 ± 1.810 | -156.635 ± 1.904 | -157.244 … -156.027 | -520.4 (39) | 1.553e-76 | 1.864e-75 | True |
| validation-auto-filter-amount | 40 | 475.350 ± 1.821 | 311.916 ± 1.884 | -163.433 ± 2.414 | -164.205 … -162.661 | -428.2 (39) | 3.111e-73 | 3.111e-72 | True |
| validation-auto-resonance | 40 | 366.311 ± 1.355 | 204.563 ± 0.918 | -161.748 ± 1.754 | -162.309 … -161.187 | -583.1 (39) | 1.836e-78 | 2.387e-77 | True |
| validation-auto-pan | 40 | 411.306 ± 2.329 | 250.383 ± 2.450 | -160.923 ± 2.915 | -161.855 … -159.991 | -349.2 (39) | 8.844e-70 | 7.075e-69 | True |
| validation-auto-soft-mix | 40 | 602.531 ± 2.616 | 460.470 ± 3.416 | -142.061 ± 2.886 | -142.984 … -141.138 | -311.3 (39) | 7.825e-68 | 4.695e-67 | True |
| validation-auto-mod | 40 | 743.556 ± 3.442 | 608.510 ± 1.432 | -135.046 ± 3.818 | -136.266 … -133.825 | -223.7 (39) | 3.048e-62 | 1.069e-61 | True |
| validation-auto-detune | 40 | 706.137 ± 1.793 | 480.151 ± 4.821 | -225.986 ± 4.954 | -227.570 … -224.402 | -288.5 (39) | 1.506e-66 | 7.53e-66 | True |
- 全ブロック・統計量・条件・バイナリ識別子
- 符号入替検定と診断量
- 半減目標の補助評価:対応差after−0.5×beforeの片側t検定と族内Holm補正で、2条件が50%未満を支持した。主判定は通常の前後比較とし、目標との差の検定は補助評価として扱う。
- 共通の再現資料
- 最終波形比較