Repository navigation
Paired performance statistics 2026 11 02
burn-in更新: 現行の時間設定は「最低1周・実時間10ms下限」へ変更した。短縮実験と全ケースの所要時間を参照。以下は3秒設定時の記録。
変更前後を同じブロックで対応付ける方式へ更新した。各実行のburn-inは3秒、ブロック間は5秒、最低10ブロックとする。中央値の増減だけでは判断せず、対応差の効果量・信頼区間・両側t検定を確認する。
各ブロックには、選択した全ケースの変更前・変更後を1回ずつ含め、全実行の順序を無作為に並べる。ペアは実行順ではなく「ケース・ブロック番号」で決まる。各実行は独立したプロセスでDSPを3秒以上動かした後、新しい音源で固定の2秒分をウォームアップし、続く4秒分を計測する。
全ブロック終了後に、ケースごとの d_i = after_i - before_i に対して t = mean(d) / (sd(d) / sqrt(N))、自由度N−1を計算する。検定・95%信頼区間はSciPy 1.17.1の ttest_rel を使う。NumPyは2.4.6。選択した全ケースを1つの比較族とし、Holm補正で家族内第1種過誤率を5%に制御する設計とする。表示する信頼区間はケース別の未補正区間であり、同時信頼区間ではない。
ケース・ブロック数・seedは実行前に固定し、途中で検定しない。外れ値は除外せず、都合のよい実行結果を選別しない。差の分散が0ならt検定を未定義として扱う。
対応t検定は、ブロック間で差が独立し、差の分布がおおむね正規的なら妥当である。前後の測定値そのものの等分散性は要求しない。数秒のクールタイムだけで独立性を保証することはできない。 無作為化は実行位置の偏りを減らすが、CPU温度・周波数・背景負荷の長周期変動を取り除く保証ではない。
差の時系列・正規Q-Q図・Shapiro–Wilk検定・ラグ1相関を診断に使用する。10ブロックでは診断自体の検出力が弱いため、診断で問題を検出しないことも前提成立の証明ではない。前提が疑わしい場合、t検定のp値を確定的な判定に使わない。必要な標本数・環境条件は予備実験で定め、次の確認実験は固定した計画で行う。
有意差がないことは同等性や悪化がないことの証明ではない。改善と悪化を他ケース間で相殺せず、差の大きさと区間を合わせて評価する。
- 回帰テスト8件成功。シャッフルの再現・全組合せの網羅、クールタイム、burn-in不足、ブロックとケースによる対応付け、欠損・重複・非有限値、符号、差の分散0、Holm補正を確認した。
- 既知の対応差1〜10では、平均5.5、標本標準偏差
sqrt(55/6)、t値sqrt(33)、自由度9と一致した。 - Rust 1.95でハーネスをコンパイルし、全21ケースの列挙に成功した。
seed=20261102、各条件1万回。10ブロック・21ケースで真の平均差を0とし、各ブロックに共通の正規変動(SD=50)と各実行の独立した正規誤差(SD=1)を加えた。前後に共有するブロック効果は対応差で相殺される。
| 指標 | 実測割合 |
|---|---|
| 1ケースの両側t検定による誤検出 | 5.084% |
| 21ケースのどれかを誤検出・補正なし | 66.56% |
| 21ケースのどれかを誤検出・Holm補正 | 4.83% |
| ケース別95%信頼区間が真の差0を含む | 94.916% |
独立・正規という前提を満たす模擬条件では、設定した5%/95%に近い挙動になった。別の条件として、ブロック間の差に係数0.8の定常AR(1)相関を導入すると、1ケースの誤検出率は**52.7%**となった。これは独立性の違反をクールタイムという設定値だけで無視できないことを示す例であり、実機の相関係数を推定したものではない。
事前に hard-x2-second と auto-mix の2ケースを選択し、10ブロック実行した。比較族はこの2ケース。変更前は a5a2f1642c886487fc4e83eb41c67fd38def6943、変更後はパラメーター換算再利用の ba3278f7bc34ac17a88cb367804606266ea492a2。同一ハーネスとフラグで固定コピーしたソースからコンパイルした。
Intel Core i9-14900K、Linux x86_64、CPU 0固定、Rust 1.99.1、Python 3.11.2。48 kHz、256サンプル、seed=20261102。全40実行の最短burn-inは3.000153秒、9区間の最短クールタイムは5.000159秒、ブロック実行の合計は174.017秒。前後と全反復で音声ハッシュ・ピーク・RMSは一致した。
単位はns/ステレオ1サンプル。差は変更後−変更前、標準偏差は標本標準偏差。
| ケース | 対象 | 平均 | 標準偏差 | 中央値 | 最小 | 最大 |
|---|---|---|---|---|---|---|
| hard-x2-second | 変更前 | 117.9269 | 0.2930 | 117.8335 | 117.6211 | 118.3493 |
| hard-x2-second | 変更後 | 118.5182 | 0.3437 | 118.4336 | 118.1964 | 119.2372 |
| hard-x2-second | 対応差 | 0.5913 | 0.4732 | 0.5327 | -0.0973 | 1.4852 |
| auto-mix | 変更前 | 1005.3353 | 1.3870 | 1005.1178 | 1003.8536 | 1008.3685 |
| auto-mix | 変更後 | 1054.7948 | 176.3403 | 999.4096 | 997.0610 | 1556.6584 |
| auto-mix | 対応差 | 49.4595 | 176.4949 | -5.8549 | -8.7977 | 551.7533 |
| ケース | N | 自由度 | t | 未補正p | Holm補正p | 平均差の95%区間 | Shapiro p | ラグ1相関 |
|---|---|---|---|---|---|---|---|---|
| hard-x2-second | 10 | 9 | 3.952041 | 0.00334435 | 0.0066887 | [0.2529, 0.9298] | 0.864311 | 0.3212 |
| auto-mix | 10 | 9 | 0.886171 | 0.398585 | 0.398585 | [-76.7974, 175.7164] | 1.25278e-07 | -0.1242 |
hard-x2-secondは平均差+0.5913 ns(変更前平均の約0.501%)、Holm補正p=0.00669で低速化を検出した。auto-mixは第5ブロックの変更後が1556.66 nsとなり、ほかの変更後測定997.06〜1000.49 nsから大きく離れた。原因はこの測定から特定できない。値は除外せず集計したため区間が広がり、分布も強く偏っている。このケースのt検定の非有意を性能維持・改善の証拠として扱えない。PR #56は採用保留を継続する。
logs/assets/paired-performance-2026-11-02/paired-diagnostics.png