Skip to content

Paired performance statistics 2026 11 02

odashi edited this page Nov 16, 2026 · 1 revision

無作為化ブロックによる性能比較と統計的妥当性

過去の調査・実験ログです。本文の版・条件・結果は記録当時のものです。分類索引 · 技術資料

burn-in更新: 現行の時間設定は「最低1周・実時間10ms下限」へ変更した。短縮実験と全ケースの所要時間を参照。以下は3秒設定時の記録。

変更前後を同じブロックで対応付ける方式へ更新した。各実行のburn-inは3秒、ブロック間は5秒、最低10ブロックとする。中央値の増減だけでは判断せず、対応差の効果量・信頼区間・両側t検定を確認する。

実験設計

各ブロックには、選択した全ケースの変更前・変更後を1回ずつ含め、全実行の順序を無作為に並べる。ペアは実行順ではなく「ケース・ブロック番号」で決まる。各実行は独立したプロセスでDSPを3秒以上動かした後、新しい音源で固定の2秒分をウォームアップし、続く4秒分を計測する。

全ブロック終了後に、ケースごとの d_i = after_i - before_i に対して t = mean(d) / (sd(d) / sqrt(N))、自由度N−1を計算する。検定・95%信頼区間はSciPy 1.17.1の ttest_rel を使う。NumPyは2.4.6。選択した全ケースを1つの比較族とし、Holm補正で家族内第1種過誤率を5%に制御する設計とする。表示する信頼区間はケース別の未補正区間であり、同時信頼区間ではない。

ケース・ブロック数・seedは実行前に固定し、途中で検定しない。外れ値は除外せず、都合のよい実行結果を選別しない。差の分散が0ならt検定を未定義として扱う。

妥当性の評価

対応t検定は、ブロック間で差が独立し、差の分布がおおむね正規的なら妥当である。前後の測定値そのものの等分散性は要求しない。数秒のクールタイムだけで独立性を保証することはできない。 無作為化は実行位置の偏りを減らすが、CPU温度・周波数・背景負荷の長周期変動を取り除く保証ではない。

差の時系列・正規Q-Q図・Shapiro–Wilk検定・ラグ1相関を診断に使用する。10ブロックでは診断自体の検出力が弱いため、診断で問題を検出しないことも前提成立の証明ではない。前提が疑わしい場合、t検定のp値を確定的な判定に使わない。必要な標本数・環境条件は予備実験で定め、次の確認実験は固定した計画で行う。

有意差がないことは同等性や悪化がないことの証明ではない。改善と悪化を他ケース間で相殺せず、差の大きさと区間を合わせて評価する。

数値計算・設計の検証

  • 回帰テスト8件成功。シャッフルの再現・全組合せの網羅、クールタイム、burn-in不足、ブロックとケースによる対応付け、欠損・重複・非有限値、符号、差の分散0、Holm補正を確認した。
  • 既知の対応差1〜10では、平均5.5、標本標準偏差 sqrt(55/6)、t値 sqrt(33)、自由度9と一致した。
  • Rust 1.95でハーネスをコンパイルし、全21ケースの列挙に成功した。

模擬実験

seed=20261102、各条件1万回。10ブロック・21ケースで真の平均差を0とし、各ブロックに共通の正規変動(SD=50)と各実行の独立した正規誤差(SD=1)を加えた。前後に共有するブロック効果は対応差で相殺される。

指標 実測割合
1ケースの両側t検定による誤検出 5.084%
21ケースのどれかを誤検出・補正なし 66.56%
21ケースのどれかを誤検出・Holm補正 4.83%
ケース別95%信頼区間が真の差0を含む 94.916%

独立・正規という前提を満たす模擬条件では、設定した5%/95%に近い挙動になった。別の条件として、ブロック間の差に係数0.8の定常AR(1)相関を導入すると、1ケースの誤検出率は**52.7%**となった。これは独立性の違反をクールタイムという設定値だけで無視できないことを示す例であり、実機の相関係数を推定したものではない。

実機での測定系検証

事前に hard-x2-second と auto-mix の2ケースを選択し、10ブロック実行した。比較族はこの2ケース。変更前は a5a2f1642c886487fc4e83eb41c67fd38def6943、変更後はパラメーター換算再利用の ba3278f7bc34ac17a88cb367804606266ea492a2。同一ハーネスとフラグで固定コピーしたソースからコンパイルした。

Intel Core i9-14900K、Linux x86_64、CPU 0固定、Rust 1.99.1、Python 3.11.2。48 kHz、256サンプル、seed=20261102。全40実行の最短burn-inは3.000153秒、9区間の最短クールタイムは5.000159秒、ブロック実行の合計は174.017秒。前後と全反復で音声ハッシュ・ピーク・RMSは一致した。

単位はns/ステレオ1サンプル。差は変更後−変更前、標準偏差は標本標準偏差。

ケース 対象 平均 標準偏差 中央値 最小 最大
hard-x2-second 変更前 117.9269 0.2930 117.8335 117.6211 118.3493
hard-x2-second 変更後 118.5182 0.3437 118.4336 118.1964 119.2372
hard-x2-second 対応差 0.5913 0.4732 0.5327 -0.0973 1.4852
auto-mix 変更前 1005.3353 1.3870 1005.1178 1003.8536 1008.3685
auto-mix 変更後 1054.7948 176.3403 999.4096 997.0610 1556.6584
auto-mix 対応差 49.4595 176.4949 -5.8549 -8.7977 551.7533
ケース N 自由度 t 未補正p Holm補正p 平均差の95%区間 Shapiro p ラグ1相関
hard-x2-second 10 9 3.952041 0.00334435 0.0066887 [0.2529, 0.9298] 0.864311 0.3212
auto-mix 10 9 0.886171 0.398585 0.398585 [-76.7974, 175.7164] 1.25278e-07 -0.1242

hard-x2-secondは平均差+0.5913 ns(変更前平均の約0.501%)、Holm補正p=0.00669で低速化を検出した。auto-mixは第5ブロックの変更後が1556.66 nsとなり、ほかの変更後測定997.06〜1000.49 nsから大きく離れた。原因はこの測定から特定できない。値は除外せず集計したため区間が広がり、分布も強く偏っている。このケースのt検定の非有意を性能維持・改善の証拠として扱えない。PR #56は採用保留を継続する。

logs/assets/paired-performance-2026-11-02/paired-diagnostics.png

記録データ・根拠

Clone this wiki locally