Skip to content

AVX2 FMA validation precision 2026 11 14

odashi edited this page Nov 16, 2026 · 1 revision

Filter入力の並列検証

過去の調査・実験ログです。本文の版・条件・結果は記録当時のものです。分類索引 · 技術資料

改善すべき課題:左右入力・Cutoff・サンプルレートの4値へ繰り返すfinite判定をまとめる。

AFX25は4lane浮動比較、AFX26はAVX2整数命令で指数部を検査する。Q範囲とレート下限の条件を維持する。両案ともFilterの数式・係数・積分器更新は元のままとした。

16個の境界値の5変数全組合せ1,048,576件と、乱数bit列1,000,000件を、FTZ/DAZの有効・無効の両方で検査した。各案4,097,152件の判定が元実装と一致し、Filterの既存10テストと追加1テストが成功した。

検査 scalar bit検査 AFX25 AFX26
signaling NaNを含む左右入力の受理 false false false
実行後のMXCSR例外flag 0 1(invalid) 0

入力bitは0x7ff0000000000001、他は有限の有効値とした。各実行前に例外flagを消去し、実行後に読んだ。実行環境のMXCSRは最後に元へ復元した。AFX26は浮動比較を追加せず、指数部が全1かを判定する。

AFX25の41ケース速度、AFX26の41ケース速度。それぞれ6ケースの有意悪化があり採用しない。

afx25-validation.json、afx26-validation.json、validation-flags.json、check-afx25.py、check-afx26.py、check-validation-flags.py。

調査の索引

Clone this wiki locally