enhancement: reference model provenance 從 audit anchor 升級為可驗證 pin（#34 verify 殘留）

[kiki830621]

Problem

#34 的供應鏈 pin 在語料側是密碼學級（revision → shard tar → per-clip → converted artifact 全 digest fail-closed），但 reference model 只到 audit-anchor 級：benchmarks/baseline-meta.json 記了播種當日 argmaxinc/whisperkit-coreml 的 HF repo revision（97a5bf9b…），可是 WhisperKit 於下載時解析 main、本機 CoreML cache 從未被 hash——無法密碼學驗證「產生 goldens 的權重」就是記載的那份。上游權重更新時，gate fail 的三因 triage（code / corpus / model drift）只能靠 revision 對照間接推斷。

Type

enhancement（supply-chain hardening）——#34 verify 殘留 2 的正式容器。

Expected

model artifact 升級為可驗證 pin，候選路徑（diagnose 定案）：

1. 下載層 pin：WhisperKit 支援指定 revision 下載（或 bestASR 自行 curl HF resolve/ 再餵給 WhisperKit）——最徹底，需確認 WhisperKit API 面
2. 本機 hash：播種/gate 時對 local mlmodelc bundle 內容算 digest 記進 baseline-meta，之後每次 gate 先比對——不擋下載但能偵測漂移（把「第三因」變成機械判定）
3. 上游 manifest：若 WhisperKit/HF 提供 per-file LFS oid，記錄之並在 gate 前 spot-check

Impact

上游 CoreML 權重靜默換版 → goldens 靜默失效 → gate fail 誤導向 code 追查（#34 design A3 早已警告的 triage 黑洞；目前緩解只有 revision 錨點對照）。

Context

• 源頭：feature: 三語言 regression benchmark 套件（en/繁中/ja）——繁中語料 + 擴充規模 + 版本間 CER/WER gate #34 verify F6（DA：「供應鏈唯一沒 pin 的環」）、closing summary Residue 3
• 既有落地：benchmarks/baseline-meta.json（audit anchor + 誠實註記）

Current Status

• Phase: open
• Updated: 2026-07-06

[kiki830621]

Closing Summary

Root Cause

供應鏈語料側密碼學級 pin（#34），但 reference model 只到 audit-anchor：repo revision 有記、本機 CoreML cache 從未 hash——gate fail 的三因 triage（code/corpus/model drift）中「第三因」只能間接推斷。

Solution

PR #74（squash efe0ac21）：scripts/pin-reference-model.sh 把 bundle 全檔 SHA256 記進 baseline-meta.json（播種機 24 files 已 pin）；regression-gate.sh 跑 benchmark 前先驗——mismatch＝model drift 的機械證明、fail loud 附 re-seed/re-pin 指引；未 pin 警告（TOFU，#52 WeightVerifier 模式復用）。

Verification Trail

Live 三面：24-file 通過／單 digest 篡改被抓（drift 訊息＋非零退出）／還原後再通過。實作中抓到 shell 真 bug：python3 - 的 script 位被 heredoc 佔用、pipe 資料被靜默丟棄（「pinned 0 files」）→ 改 temp file 傳遞、兩腳本同修。

Residue

• 候選 1（下載層 revision pin）未做——本機 hash 已把偵測面補滿；若 WhisperKit 未來開放 revision 下載 API 再議