[測試·P1] VY 鏡片判準對抗稽核：golden set + cwc audit.md 三層稽核

[atomchung]

背景

Learning repo 2026-07-05 對讀 Anthropic 官方 cwc-workshops 時發現 rightmodel workshop 的 eval 稽核清單（216 行，框架無關），多項直接適用 VY 鏡片的判準品質稽核。鏡片是產品核心，判準品質＝「eval 瓶頸是判準不是工具」的實戰場。

目標

對 VY 鏡片建立對抗稽核，讓「鏡片會不會誤判」有機械答案，而不是靠執行當下的 self-check 自律（#82 同根源）。

工作項（從 audit.md 挑適用的）

1. Golden set Tier 1 程式化掃描：重複率／label 平衡／schema 破損。沒有 golden set 就先建 20–50 筆，含 probe 邊界案例（零 probe＝只跑過 happy path）
2. 對抗性 CSV 集：極端案例餵鏡片看誤判——拆股、多幣別（[P2·邊界] 非美股/多幣別:台股港股 CSV 會靜默算錯 — 至少明示邊界 + 偵測警告 #51）、靜默丟資料（[P2·誠實] 輸入層靜默丟資料:load() 無「讀入/跳過」計數,與卡面的數字誠實不一致 #50）等已知邊界＋刻意構造的 wrong-but-plausible 案例
3. per-task auditor：用 audit.md 附的 JSON prompt 模板逐題 flag：ambiguous / gold_suspect / grader_too_strict / grader_too_lenient / trivially_cheatable
4. known-good / known-bad 煙霧測試：oracle 輸入該全過、null baseline 該全掛——不過就是判準壞了不是資料壞了
5. spot-check failures：抽讀被鏡片標「有問題」的復盤案例，若 >1/10 其實是判準錯，先修判準再談覆蓋率
6. 鏡片若含 LLM judge call：餵 known negatives（空輸入／自信答錯題）確認會 fail；rubric 要 concrete 可 check，不是 vibes

參考

• audit.md 本機路徑：/Users/atomo/Side_project/cwc-workshops/rightmodel/.claude/skills/eval-audit-and-sweep/references/audit.md
• 對讀筆記：Learning repo notes/cwc-workshops-cross-read.md（新增量②）
• 相關 issue：[測試·P1] headline 選卡是「測試自己測自己」+ severity 無錨:tier 權重翻轉、稀釋 10 倍都全綠存活 #63（headline 選卡自我測試＋severity 無錨——本稽核可一併回答）、[design] SECTOR_BENCH 封閉同義詞表跟不上開放式 sector 標籤生成,降級靜默且不進 data_integrity #92（SECTOR_BENCH 降級靜默）、[design] 卡片呈現一致性完全依賴執行當下的 self-check 自律,沒有機械式強制 #82（一致性靠自律）

來源：Learning repo Fable 視窗掃描優先序第 3 條（notes/fable-limited-window-strategy.md）

🤖 Generated with Claude Code

[atomchung]

認領聲明：本輪交付「判準層設計規格」（Fable 視窗任務：判斷密度高的設計，執行留給後續 session）。下面把「鏡片會不會誤判」從 vibes 變成可判定規格；執行接力點在文末。對位材料：cwc audit.md 全文 + vincent-yu.lens.json + 12 個 mock + eval-design.md。

---

1. 「鏡片誤判」先分層——gold label 錨在哪一層

誤判可以發生在三層，混著測會變成 audit.md 說的 "one capability per task" 反面（掛了不知道哪層掛）：

層	誤判形態	已有防線	本稽核的角色
L1 機械層（engine）	數字錯／行為事實歸錯維度	5 套單元測試	golden set 的 gold label 錨定在這層（TR_JSON 可機械判定）
L2 判準層（rubric ↔ dims 映射 + motive_q 設計）	判準本身預設錯的動機框架；判準覆蓋缺口	無（#82 靠自律）	本稽核主體，見 §3
L3 執行層（Claude 四步流程）	對話後仍誤判（用戶推翻沒被聽見）	eval-design.md B 系列差分（B-3 推翻者）	不重複造，只補「第三動機」case（§3-C）

設計決策：golden set 的期望值寫「機械層該偵測哪些維、headline 該是哪維、哪些維不准觸發」，不寫「該產什麼卡」——卡有 Claude 自由度，不可機械判定。test_sample_styles.py 已隱式做這件事，Tier 1 = 把 12 個 mock 的隱式期望顯式化成標註 schema，再擴到 20–50 筆。

2. Golden set Tier 1 標註 schema

{
  "csv_path": "golden/dca-not-averaging-down.csv",
  "persona": "指數定投者",
  "expected_dims_fired": [],
  "forbidden_dims": ["加碼攤平"],
  "expected_headline_dim": null,
  "probe": true,
  "probe_type": "false_positive_bait",
  "core_rubric_tested": ["A2"],
  "valid_motives": ["計畫內定投", "再平衡", "新資金配置"],
  "notes": "月定額 12 筆、金額固定、跌漲都買——機械層若觸發攤平維即誤判"
}

關鍵欄位的理由：

• forbidden_dims：audit.md both-directions coverage——現有 12 mock 幾乎全是正例（只有 oldecon 是揚長卡），「不該觸發」目前無人測；一個永遠觸發的鏡片在現有測試下滿分。
• probe_type：false_positive_bait（表面像洞、實質不是）／false_negative_camo（表面乾淨、實質有洞）／threshold_edge（閾值上下 1% 差分對）。零 probe = 只跑過 happy path（issue 原文）。
• valid_motives：對位 per-task auditor 的 ambiguous flag——該案例合理動機 >2 個而 motive_q 只給二選一時，flag 判準（見 §3-C）。
• core_rubric_tested：讓 rubric 覆蓋率可量化（見 §3-A）。

Tier 1 程式化掃描（audit.md §1 Tier 1，一支腳本）：重複率（同結構 CSV 只差 ticker）、expected_headline_dim 分佈平衡（7 維各 ≥2 例，否則 headline 選卡在稀少維上未經測試＝#63 的 severity 無錨問題持續）、schema 破損、probe 佔比（建議 ≥1/3）。

3. 判準層稽核——三個已可交付的 findings

A. rubric→dims 映射缺口（本輪最重要發現）

28 條判準中只有 9 條被 7 個引擎維度引用（A1 A2 A4 B1 B2 C2 D1 E2 G1）。剩 19 條分兩類，待遇應不同：

• 本質不可從 CSV 偵測（C1 事前規則、D2 情境→動作、D3 可證偽、H 系認知誠實、S 系情境型…）：合法缺口，但應在 rubric 檔顯式標 detectable: false，否則每次稽核都要重推一遍哪些是故意不測的。
• 可偵測但無維度（真缺口，golden set 應含其 case 以證明缺口代價）：
  • G2 連勝加倍：可從交易序列算（N 連勝後部位倍率），rubric 有原話、lens 無維度——構造「10 連勝後第 11 筆 3× 加倉」case，現引擎必漏
  • F1 賠率不對稱：可從已實現盈虧分佈近似（平均賺 vs 平均賠）
  • A3 同源雜訊：driver_map 已有基礎——「20 檔同 driver 同日建倉」= 同源訊號 proxy，與 B2 假分散不同（B2 看存量集中、A3 看決策獨立性）

建議產出物：rubric/vincent-yu.md 加一張「條目 × 可偵測性 × 維度」對照表，把映射從隱式變顯式（#113 跨檔同步問題的同根源：隱式契約靠人記）。

B. 對抗 CSV 構造矩陣（issue 工作項 2 的具體化）

已知邊界（拆股 #93/#98/#108、多幣別 #51、靜默丟資料 #50、同日同價 #14、先賣後買 #15）之外，補判準語意層的 wrong-but-plausible：

構造	probe_type	測什麼	gold label
月定額 DCA、漲跌都買	false_positive_bait	攤平維把「計畫性」誤判成「凹單」	forbidden: 加碼攤平
獲利再平衡減碼（賣強補弱回目標權重）	false_positive_bait	出場紀律維把再平衡誤判成「賺就跑」	forbidden: 出場紀律
12 月集中賣虧損股（稅務收割）	false_positive_bait	恐慌賣出誤判（日曆訊號 vs 情緒訊號）	forbidden: 出場紀律
小額高頻攤平（單筆全低於閾值、累計超標）	false_negative_camo	閾值繞過——判準看單筆還是累計？	expected: 加碼攤平
賣飛後更高價追回	false_negative_camo	複合洞（出場+FOMO 進場）單維各自看不出	expected: 進場 + 出場紀律
同 sizing、閾值上下 1% 差分對	threshold_edge	閾值穩定性（差 1% 結論翻轉是否合理）	一觸發一不觸發

C. motive_q 的二元結構風險（讀 lens.json 的獨立發現）

7 個 motive_q 全是「是 A 還是 B?」二選一（『算過最壞情況』vs『看好直接壓』／『新利多』vs『不想認賠』）。真實動機常是 C（新資金再配置、稅務、流動性需求）。eval-design.md 的 B-3 只測「推翻者」（否定 A 選 B 之外的既定劇本），沒測「第三動機」：用戶答 C 時，流程有沒有路徑收斂，還是硬塞回 A/B？建議：B 系列加一個 persona「第三動機者」，差分斷言=卡片敘事不得出現未經確認的 A/B 動機歸因。這直接對位 audit.md 的 grader_too_strict（正確答案被格式拒絕）。

4. 煙霧測與 judge 檢驗（issue 工作項 4、6）

• known-good：oldecon（已有）+ 新增一筆「教科書紀律」CSV（事前規則、部位均勻、driver 分散）→ 7 維全不觸發、產揚長卡。known-bad：mock_trades.csv 已是。null baseline：空 CSV / 單筆交易 → 必須走 insufficient_data=true（A-10 已斷言，接進 golden set 即可）。
• judge 檢驗（tests/agent/judge_narrative.py）：餵三個 known negatives——空卡、複製 thesis_questions 原文的卡（違 A-1）、自信但維度張冠李戴的卡——確認 judge fail。若 judge prompt 是「這張卡好嗎」式 vibes，改成逐性質獨立 check（audit.md：atomic checks over holistic scores）。

5. 執行接力點（本輪不做，留給後續 session）

1. 造 golden set 20–50 筆（§2 schema；12 mock 顯式化 + §3-B 對抗集優先）——機械活，便宜模型可做
2. Tier 1 掃描腳本 + check_card.py/check_state.py（eval-design.md §2 harness 對位）
3. per-task auditor（audit.md §1 Tier 3 JSON 模板）跑全 golden set——N 次便宜模型呼叫，跑前報預算
4. G2/F1/A3 維度是否入引擎：先用 §3-B 的 case 證明漏判代價，再決定（避免 [Phase 2] 市場背景自動注入：SPY/QQQ/VIX 週漲跌進復盤卡 #37 式「設計非必要 artifact」）

已假設（可推翻）：gold label 錨 L1、golden set 放 repo 內 golden/、第三動機 persona 命名——都可改。

🤖 Generated with Claude Code

[atomchung]

#159(eval = 判斷交派紀律框架)把本 issue 框成三層判斷的 (b) 有 rubric 的軟判斷層 最難的 rubric——VY 鏡片動機判定(凹單/逢低『判準』本身)的 ground-truth 建設。這層 eval 天花板 = judge 與人工 agreement;本 issue 的 golden set + audit.md 正是把「鏡片會不會誤判」變機械答案、抬高這個天花板的工程。