v2.9.0 — 評測正確性修復(分數會變動)
⚠️ 本版會改變評測分數。 含 metadata 欄位的資料集(GPQA、SuperGPQA、MMLU-Redux、vision_mcq)分數預期下降,因為先前的 prompt 夾帶了學科分類。與舊版分數不可直接比較,請重跑基準。
🔴 題目 metadata 被當成選項送進 prompt(#143)
文字與 logit 路徑以「排除 question/answer 後其餘欄位全印」組題目,導致 id、domain、discipline、category 進入 prompt。學科分類欄位等同免費提示,會高估分數。
shuffle_options 預設為 false,預設路徑就是壞的,且自 2.8.0 以前即如此。
僅解決選擇題路徑;非選擇題資料集(NIAH 洩漏 needle_depth、RAGAS 洩漏 answer_type)另行追蹤於 #146。
🔴 選項重排的兩個缺陷
- #140:硬編碼 A/B/C/D。MMLU-Pro(A–J)、SuperGPQA 開啟
shuffle_options時 E 之後的選項被靜默丟棄 - #141:重排時丟棄
image_path,導致vision_mcq+shuffle_options評測到零題
🔴 system_prompt 只對 box/math 生效(#144)
其餘方法設了也不送。templates/regex_match.yaml 官方範本自己就設了 prompt 卻從未送出。vision 路徑更是在任何設定下都送不出。
system_prompt 的非 box/math 設定,prompt 現在會真的送達,分數會變動。box/math 未設時不再送出空的 system message,既有分數可能小幅變動。
Changed
- #142:
TwinkleEvalRunner兩份實作去重,四條 import 路徑維持可用 - 新增 VisTW-MCQ 繁體中文台灣在地視覺評測(Milestone #23 Phase 1)
- 新增
/run-eval與/add-benchmark兩個 Claude Code skill
完整內容見 CHANGELOG。