Skip to content

v2.9.0 — 評測正確性修復(分數會變動)

Choose a tag to compare

@lianghsun lianghsun released this 13 Sep 10:29
· 8 commits to main since this release
520ab75

⚠️ 本版會改變評測分數。 含 metadata 欄位的資料集(GPQA、SuperGPQA、MMLU-Redux、vision_mcq)分數預期下降,因為先前的 prompt 夾帶了學科分類。與舊版分數不可直接比較,請重跑基準。

🔴 題目 metadata 被當成選項送進 prompt(#143)

文字與 logit 路徑以「排除 question/answer 後其餘欄位全印」組題目,導致 id、domain、discipline、category 進入 prompt。學科分類欄位等同免費提示,會高估分數。

shuffle_options 預設為 false,預設路徑就是壞的,且自 2.8.0 以前即如此。

僅解決選擇題路徑;非選擇題資料集(NIAH 洩漏 needle_depth、RAGAS 洩漏 answer_type)另行追蹤於 #146。

🔴 選項重排的兩個缺陷

  • #140:硬編碼 A/B/C/D。MMLU-Pro(A–J)、SuperGPQA 開啟 shuffle_options 時 E 之後的選項被靜默丟棄
  • #141:重排時丟棄 image_path,導致 vision_mcq + shuffle_options 評測到零題

🔴 system_prompt 只對 box/math 生效(#144)

其餘方法設了也不送。templates/regex_match.yaml 官方範本自己就設了 prompt 卻從未送出。vision 路徑更是在任何設定下都送不出。

⚠️ 設了 system_prompt 的非 box/math 設定,prompt 現在會真的送達,分數會變動。box/math 未設時不再送出空的 system message,既有分數可能小幅變動。

Changed

  • #142:TwinkleEvalRunner 兩份實作去重,四條 import 路徑維持可用
  • 新增 VisTW-MCQ 繁體中文台灣在地視覺評測(Milestone #23 Phase 1)
  • 新增 /run-eval 與 /add-benchmark 兩個 Claude Code skill

完整內容見 CHANGELOG。