Skip to content

v0.3.0 —— 权威基准题库切换(GH #15)

Choose a tag to compare

@taliove taliove released this 29 Jul 11:58
· 282 commits to main since this release

头条

题库切换为 5 套权威基准套件:MMLU、AGIEval-zh、GSM8K、CRUXEval、IFEval(各 100 题,全规则判分)。升级后首次启动时,「套件停用即删」机制(ADR 0012)会硬删 pre-v3 旧套件与 v3 cap_* 套件及其运行与结果数据;中途态兜底(retireV3SuitesAtOpen)收敛「墓碑先于退役」的库。历史批次报告按剩余维度重算,在首个基准批次完成前渲染空板。

同期内容(自 v0.2.5 起 88 个提交)

  • 榜单实时排名、判分动态行内展开、评估成本呈现(GH #40#41#42
  • 图像协议监控:images_generation、images_edit(GH #31#32#34#38
  • 图像参数规则管理(GH #33
  • 批次级失败重试、并发答题池
  • 轮询可见性感知、状态总览快照与 ETag、Caddy 边缘压缩(spec 0015)

升级注意

先备份数据库;升级后立即触发一次全量基准批次以重建榜单。