Skip to content

v3.0.0

Choose a tag to compare

@alchaincyf alchaincyf released this 14 Nov 22:02

达尔文3.0把棘轮从「评文档」改成「盲评实跑产出」。核心循环、9维rubric、独立评委、git回滚、人工检查点、成果卡片都保留。

为什么改

2.x让评委读新旧两版SKILL.md投票。2026年的几项实证说明这把尺子量不到实际效果:

  • 读文档打出的分数与实跑增益的相关系数是−0.02和−0.03(arXiv:2608.20614)。
  • 按「看起来完整」选出的文档,在行为指标上是全组最差(arXiv:2609.12742)。
  • 精简型skill带来+19个百分点,面面俱到型只有+0.7(arXiv:2602.12670)。

这版改了什么

  • 行为棘轮:独立agent带新旧两版skill真的做任务,三位评委盲评产出,A/B顺序逐评委逐测试随机。9维评分只用于诊断和排序。
  • 先测对裸模型的增益:带skill和不带各跑一次。裸模型已经会的、带了反而更差的,先在报告里说清楚。
  • 平局归短的那版:严格更好才保留;打平且更短也保留;打平不更短、变差或检查项倒退就回滚。
  • 留出集验收:测试集分开发集和留出集,正文改动也要过留出集。
  • 脚本裁决:新增scripts/darwin.py(只用Python标准库),check零token体检、pair生成盲评材料、tally按固定规则计票并给出裁决。
  • 四种模式:体检、评估、进化、复测(模型升级后回归)。
  • 报告固定七段:结论、分数、实测、改动、已验证、未验证、剩余风险;证据分E0到E3四级。
  • SKILL.md从519行减到354行,评测细节下沉到references/eval-protocol.md,依据列在references/v3-evidence.md。

对使用的影响

  • 触发词不变。只想看一眼现状说「体检」,不花token。
  • 进化模式需要测试集:test-prompts.json至少2条开发集加2条留出集,最好带真实输入文件和可核对的检查项。旧格式的测试文件需要补split字段。
  • 进化模式会派多个独立agent实跑,token消耗比2.x的读文档评审高,换来的是结论能对上实际效果。
  • 需要python3;没有时按references/eval-protocol.md末尾的手工清单体检。

已知局限

  • 每个skill只有几条测试,只能发现大差异,小改进会被判平并回滚。
  • 评委仍是LLM;触发测试是模拟的。
  • 发布前的试跑只覆盖了2条开发集任务,留出集验收和触发测试两段没有完整实跑过。

致谢

  • #29(@dajiaohuang):skill路径不再绑定单一runtime,已合并。
  • #7、#18、#24、#25的反馈分别促成了报告里的已验证/未验证/剩余风险、带真实输入的端到端测试、安全扫描项的清理、零token体检。

更新

cd <darwin-skill所在目录> && git pull --ff-only