Repository navigation
v3.0.0
达尔文3.0把棘轮从「评文档」改成「盲评实跑产出」。核心循环、9维rubric、独立评委、git回滚、人工检查点、成果卡片都保留。
为什么改
2.x让评委读新旧两版SKILL.md投票。2026年的几项实证说明这把尺子量不到实际效果:
- 读文档打出的分数与实跑增益的相关系数是−0.02和−0.03(arXiv:2608.20614)。
- 按「看起来完整」选出的文档,在行为指标上是全组最差(arXiv:2609.12742)。
- 精简型skill带来+19个百分点,面面俱到型只有+0.7(arXiv:2602.12670)。
这版改了什么
- 行为棘轮:独立agent带新旧两版skill真的做任务,三位评委盲评产出,A/B顺序逐评委逐测试随机。9维评分只用于诊断和排序。
- 先测对裸模型的增益:带skill和不带各跑一次。裸模型已经会的、带了反而更差的,先在报告里说清楚。
- 平局归短的那版:严格更好才保留;打平且更短也保留;打平不更短、变差或检查项倒退就回滚。
- 留出集验收:测试集分开发集和留出集,正文改动也要过留出集。
- 脚本裁决:新增
scripts/darwin.py(只用Python标准库),check零token体检、pair生成盲评材料、tally按固定规则计票并给出裁决。 - 四种模式:体检、评估、进化、复测(模型升级后回归)。
- 报告固定七段:结论、分数、实测、改动、已验证、未验证、剩余风险;证据分E0到E3四级。
- SKILL.md从519行减到354行,评测细节下沉到
references/eval-protocol.md,依据列在references/v3-evidence.md。
对使用的影响
- 触发词不变。只想看一眼现状说「体检」,不花token。
- 进化模式需要测试集:
test-prompts.json至少2条开发集加2条留出集,最好带真实输入文件和可核对的检查项。旧格式的测试文件需要补split字段。 - 进化模式会派多个独立agent实跑,token消耗比2.x的读文档评审高,换来的是结论能对上实际效果。
- 需要
python3;没有时按references/eval-protocol.md末尾的手工清单体检。
已知局限
- 每个skill只有几条测试,只能发现大差异,小改进会被判平并回滚。
- 评委仍是LLM;触发测试是模拟的。
- 发布前的试跑只覆盖了2条开发集任务,留出集验收和触发测试两段没有完整实跑过。
致谢
- #29(@dajiaohuang):skill路径不再绑定单一runtime,已合并。
- #7、#18、#24、#25的反馈分别促成了报告里的已验证/未验证/剩余风险、带真实输入的端到端测试、安全扫描项的清理、零token体检。
更新
cd <darwin-skill所在目录> && git pull --ff-only