Skip to content

v1.13.0:Skill 重写、评测体系、人工把关与复合命令

Choose a tag to compare

@EXIST-D EXIST-D released this 02 Oct 15:17
· 24 commits to main since this release

本版本完成改进方案的阶段 3 和阶段 4:重写 Skill 文本并建立评测,把“只有人能做的动作”变成结构约束,加入复合命令、新素材入口、学习闭环和 Web 升级。题库数据格式不变(V1/V2),无需迁移。

新增

  • 复合命令:ingest images → ingest submit → ingest finalize 三步完成截图入库(原 6 步);answer --commit;工作流、专题、练习、面试的 --commit;interview turn / interview review 让每道模拟面试题从 6 次调用降到 2 次。
  • 人工把关:answer-review --status reviewed 只能在交互终端亲自确认,Agent 无法代办;本地 Web 新增“人工审阅”按钮;CLI 记录的练习自评必须附用户原话(user_quote),保护规则同样保存原话;面试作答记录 captured_via,云端转写授权记录 granted_via。
  • 合并裁决:不确定的合并在 Web 中由用户判断,dedupe --resolve <run> 按用户裁决重新暂存后提交。
  • 可核查的引用:引用可附 evidence_quote,配合 answer --page-texts 校验原文确实出现在页面中;verify-citations 按需检查链接(唯一联网命令,拒绝内网地址,不改数据)。
  • 评测体系 evals/:80 条触发用例、17 个截图模板的金标、121 + 24(留出)对去重样本、10 个答案用例、打分脚本与发布门槛、评测记录和宿主验证记录;去重召回在 CI 中检查。
  • 新素材:web-intake 导入网页正文并按段落溯源(CLI 本身不抓取);B 站字幕 JSON;YouTube 滚动字幕自动合并并保留原始 cue 编号。
  • 学习闭环:export --format anki;可选 FSRS 复习算法;题目可关联原题链接;studyset plan 生成每日计划 .ics 日历。
  • 上手与界面:demo 生成示例题库(20 题,8 题附有核对过官方文档的答案);报告和 Web 支持英文;Web 暗色模式、练习刷新后可继续、支持 localhost、#question= 直达某题。

变更

  • SKILL.md 从 1.95 万字符精简到约 6,900 字符(8 条核心规则 + 路由表),端到端必读文档合计 2.94 万字符;references 去重、按 200 字符换行、去掉版本历史描述;测试会自动检查这些上限,以及路由表中的命令确实存在。
  • 去重候选检索去除问句套话并映射常见英文术语:recall@10 从 0.948 提升到 1.00(改动后编写的留出集从 0.917 到 1.00)。
  • app.js 重写为分段的可读代码,app.css 恢复为可读格式;CI 新增 ruff 检查。

验证

  • 287 项测试在 Windows / macOS / Linux × Python 3.10–3.13 上通过,并以旧快照格式再跑一遍;安装包检查新增 demo 与备份。
  • 在浏览器中用示例题库实测:合并裁决 → resolve → 提交、人工审阅、暗色模式、英文界面、练习续做、localhost 访问。
  • 尚未完成:触发评测未在真实宿主会话中运行;去重判定与答案评测尚无盲测记录。