Skip to content

v3.1.0:测试分工、推理档实测、模型落点、返工链与规格自查

Choose a tag to compare

@lordfine lordfine released this 15 Nov 21:37
· 1 commit to main since this release

这一版来自一次实际项目的复盘:一个实际项目三周里派了 138 张票。问题集中在测试拖垮本机、推理档位传了不生效、子代理悄悄落到最贵的模型、返工链串不起来、用量统计被污染这几处。

测试分工

  • 之前:大档票要求 worker 交付前自己跑全量,几个 worker 同时跑,本机卡到没法用;交付里只有一个“测试结果”,实现做完、只是测试没过也记成“失败”,复盘分不清是谁的问题。
  • 现在:worker 只跑定向测试,全量一律由主脑在 worker 会话外用排队脚本跑,被占就记进待补清单,不让 worker 等。交付模板拆成“实现 / 门禁 / 全量”三栏。改部署、回退或迁移的批次,集成后加一轮跨票审查,再用真实数据库导出副本跑“升级—回退—再升级”。

推理档位

  • 之前:手册只说“原生子代理不传 effort”,没说清楚怎么才能让子代理用更高的档,大家各自猜。
  • 现在:实测写进手册。具名角色的档位钉在组成员上,调用时传的不起作用;走 sonnet、fable 别名时,按 magpie 里该别名的 effort 发;工作流 agent() 把 model 写成带 levels 的角色组名再传 effort,会照传。Agent 工具的 model 只认别名,做不到这一点。

模型落点

  • 之前:没写 model 的子代理(general-purpose、不带角色的工作流子代理)在 subagent 档位没设时直接用主会话的 Opus,又贵又看不出来;有人给 worker 写 codex/<模型名>,绕过了组内兜底,落点检查也认不出角色。
  • 现在:手册写明子代理模型的取值顺序(调用参数 → agent 文件 → magpie subagent 档位 → 主会话模型),worker 的 --model 只写角色组名。落点检查会列出“直接写模型名”的会话和请求数,兜底偏高时附上实际模型明细。

用量统计

  • 之前:magpie 用量里 source=log 的日志导入行被当成派活请求算进兜底占比,数字偏高;订阅来源的每分钟名额满了以后,stays=turn 会让这一轮剩下的请求都留在兜底模型上,看起来像兜底失控。
  • 现在:落点检查过滤日志导入行;参考篇写明兜底的“粘滞”是正常现象,以及用量表里状态 0、时间是入队时间这些读数注意点。

返工链

  • 之前:新开 worker 返工时 Orca 不带续派标识,标题又各写各的,复盘时 138 张票的返工链一条都没串上;返工原因只有自由文字。
  • 现在:返工和续派的标题固定写成“批NN-票X 返工N”;规格开头加“本轮派给”一行,返工原因分三类(规格错 / 实现质量 / 门禁未过)。

规格质量

  • 之前:规格里写错文件路径或行号,worker 拿到才发现;几类反复出现的坑(收紧状态判断漏了写入点、改按钮文字没改浏览器用例、为跑通测试做的变通悄悄留在代码里等)每次都靠主脑记性。
  • 现在:规格模板加“派前自查”十条;新增 脚本/规格路径检查.py,派前核对规格里的路径和行号在基线上是否存在(只读;整行带“新建/新增”的会跳过)。

体检与执行机

  • 之前:worker 计数只看本机账上“running”的,派到远程执行机的 worker 被算成 0;组合文件里的别名档位和 magpie 实际不一致也查不出来。
  • 现在:体检分开报“本机账上 N(含派到远程机的)/ 远程机自己账上 M”,并对照 worker 上限;比对组合文件和 magpie 实际的别名 effort。参考篇支持登记多台执行机(本机 WSL 之外再加开发机)。

其他

  • 窄任务别派大:同一件事接着问用 SendMessage 续接,算术、计数本地算,诊断交付控制在 10 行左右。
  • 工作流里返回空(null)的审查员或核验者,那一块算“没覆盖”,不当成“没发现问题”。
  • 验收参考:Windows 侧加 import 冒烟;脚本和证据不放 /tmp;WSL 里没有浏览器扩展时用 Playwright。
  • Orca 参考更新到 1.4.258:去掉已失效的 fast 说明,worktree list/rm 要带 --environment,复用工作区不传 --name。
  • Codex 示例组合去掉 fast 后缀;别名 effort 和 subagent 档位改成和作者现状一致(都 medium、subagent 不设),并注释原因。