Repository navigation
Replies: 2 comments
|
这个根因很有代表性:评审通道复用了会话自身的 provider/model,于是评审的可靠性被主 agent 的解码行为绑架了。step-5-preview 把 review prompt 当任务继续执行、返回正文加 我们做多专家对抗性审查时踩过同一类坑,几个当时有效的做法:
第 (2) 点尤其关键:评审器返回 200 却不合规,和评审器返回 400,对上层是两种错误,但当前都塌缩成了同一个 deny。 我们做对抗性代码审查时踩过同类坑 — SwarmAI. Discussion: 多专家对抗性审查系统 |
|
补一种同源但不同的失败形态:reviewer 返回的是被截断的 JSON,不是散文。 生产数据
完整答案应是 与 #8123 的区别:那边是 200 + 协议外的散文, 为什么可恢复
按该规则,上面三条截断全部恢复成功;而 最小补丁建议
前两条覆盖「协议内但不完整」,第三条覆盖「错误不可读」。 附带一个可判定信号关于「截断到底是不是输出预算造成的」:某适配器( 现状我在本地写了一个 方向上如果认可,我可以把它压成对 |
Uh oh!
There was an error while loading. Please reload this page.
Summary
permission preset = auto的会话里,每一次工具调用都要先过auto-review的评审请求;该请求使用会话自身的 provider/model。当会话跑在stepfun/step-5-preview(openai-completions,https://api.stepfun.com/step_plan/v1,reasoningEffort: medium)上时,评审请求 HTTP 200 成功返回,但模型不遵守「只返回一个 JSON 对象」的协议:它把 review prompt 当成主 agent 的任务继续执行,返回中文正文加<tool_call>工具调用标记。parseDecision()对这段文本直接JSON.parse抛错,failed()把异常变成对该调用的deny,后果是该会话里没有任何工具可用(bash/glob/ask_user_question全部被拒)。这与 #7773(Kimi + 写死
temperature: 0→ 评审请求 400 → 同样全堵)后果相同但根因不同:这里是 200 + 协议不合规,不是 400。生产证据
本机 desktop app
0.1.7-rc.2,2026-09-28 16:39–16:56 (CST) 两个会话切到auto后,11+ 次工具调用全部失败:把 preset 切回
danger-full-access后同一会话立即恢复正常,因此触发条件就是preset = auto,与工具种类无关。Reproduction
用一个一次性 profile(headless 模板 + 桌面端同一份 StepFun 路由),在
tools/pre-execute里以与 auto-review 完全相同的参数发一次评审请求(同一份REVIEW_POLICY、同一ENVIRONMENT/PROJECT_INSTRUCTIONS/FILTERED_HISTORY/PENDING_ACTION结构、temperature: 0),连续 3 次。reviewer 的 text block 前 80 字符如下(三次几乎一致):即 reviewer 返回的是「中文散文 +
<tool_call>开头的工具调用标记」,不是规定的单个 JSON 对象;JSON.parse因此以Unexpected token '我'或Unexpected token '<'失败。对照组(同一探针、同一 prompt,只换模型):
acloud/deepseek-v4-1-flash,3/3 返回keys=["risk","decision"]的合法 JSON。已排除 DSH 侧串流:另一个探针在
pre-execute里用任意 prompt 嵌套发起ctx.llm.stream(),能正常拿到自己的响应块(reasoning-delta 之后是 text-delta),主/评审 stream 没有混流。所以问题在模型对评审协议的执行,不在 harness 管道。代码位置
packages/experimental/auto-review/src/index.ts:563—const value: unknown = JSON.parse(text),对 reviewer 的 text block 直接 parsesrc/index.ts:591-614—readDecision()只允许「0..n 个 reasoning block + 恰好 1 个 text block」,随后parseDecision(final.text)src/index.ts:669—failed()把任何异常变成deny(its body was not executed)src/index.ts:634— 与 auto review 评审请求写死 temperature: 0,导致 Kimi 模型会话所有工具调用被拒 #7773 相同的写死temperature: 0Expected behavior / 想讨论的点
reviewer-failed(可重试 / 可降级 / 至少不阻塞会话)与reviewer-denied。response_format/ JSON mode),或在检测到<tool_call>、正文前缀时做一次受控重试?Environment
0.1.7-rc.2(Electron 44.0.0 / node 24.18.1 / macOS arm64)desktop,bundles 含@deepseek-ai/dsh-experimental-auto-review0.1.7-rc.2stepfun,apiopenai-completions,baseURLhttps://api.stepfun.com/step_plan/v1,modelstep-5-preview,reasoningEffort: mediumacloud,apiopenai-completions,modeldeepseek-v4-1-flashAll reactions