Jev：根据指定文件变化评估任务进展——功能、效果与裁判对照

[songoow]

当前结论：指定文件变化采集与任务进展观察已实现，可靠纠偏尚未证明

当前实施与评审入口是 PR #4854，目标分支为 main，只包含基于实际产物的任务进展观察。PR 尚未合并。

本帖已按当前范围重写：此前的多方向排序比较和“只保留非主分支”的建议不再作为当前实施结论。讨论演进保留在中文决策记录 / English，这里说明当前功能、实际效果和未完成项。

已经做到： 在显式接入的刷新点读取真实前后产物，由独立 Jev 消费者评估，再提供可追溯的历史结果。支持开关、去重、预算、失败记录和分阶段计时。
还没做到： 可靠发现跑偏、自动拉回任务、提高最终完成率或减少无效工作。当前仅 off/shadow，不触发暂停或重新规划。

1. 具体实现了什么

功能	当前实际行为	达到的效果与边界
初始化观察范围	drift init 绑定 Goal 契约、精确文件、初始基线	不依赖 Agent 自写“我做了什么”作为唯一证据；契约和文件范围仍要由操作者指定
真实变化采集	drift refresh 包装已有核心刷新命令，读取前后限定文件及 delta	在已包装的调用点自动采集，关联真实 run；并非自动安装到所有原生会话
独立评估	drift drain 在另一个进程判断“目标关系”和“证据增量”	模型调用不进入核心事务；这是额外观察，不接管执行 Agent
去重与恢复	持久化事件身份、请求预留和结果；检查配置/契约变更	重复事件不会重复计数，已保存响应可在重启后复用；发送结果不明时不自动重复请求
可配置与回退	本地 off/shadow、出站开关、请求预算；key 只走 TYPESAFE_API_KEY	有 key 不自动启用功能；缺 key、认证失败、超时不改变原 Agent 流程，也不会自动启动备用裁判
结果读回	drift status 展示判断、未知、失败和耗时	有可复核记录，但记录不等于验收通过；状态输出不打印私人源码

完整操作、关闭与卸载见中文操作指南 / English。这次不包含 D2–D8、不修改核心选择器，也没有原生 hook 或前端/Lark 配置入口。

观察范围如何选择

初始化时用 --path 指定精确文件，例如 src/retry.py、tests/test_retry.py、reports/retry_probe.json。观察器读取清单中文件的前后内容及变化，另外使用 basis 中的目标、验收条件和显式证据引用，不自动扫描全仓或读取所有 Agent 上下文。最多 32 个选定文件，并有字节上限；清单外材料可能影响判断，不能假装不存在。

这限制的是观察器输入，不是 Agent 的编辑权限。Agent 可以在其他文件推进工作，因此 no_delta 不等于整个任务没有进展。读取测试报告也不意味着观察器执行了测试。当前实际便利是自动整理这些材料、保存可追溯判断；节省多少人工时间尚未测量。

2. 当前实现重测的结果

运行基于当前实现源码 2f4783bdd：固定 jev-1.13.0、标签概率阈值 0.6、默认 5 秒期限，五个小型构造场景各运行两次。输入包含前后限定源码与 delta；真实执行 Git、CLI、测试/探测及 API。标签在调用前固定，没有自动重试或本地缓存冒充调用。

指标	结果
新请求 / 可解析响应	10 / 10
超时 / 全部维度弃权	0 / 0
两次分类一致的场景	5/5
双标签严格匹配固定预期	4/10
客户端评估中位数	746 ms
同步采集额外开销中位数	334 ms
完整消费者进程中位数	824 ms

场景（两次结果相同）	目标关系	证据增量
实际重试实现	相关	新增证据
装饰性改名	未知	新增证据
必要失败测试	相关	新增证据
负结果探测	未知	新增证据
缺少外部 helper 实现	相关	新增证据

最关键的反例——装饰性改名——仍没有被识别为漂移。 四次响应的目标关系未知；十次均选择新增证据，说明这一批的增量判断没有区分预期反例。缺外部 helper 的“相关”也不能解释成“验收成立”。

4/10 是预设双标签的严格匹配，不是生产准确率 40%。目标相关、产物变化、验证证据增加存在口径差异；独立行为检查不一定包含在模型输入中，标签仍需独立裁定。重复一致不是正确性证明，接口可用也不等于任务受益。

计时阶段相互包含，不能相加；请求到响应头中位数约 646 ms，包括网络/服务端等待，不是纯推理时间。同步采集不是零开销，未测出 Agent 节省的时间。所有十份原 run 记录前后字节一致。

3. 工程验证与效果验证分开看

• 工程验证： 61 项包内测试＋35 项相关核心回归，共 96 项通过、无跳过；严格类型检查、Ruff、文档治理与链接检查通过；构建后的 wheel 在独立环境跑通真实 CLI 链路。
• 效果证据： 上述小样例只能说明当前输入/题型/模型组合的表现。尚无独立生产样本、完整 Agent 对照、提前发现轮数或无效工作减少量。
• 权限边界： 不改 Goal/Todo/验收/结算权威；不把高概率变成自动操作权限。L1 reliability-diagnostics 的无出站契约与本模型评估保持独立。

4. 为什么只做任务进展观察，以及下一步讨论什么

讨论从“规则保险丝有没有盲区”推进到“能否用独立证据更早发现问题”。其中已经修正两点：单个重复触发器漏检，不等于整个 LoopX 看不见；少量案例正确，不证明 Jev 是规则的严格超集。Jev 和独立 Agent 都可以承担额外判断，材料准备与问题定义必须和模型选择分开评价。

本次只提交可回退的任务进展观察工具，先让材料采集和结果核查有真实入口。是否收录这个可选工具，由 PR 评审决定；RFC #4749 的讨论稿收录不自动批准模型采用或干预。

接下来值得明确的是：

1. 如何独立定义“目标相关”“产物变化”“新增验证证据”，避免混成一个分数？
2. 补齐可归属验收材料后，是否能稳定检出装饰性工作，同时不误伤必要测试、研究和合理等待？
3. 相比原流程及独立 Agent 裁判，Jev 是否减少了复核成本或无效工作？

在这些问题有证据前，保持 off/shadow，不增加自动保险丝，不降低阈值追求更好看的命中率。

5. Jev、Codex 与 Claude 的裁判方法对照

这部分补充的是同一组十份小 diff 的判断器实验，Claude 是对原 Jev/Codex 对照的补测，不是第二组独立样例，也不是当前观察命令的效果数据。

裁判	最终告警匹配预期	客户端中位耗时	CLI API 时长中位数	每例平均报告/估算成本
Jev，三道 Noul	10/10	645 ms，HTTP 区间	—	约 $0.00003，历史估算
Codex	10/10	9.236 s，CLI wall	—	未报告
Claude Haiku	10/10	10.187 s，CLI wall	9.191 s	$0.00844，CLI 报告
Claude Sonnet	10/10	5.402 s，CLI wall	4.191 s	$0.00271，CLI 报告
Claude Opus	10/10	8.054 s，CLI wall	7.019 s	$0.00528，CLI 报告

已重新核对保存结果和脚本，完整模型标识、计时/成本口径和限制见决策记录的“裁判方法对照”。主要修正如下：

• 10/10 是最终告警匹配，不是所有子判断的准确率。Jev 用“行为变化概率低于 0.5 或 服务验收概率低于 0.5”告警，Agent 用对应两个布尔值。
• 第三道 Noul 实际是核对自报摘要 summary_supported，没有参与上述计分；不是当前实现的证据增量问题。输入也确实带了统一自报摘要和 tests_pass，不能说完全排除了自述。
• Claude 首轮单 turn 上限截断了 Haiku 6 条、Opus 3 条结构化输出；这些是无效调用，不能算模型判错。表格采用统一允许三轮的有效结果。
• 同一设计者的十个小样例（424–1095 字节），各单次运行；Codex 在较早时段运行。Jev HTTP 耗时与完整 CLI wall 口径不同，不支持纯推理加速倍数；成本也不是同口径实付账单。
• 不能据此得出“只有 Jev 能做频繁检查”“Sonnet 是最佳裁判”或“Agent 布尔值不能接保险丝”。这组结果只支持继续测试不同评估方法。

当前观察命令采用两道 Choice，没有实现这个 Noul 规则，也没有接入 Claude/Codex 升级复核。旧规则还可能误伤没有运行时行为变化的有效测试、文档和前置工作。应在同一批当前材料和独立标签上重新比较后，再决定是否采用。

English summary: PR #4854 targets upstream main with scoped task-progress observation only. Scoped capture, independent inference, deduplication/recovery, configuration and readback are implemented. Current checks returned 10/10 API responses and preserved the original run records, but did not detect the decorative-work counterexample. Exact label agreement was 4/10, not production accuracy. The tool remains off/shadow; reliable correction and task benefit are unproven. This discussion supersedes the earlier multi-direction/non-main implementation summary.

[songoow]

Update: the progress-review loop now closes inside LoopX, and the differential is reproducible in the repo. Draft PR #4854 has been extended on the same branch.

What changed:

• A default-off core capability progress-review-sentinel reads typed receipts from the optional observer. shadow records and shows them in loopx status; assist turns consecutive completed drift receipts into the existing autonomous_replan_obligation. An acknowledged replan re-arms it. No pause, gate or acceptance authority is added.
• The observer asks three Noul questions next to the two Choice questions and writes typed drift signals, never probabilities the core must interpret.
• loopx-jev sentinel compare replays a frozen 16-sequence matrix against committed recordings, so the numbers below reproduce in CI without a key.
• One end-to-end test runs the same real refresh-state sequence through off, shadow and assist: only assist raises the obligation, and a real acknowledged replan re-arms it.

Committed live recording (jev-1.13.0, 35 rounds):

	Typed repeat fuse	noul	choice
Drift sequences flagged (9)	0	6	4
Reaching the assist obligation	0	6	1
Real on-goal commits falsely flagged (7)	0	0	0

All six purely cosmetic sequences were flagged at round 1 and would raise the obligation at round 2; the periodic review waits for 20 durable runs. Median assessment latency 807 ms, p95 1.5 s, 1879 median input tokens.

What it does not do: cosmetic churn after a real implementation landed in the same file was not flagged (serves_acceptance stayed 0.62–0.90); one executed negative probe was flagged in two of three live runs; run-to-run noul detection varied 6–7 of 9; one of 35 answers in one run failed the strict decoder and closed as failed. Constructed gold labels come from their author. No claim of reduced wasted work; that needs an intervention study.

Details, boundaries and the full table: PR #4854 and loopx/capabilities/progress_review/README.md.