[Phase 1] 建立可复现的多 Agent Benchmark 基线

[Chloride233]

目标

用真实运行结果证明 CodePulse 能比较 Agent 的正确性、稳定性、成本与效率，而不只展示框架结构。

验收标准

• 固定任务集、模型版本、Prompt、环境与随机性配置
• 先完成 20 个任务 × 2 个 Agent × 3 次运行的低成本 pilot
• 根据 pilot 成本决定是否扩展到 200 个任务 × 3 个 Agent × 3 次运行
• 输出 pass@1、pass@k、pass^k、平均 token、成本、P50/P95 耗时和失败分类
• 提供一条命令复现实验并生成 Markdown/HTML 报告

简历证据

保存实验规模、核心对比结果、报告链接和可复现命令。

[Chloride233]

2026-07-12 进度

• 第 1 项：锁定 Benchmark pilot 实验协议
• 配置并校验两个真实 Agent 后启动 pilot

协议已写入 docs/benchmark-pilot-protocol.md（pilot-v1），锁定内容包括：

• HumanEval 固定 20 个任务
• 2 个 Agent × 每任务 3 次，共 120 个 Trial
• 固定模型版本、Prompt、任务集、CodePulse commit、依赖与 Docker 镜像 digest 的开跑门禁
• pass@1、pass@3、pass^3、Token、成本、P50/P95 耗时和失败类型口径
• USD 20 总预算、USD 10/Agent、USD 0.20/Trial，以及模型漂移、成本预测和连续基础设施故障等中止条件

本次只完成协议文档和静态验证，未启动任何付费或大规模实验。

说明：Issue 原验收项暂不提前勾选。仓库目前只有一个真实 Agent profile，且 deepseek/deepseek-chat 是可漂移别名；必须先补齐第二个真实 Agent，并把两个模型钉死到可验证版本及 SHA-256 运行清单后，才满足正式开跑条件。

[Chloride233]

2026-07-12：第 1 项验收完成

已将锁定的 pilot-v1 协议和回归测试提交并推送：

• Commit: 494b4e2
• 协议：docs/benchmark-pilot-protocol.md
• 测试：tests/test_benchmark_pilot_protocol.py
• 固定范围：HumanEval/0–19、2 Agent × 3 次、计划 120 Trial
• 固定口径：pass@1、pass@3、pass^3、Token、成本、P50/P95、7 类失败归因
• 冻结门禁：不可变模型版本、Prompt/任务/profile/lockfile SHA-256、CodePulse commit、Docker digest、固定种子与资源限制
• 预算门禁：USD 20 总额、USD 10/Agent、USD 0.20/Trial

验证结果：

• 协议回归测试：2 passed
• Ruff（新增测试）：通过
• mypy（新增测试）：通过
• Bandit：0 个高危（全库另有 5 个低危、2 个中危既有项）
• git diff --check：通过

简历证据已记录在协议第 8 节，并明确区分“已完成实验设计”和“尚未执行真实实验”，不把计划规模写成已完成成果。

下一未完成项是 20 × 2 × 3 的真实 pilot。当前开跑门禁仍缺两个可验证固定版本的真实 Agent profile、运行清单哈希、Docker digest 与付费预算确认，因此本次没有发起任何付费调用。

[Chloride233]

2026-07-13：真实 pilot 开跑门禁推进

已提交并推送纯离线 preflight：fe02227

新增 codepulse benchmark preflight，在任何付费调用前验证：

• 固定 pilot-v1、HumanEval/0–19、2 个 Agent、每任务 3 次、种子 20260712
• 两个 profile 文件及 SHA-256
• Provider、不可变模型版本、Provider 实际返回版本
• 数据源、20 任务清单、lockfile 路径及 SHA-256
• 完整 CodePulse commit SHA、Docker image digest
• 2 CPU / 2048 MB / 无网络 / 300 秒
• USD 20 总预算、USD 10/Agent、USD 0.20/Trial

验证证据：

• 新增及协议测试：6 passed
• Ruff：通过
• 新增核心模块 mypy：通过
• Bandit：0 个高危
• CLI help 与 git diff --check：通过
• 测试证明可拒绝可漂移的 deepseek/deepseek-chat 和被篡改的 profile 哈希

全库 mypy 仍有既有问题：LiteLLM/ Docker 类型 stub 缺失，以及 3 个 grader 的 dict 不变性错误；未混入本次改动。

第 2 项仍未勾选：尚缺两个真实 Agent 的固定模型版本、实际 manifest、数据/镜像 digest 和预算确认，也尚未产生 120 条真实 Trial。

[Chloride233]

2026-07-13：任务集与 Docker 门禁完成

继续完成了两项不产生模型费用的开跑准备：

固定 HumanEval pilot 数据

Commit: e851c2c

• OpenAI 官方源：datasets/humaneval/HumanEval.jsonl.gz
• 源 SHA-256：b796127e635a67f93fb35c04f4cb03cf06f38c8072ee7cee8833d7bee06979ef
• 固定清单：datasets/humaneval/pilot-v1.jsonl
• 清单 SHA-256：fd18c50d5e6aa3a7908cbc71b009fcb2bc00f1e1ba3cea104cada60f1979f294
• Loader 实测：20 个任务，严格从 HumanEval/0 到 HumanEval/19
• 修复旧脚本的第三方镜像依赖、嵌套 schema 和错误任务 ID
• 确定性重建命令：python scripts/download_humaneval.py --no-download

固定并离线验证评测镜像

Commit: 1d60dbd

• 基础镜像 digest：python:3.11-slim@sha256:e031123e3d85762b141ad1cbc56452ba69c6e722ebf2f042cc0dc86c47c0d8b3
• 工具版本固定：pytest 9.1.1、ruff 0.15.21、mypy 2.2.0、bandit 1.9.4
• 本地构建 ID：sha256:fcb59a48cd9017b030ebb32f2a7cddfba839b26c7137d3be16b60f986a919396
• 已在 --network none --cpus 2 --memory 2048m 下实际运行并验证 Python 3.11.15 和全部工具版本

验证：9 passed，Ruff 通过，Bandit 0 高危，两份数据 SHA-256 复验 OK。

第 2 项仍未勾选。剩余关键门禁是两个真实 Agent 的不可变模型版本/profile、正式 manifest、成本采集/中止 mock，以及付费预算确认。

[Chloride233]

2026-07-13：成本与故障中止门禁完成

Commit: 9d1400d

新增纯离线 PilotBudgetGuard，消费已有 Trial 的 cost_usd 和失败类型，覆盖协议全部自动中止条件：

• 成本缺失或非法
• 单 Trial 达到 USD 0.20
• 单 Agent 达到 USD 10
• pilot 总成本达到 USD 20
• 按已完成 Trial 均价预测总成本超过 USD 20
• 连续 3 次 provider/agent/sandbox 错误
• 至少 10 Trial 后基础设施故障率超过 10%

验证：14 个 Phase 1 相关测试通过，Ruff 通过，新增核心模块 mypy 通过，Bandit 0 高危。

协议中的“成本采集字段和中止逻辑通过无付费 mock 测试”门禁已勾选。尚未发起任何真实模型调用。

当前必须停在付费调用前：仍需确定两个真实 Agent 的不可变模型版本/profile，生成正式 manifest 并通过 preflight，然后获得 USD 20 预算确认。

[Chloride233]

2026-07-13：V4 Flash 峰谷时段未公布时的保守计价

Commit: 3f6936f

根据已提供的价格证据，pilot 已切换为 CNY 双档计价：

• 平时：缓存命中 ¥0.02、未命中 ¥1、输出 ¥2 / 百万 Token
• 高峰：缓存命中 ¥0.04、未命中 ¥2、输出 ¥4 / 百万 Token
• 高峰价统一为平时价 2 倍
• 总预算 ¥10、每 Agent ¥5、单 Trial ¥0.10

由于官方尚未发布具体峰谷时段：

• manifest 固定 schedule_status=pending_official_schedule
• 每个 Trial 计算平时价下界与高峰价上界
• 不伪造 pricing_tier
• 预算预测和自动中止一律使用高峰价上界
• 若运行中发布或改变时段/价格，则中止当前批次并用新实验 ID 重跑

验证：16 个 Phase 1 相关测试通过，Ruff 通过，新增核心模块 mypy 通过，Bandit 0 高危。测试复现 5k 未缓存输入 + 1k 输出时平时 ¥0.007、高峰 ¥0.014。用户已确认 CNY 10 总预算。

[Chloride233]

2026-07-13：V4 Flash 双 Agent smoke test 通过

有效执行 commit：b139669
证据 commit：bb14816

Agent	官方测试	Token	耗时	平时价	高峰价
direct	1 passed	3,238	5.439s	¥0.003915	¥0.007830
iterative	1 passed	9,510	10.771s	¥0.010930	¥0.021860

有效 smoke 合计：12,748 Token、16.210 秒、¥0.014845–¥0.029690。两者均远低于单 Trial ¥0.10 门禁。Iterative 相比 Direct 约 2.94 倍 Token、1.98 倍耗时。

完整证据：results/pilot-v1/smoke/README.md

付费 smoke 前后发现并修复了四个会污染正式结果的 Harness 根因：

1. HumanEval 只定义 check(candidate) 而未调用 entry point，导致假通过。
2. 含 / 的 Trial ID 无法保存。
3. Prompt 要求绝对 /workspace/solution.py，但 tar 写入契约只支持相对路径，导致答案未覆盖。
4. 仅功能 grader 时最高只有 30 分，却错误套用全维度 80 分阈值，导致官方测试通过仍被判失败。

无效尝试保存在 direct-aborted-pre-success-fix/，未混入有效 smoke 指标。

第 2 项尚未勾选：正式 120 Trial 前仍需实现交错双 Agent runner，将 CNY 平时/高峰成本上下界、模型版本和预算守卫直接写入每条 Trial。

[Chloride233]

2026-07-13：Phase 1 pilot 验收完成

正式证据 commit：403c729

实验规模：20 个 HumanEval 任务 × 2 个 V4 Flash Agent × 3 次 = 120 Trial。全部完成，0 个中止原因，Provider 返回模型版本全程为 deepseek-v4-flash。

Agent	pass@1	pass@3	pass^3	平均 Token	P50/P95	高峰成本上界	失败
Direct	96.7%	100%	90%	2,522.0	3.634/6.211s	¥0.356820	2 wrong_answer
Iterative	100%	100%	100%	4,735.8	5.535/10.012s	¥0.642084	0

合计高峰成本上界 ¥0.998904，仅使用 ¥10 预算的 10.0%。

结论：Iterative 用约 1.88 倍 Token、1.80 倍成本和更高延迟，将 pass^3 从 90% 提升到 100%。费用上允许扩展到 200×3×3，按高峰均价线性估算约 ¥14.98；当前决定先审查两个 Direct 失败样本，再单独冻结第三 Agent 与扩展预算，不立即扩跑。

证据：

• 原始 120 Trial：results/pilot-v1/runs/20260713-v1/trials.jsonl
• Markdown：report.md
• HTML：results/pilot-v1/runs/20260713-v1/report.html
• 运行 manifest：results/pilot-v1/runs/20260713-v1/manifest.json
• 执行 commit：7c74282597be0d988ea99482d037a7096021d3d4

复现并自动生成 Markdown/HTML：

set -a; source .env.local; set +a
python -m codepulse.cli benchmark pilot-run \
  --manifest experiments/pilot-v1/manifest.json \
  --output-dir results/pilot-v1/runs/<new-experiment-id> \
  --repo-root .

验证：34 个相关测试通过，Ruff 通过，Bandit 0 高危。

[Chloride233]

2026-07-13：Phase 1 正式收尾

Phase 1 已通过 PR 合入主线，不再仅停留在实验分支：

• PR：#5 feat(benchmark): publish reproducible V4 Flash baseline
• CI 收尾 commit：7dac8bb
• merge commit：81e466f
• master CI：run 29226236525

远端门禁全部通过：

• Ruff + mypy strict：通过
• Bandit：0 高危
• Python 3.11：通过
• Python 3.12：通过
• Vue 前端构建：通过

本地复验：680 passed、6 个需真实 Docker 的集成测试跳过，覆盖率 78.75%；Playwright 使用本机 Chrome 验证总览、任务、对比、轨迹、进化 5 个路由及 Task Detail 行交互，未出现空白页或页面运行时错误。

收尾同时修复了会阻止任何 PR 变绿的既有问题：pytest 摘要解析、非 Trial JSON 误加载、相等分数误判、tmpfs 快照测试、Click 8.4 无参数行为、Docker SDK strict 类型、缺失的前端 utils.ts 及未锚定 lib/ ignore 规则。Bandit CI 与项目规范统一为“高危为零”。

可用于简历的证据

在 20 个 HumanEval 任务上完成 2 个 DeepSeek V4 Flash Agent × 3 次的 120-Trial 可复现实验；Iterative 将 pass^3 从 90% 提升到 100%，代价为约 1.88× Token 和 1.80× 成本，总高峰成本上界 ¥0.998904。实验原始数据、不可变 manifest、Markdown/HTML 报告、PR 审查链和 Python 3.11/3.12 全绿 CI 均已进入 master。

Phase 2 后续实现已暂停，待 Phase 1 收尾完成后再继续。