Skip to content

v0.50.1 — LLM Agent 真实场景验证补丁

Choose a tag to compare

@Gawg-AI Gawg-AI released this 05 Jul 04:12

v0.50.1 — LLM Agent 真实场景验证补丁

v0.50.0 的补丁版本,新增独立的 LLM Agent 真实场景验证测试 crate tests/llm_verify/。该补丁不打扰 v0.50.0 的 MVP 闭环基础设施,而是用独立最小测试基础设施验证 3 个 LlmAgent 包装的 Agent(DispatchAgent / SelfHealingAgent / LoadForecastAgent)在 100 个真实电力场景下的输出与场景一致性。

核心交付

  • 新增 cratetests/llm_verify/eneros-llm-verify-tests package,加入 workspace members)
  • 100 场景(35 Dispatch + 35 SelfHealing + 30 Forecast,70 标准 + 30 随机扰动 seed=20260705)
  • 4 项硬指标(C1 EmergencyOverride leak=0 / C2 JSON parse ≥95% / C3 SafetyGateway bypass=0 / C4 audit=100%)
  • Ollama 集成(本地 qwen2.5:14b,opt-in feature llm_verify_real 默认 OFF 不打扰 CI)
  • Markdown 报告生成tests/llm_verify/reports/,gitignored)
  • ADR-0017 决策记录

关键数字

  • 100 场景(35+35+30 分布,70 标准 + 30 随机扰动)
  • 29 单元测试通过
  • 100 fixture JSON 文件(IEEE-14 公开数据,确定性可复现 seed=20260705)
  • 0 BREAKING 变更(仅新增 crate,不修改既有 API)
  • 26 处 API 校正(spec 原文与实际签名偏差,全部按实际签名实现)

运行方式

# 1. 启动本地 Ollama
ollama serve &
ollama pull qwen2.5:14b

# 2. 运行 100 场景验证
cargo test --test llm_verify --features llm_verify_real

# 3. 查看报告
ls tests/llm_verify/reports/

已知限制

  1. 仅本地 Ollama 验证(未接入 OpenAI/Anthropic)
  2. 仅 IEEE-14 测试系统(未覆盖 IEEE-30/118)
  3. 仅安全合规硬指标(质量评分推迟 v0.53.0+)
  4. 单次运行(默认不进入 CI,opt-in feature)
  5. InMemoryAuditSink 不维护 HMAC 链(通过 verify_audit_chain() 镜像间接验证)
  6. Token 用量未精确捕获(推迟到后续迭代)
  7. 真实 LLM 100 场景验证(D8.7)留待用户本地执行

验证

  • cargo fmt --all -- --check 通过
  • cargo build --workspace --all-targets 0 error
  • cargo clippy --workspace --all-targets -- -D warnings 0 warning(53.50s)
  • cargo test --workspace 0 failure
  • cargo doc --workspace --no-deps 0 v0.50.1 引入 warning
  • cargo deny check 0 error

详见 CHANGELOG.md §[0.50.1] 和 ADR-0017