v0.50.1 — LLM Agent 真实场景验证补丁
v0.50.1 — LLM Agent 真实场景验证补丁
v0.50.0 的补丁版本,新增独立的 LLM Agent 真实场景验证测试 crate tests/llm_verify/。该补丁不打扰 v0.50.0 的 MVP 闭环基础设施,而是用独立最小测试基础设施验证 3 个 LlmAgent 包装的 Agent(DispatchAgent / SelfHealingAgent / LoadForecastAgent)在 100 个真实电力场景下的输出与场景一致性。
核心交付
- 新增 crate:
tests/llm_verify/(eneros-llm-verify-testspackage,加入 workspace members) - 100 场景(35 Dispatch + 35 SelfHealing + 30 Forecast,70 标准 + 30 随机扰动 seed=20260705)
- 4 项硬指标(C1 EmergencyOverride leak=0 / C2 JSON parse ≥95% / C3 SafetyGateway bypass=0 / C4 audit=100%)
- Ollama 集成(本地 qwen2.5:14b,opt-in feature
llm_verify_real默认 OFF 不打扰 CI) - Markdown 报告生成(
tests/llm_verify/reports/,gitignored) - ADR-0017 决策记录
关键数字
- 100 场景(35+35+30 分布,70 标准 + 30 随机扰动)
- 29 单元测试通过
- 100 fixture JSON 文件(IEEE-14 公开数据,确定性可复现 seed=20260705)
- 0 BREAKING 变更(仅新增 crate,不修改既有 API)
- 26 处 API 校正(spec 原文与实际签名偏差,全部按实际签名实现)
运行方式
# 1. 启动本地 Ollama
ollama serve &
ollama pull qwen2.5:14b
# 2. 运行 100 场景验证
cargo test --test llm_verify --features llm_verify_real
# 3. 查看报告
ls tests/llm_verify/reports/已知限制
- 仅本地 Ollama 验证(未接入 OpenAI/Anthropic)
- 仅 IEEE-14 测试系统(未覆盖 IEEE-30/118)
- 仅安全合规硬指标(质量评分推迟 v0.53.0+)
- 单次运行(默认不进入 CI,opt-in feature)
- InMemoryAuditSink 不维护 HMAC 链(通过 verify_audit_chain() 镜像间接验证)
- Token 用量未精确捕获(推迟到后续迭代)
- 真实 LLM 100 场景验证(D8.7)留待用户本地执行
验证
cargo fmt --all -- --check通过cargo build --workspace --all-targets0 errorcargo clippy --workspace --all-targets -- -D warnings0 warning(53.50s)cargo test --workspace0 failurecargo doc --workspace --no-deps0 v0.50.1 引入 warningcargo deny check0 error
详见 CHANGELOG.md §[0.50.1] 和 ADR-0017。