Skip to content

v0.5.0 — 决策层 Phase A：类型决策矩阵 + 自包含架构 + 一键安装

Choose a tag to compare

View all tags
@fishzjp fishzjp released this 24 Aug 01:16
· 41 commits to main since this release
v0.5.0
556c1d6

v0.5.0 — 决策层 Phase A：类型决策矩阵 + 自包含架构 + 一键安装

上一个公开版（v0.4.0）证明了这套 skill 能把"看着专业、拿着没法执行"的测试产出变成可执行的。本版解决下一层问题：AI 自由发挥时根本不做测试类型决策——两个模型段位、30 个采样，零个逐轴的纳入/排除决策。新增「类型决策矩阵」决策层后，弱模型 0 → 0.88、中强模型 0 → 0.955。

本版亮点

1. 决策层 Phase A：类型决策矩阵（新）

测试策略升级为功能域 + 类型域两域决策：性能 / 业务安全 / 可靠 / 并发 / 兼容 / 无障碍 / 视觉 / 国际化 / 迁移 / 契约十个测试类型全轴必答——纳入必须挂信号、排除必须留痕（G+S 双清单）、full 档有预算上限，每条决策落盘为机器可校验的 type_scope（V1–V5 五条校验规则）。

  • 新增 core/test-type-matrix.md（十轴决策矩阵唯一真相源）与 core/scripts/scan_signals.py（G 级代码信号扫描 + 决策预填表，零依赖确定性输出）
  • test-strategy SKILL.md 重写：分轴组推进 + 受限选择 + 预填修订（面向弱模型的四个增益机制）
  • 配套：handoff 协议做实（专项移交包 + 结果回收表）、报告模板新增专项结果节、qa 新增预算裁决检查点
  • 设计全文见 docs/decision-layer-design.md

2. skills 自包含重构 + 三条架构红线

被多个 skill 消费的方法 / 格式 / 规则全部下沉 core/（设计方法四篇、用例格式、Schema 抽取、统一澄清格式、Schema 校验器），跨 skill 引用清零。新增并 CI 拦截三条红线：禁止跨 skill 引用、description ≤300 字符、产品自包含（不引用本地评测链路）。

3. 一键安装与仓库收敛

  • install.sh / uninstall.sh：自动检测宿主 skills 目录，支持拷贝 / 软链，安装时写入版本标识
  • 仓库收敛为 skills 产品本体 + 设计文档 + examples + 安装与 CI 链路；完整方法学与原始数据在本地评测链路维护，公开证据链改为每版 Release 附增益矩阵快照（见下）

4. 评测驱动的一批行为修复

弱模型行为修复群（逐模块推进硬约束 / 输出预算纪律 / 维度核对三条）、Bug 严重度 S 系消歧、部署双形态适配、澄清反向结果消除（On 检出 100% vs Off 85.2%）。

跨模型增益矩阵快照（v0.5.0）

核心指标（正式口径：异构裁判复评轮，12 任务，n=3）

指标 无 Skill 有 Skill
用例规格符合度 0.26 0.98
E2E 代码真实执行 0/3 可运行 1 全过 + 2×(2/3)
植入 Bug 检出率 — 75%（异构裁判；同源 100%）
产出质量（LLM judge） 0.70 0.76（Δ+6.1pp）
API 代码真实执行通过率 † 74% 52%
Token 成本 1× 3.3×

† 如实披露的反向结果：skill 要求的三件套严断言更易暴露失败。覆盖增益（异构裁判）：用例编写类 +8.7pp、全任务 +13.2pp、缺陷检出 +9.7pp，均显著。

决策层跨模型矩阵（本版新证据）

类型域决策任务族（5 任务，GT 双人独立标注复核，n=3，注入式上界口径，类别性判读）：

模型段位 模型 Off 类型决策查全 On（严格口径）
弱 deepseek-v4-flash 0.000（宽容口径亦 0） 0.880
中强 glm-5.2 ※ 0.000（15/15 无显式决策） 0.955（已解析样本；全样本 0.700 含 4 个空输出生成伪影）
  • ※ glm-5.2 同时是该任务族 GT 标注者之一（不知矩阵标注），双重身份如实披露
  • Off 零显式决策跨模型复现（n=30 采样零例外）：盲区在决策纪律而非类型知识——输出里"提到"了正确类型，但没有逐轴的纳入/排除决策
  • 需求未提、只存在于代码的信号轴：contract 0 → 8/9、reliability 0 → 5/6
  • 增益梯度 弱 > 中 成立，两段位决策质量均近顶；剩余差距分别是格式遵循（已修复）与生成预算（harness 侧），均非方法论问题

迭代记录：一行修复换 +0.35 查全（飞轮闭环）

首轮实测发现 47% 弱模型样本把决策写成块式 YAML 致解析失败（决策内容无恙，纯格式损耗）→ SKILL.md 落"每轴单行"硬约束 → 复验轮格式失败 7→0、查全 0.533→0.880。这是"实测发现 → 定位 → 修复 → 复验"闭环的第一圈完整记录。

污染检查（发布前，全过）

cutoff 核对（涉及模型知识截止均早于材料创建）、n-gram 扫描（本轮对外数字来源轮逐任务零告警）、canary（23 任务材料全覆盖）三件套通过，历史命中的 15 处维持 2026-08-21 基线人工裁决（可推导组合 + 方法论效应，非泄漏）。

升级注意

  • --link 安装用户：git pull 后必须重跑 install.sh——skill 目录已迁入 skills/，旧软链全部失效
  • 拷贝安装用户：替换整个仓库副本即可（安装后的宿主布局不变）

快速开始

git clone https://github.com/fishzjp/qa-skills.git && cd qa-skills
./install.sh            # 自动检测 ~/.agents/skills 等宿主目录

对 Agent 说一句话即可触发完整流水线："帮我测试这个需求：{需求描述 + 仓库地址}"；单阶段任务（写用例 / 审查 / 转自动化 / 回归范围）直接描述即可。宿主兼容性与 markmap 渲染指引见 README。

已知限制与下一步

  • 决策层数字为 5 任务族、n=3 类别性判读（注入式上界口径），待任务扩容后进 README 正式表；scan 预填注入臂在中强模型侧因思考模型预算伪影作废，待 harness 流式修正后重跑
  • 评测的注入通道将 skill 全部指令预注入，"有 skill"数字为指令全部在场的上界；in-situ 探针（n=1）未观测到衰减，更大样本在计划中
  • 成对评审三种裁判下平局率均超限，胜率指标作废（机制问题，非平局结果本身）
  • API 执行反向结果（52% vs 74%）的诊断与门处理按预注册纪律推进中

完整变更见 CHANGELOG.md。

Assets 2
Loading