Skip to content

v1.7.0 — 🧪 概率变得有意义

Latest
Latest

Choose a tag to compare

View all tags
@KongFangXun KongFangXun released this 21 Oct 20:06
· 138 commits to main since this release
v1.7.0
84eec2a

v1.7.0 · 判定底座 · 阶段二（模型与校准）

🧪 让概率变得有意义——判定底座四阶段第二版（v1.6–v1.9）：RLCD 严格适当评分训练 · 分桶温度校准（独立校准集 + 隔离断言）· uncalibrated 声明纪律（无依据置信度不上决策路径）· 弃权第四态 · 三态对照双达阈判定 · 判据变更 HMAC 留痕。实测裁决：ECE 17/18 格达线；一致率 zh 0.425 / en 0.665 未达 0.70 ⇒ 阶段三暂缓（如实判定，接线排后续版本）· 破坏性变更：DecisionKind 枚举扩展。

TL;DR (EN): Making probabilities mean something — stage two of the decision substrate (v1.6–v1.9): RLCD training with strictly proper scoring rules, bucketed temperature calibration on a disjoint calibration set with isolation assertions, an uncalibrated discipline gate (unjustified confidence cannot reach the decision path), abstention as a fourth state, three-state comparison with dual-threshold verdicts, and HMAC-chained criteria-change events. Measured verdict: ECE passes in 17/18 cells; agreement misses the 0.70 line (zh 0.425 / en 0.665) ⇒ stage three deferred — an honest verdict, wiring lands in a later release. Breaking: DecisionKind enum extension.

⚡ Install / Upgrade

# 新装（五形态任选：FDE 插件 / Skill / MCP / CLI / GitHub Action）
curl -fsSL https://raw.githubusercontent.com/KongFangXun/sofagent/refs/tags/v1.7.0/install.sh | bash

# 已装用户升级到本版
npx @sofagent/audit@v1.7.0 --doctor

# GitHub Action（PR 自动审计）
uses: KongFangXun/sofagent@v1.7.0

🔨 核心变更

🎓 RLCD 严格适当评分训练

  • 三原语分派损失（noul 对数分数 / choice 对数+球面 / score RPS 序利用）——报真实概率得分优于偏离概率，极端口径非对称惩罚（报 0.99 判错罚得更重）
  • 失败模式三防线：RLOO 留一基线 / KL 锚 / 策略梯度降权；概率目标断言（硬标签 fail-closed 拒载）· 三档标注加权 · 训练前检查 + 可复现清单
  • CLI 可达：sofagent train rlcd --data <数据集> [--dryrun]（冒烟回路收敛读数 + 超 8 样本截断显式提示）

🌡️ 分桶温度校准

  • choice / score / noul 三原语分别拟合；score 保序（不破坏 RPS 优化出的档位结构）
  • 独立校准集隔离断言：同判据样本跨侧拒载（含平行细分象限），违规拒出读数——污染拟合不出门
  • 校准制品纯 JSON 独立于权重；缺校准信息 fail-closed 拒载

🚦 校准纪律门禁

  • 决策路径消费的置信度/概率阈值须带校准依据（校准集版本 / ECE / 拟合时间）或显式 uncalibrated——未标注不得上线路
  • check-calibration-claims.sh 接入 pre-push 发布链；既有置信度普查 11 条全部登记

⏸️ 弃权第四态

  • 弃权与 pass / warn / fail 并列（kind:'abstain'）；三源留痕（低置信 / OOD / 判据缺失）
  • 门槛按原语分档（传单一数字拒载）；ECE 未达阈时弃权不可关闭

📊 三态对照与双达阈判定

  • 零样本 / 训练后 / 校准后并列对照；一致率 ≥0.70（中英分列）与 ECE ≤0.10（分原语分语言）两线独立判定
  • not-measured 不得记达标（空集 / OOD / 单语言空侧一律哨兵，不产 0 充良——空侧不再白赚达线）
  • 实测：三 seed × 3,357 行 · ECE 18 格 17 达线（唯 seed 15 noul/zh 0.114 超线）· 一致率未达 ⇒ 阶段三暂缓；判据列示 CLI 可达 sofagent audit --criteria

📜 判据变更留痕

  • RULER_CHANGE 决策日志事件 + HMAC 链——尺子本身怎么改的也有账（六载体：判据/问句/阈值/代价/域/证据）
  • 品味样本偏离提取器（未达阈 disposition=archive-only 不进训练集）· 题集冻结锚（字节 sha 三方一致）

🛠 工具链与闸门加固

  • CLI 数值参数 NaN 拒载 · shortcut 审计位宽分组基线 · 回归 #150 维（17 结构锚）· 新增场景 S488–S493
  • 包间编译顺序双向依赖修复（静态类型引用 → 本地形态断言）；CI 四 workflow 全绿

✅ 质量验证

检查项 结果
npm test 6512 tests 全绿（workspace 口径 / 13 包）✅
acceptance-test 499/499 断言通过（417 场景）· SKIP: 0 · EXIT: 0 ✅
check-version 全绿（+ 双达阈冻结线值锚）✅
回归检查 84 维 ✅
release-gate PASS（2 轮收敛 + 主 session 零信任复验）✅
fresh-eyes 16 视角独立审查（19 项定性：12 误报 / 3 实锤修毕 / 2 存疑登记）✅
第三只眼 + 三态复核 3🟠+4🟡 全修 ✅ · 验收 83 条（73 满足 / 10 降级有据 / 0 未满足）✅
CI pr-check / verify / sofagent-audit / windows-ci 四 workflow 全绿 ✅

⚠️ 破坏性变更

  • DecisionKind 枚举新增 RULER_CHANGE——按未知 kind 拒载的旧消费方会拒新事件（fail-closed 设计预期，fail-open 消费方不受影响）
  • sofagent train 域新增 rlcd 动作（原有动作不变；无既有命令语义改动）

🔒 BugFix（上版遗留）

  • 空集 / OOD / 单语言空侧读数不再以 0 充良（not-measured 哨兵制——空侧不再白赚 ECE 达线）
  • choice 真值三种形态（数字下标 / 标签文本 / opt-id）归一比对，无法归一 fail-closed 拒载
  • 校准隔离违规时不再产出污染拟合（三原语全 not-fit）
  • 隔离断言补平行细分象限（同判据不同 sub 跨侧拒载）

🔗 深入了解

想看什么 链接
全部变更明细 CHANGELOG
审计规则与安全模型 SECURITY
上手指南 HANDBOOK
有问题 / 晒场景 Discussions

📖 详细开发日志

Assets 2
Loading