Skip to content

Releases: Tubo2333/bio-audit

Bio-Audit v0.2.1 — 规则质量修复(窗口 J)

Choose a tag to compare

@Tubo2333 Tubo2333 released this 16 Aug 05:43

Bio-Audit v0.2.1 — 规则质量修复(窗口 J)

在 v0.2.0 五阶段重构基础上:真实评测缺口修复(G-2)+ 规则质量修复(J:wilcoxon 词表对齐 / significance_threshold 新规则 / annotation L3 签名评估)+ 文档站上线(H)。

窗口 J 亮点:窗口 I 登记的规则层 2 项发现全部修复,采集层 1 项经评估如实声明依赖生态;golden 漂移全程 C4 留痕;连锁影响(benchmark/reward)全部实测留档。

窗口 J(2026-08-16,本版核心)

  • J1 wilcoxon 词表对齐(ruleset 1.2.0 → 1.3.0):G1.3/G1.1 词表对称补齐(wilcoxon 家族 5 词条全 L1,以 G1.1 语义为准,D2 MAST 同原则)——修复窗口 I 发现①(B 版黄金对照 L0 来自 G1.3 词表缺口兜底);golden 基线 C4 更新 2 决策(L0→L1,轨迹分不变);B 版黄金对照重评 63.0 blocked → 69.0 needs_correction(I 报告 §11.5 预警应验)
  • J2 significance_threshold 新规则(ruleset 1.3.0 → 1.4.0,39 唯一规则):scRNA 范式新增 G1.4-DEG-004(文献锚定 Conesa 2016 PMID 26813401 等,level 词表与 M1.3 对齐);本体扩 scRNA + padj_cutoff/logfc_cutoff 键(ontology 0.1.1);三版黄金 Agent 重评 significance_threshold L-1 → L3;新规则覆盖豁免登记(D5.12,批 3 补覆盖)
  • J3 annotation L3 签名评估:SingleR 无成熟 Python 实现(仅 BiocPy singler 0.1.x 早期绑定)+ 采集层无产物级一致性验证 → 如实声明不硬补签名,A 版保持 80.0 天花板;backlog 登记
  • 连锁影响(实测留档):benchmark 60 任务检出指标零变化(precision 0.745 / recall 0.820 / F1 0.781)、mean 0.5528→0.5542、gap +0.046→+0.048(预注册区间内);reward 校准 ρ 0.6179→0.6008、分层差 +0.3614→+0.3434(p=0.000 保持显著);pytest 235/235;三闸/四闸/五闸/capture-validate/MCP selfcheck 全 PASS;CI 双矩阵(Python 3.10/3.12)全绿

窗口 G-2(2026-08-16)

  • declared 四级可信源落地(采集层):call_arg > data_metadata > declared > unverified;Agent 上报键永远不进 declared
  • 规则平台键审查与放宽(ruleset 1.1.1 → 1.2.0):22 条 scRNA 规则 required_context 平台依赖逐条审查;GSE115978 平台查证定案 = Smart-seq2;required_context 列表 any-of 语义(engine 0.2.1)
  • 真实运行重评:有效分数 30.0 needs_correction(L0=0 / L1×7 / L3×1 / L-1×12)(总成本 ¥2.55),与 demo 轨迹 29 分 5 L0 口径严格区分

窗口 H(2026-08-16)

  • 文档站上线https://tubo2333.github.io/bio-audit/ —— 站点规范(数字口径纪律)、9 项导航、docs 目录组织、核心文档中英双语、Release 衔接、全站 0 死链

工程质量

  • pytest 235/235 · CI 双版本矩阵(3.10/3.12)云上全绿 · golden 回归 0 差异(J1 C4 漂移已记录原因,不静默)
  • ruleset 1.4.0(44 规则文件 / 39 唯一)/ ontology 0.1.1 / engine 0.2.1 —— 三元组快照可复现
  • 规则治理三闸 / benchmark 四闸 / reward 五闸门禁全 PASS

文档(文档站:https://tubo2333.github.io/bio-audit/)

安装

pip install -e .[dev,ui]      # Python >= 3.10
bio-audit run <轨迹.json>      # 审计
bio-audit golden               # golden 回归
bio-audit ruleset-validate     # 规则三闸
bio-audit benchmark-run        # 评测运行

Bio-Audit v0.2.0 — 五阶段重构完成

Choose a tag to compare

@Tubo2333 Tubo2333 released this 15 Aug 12:23

Bio-Audit v0.2.0 — Scientific Decision CI for Bioinformatics AI Agents

五阶段重构完成:从四套分裂演示 demo → 单仓库可迭代产品。三价值层(lint / benchmark / reward)全部落地。

状态更新(2026-08-16,窗口 G-2 / H):真实 Agent 评测链路已打通并重评——有效分数 30.0 needs_correction(L0=0 / L1×7 / L3×1 / L-1×12),总成本 ¥2.55;文档站上线(导航/双语/目录组织见 站点规范)。详细更新见 CHANGELOG

核心能力

  • 审计引擎:文献锚定规则引擎(43 规则文件 / 38 唯一),决策类型本体化(34 类型 + context schema),D5 bug 修复,分数单一事实源
  • 采集(lint):M1 主动上报 + M3 产物解析交叉验证(虚报/漏报检测),verdict 状态位(provisional/final/revoked),MCP server
  • 评测(benchmark):60 条任务集(3 范式 × 难度梯度),双标注 IRR(κ=0.8336),预注册协议(gap 区间/防泄漏/功效分析)
  • 训练信号(reward):映射宪法(非线性 0/0.30/0.60/0.85/1.00,-1 mask,L0 硬惩罚 γ=0.30),三配方消融,spike-in 强锚点

工程质量

  • pytest 234/234 · CI 双版本矩阵(3.10/3.12)全绿 · golden 回归 0 差异
  • 规则治理三闸 / benchmark 四闸 / reward 五闸门禁
  • 三元组快照(engine + ruleset + ontology)——任何分数可复现

使用

pip install -e .[dev,ui]
bio-audit run <轨迹.json>      # 审计
bio-audit golden               # golden 回归
bio-audit benchmark-run        # 评测运行
bio-audit reward <轨迹.json>   # reward 信号
python -m mcp.server           # MCP server(Agent 接入)

文档(文档站:https://tubo2333.github.io/bio-audit/)