v0.0.2

[v0.0.2] - 2026-09-16

新增模型质量评测模块——在「跑得多快、多贵」之外回答「答得对不对」，并补齐公开基准覆盖与统计置信度。

Added（新增）

模型质量评测（侧栏「测试」组 → 质量评测）

• 7 个确定性（L1）判分器：exact、contains、regex、numeric_tolerance、json_schema、multiple_choice、set_match——全部本地执行，零成本、可复现
• 内置 16 个数据集、223 道题：
  • 5 个上游公开基准的确定性抽样子集：GSM8K（20 题，MIT）、WinoGrande（16 题，Apache 2.0）、OpenBookQA（16 题，Apache 2.0）、SWAG（16 题，MIT）、MMLU（57 题，MIT，57 个学科各 1 题分层抽样）
  • 11 个自建数据集（98 题）覆盖全部 7 个判分器与中文能力：结构化信息抽取、指令格式遵循、字段抽取与规范化、集合枚举与去重、关键词与结构必含、中文逻辑推理、中文知识问答、中文数字计算与单位换算、文本分类、代码理解与工具调用、安全拒答
  • 出处与完整许可声明见 backend/src/services/qualitySeed/ATTRIBUTION.md；CMMLU 因 CC BY-NC-SA 4.0 与本项目 MIT 许可不兼容、TruthfulQA 因是生成式任务不适合字符串判分、ARC-Challenge 因实为 CC BY-SA 4.0 且曾被误记为 Apache-2.0，均刻意不收
• 体检报告：一个数据集 × 一个模型 = 一次 run，可串行聚合多个数据集为一份报告；给出通过 / 失败 / 未判定拆分、平均耗时与总成本
• 95% Wilson 置信区间：每个通过率都附 95% 区间与样本量（如 64.1%–94.3% · n=12），小样本或接近 0%/100% 时边界仍收在 [0,1] 内（backend/src/utils/stats.ts）；历史报告列表同样展示区间与 n
• 自定义数据集导入（JSONL / CSV），导入前返回行号级校验报告，不合法的行不会被静默接受
• 历史报告就地抽屉打开，报告可导出 CSV
• 生成脚本 scripts/generate-quality-seed.py 支持从 HuggingFace Parquet 重新生成公开基准种子（上游不可达时回退到已提交的种子，仍能产出有效文件）
• 内置数据集元数据双语：16 个内置数据集的名称 / 描述 / 出处说明都提供中英两份（英文以 nameEn / descriptionEn / noteEn 覆盖的形式随 API 返回），前端按界面语言取用，不再出现英文界面里飘中文；导入 / 自建数据集仍显示作者原文，不做机器翻译

失败语义与可靠性约定

• provider 调用失败记为 error 而非答错：通过率的分母剔除未判定题；全部未判定时通过率为 null（界面显示「无法判定」），绝不显示 0%
• provider 返回 200 但内容为空同样记为 error（errorCategory: 'empty_response'）；输出令牌触及上限时在判分依据里直接点名「输出预算被思考占满」，避免把配置问题算到模型头上
• 质量评测默认输出上限为 4096 token（上限不计费），保证推理模型不会因预算不足被误判
• quality_runs.dataset_snapshot 在创建时冻结样本，事后修改数据集不会改写历史报告

Changed（变更）

• 侧栏「测试」组新增「质量评测」入口
• README 与设计文档同步质量评测的规模（16 个数据集 / 223 题）与置信区间说明
• 许可合规修订：SWAG 的上游出处更正为 rowanz/swagaf（原链接 allenai/swag 为 404），WinoGrande / OpenBookQA 的许可声明补上依据出处；ARC-Challenge 核实为 CC BY-SA 4.0 后移除
• HellaSwag 移除：上游仓库 rowanz/hellaswag 于 2026-09-14 被 wikiHow 的 DMCA 通知下架（同日下载地址与 LICENSE 文件一并消失，既无法重新生成也无法复核许可），故连同其种子、生成脚本通道、许可声明与测试断言一并移除，并记入 ATTRIBUTION.md 的「刻意不收」表
• 内置数据集的元数据在每次启动时与种子重新同步（syncBuiltins）：只刷元数据（name / description / note 及其英文覆盖），冻结的题目不动；已不在种子里的内置数据集只告警、不自动删除（历史 run 仍指向它）
• 历史报告、成绩单与详情抽屉会把数据集名重新解析为当前界面语言（run 存的是创建时的语言）；数据集已被删除时才回落到冻结名
• Docker 镜像随附许可文件：LICENSE、NOTICE 与第三方数据集声明（ATTRIBUTION.md）一并打进镜像的 /app/licenses/，此前这些文件都被 .dockerignore 排除在构建上下文外
• 质量评测组件改用 antd 6 的 Space orientation（direction 已弃用），清除本次改动引入的弃用用法
• 版本号提升至 0.0.2

v0.0.1

Added（新增）

模板库

• 内置 20 个模板随库初始化写入：冒烟测试、延迟画像、吞吐与并发梯度、流式与批量对比、长上下文、成本审计、可靠性，以及真实业务负载（知识问答、长文摘要、代码生成、信息抽取、函数调用、创意写作、文本翻译、多轮对话、RAG、数学推理，以及多模态视觉基准）
• 自定义模板支持完整增删改查，一键载入工作流表单

模型身份核验

• 两个层级共 10 个指纹探针——T0 协议层（模型回声、非法模型的报错形态、logprobs 支持、JSON 模式、前缀缓存重放检测）与 T1 分词器层（固定探针文本在英文 / 中文 / 代码 / emoji 下的切分方式）
• 基线指纹取自你信任的端点；结论由硬性判定门给出（consistent / suspicious / mismatch / inconclusive / error），任一致命信号的权重高于任何加权总分
• 证据表逐项列出每个探针的基线值与实测值

竞技场

• 两个 provider/model 组合在同一提示词下正面对比，支持流式与非流式，支持通过图片 URL 或上传实现视觉输入
• 每次请求的 token 数、TTFT、tokens/sec 与响应时间；最近的运行保存在历史侧栏

引导

• 零依赖的 spotlight 新手引导，基于 data-tour 锚点；首次访问自动开始，各页面可重新打开

Changed（变更）

• 浅色玻璃卡片 UI
• 侧栏分组为测试（工作流、历史记录、模板库、模型库、模型身份）与工具（竞技场）
• 列表接口改为分页（默认 200，上限 500）；启动时与优雅退出时将孤儿 running 任务修正为 interrupted
• 可选的按模型计价（每百万 token 的输入 / 输出 / 缓存读取 / 缓存写入单价），用于驱动成本预估