Skip to content

v0.2.0 · 数据集评测与历史报告对比

Choose a tag to compare

@894x 894x released this 10 Nov 20:12

LLM Test Studio v0.2.0

本次基于 v0.1.5,新增数据集评测与管理、历史报告对比,并改进 Kimi 协议验收和桌面使用体验。

数据集评测

  • 「快速测试」新增「数据测试」,与功能、性能、计划测试并列。支持已保存渠道和临时连接,以及 OpenAI Chat、OpenAI Responses、Anthropic Messages 三种协议。
  • 接入固定版本的 Inspect AI 和 Inspect Evals,内置 24 个评测条目,涵盖 ARC、GSM8K、AIME、MMLU、MMMU 等;不同年份、子集和提示范式分别列出,不代表 24 个互不相关的基准家族。
  • 每次提交保留独立运行记录、冻结配置、样本进度和每个数据集的报告,支持取消、查看逐样本题目/输出/评分,以及导出 JSON。
  • 「运行」与「报告」工作区统一展示数据测试记录,保留失败、取消和中断前已取得的结果。重启应用不会自动恢复模型调用。
  • 执行完成与能力得分分别展示;完成不代表能力达标,少量样本得分不能证明整体能力或模型身份。

数据测试在当前电脑执行,不使用远程 runner。首次使用需要安装 uv,再在页面准备锁定版本的 Python 3.12 环境。环境准备与数据下载不会调用模型;提交评测后的模型请求按渠道计费。每次最多选择 16 个数据集。操作步骤、限制与评分说明见数据测试指南。

数据集管理

  • 新增独立「数据集」工作区,可搜索目录,查看来源、下载状态、题数、文件数和缓存大小,并将所选条目带入数据测试。
  • 支持提前下载、取消、重试、校验及清理缓存。直接开始评测时,也会自动准备所需数据并复用已有缓存。
  • 下载与清理仅处理本功能管理的缓存;报告和原有全局 Hugging Face 缓存保持。存在未结束评测时,限制可能影响数据的缓存操作。
  • 保留中断状态并支持重新尝试;清理缓存不会删除评测报告。各数据集仍受其来源的许可证和访问条件约束。
  • 支持 Windows 临时目录的短路径别名,避免将同一缓存目录误判为越界;实际指向缓存外部的文件仍会被拒绝。

历史报告对比

  • 在报告列表勾选 2–8 份功能或性能报告,选择基准并查看差异;支持同一渠道不同时间的历史报告。
  • 按冻结的执行项、套件和用例身份对齐,保留缺测与测试条件变化。对比不使用当前目录重算历史结论。
  • 渠道批量测试与历史报告对比统一入口和矩阵呈现,支持套件分区、独立分页、渠道折叠与「仅看差异」。
  • 支持 HTML、PNG、PDF、JSON 和复制图片,视觉导出保留当前筛选及展开状态;修复独立 HTML 滚动和多渠道图片布局。
  • 数据集评测使用自身的样本报告阅读器,暂不加入功能/性能报告对比矩阵。

协议验收与内置目录

  • 新增 kimi-k3.1-pro 与 kimi-k3.1-pro-highspeed 内置模型,各支持三种文本协议。
  • 增加 Kimi 响应结构、流式结束、推理与用量一致性检查;将缓存 Token 用量与缓存响应头契约拆成独立用例,便于分别定位。
  • 根据官方 Pro 接口实测修正部分请求接受预期,并提高工具成功用例的输出预算。请求被接受不表示额外推理档位生效或实际输出上限增加;Highspeed 的对应行为没有由该实测确认。
  • 修复四份 K3.1 Pro/Highspeed 回归与高成本内置计划,使其逐个执行套件中的全部用例。相较旧版每个套件一次请求的预算,这会增加请求量;运行前请确认覆盖范围与费用。用户自定义覆盖和历史运行保持。
  • 当前内置目录为 1,099 个 Case、84 个 Suite 和 32 个 Plan;包含手动及停用场景,不能将目录总量等同于一次运行的自动覆盖量。

桌面与报告体验

  • 运行和报告增加套件/计划等筛选,统一搜索与工具栏布局。
  • 导航栏整合窗口控制,工作区加载错误可在界面内处理。
  • 改进报告状态、指标单位、紧凑摘要及回收操作位置,恢复套件分区并统一视觉导出。

升级、兼容性与回退

  • 从 v0.1.5 升级,本次不新增 SQLite 迁移,不改变公开 CLI、runner 任务协议、用户模型/渠道、Case/Suite/Plan 或原有快照和报告格式。其余受支持来源继续沿用兼容性政策中的升级路径;v0.0.01 的旧 schema 7 不在直接升级支持范围。
  • Benchmark 记录及下载元数据使用独立的版本 1 文件;未知、较新或损坏文件明确拒绝,不重置数据。备份工作区时应同时保留用户配置目录下的 llm-test-studio/benchmarks;数据集缓存可以重新下载。
  • 数据测试临时密钥只用于当前提交,不写入配置、历史或报告;从历史回填时需重新输入临时密钥。
  • 对比结果按需读取原报告,不修改封存结果,也不新增持久化对比实体。新对比 JSON 是独立的 schema 1 导出,原报告与批量分组 JSON 格式保持。
  • 回退到 v0.1.5 后,新增 Benchmark 目录不会被旧版读取或转换,原有业务数据沿用其支持范围。内置目录使用旧版自带内容;保留完整工作区备份和匹配程序,其他历史格式的降级限制继续沿用兼容性政策。本版本没有新增弃用或移除期限。

下载与验证范围

发布流水线先验证标签源码,再构建 Windows、macOS 和 Linux runner 产物。检查覆盖 Go 全量测试、vet、模块与协议契约、前端全量测试/lint/类型检查/构建、生产依赖审计和全历史密钥扫描;新增 Python 运行时另以本地确定性接口验证。

源码检查与打包不等于所有系统的原生安装、旧工作区恢复或真实供应商验收。Windows 发布者签名与 Apple 公证仍未配置。本次发布检查不运行付费供应商负载,也不声称 24 个数据集均已完成下载和真实模型评测。

使用文档 · 完整变更:v0.1.5…v0.2.0