v0.2.1 · 软件内更新与缓存验证

LLM Test Studio v0.2.1

本次基于 v0.2.0，新增软件内更新，扩展至最多 16 渠道对比，并完善 Kimi Partial、多模态和缓存与 TTL 验证。

软件内更新

• 界面设置新增「软件更新」，支持启动时检查稳定版、手动检查、跳过版本、下载进度、取消和重试。关闭面板后下载继续；安装前需要明确确认。
• Windows 安装版使用对应安装器，便携版由独立助手在程序退出后替换并保留旧程序。存在活动测试、后台工作或无法确认的任务状态时延后安装。
• macOS 下载并校验 DMG 后打开安装包，由用户完成拖放安装。
• 仅选择高于当前版本的普通稳定版；发布流程先上传完整草稿及校验文件，再公开 Release，避免下载未上传完成的版本。

v0.2.0 及更早版本没有软件内更新入口，首次使用请手动安装本版本。桌面更新不会自动更新远程 runner。下载通过固定 GitHub HTTPS 更新源和 SHA-256 校验；Windows 发布者签名、Apple 签名／公证及独立更新签名尚未配置。设计和恢复方式见软件内更新说明。

渠道对比与报告阅读

• 渠道批量测试及历史报告对比支持最多 16 个渠道／报告；改进大量渠道的导航、折叠、表头和视觉导出布局。
• 「仅看差异」按报告冻结的结论筛选，保留缺测及条件变化，不使用当前目录重算历史结论。
• 缓存报告分别展示「缓存读写」和「TTL」检查。读写通过但 TTL 证据不足时显示黄色警告，展开后可查看分项依据；字段冲突和实际错误继续失败。
• 请求详情分别展示脱敏的请求头、响应头、请求体和响应体；旧记录未采集头信息时显示「未记录」。
• 嵌套断言默认逐层折叠，保留当前层的预期、实际值和结论；统一紧凑操作按钮及提示。
• 同次读取复用已校验的快照和证据，减少报告重复解码；数据完整性检查继续保留。

Kimi 与视频验收目录

• 新增 Kimi Partial 综合回归及专项入口，覆盖 18 条 JSON 前缀与 KVV 流式场景；新增 K3 和 K3.1 Chat 多模态套件。
• Pro 内置回归计划升级为「Kimi K3.1 Pro 完整准入计划」，依次组合基础、参数拒绝、多模态、Partial 和缓存综合对账。原计划身份保持；同 ID 的用户覆盖仍优先，不自动追加成员。
• 三种文本协议的「Kimi 缓存与 TTL 综合对账」各包含 10 条 Case、14 次请求，同时核对 usage 和响应头。Chat/Responses 缓存专项不再要求 usage.total_tokens；其他缓存及协议断言继续执行。
• 新增三协议 JSON/SSE「1h 缓存延迟验证」：冷写后等待 6 分钟，原样读取并核对缓存量与 TTL 证据。新增 Chat「Kimi 缓存与 TTL 验证计划」，组合综合对账和延迟验证，共 12 条 Case、18 次请求；等待时间另计。
• 支持可相互核对的 header／usage TTL 分项，以及有完整零写入头佐证的部分零字段省略。只有总量时不推断 TTL；6 分钟后命中不证明完整 1 小时有效期，也不证明物理缓存身份。
• 六个旧 usage／响应头独立 Suite 退出新建任务的可选列表，但通过原 ID 继续解析已保存计划，保留原成员和输入语义；兼容适配暂无移除日期。
• Kimi K3／K3.1 四个 Chat 视频功能用例的输出预算从 512 提高至 4096。新增 Wan 2.5 的 480P／720P／1080P 三档代表值套件；该套件验证请求枚举，不验证实际产物像素。

新目录包含 1,122 个 Case、92 个可选 Suite、34 个 Plan。其中 807 个为已启用自动 Case、107 个为已启用手动 Case、208 个已停用；目录总量不等同于单次自动覆盖量。新增计划、延迟用例和更高输出预算会增加后续运行的请求量、等待或费用，执行前请检查预算。详见缓存专项说明。

升级顺序、兼容性与回退

构建工具链升级至 Go 1.26.11，修复 net/http 的 MaxBytesReader 响应头竞态导致 HTTP/1 服务器崩溃的问题（GO-2026-6859；Go 官方发布记录）。这属于标准库安全补丁，不新增用户数据格式或迁移；Wails 模块和 CLI 保持 v2.15.0。

本次以 v0.2.1 交付带能力门禁的显式扩展，保留已发布旧输入和历史数据支持；版本号不表示旧严格解码器能够读取新增字段。受影响边界包括 Case 定义、冻结任务／快照及其报告／归档，不新增 SQLite 结构或迁移步骤，也不修改公开 CLI 选项或退出码。

1. 等待在途任务结束，保存编辑，并备份完整工作区、用户配置和匹配的旧程序。既有受支持数据库来源继续按共享预检和迁移链处理；旧 v0.0.01 schema 7 不在直接升级范围。
2. 将所有需要读取新任务的桌面客户端及所用 runner 更新至 v0.2.1，再创建使用新功能的任务。远程 runner 需单独更新。
3. 多步骤等待／请求复用要求 sequence_steps；新断言策略要求 assertion_failure_status。未声明能力的执行器在投递前拒绝相应任务；HTTP 头采集通过 http_header_evidence 协商，未支持时保持原有缺省行为。

旧 Case／sequence 在不启用新增字段时保持原编码及超时行为；用户定义覆盖、记录身份、冻结快照和历史结论不因应用升级而重写。新更新偏好使用独立 schema 1 文件，未知或损坏内容拒绝且不覆写。旧目录引用的支持窗口及适配移除条件见兼容性政策。

需要降级时，恢复启用新增能力前的完整工作区备份及匹配程序。旧端不能直接读取含新策略、步骤或头证据字段的任务／报告；程序备份不能替代数据备份。恢复旧备份不包含其后的写入，不能用旧规则重算新结果。其他历史格式的降级限制继续适用。

下载与验证范围

• Windows x64：安装程序 · ZIP
• macOS Intel / Apple Silicon：Universal DMG · Universal ZIP
• Linux 执行节点：amd64 · arm64
• SHA256SUMS.txt · runner-manifest.json

标签工作流必须先通过 Go 全量测试、vet、模块和协议契约检查、前端全量测试／lint／类型检查／构建、生产依赖审计和全历史密钥扫描，再构建并发布各平台产物。Wails 模块与构建 CLI 均保持 v2.15.0。

源码回归和打包不能替代 Windows UAC 覆盖安装、macOS 原生拖放升级、完整用户工作区恢复或真实供应商验收。本次发布检查不执行付费供应商负载，也不声称模型身份、通用多模态能力或缓存完整有效期已经得到实测证明。

使用文档 · 完整变更：v0.2.0…v0.2.1

v0.2.0 · 数据集评测与历史报告对比

LLM Test Studio v0.2.0

本次基于 v0.1.5，新增数据集评测与管理、历史报告对比，并改进 Kimi 协议验收和桌面使用体验。

数据集评测

• 「快速测试」新增「数据测试」，与功能、性能、计划测试并列。支持已保存渠道和临时连接，以及 OpenAI Chat、OpenAI Responses、Anthropic Messages 三种协议。
• 接入固定版本的 Inspect AI 和 Inspect Evals，内置 24 个评测条目，涵盖 ARC、GSM8K、AIME、MMLU、MMMU 等；不同年份、子集和提示范式分别列出，不代表 24 个互不相关的基准家族。
• 每次提交保留独立运行记录、冻结配置、样本进度和每个数据集的报告，支持取消、查看逐样本题目／输出／评分，以及导出 JSON。
• 「运行」与「报告」工作区统一展示数据测试记录，保留失败、取消和中断前已取得的结果。重启应用不会自动恢复模型调用。
• 执行完成与能力得分分别展示；完成不代表能力达标，少量样本得分不能证明整体能力或模型身份。

数据测试在当前电脑执行，不使用远程 runner。首次使用需要安装 uv，再在页面准备锁定版本的 Python 3.12 环境。环境准备与数据下载不会调用模型；提交评测后的模型请求按渠道计费。每次最多选择 16 个数据集。操作步骤、限制与评分说明见数据测试指南。

数据集管理

• 新增独立「数据集」工作区，可搜索目录，查看来源、下载状态、题数、文件数和缓存大小，并将所选条目带入数据测试。
• 支持提前下载、取消、重试、校验及清理缓存。直接开始评测时，也会自动准备所需数据并复用已有缓存。
• 下载与清理仅处理本功能管理的缓存；报告和原有全局 Hugging Face 缓存保持。存在未结束评测时，限制可能影响数据的缓存操作。
• 保留中断状态并支持重新尝试；清理缓存不会删除评测报告。各数据集仍受其来源的许可证和访问条件约束。
• 支持 Windows 临时目录的短路径别名，避免将同一缓存目录误判为越界；实际指向缓存外部的文件仍会被拒绝。

历史报告对比

• 在报告列表勾选 2–8 份功能或性能报告，选择基准并查看差异；支持同一渠道不同时间的历史报告。
• 按冻结的执行项、套件和用例身份对齐，保留缺测与测试条件变化。对比不使用当前目录重算历史结论。
• 渠道批量测试与历史报告对比统一入口和矩阵呈现，支持套件分区、独立分页、渠道折叠与「仅看差异」。
• 支持 HTML、PNG、PDF、JSON 和复制图片，视觉导出保留当前筛选及展开状态；修复独立 HTML 滚动和多渠道图片布局。
• 数据集评测使用自身的样本报告阅读器，暂不加入功能／性能报告对比矩阵。

协议验收与内置目录

• 新增 kimi-k3.1-pro 与 kimi-k3.1-pro-highspeed 内置模型，各支持三种文本协议。
• 增加 Kimi 响应结构、流式结束、推理与用量一致性检查；将缓存 Token 用量与缓存响应头契约拆成独立用例，便于分别定位。
• 根据官方 Pro 接口实测修正部分请求接受预期，并提高工具成功用例的输出预算。请求被接受不表示额外推理档位生效或实际输出上限增加；Highspeed 的对应行为没有由该实测确认。
• 修复四份 K3.1 Pro／Highspeed 回归与高成本内置计划，使其逐个执行套件中的全部用例。相较旧版每个套件一次请求的预算，这会增加请求量；运行前请确认覆盖范围与费用。用户自定义覆盖和历史运行保持。
• 当前内置目录为 1,099 个 Case、84 个 Suite 和 32 个 Plan；包含手动及停用场景，不能将目录总量等同于一次运行的自动覆盖量。

桌面与报告体验

• 运行和报告增加套件／计划等筛选，统一搜索与工具栏布局。
• 导航栏整合窗口控制，工作区加载错误可在界面内处理。
• 改进报告状态、指标单位、紧凑摘要及回收操作位置，恢复套件分区并统一视觉导出。

升级、兼容性与回退

• 从 v0.1.5 升级，本次不新增 SQLite 迁移，不改变公开 CLI、runner 任务协议、用户模型／渠道、Case／Suite／Plan 或原有快照和报告格式。其余受支持来源继续沿用兼容性政策中的升级路径；v0.0.01 的旧 schema 7 不在直接升级支持范围。
• Benchmark 记录及下载元数据使用独立的版本 1 文件；未知、较新或损坏文件明确拒绝，不重置数据。备份工作区时应同时保留用户配置目录下的 llm-test-studio/benchmarks；数据集缓存可以重新下载。
• 数据测试临时密钥只用于当前提交，不写入配置、历史或报告；从历史回填时需重新输入临时密钥。
• 对比结果按需读取原报告，不修改封存结果，也不新增持久化对比实体。新对比 JSON 是独立的 schema 1 导出，原报告与批量分组 JSON 格式保持。
• 回退到 v0.1.5 后，新增 Benchmark 目录不会被旧版读取或转换，原有业务数据沿用其支持范围。内置目录使用旧版自带内容；保留完整工作区备份和匹配程序，其他历史格式的降级限制继续沿用兼容性政策。本版本没有新增弃用或移除期限。

下载与验证范围

• Windows x64：安装程序 · ZIP
• macOS Intel / Apple Silicon：Universal DMG · Universal ZIP
• Linux 执行节点：amd64 · arm64
• SHA256SUMS.txt · runner-manifest.json

发布流水线先验证标签源码，再构建 Windows、macOS 和 Linux runner 产物。检查覆盖 Go 全量测试、vet、模块与协议契约、前端全量测试／lint／类型检查／构建、生产依赖审计和全历史密钥扫描；新增 Python 运行时另以本地确定性接口验证。

源码检查与打包不等于所有系统的原生安装、旧工作区恢复或真实供应商验收。Windows 发布者签名与 Apple 公证仍未配置。本次发布检查不运行付费供应商负载，也不声称 24 个数据集均已完成下载和真实模型评测。

使用文档 · 完整变更：v0.1.5…v0.2.0

v0.1.5 · 计划测试与性能报告升级

LLM Test Studio v0.1.5

本次基于 v0.1.4 整理，重点改进完整计划运行、性能报告与远程节点升级恢复。

测试入口与内置计划

• 快速测试增加「计划测试」，支持完整运行内置或自建计划，保留各执行项的参数、顺序和失败策略，复用已有运行历史、执行详情与报告。
• 「功能测试」「性能测试」「计划测试」共享连接草稿，支持从渠道填充，也可临时填写地址、模型 ID 和 API Key；计划候选随协议筛选。
• 统一三种模式的表单布局，切换时保留草稿与滚动位置；收到任务回执后即可继续提交，每次运行独立记录。
• 移除「功能测试」「性能测试」名称中的“快速”前缀，保留「快速测试」工作区名称。
• 新增 OpenAI Chat、OpenAI Responses、Anthropic Messages 三套输入 Token 阶梯计划，包含 1k～512k 十档近似输入规模；随档位增大降低请求预算与开放环到达速率，输出上限保持 300 Token。
• 调整无缓存与缓存后缀性能预设：采用 300 次开放环请求、3000 输入 Token 目标和 300 输出 Token 上限，保留预设身份并更新修订。

性能报告

• 增加六项核心性能指标概览，集中查看成功率、TTFT、TPOT、E2E、成功吞吐与缓存表现。
• 展示参考目标、逐项状态及目标接近程度评分，支持分数、星级和参与评分的指标数量，并提供计算规则说明。
• 未评估和缺失指标不参与评分；参考比较不改写已归档的运行、逐请求 SLO 或容量结论。
• 桌面与 HTML、图片、PDF 等视觉导出保持一致，公开 JSON 导出和历史报告数据格式保持不变。

目录与桌面体验

• 桌面启动和浏览器预览共享内置目录加载与 Go 校验，新增定义文件可自动发现，减少手工维护的重复目录。
• 保留用户模型与计划覆盖、已有模型身份及历史；纯内置模型受到编辑保护，保存连接时优先复用同名用户模型。
• 增加经典、高对比两种配色，与跟随系统、浅色、深色模式独立设置，并保留到独立报告导出。
• 改进测试记录的名称、模型、渠道、时间、进度及操作布局；次要操作收进菜单，取消操作更加明确。

远程节点升级与恢复

• 升级前在独立副本中预检受支持的历史数据库，预检完成后才进入节点维护阶段。
• 保留原版本的一致性备份、已提交 WAL 数据和历史报告含义，改进中断备份的复核及显式恢复流程。
• 升级失败或状态不确定时显示需要处理的状态，保留重试与恢复入口；在节点编辑器中调整同时运行任务数，并保留未保存的连接输入。
• 优化结果分页与备份扫描，保持数据库结构不变。

升级与兼容性

本次新增的计划测试连接参数只用于桌面端准备运行；临时密钥通过凭据租约交付，不写入计划、运行快照或提交队列。已有的模型、渠道 ID 启动方式继续支持。临时运行不自动创建模型或渠道，只有显式「保存为渠道」才保存连接配置。

计划文件、运行快照、报告、数据库及 runner 任务格式沿用既有格式，没有为此入口增加数据迁移。历史报告保留原结论；再次运行采用当前保存的计划版本。跨会话回填临时连接时需重新填写地址和 API Key。

v0.0.01 的旧版 schema 7 数据仍不在直接升级支持范围内。安装与数据恢复沿用兼容性政策。远程节点升级的来源版本、备份与降级边界见远程升级说明。

下载与验证范围

• Windows x64：安装程序 · ZIP
• macOS Intel / Apple Silicon：Universal DMG · Universal ZIP
• Linux 执行节点：amd64 · arm64
• SHA256SUMS.txt · runner-manifest.json

发布流水线先验证标签源码，再构建各平台产物。源码检查与构建不等于已完成所有系统的原生安装和旧工作区恢复验收；Windows 发布者签名与 Apple 公证仍未配置。本次新增入口未发起真实付费供应商负载测试。

使用文档 · 完整变更：v0.1.4…v0.1.5

v0.1.4 · 全新渠道验收与性能测试

LLM Test Studio v0.1.4

面向 LLM 服务商、AI 网关与私有化部署的渠道验收与性能测试工具。将可复用的 Case、Suite、Plan 与运行证据放在同一套桌面工作流中，验证接口兼容性、负载表现与渠道差异。

本次基于 v0.0.01 之后的 373 个提交整理，是一个新的公开版本基线。

此前的 v0.1.0～v0.1.3 候选标签未完成正式发布，保留用于追溯。本次 v0.1.4 统一测试夹具的观察与请求生命周期预算，并修正 Windows 打包环境，保留实际取消时限、结果和 SLA 断言。

Important

这是与旧版 v0.0.01 不兼容的新版本，请按全新安装使用。 不提供该旧版数据库、工作区、任务与历史报告的直接升级承诺，尤其不支持旧版 schema 7 数据库迁移到本版。请保留旧程序及完整工作区，用旧程序访问原有历史；不要用新版本覆盖旧版安装目录、合并旧目录或直接替换数据库。新版本创建的数据也不应交给旧程序读取。

本次更新

可复用的协议测试资产

• 以 Case 为基础保存原生请求、输入、断言和说明，按准确修订组合为 Suite 与 Plan，运行时冻结测试定义及目标配置。
• 支持 OpenAI Chat、OpenAI Responses、Anthropic Messages，以及 Seedance、Wan、MiniMax 视频协议运行时。
• 扩充 Kimi K3 / K3.1 Pro、GLM 和视频模型相关用例，覆盖流式事件、工具调用、推理、结构化输出、错误边界、多模态与缓存用量探针。
• 通过模型、渠道和协议映射复用测试；支持从快速测试连接保存渠道、编辑映射和查看模型渠道矩阵。

从快速检查到容量测试

• 快速发起功能测试与性能测试，支持并发控制、固定并发和开放环流量、可复现的工作负载及随机种子。
• 提供预热、爬坡、持续负载、容量阶梯、SLA / SLO、goodput 与容量搜索，以及缓存和会话亲和参数。
• 展示请求在途数量、阶段进度、流式 Token 时序、延迟、吞吐、缓存命中和时间切片。
• Plan 可按顺序组合功能项与性能项，统一查看执行状态和计划性能总统计；同一逻辑模型可进行多渠道对比。

保留证据的报告

• 运行、结果与报告可追溯到冻结的测试定义、负载设置和执行来源；区分传输、协议、语义及 SLA 失败。
• 增加按 Case 维度的兼容性统计与雷达图，区分必须通过和可容忍用例，汇总多性能项结果。
• 展示请求级缓存命中、延迟与 Token 指标，支持查看和复制请求响应详情。
• 支持 JSON、独立 HTML、PNG、PDF 导出，改进分页、长名称、列宽、可见列一致性和对比报告时间线。

Linux 远程执行节点

• 支持通过 SSH 配置与部署 Linux runner，提供 amd64 / arm64 配套产物，可设置默认执行位置和并发任务槽。
• 任务由执行节点持有，客户端退出后可继续运行；重连后恢复任务观察与报告同步，支持共享节点上的任务查询与控制。
• 增加显式升级、恢复及管理能力，改进状态同步与报告下载的调度、断点续传和大报告压缩。
• 桌面端与 runner 请统一使用本次 v0.1.4 产物，不承诺与历史客户端或旧节点混用。

更顺畅的桌面工作流

• 统一快速测试、历史、运行与报告导航，改进加载反馈、分页、滚动位置保留及后台刷新。
• 增加可恢复的历史移除、启动错误指引、界面缩放和反馈入口，完善本地化与状态错误提示。
• 优化目录读取、SQLite 查询及持久化等待，修复取消、报告同步、导出和历史引用失效等问题。
• CI 覆盖全部 Go 测试、前端测试与构建、依赖审计和全历史密钥扫描；发布构建须先通过标签源码的共享 CI。

下载

平台	产物
Windows x64	安装程序 · ZIP
macOS Intel / Apple Silicon	Universal DMG · Universal ZIP
Linux x64 执行节点	runner amd64
Linux ARM64 执行节点	runner arm64

校验文件：SHA256SUMS.txt · runner-manifest.json。页面底部 Assets 提供相同文件，以及许可证与第三方声明。Linux 产物为执行节点程序，暂不提供 Linux 桌面安装包。内置 Case、Suite 与性能 Plan 已嵌入桌面程序，无需另外下载源码目录。

全新安装与历史数据

1. 安装或解压到独立的新位置，保留旧程序、原工作区、用户编写的测试文件及凭据存储。
2. 首次启动配置本版的模型、渠道及凭据；使用远程执行时，部署匹配的 v0.1.4 runner。
3. 如果检测到不支持的旧数据库，应用会明确报告。选择“备份并创建新数据库”意味着建立新的空白库，不代表旧任务或报告已迁移；仅在确认原数据已妥善保留后操作。
4. 若需回到旧版，使用旧程序和对应旧工作区。本版新增的数据不能通过启动旧程序继续使用。

当前代码对部分开发期间的数据结构另有受限迁移支持；这不扩展为对 v0.0.01 的兼容承诺。具体来源、备份及恢复边界见兼容性与数据升级政策。

已知范围与验证说明

• Windows / macOS 产物未配置发布者代码签名或 Apple 公证，操作系统可能提示来源未验证。
• Windows ZIP 内 EXE 的文件属性未写入版本资源；已核对安装程序版本 0.1.4 和 EXE 内嵌发布标记 v0.1.4。ZIP 程序已在隔离配置目录启动并创建全新工作区数据库；可视交互、安装程序安装和 macOS 实机安装仍需另行验收。
• 本次发布流水线验证源码 CI、跨平台构建与打包；本版安装包的原生实机安装、完整工作区恢复和故障环境验收尚未全部完成。ARM64 历史验收包含系统模拟环境，不等于物理 ARM64 机器验收。
• 内置用例包含手动场景、观察项及模型限定条件，不保证任意模型或网关能通过全部用例；视频与多模态场景还取决于外部素材及供应商接口。
• 远程执行的既有验收记录、暂缓项目与已知边界保留在远程交付状态。

使用文档 · English README · 完整提交记录：v0.0.01…v0.1.4

发布构建与 CI 记录