Repository navigation
LLM Test Studio v0.2.1
本次基于 v0.2.0,新增软件内更新,扩展至最多 16 渠道对比,并完善 Kimi Partial、多模态和缓存与 TTL 验证。
软件内更新
- 界面设置新增「软件更新」,支持启动时检查稳定版、手动检查、跳过版本、下载进度、取消和重试。关闭面板后下载继续;安装前需要明确确认。
- Windows 安装版使用对应安装器,便携版由独立助手在程序退出后替换并保留旧程序。存在活动测试、后台工作或无法确认的任务状态时延后安装。
- macOS 下载并校验 DMG 后打开安装包,由用户完成拖放安装。
- 仅选择高于当前版本的普通稳定版;发布流程先上传完整草稿及校验文件,再公开 Release,避免下载未上传完成的版本。
v0.2.0 及更早版本没有软件内更新入口,首次使用请手动安装本版本。桌面更新不会自动更新远程 runner。下载通过固定 GitHub HTTPS 更新源和 SHA-256 校验;Windows 发布者签名、Apple 签名/公证及独立更新签名尚未配置。设计和恢复方式见软件内更新说明。
渠道对比与报告阅读
- 渠道批量测试及历史报告对比支持最多 16 个渠道/报告;改进大量渠道的导航、折叠、表头和视觉导出布局。
- 「仅看差异」按报告冻结的结论筛选,保留缺测及条件变化,不使用当前目录重算历史结论。
- 缓存报告分别展示「缓存读写」和「TTL」检查。读写通过但 TTL 证据不足时显示黄色警告,展开后可查看分项依据;字段冲突和实际错误继续失败。
- 请求详情分别展示脱敏的请求头、响应头、请求体和响应体;旧记录未采集头信息时显示「未记录」。
- 嵌套断言默认逐层折叠,保留当前层的预期、实际值和结论;统一紧凑操作按钮及提示。
- 同次读取复用已校验的快照和证据,减少报告重复解码;数据完整性检查继续保留。
Kimi 与视频验收目录
- 新增 Kimi Partial 综合回归及专项入口,覆盖 18 条 JSON 前缀与 KVV 流式场景;新增 K3 和 K3.1 Chat 多模态套件。
- Pro 内置回归计划升级为「Kimi K3.1 Pro 完整准入计划」,依次组合基础、参数拒绝、多模态、Partial 和缓存综合对账。原计划身份保持;同 ID 的用户覆盖仍优先,不自动追加成员。
- 三种文本协议的「Kimi 缓存与 TTL 综合对账」各包含 10 条 Case、14 次请求,同时核对 usage 和响应头。Chat/Responses 缓存专项不再要求
usage.total_tokens;其他缓存及协议断言继续执行。 - 新增三协议 JSON/SSE「1h 缓存延迟验证」:冷写后等待 6 分钟,原样读取并核对缓存量与 TTL 证据。新增 Chat「Kimi 缓存与 TTL 验证计划」,组合综合对账和延迟验证,共 12 条 Case、18 次请求;等待时间另计。
- 支持可相互核对的 header/usage TTL 分项,以及有完整零写入头佐证的部分零字段省略。只有总量时不推断 TTL;6 分钟后命中不证明完整 1 小时有效期,也不证明物理缓存身份。
- 六个旧 usage/响应头独立 Suite 退出新建任务的可选列表,但通过原 ID 继续解析已保存计划,保留原成员和输入语义;兼容适配暂无移除日期。
- Kimi K3/K3.1 四个 Chat 视频功能用例的输出预算从 512 提高至 4096。新增 Wan 2.5 的 480P/720P/1080P 三档代表值套件;该套件验证请求枚举,不验证实际产物像素。
新目录包含 1,122 个 Case、92 个可选 Suite、34 个 Plan。其中 807 个为已启用自动 Case、107 个为已启用手动 Case、208 个已停用;目录总量不等同于单次自动覆盖量。新增计划、延迟用例和更高输出预算会增加后续运行的请求量、等待或费用,执行前请检查预算。详见缓存专项说明。
升级顺序、兼容性与回退
构建工具链升级至 Go 1.26.11,修复 net/http 的 MaxBytesReader 响应头竞态导致 HTTP/1 服务器崩溃的问题(GO-2026-6859;Go 官方发布记录)。这属于标准库安全补丁,不新增用户数据格式或迁移;Wails 模块和 CLI 保持 v2.15.0。
本次以 v0.2.1 交付带能力门禁的显式扩展,保留已发布旧输入和历史数据支持;版本号不表示旧严格解码器能够读取新增字段。受影响边界包括 Case 定义、冻结任务/快照及其报告/归档,不新增 SQLite 结构或迁移步骤,也不修改公开 CLI 选项或退出码。
- 等待在途任务结束,保存编辑,并备份完整工作区、用户配置和匹配的旧程序。既有受支持数据库来源继续按共享预检和迁移链处理;旧
v0.0.01schema 7 不在直接升级范围。 - 将所有需要读取新任务的桌面客户端及所用 runner 更新至
v0.2.1,再创建使用新功能的任务。远程 runner 需单独更新。 - 多步骤等待/请求复用要求
sequence_steps;新断言策略要求assertion_failure_status。未声明能力的执行器在投递前拒绝相应任务;HTTP 头采集通过http_header_evidence协商,未支持时保持原有缺省行为。
旧 Case/sequence 在不启用新增字段时保持原编码及超时行为;用户定义覆盖、记录身份、冻结快照和历史结论不因应用升级而重写。新更新偏好使用独立 schema 1 文件,未知或损坏内容拒绝且不覆写。旧目录引用的支持窗口及适配移除条件见兼容性政策。
需要降级时,恢复启用新增能力前的完整工作区备份及匹配程序。旧端不能直接读取含新策略、步骤或头证据字段的任务/报告;程序备份不能替代数据备份。恢复旧备份不包含其后的写入,不能用旧规则重算新结果。其他历史格式的降级限制继续适用。
下载与验证范围
- Windows x64:安装程序 · ZIP
- macOS Intel / Apple Silicon:Universal DMG · Universal ZIP
- Linux 执行节点:amd64 · arm64
- SHA256SUMS.txt · runner-manifest.json
标签工作流必须先通过 Go 全量测试、vet、模块和协议契约检查、前端全量测试/lint/类型检查/构建、生产依赖审计和全历史密钥扫描,再构建并发布各平台产物。Wails 模块与构建 CLI 均保持 v2.15.0。
源码回归和打包不能替代 Windows UAC 覆盖安装、macOS 原生拖放升级、完整用户工作区恢复或真实供应商验收。本次发布检查不执行付费供应商负载,也不声称模型身份、通用多模态能力或缓存完整有效期已经得到实测证明。