Skip to content

v0.1.4 · 全新渠道验收与性能测试

Choose a tag to compare

@894x 894x released this 04 Nov 04:46

LLM Test Studio v0.1.4

面向 LLM 服务商、AI 网关与私有化部署的渠道验收与性能测试工具。将可复用的 Case、Suite、Plan 与运行证据放在同一套桌面工作流中,验证接口兼容性、负载表现与渠道差异。

本次基于 v0.0.01 之后的 373 个提交整理,是一个新的公开版本基线。

此前的 v0.1.0~v0.1.3 候选标签未完成正式发布,保留用于追溯。本次 v0.1.4 统一测试夹具的观察与请求生命周期预算,并修正 Windows 打包环境,保留实际取消时限、结果和 SLA 断言。

Important

这是与旧版 v0.0.01 不兼容的新版本,请按全新安装使用。 不提供该旧版数据库、工作区、任务与历史报告的直接升级承诺,尤其不支持旧版 schema 7 数据库迁移到本版。请保留旧程序及完整工作区,用旧程序访问原有历史;不要用新版本覆盖旧版安装目录、合并旧目录或直接替换数据库。新版本创建的数据也不应交给旧程序读取。

本次更新

可复用的协议测试资产

  • 以 Case 为基础保存原生请求、输入、断言和说明,按准确修订组合为 Suite 与 Plan,运行时冻结测试定义及目标配置。
  • 支持 OpenAI Chat、OpenAI Responses、Anthropic Messages,以及 Seedance、Wan、MiniMax 视频协议运行时。
  • 扩充 Kimi K3 / K3.1 Pro、GLM 和视频模型相关用例,覆盖流式事件、工具调用、推理、结构化输出、错误边界、多模态与缓存用量探针。
  • 通过模型、渠道和协议映射复用测试;支持从快速测试连接保存渠道、编辑映射和查看模型渠道矩阵。

从快速检查到容量测试

  • 快速发起功能测试与性能测试,支持并发控制、固定并发和开放环流量、可复现的工作负载及随机种子。
  • 提供预热、爬坡、持续负载、容量阶梯、SLA / SLO、goodput 与容量搜索,以及缓存和会话亲和参数。
  • 展示请求在途数量、阶段进度、流式 Token 时序、延迟、吞吐、缓存命中和时间切片。
  • Plan 可按顺序组合功能项与性能项,统一查看执行状态和计划性能总统计;同一逻辑模型可进行多渠道对比。

保留证据的报告

  • 运行、结果与报告可追溯到冻结的测试定义、负载设置和执行来源;区分传输、协议、语义及 SLA 失败。
  • 增加按 Case 维度的兼容性统计与雷达图,区分必须通过和可容忍用例,汇总多性能项结果。
  • 展示请求级缓存命中、延迟与 Token 指标,支持查看和复制请求响应详情。
  • 支持 JSON、独立 HTML、PNG、PDF 导出,改进分页、长名称、列宽、可见列一致性和对比报告时间线。

Linux 远程执行节点

  • 支持通过 SSH 配置与部署 Linux runner,提供 amd64 / arm64 配套产物,可设置默认执行位置和并发任务槽。
  • 任务由执行节点持有,客户端退出后可继续运行;重连后恢复任务观察与报告同步,支持共享节点上的任务查询与控制。
  • 增加显式升级、恢复及管理能力,改进状态同步与报告下载的调度、断点续传和大报告压缩。
  • 桌面端与 runner 请统一使用本次 v0.1.4 产物,不承诺与历史客户端或旧节点混用。

更顺畅的桌面工作流

  • 统一快速测试、历史、运行与报告导航,改进加载反馈、分页、滚动位置保留及后台刷新。
  • 增加可恢复的历史移除、启动错误指引、界面缩放和反馈入口,完善本地化与状态错误提示。
  • 优化目录读取、SQLite 查询及持久化等待,修复取消、报告同步、导出和历史引用失效等问题。
  • CI 覆盖全部 Go 测试、前端测试与构建、依赖审计和全历史密钥扫描;发布构建须先通过标签源码的共享 CI。

下载

平台 产物
Windows x64 安装程序 · ZIP
macOS Intel / Apple Silicon Universal DMG · Universal ZIP
Linux x64 执行节点 runner amd64
Linux ARM64 执行节点 runner arm64

校验文件:SHA256SUMS.txt · runner-manifest.json。页面底部 Assets 提供相同文件,以及许可证与第三方声明。Linux 产物为执行节点程序,暂不提供 Linux 桌面安装包。内置 Case、Suite 与性能 Plan 已嵌入桌面程序,无需另外下载源码目录。

全新安装与历史数据

  1. 安装或解压到独立的新位置,保留旧程序、原工作区、用户编写的测试文件及凭据存储。
  2. 首次启动配置本版的模型、渠道及凭据;使用远程执行时,部署匹配的 v0.1.4 runner。
  3. 如果检测到不支持的旧数据库,应用会明确报告。选择“备份并创建新数据库”意味着建立新的空白库,不代表旧任务或报告已迁移;仅在确认原数据已妥善保留后操作。
  4. 若需回到旧版,使用旧程序和对应旧工作区。本版新增的数据不能通过启动旧程序继续使用。

当前代码对部分开发期间的数据结构另有受限迁移支持;这不扩展为对 v0.0.01 的兼容承诺。具体来源、备份及恢复边界见兼容性与数据升级政策。

已知范围与验证说明

  • Windows / macOS 产物未配置发布者代码签名或 Apple 公证,操作系统可能提示来源未验证。
  • Windows ZIP 内 EXE 的文件属性未写入版本资源;已核对安装程序版本 0.1.4 和 EXE 内嵌发布标记 v0.1.4。ZIP 程序已在隔离配置目录启动并创建全新工作区数据库;可视交互、安装程序安装和 macOS 实机安装仍需另行验收。
  • 本次发布流水线验证源码 CI、跨平台构建与打包;本版安装包的原生实机安装、完整工作区恢复和故障环境验收尚未全部完成。ARM64 历史验收包含系统模拟环境,不等于物理 ARM64 机器验收。
  • 内置用例包含手动场景、观察项及模型限定条件,不保证任意模型或网关能通过全部用例;视频与多模态场景还取决于外部素材及供应商接口。
  • 远程执行的既有验收记录、暂缓项目与已知边界保留在远程交付状态。

使用文档 · English README · 完整提交记录:v0.0.01…v0.1.4

发布构建与 CI 记录