Skip to content

v0.1.5 · 计划测试与性能报告升级

Choose a tag to compare

@894x 894x released this 04 Nov 19:28

LLM Test Studio v0.1.5

本次基于 v0.1.4 整理,重点改进完整计划运行、性能报告与远程节点升级恢复。

测试入口与内置计划

  • 快速测试增加「计划测试」,支持完整运行内置或自建计划,保留各执行项的参数、顺序和失败策略,复用已有运行历史、执行详情与报告。
  • 「功能测试」「性能测试」「计划测试」共享连接草稿,支持从渠道填充,也可临时填写地址、模型 ID 和 API Key;计划候选随协议筛选。
  • 统一三种模式的表单布局,切换时保留草稿与滚动位置;收到任务回执后即可继续提交,每次运行独立记录。
  • 移除「功能测试」「性能测试」名称中的“快速”前缀,保留「快速测试」工作区名称。
  • 新增 OpenAI Chat、OpenAI Responses、Anthropic Messages 三套输入 Token 阶梯计划,包含 1k~512k 十档近似输入规模;随档位增大降低请求预算与开放环到达速率,输出上限保持 300 Token。
  • 调整无缓存与缓存后缀性能预设:采用 300 次开放环请求、3000 输入 Token 目标和 300 输出 Token 上限,保留预设身份并更新修订。

性能报告

  • 增加六项核心性能指标概览,集中查看成功率、TTFT、TPOT、E2E、成功吞吐与缓存表现。
  • 展示参考目标、逐项状态及目标接近程度评分,支持分数、星级和参与评分的指标数量,并提供计算规则说明。
  • 未评估和缺失指标不参与评分;参考比较不改写已归档的运行、逐请求 SLO 或容量结论。
  • 桌面与 HTML、图片、PDF 等视觉导出保持一致,公开 JSON 导出和历史报告数据格式保持不变。

目录与桌面体验

  • 桌面启动和浏览器预览共享内置目录加载与 Go 校验,新增定义文件可自动发现,减少手工维护的重复目录。
  • 保留用户模型与计划覆盖、已有模型身份及历史;纯内置模型受到编辑保护,保存连接时优先复用同名用户模型。
  • 增加经典、高对比两种配色,与跟随系统、浅色、深色模式独立设置,并保留到独立报告导出。
  • 改进测试记录的名称、模型、渠道、时间、进度及操作布局;次要操作收进菜单,取消操作更加明确。

远程节点升级与恢复

  • 升级前在独立副本中预检受支持的历史数据库,预检完成后才进入节点维护阶段。
  • 保留原版本的一致性备份、已提交 WAL 数据和历史报告含义,改进中断备份的复核及显式恢复流程。
  • 升级失败或状态不确定时显示需要处理的状态,保留重试与恢复入口;在节点编辑器中调整同时运行任务数,并保留未保存的连接输入。
  • 优化结果分页与备份扫描,保持数据库结构不变。

升级与兼容性

本次新增的计划测试连接参数只用于桌面端准备运行;临时密钥通过凭据租约交付,不写入计划、运行快照或提交队列。已有的模型、渠道 ID 启动方式继续支持。临时运行不自动创建模型或渠道,只有显式「保存为渠道」才保存连接配置。

计划文件、运行快照、报告、数据库及 runner 任务格式沿用既有格式,没有为此入口增加数据迁移。历史报告保留原结论;再次运行采用当前保存的计划版本。跨会话回填临时连接时需重新填写地址和 API Key。

v0.0.01 的旧版 schema 7 数据仍不在直接升级支持范围内。安装与数据恢复沿用兼容性政策。远程节点升级的来源版本、备份与降级边界见远程升级说明。

下载与验证范围

发布流水线先验证标签源码,再构建各平台产物。源码检查与构建不等于已完成所有系统的原生安装和旧工作区恢复验收;Windows 发布者签名与 Apple 公证仍未配置。本次新增入口未发起真实付费供应商负载测试。

使用文档 · 完整变更:v0.1.4…v0.1.5