Releases: masknull/dsh-model-tester
Releases · masknull/dsh-model-tester
Release list
v0.1.3
修复部分已知问题
- 不再调用 DSH 0.1.7 上已移除的
settings.get(0.1.5 有该方法,0.1.7-rc.1 / rc.2 均无;profile 的 node_modules 也不含该包,插件拿到的必是宿主那份),改为按宿主能力探测选择读取路径:settings.get可用(0.1.5)时沿用旧入口;不可用时用settings.describe()(0.1.7 的替代读法)按 ns 取描述符的 user 层——等价于旧 get 返回的用户配置层。 describe()快照按请求缓存:一次/model-tester/list会对多个 provider 各查一次配置,而 describe() 每次调用都会重建全部描述符。现改为一次请求只取一次快照,请求结束即弃,下次请求读取最新配置。
宿主要求:DSH ≥ 0.1.5-rc.2。
dsh-model-tester v0.1.2
修复:测试请求不再下发 maxTokens
问题
测试请求固定携带 maxTokens: 16(quick 模式)/ 1024(throughput 模式)。DSH 会把该值原样转成 max_output_tokens 下发(经 pi-ai 的 Math.max(v, 16) 下限钳制),而较小的输出额度会与推理模型的思维链 token 争抢同一份额度,导致上游提前截断并返回:
response incomplete: max_output_tokens
表现为偶发、且随模型而异的「假失败」。
修复
测试请求刻意完全不传 maxTokens。DSH 在该值为 undefined 时会彻底省略该字段,由上游提供方使用自身默认输出额度,探活结果才反映真实可用性。
同时移除了响应体中已失去意义的 maxTokens 字段回传。
变更
index.js:MODES与llm.stream调用中移除maxTokensREADME.md:中英文指标说明同步更新
完整变更:v0.1.1...v0.1.2
dsh-model-tester v0.1.1
Features / 新功能
- 新增吞吐实测模式(throughput):1024 token 长输出测真实吞吐;原 16 tok 连通性探测保留为快速探测模式
- 测试参数可配置:超时(5–120 秒)与失败重试(0–2 次),面板设置持久化(localStorage)
- 新增「测试本渠道」按钮:只测该渠道下的全部模型;全量测试保留已有结果
- 结果行新增「输出 N tok」指标与「已测 N 次」提示,便于识别 usage 上报异常渠道
Fixes / 修复
- usage 帧晚于 finish 帧到达时不再被提前丢弃,TPS 不再误显示
— - 响应一次性到达(decode 窗口 < 50ms)时不再把 token 计数当 TPS 显示,改显示
— - 测试超时后中止底层流,避免请求仍在后台继续生成
- 单模型「重测」按钮在测试进行中禁用,避免重复点击
- vision 过滤收窄:仅作用于自动注册条目,不再影响用户显式配置的渠道
Install / 安装
dsh plugin --profile web add github:masknull/dsh-model-testerdsh-model-tester v0.1.0
Initial release / 首个版本.
DeepSeek Harness 插件:在「设置 → 模型」页底部提供模型可用性一键测试面板。
- 一键测试全部已添加模型(llm.stream 真实流式调用,3 路并发、单模型 30 秒超时)
- 单行指标:可用 / TPS (tok/s) / 首 token (s) / 耗时 (s)
- 失败行显示原因、错误码与 HTTP 状态
- 过滤未激活/未配置提供方与 id/name 含 vision 的自动注册条目
Install / 安装:
dsh plugin --profile web add github:masknull/dsh-model-tester