Skip to content

Releases: masknull/dsh-model-tester

v0.1.3

Choose a tag to compare

@masknull masknull released this 25 Sep 10:56

修复部分已知问题

  • 不再调用 DSH 0.1.7 上已移除的 settings.get(0.1.5 有该方法,0.1.7-rc.1 / rc.2 均无;profile 的 node_modules 也不含该包,插件拿到的必是宿主那份),改为按宿主能力探测选择读取路径:settings.get 可用(0.1.5)时沿用旧入口;不可用时用 settings.describe()(0.1.7 的替代读法)按 ns 取描述符的 user 层——等价于旧 get 返回的用户配置层。
  • describe() 快照按请求缓存:一次 /model-tester/list 会对多个 provider 各查一次配置,而 describe() 每次调用都会重建全部描述符。现改为一次请求只取一次快照,请求结束即弃,下次请求读取最新配置。

宿主要求:DSH ≥ 0.1.5-rc.2。

dsh-model-tester v0.1.2

Choose a tag to compare

@masknull masknull released this 14 Sep 05:11

修复:测试请求不再下发 maxTokens

问题

测试请求固定携带 maxTokens: 16(quick 模式)/ 1024(throughput 模式)。DSH 会把该值原样转成 max_output_tokens 下发(经 pi-ai 的 Math.max(v, 16) 下限钳制),而较小的输出额度会与推理模型的思维链 token 争抢同一份额度,导致上游提前截断并返回:

response incomplete: max_output_tokens

表现为偶发、且随模型而异的「假失败」。

修复

测试请求刻意完全不传 maxTokens。DSH 在该值为 undefined 时会彻底省略该字段,由上游提供方使用自身默认输出额度,探活结果才反映真实可用性。

同时移除了响应体中已失去意义的 maxTokens 字段回传。

变更

  • index.js:MODES 与 llm.stream 调用中移除 maxTokens
  • README.md:中英文指标说明同步更新

完整变更:v0.1.1...v0.1.2

dsh-model-tester v0.1.1

Choose a tag to compare

@masknull masknull released this 11 Sep 10:27

Features / 新功能

  • 新增吞吐实测模式(throughput):1024 token 长输出测真实吞吐;原 16 tok 连通性探测保留为快速探测模式
  • 测试参数可配置:超时(5–120 秒)与失败重试(0–2 次),面板设置持久化(localStorage)
  • 新增「测试本渠道」按钮:只测该渠道下的全部模型;全量测试保留已有结果
  • 结果行新增「输出 N tok」指标与「已测 N 次」提示,便于识别 usage 上报异常渠道

Fixes / 修复

  • usage 帧晚于 finish 帧到达时不再被提前丢弃,TPS 不再误显示 —
  • 响应一次性到达(decode 窗口 < 50ms)时不再把 token 计数当 TPS 显示,改显示 —
  • 测试超时后中止底层流,避免请求仍在后台继续生成
  • 单模型「重测」按钮在测试进行中禁用,避免重复点击
  • vision 过滤收窄:仅作用于自动注册条目,不再影响用户显式配置的渠道

Install / 安装

dsh plugin --profile web add github:masknull/dsh-model-tester

dsh-model-tester v0.1.0

Choose a tag to compare

@masknull masknull released this 10 Sep 15:00

Initial release / 首个版本.

DeepSeek Harness 插件:在「设置 → 模型」页底部提供模型可用性一键测试面板。

  • 一键测试全部已添加模型(llm.stream 真实流式调用,3 路并发、单模型 30 秒超时)
  • 单行指标:可用 / TPS (tok/s) / 首 token (s) / 耗时 (s)
  • 失败行显示原因、错误码与 HTTP 状态
  • 过滤未激活/未配置提供方与 id/name 含 vision 的自动注册条目

Install / 安装:

dsh plugin --profile web add github:masknull/dsh-model-tester