Repository navigation
首个公开版本,与 npm dsh-livebench-panel@0.2.17 对应。
在 Trajectory 视图(对话/轨迹 右侧)新增 LiveBench 标签页,用下拉框选择
provider / 模型 / 推理强度 / 分类 / 任务 / release / 题目范围,直接对本机 LiveBench
发起评测并就地读成绩。
本版本要点
- 成绩表括号口径:(本次没做或没做完的题数 / 用户选择的题数),去掉不参与正确率计算的总题数;
- 题目序号范围按闭区间处理:LiveBench 的
--question-end是开区间(questions[begin:end]),
面板传参时 +1,界面填的题数与实际跑的题数一致; - 修复「删除成绩后一刷新又回来」:
/results忽略 0 行答案文件,/delete清空后直接删除文件,
正在评测的模型跳过不删; - 成绩表支持按模型名/时间排序、拖拽自定义行序、批量或单行删除;
/results异步流式扫描 + 5s 缓存,百 MB 级数据目录仍是毫秒级响应。
安装
dsh plugin --profile web add dsh-livebench-panel
⚠️ 本插件只是控制台,评测由本机 LiveBench 完成。
Windows 与国内中转站场景需要先打本地补丁,见 docs/livebench-patches.md。
交流
- 缺陷 / 功能建议 → Issues
- 使用问题 / 配置分享 / 成绩对比 → Discussions