Replies: 1 comment
|
补一份真实样本数据(本地 MCP 服务器的实测,非估算),供评估"折叠成常量元工具/按需载入"的收益量级。 环境
实测
按 dsh 自己 ≈ 17.7K tokens / 每次请求(70,904 ÷ 4 ≈ 17,726)。 三点观察
复现服务器起来后, |
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
背景与场景
DSH 是 cordis 插件架构(everything is a plugin)。在多插件 profile 下(excel-chat、email、pilot、cite、pdf、deepread、knowledge-base 等同时启用),每次模型请求的 system prompt 会全量注入所有已启用插件的工具 schema,即便本轮根本用不到其中大部分工具。工具 schema(如 Excel 组 28 个工具、邮件组 12 个工具这种长 schema)成为每轮输入 token 的最大开销之一;多插件 + 长会话场景下,token 成本与 KV cache 压力都很明显。
现状机制(读源码确认)
dsh-system-prompt:各插件通过systemPrompt.tools(provider)注册工具,assemble 时全部收集注入;仅支持toolOrder排序,无过滤、无分级、无懒加载。dsh-host-plugin-inventory:对 Loader 树是只读投影,明确不能启停/增删插件;插件启停只能改配置后重启 Loader 树。因此目前"减少工具注入"只有两条路:禁用整个插件(需重启),或放弃(全量注入)。工具级/组级按需加载的能力是缺失的。
建议方案(按落地成本从低到高)
最小可用版本可以是方案 1(配置开关,重启生效),先把"工具注入总量"的控制权交给用户。
收益
参考
环境
All reactions