Repository navigation
DSH Token Steward v1.0.0
v1.0.0 是 Token 管家的首个正式版本:在 DSH 的 llm-pi-ai 适配器与上游之间加一层本地 OpenAI 兼容网关,把模型池、路由、容灾、缓存、计量与面板全部收进一个插件。DSH 的会话层一行不改。
主要能力
- 模型矩阵调度:任意 OpenAI 兼容上游——官方 API、免费镜像、自建中转、opencode——挂进同一张池子。网关做「硬过滤 → 打分 → 降级链」,写代码、长文推理、看图、并发轰炸的请求落到不同型号。
- 四种调度模式:极致便宜
frugal(C/D 级里最便宜)、效率优先balanced(任务维度 A 级以上,质量 0.6 + 成本 0.4,同批并发打散)、最强火力max_power(六维总和最高)、白嫖free(零成本硬过滤,绝不偷偷切付费模型)。 - 容灾:429 指数退避冷却、5xx 熔断后半开试探、401/403 一次下线、上下文超限换大窗口、
max_tokens出站按窗口回压;首字节发出后的失败不重试(避免第二份副作用)。 - 价格层:每 1M token 的榜单估算价,查价对 id 归一化(
agnes-3.0-flash↔agnes-3-0-flash),面板可逐型号覆盖。未定价显示—,CNY 与 USD 不相加。 - 本地精确缓存:SQLite 中按 SHA-256 回放,命中即 0 token、不出站、不计费;没有
node:sqlite的宿主自动降级为内存 LRU。带 tools、超长 prompt、已下线模型的请求不缓存。 - 面板:悬浮球(环色 = 当前模式,角标 = 今日已省)、四页签(成本看板 / 模型矩阵 / 路由日志 / 代理协作)、管家设置(拉取模型、只导入地址对得上的那一家、反向同步系统模型、显式删除、价目与擅长标签、白嫖徽标)。
- Agent 工具:注册
token_steward_manage与同名运行时技能,用对话完成「接厂商、勾模型、打标签、切模式」,改动走与面板相同的原子保存路径。 - 安装踩坑已固化:profile 里
defaultMaxTokens: 65536(llm-pi-ai默认 128000,会被 Agnes 这类上游拒绝),凭据只走apiKeyEnv: STEWARD_LOCAL_TOKEN(llm-pi-ai没有apiKey字段)。
验证
- 测试套件:
463 tests, 463 passed(node --test,纯函数与本地回环,零外部服务、零费用)。 - 类型检查:
tsc --noEmit(strict + exactOptionalPropertyTypes + noUncheckedIndexedAccess)无错误。 - 真机验证:
agnes-3.0-flash在白嫖模式下返回 200;65k token 的长请求正常通过窗口过滤。
已知局限
- 只支持 OpenAI 兼容的
chat/completions;Anthropic / Gemini 原生协议需经中转。 - 首字节之后的失败不重试;上游不返 usage 的调用只能记估算成本。
vendors.json中的密钥为明文(0600,仅本机),不是加密存储。
许可
MIT。详见 LICENSE。
本版增补(同一标签内)
- 设置页接线信息可刷新:新增「刷新」按钮,一次重读配置、网关参数与厂家列表;网关端口与本地令牌随重启变化,之前只在第一次取到时缓存,重启后照着旧值配 profile 会 401。
- 本地令牌默认打码:点「显示」才展开,「复制」仍复制真实值;配置文件、网关地址、令牌、台账保留天数各补了一行用途说明,保留天数不再写死 180。
- 白嫖页与厂家卡片对齐:快照只在悬浮面板展开时轮询,设置页里一直停在启动那一刻;保存厂家配置、打开设置页、切到白嫖页现在都会重取快照。
- 热重载竞态修复:基线改为同步读取,避免首次保存被误判成「内容没变」而漏掉重载。
- 快照序号跨重建连续:保存厂家配置、删厂家、重读配置都会重建路由引擎,序号一归零,面板就会把之后所有快照当成迟到响应丢掉;宿主改为维护只增不减的游标。