Skip to content

DSH Token Steward v1.0.0

Choose a tag to compare

@JiamingShi-JsPhys JiamingShi-JsPhys released this 06 Nov 15:04
· 25 commits to main since this release

v1.0.0 是 Token 管家的首个正式版本:在 DSH 的 llm-pi-ai 适配器与上游之间加一层本地 OpenAI 兼容网关,把模型池、路由、容灾、缓存、计量与面板全部收进一个插件。DSH 的会话层一行不改。

主要能力

  • 模型矩阵调度:任意 OpenAI 兼容上游——官方 API、免费镜像、自建中转、opencode——挂进同一张池子。网关做「硬过滤 → 打分 → 降级链」,写代码、长文推理、看图、并发轰炸的请求落到不同型号。
  • 四种调度模式:极致便宜 frugal(C/D 级里最便宜)、效率优先 balanced(任务维度 A 级以上,质量 0.6 + 成本 0.4,同批并发打散)、最强火力 max_power(六维总和最高)、白嫖 free(零成本硬过滤,绝不偷偷切付费模型)。
  • 容灾:429 指数退避冷却、5xx 熔断后半开试探、401/403 一次下线、上下文超限换大窗口、max_tokens 出站按窗口回压;首字节发出后的失败不重试(避免第二份副作用)。
  • 价格层:每 1M token 的榜单估算价,查价对 id 归一化(agnes-3.0-flash ↔ agnes-3-0-flash),面板可逐型号覆盖。未定价显示 —,CNY 与 USD 不相加。
  • 本地精确缓存:SQLite 中按 SHA-256 回放,命中即 0 token、不出站、不计费;没有 node:sqlite 的宿主自动降级为内存 LRU。带 tools、超长 prompt、已下线模型的请求不缓存。
  • 面板:悬浮球(环色 = 当前模式,角标 = 今日已省)、四页签(成本看板 / 模型矩阵 / 路由日志 / 代理协作)、管家设置(拉取模型、只导入地址对得上的那一家、反向同步系统模型、显式删除、价目与擅长标签、白嫖徽标)。
  • Agent 工具:注册 token_steward_manage 与同名运行时技能,用对话完成「接厂商、勾模型、打标签、切模式」,改动走与面板相同的原子保存路径。
  • 安装踩坑已固化:profile 里 defaultMaxTokens: 65536(llm-pi-ai 默认 128000,会被 Agnes 这类上游拒绝),凭据只走 apiKeyEnv: STEWARD_LOCAL_TOKEN(llm-pi-ai 没有 apiKey 字段)。

验证

  • 测试套件:463 tests, 463 passed(node --test,纯函数与本地回环,零外部服务、零费用)。
  • 类型检查:tsc --noEmit(strict + exactOptionalPropertyTypes + noUncheckedIndexedAccess)无错误。
  • 真机验证:agnes-3.0-flash 在白嫖模式下返回 200;65k token 的长请求正常通过窗口过滤。

已知局限

  • 只支持 OpenAI 兼容的 chat/completions;Anthropic / Gemini 原生协议需经中转。
  • 首字节之后的失败不重试;上游不返 usage 的调用只能记估算成本。
  • vendors.json 中的密钥为明文(0600,仅本机),不是加密存储。

许可

MIT。详见 LICENSE。

本版增补(同一标签内)

  • 设置页接线信息可刷新:新增「刷新」按钮,一次重读配置、网关参数与厂家列表;网关端口与本地令牌随重启变化,之前只在第一次取到时缓存,重启后照着旧值配 profile 会 401。
  • 本地令牌默认打码:点「显示」才展开,「复制」仍复制真实值;配置文件、网关地址、令牌、台账保留天数各补了一行用途说明,保留天数不再写死 180。
  • 白嫖页与厂家卡片对齐:快照只在悬浮面板展开时轮询,设置页里一直停在启动那一刻;保存厂家配置、打开设置页、切到白嫖页现在都会重取快照。
  • 热重载竞态修复:基线改为同步读取,避免首次保存被误判成「内容没变」而漏掉重载。
  • 快照序号跨重建连续:保存厂家配置、删厂家、重读配置都会重建路由引擎,序号一归零,面板就会把之后所有快照当成迟到响应丢掉;宿主改为维护只增不减的游标。