Skip to content

Releases: CSlawyer1985/dsh-jev-router

v0.1.0 — 首个版本

Choose a tag to compare

@CSlawyer1985 CSlawyer1985 released this 25 Sep 05:32

这是什么

用 Jev(TypeSafe AI 的 System One 决策模型)判定每条消息该用多强的推理,并把这个判断变成 DeepSeek Harness 的推理强度档位。

Jev 不聊天、不写代码,它只在你给的可穷举选项里选一个并附上概率与置信度——所以「这句话该用多强的推理」这道理科生眼里的主观题,在它这里是一道选择题。

两条分档能力

档 做什么 默认 缓存代价
Tier A 自动思考强度(off/low/high/max),模型锁定不变 开 无——只改 reasoningEffort
Tier B 自动模型路由(可跨 provider) 关 高——跨模型无缓存复用

核心设计:判定永不进入 prompt 前缀

判定结果只经 agent/request 改写 LlmCallConfig,不改 messages、不注册 system prompt。因此前缀字节不变,DeepSeek 的自动前缀缓存照常命中。有契约测试守着这条红线。

为什么 Tier B 默认关闭

破缓存的代价 / 降档的收益:

N × (P_miss − P_hit)   <   Δ_out × P_out

代入 DeepSeek Pro 峰值价(命中 $0.044 / 未命中 $1.32 / 输出 $3.96 每百万 token)化简为:

Δ_out > 0.32 × 前缀长度

50K 前缀意味着要省 16K 输出 token 才回本,而典型思考预算是 1–8K。所以:出厂关闭、硬门禁、每轮真实计算成本闸。

特性

  • 档位裁决四道过滤:置信度门 → 迟滞窗口 → 降档连续确认(不对称)→ 手动覆盖优先;单轮内锁定
  • 档位夹取:向 llm 注册表问模型支持哪些档位,对齐 DeepSeek / OpenAI / Anthropic 三种命名;无推理元数据的模型一个档位都不设
  • 模型路由五道闸:缓存风险硬门禁 → 回合边界 → 候选可解析 → 成本闸 → 粘滞 + 冷却
  • 度量:从 llm/stream 抓 usage 算真实命中率,标题/压缩调用单独计数不污染指标
  • 价目:从 DeepSeek 官网实时获取 + 内置快照回退 + 自备价目(支持非 DeepSeek provider)
  • 设置页 + 输入框徽章 + /jev 命令族,密钥经 DSH 凭据存储写入(不进配置文件)
  • 可回滚:/jev rollback 一键回到切换前的模型

验证

  • 135 项测试(单元 / 集成 / 前端渲染 / 契约 / 能力适配 / 配置解析 五层)
  • scripts/verify-install.sh —— 13 项安装自检
  • scripts/probe-frontend.mjs —— 用 CDP 驱动无头 Chrome 真实验证前端激活(不是仅检查资产交付)
  • scripts/rollback.sh —— 一键禁用插件并从备份恢复 profile patch

三条 DSH 硬性约定(实机启动才暴露的踩坑)

  1. 前端半的 apply() 绝不能抛 —— client fiber FAILED 会让 web boot: 1 entry did not activate,DSH 直接无法启动。槽位注册必须走 slots.inject,并整体包 try/catch。
  2. .volatile() 配置字段在插件里是引用对象(Object.freeze({get}))——直读会让 === true 与数值比较静默失效。
  3. client 模块是合并包(plugins/??a/client.js,b/client.js&rev=),没有单独 URL。

作者

chenshi.ai · 决策模型:Jev(TypeSafe AI)