Skip to content

Token Meter zh

pawaca edited this page Aug 30, 2026 · 1 revision

Token Meter

上游逐 session token 计量系统在 Edge 中的适配。

上游参考:Token Meter

上游提供了什么

TokenMeterctx.tokenMeter)提供隔离的逐 session token 计量和请求压力追踪。在 agent 循环的特定消费点生成不可变快照(TokenMeasurement)。

  • 两种基线模式:usage-based(复用成功 LLM 调用的 provider 报告 token 数)和 estimated(无 provider 数据时的启发式定价)。
  • Surface delta 追踪:有符号的 surfaceDeltaTokens 测量相对锚点的增减,让压缩和 UI 知道上下文压力如何变化。
  • 逐节点定价:每个 session surface 节点获得启发式 token 估计,支撑"上下文使用量"指示器和压缩触发。

Token meter 不调用 LLM provider——它从成功请求的 header 中读取 provider usage,在调用间隙应用启发式估算。它是被压缩引擎、系统提示词预算和客户端 UI 消费的被动计量服务。

Edge 改了什么

零适配

TokenMeter 无配置安装,无 Edge 专属代码。它从 DeepSeek LLM 适配器发出的 request/header session 事件中读取 token usage——与上游产生的事件格式相同。计量 API(measure()estimateMessage())行为一致。

客户端 token meter UI(上下文使用百分比、输入/输出 token 数、cache 命中率)嵌入在 dsh-client-ui-conversation 中,是 Edge 组装的 33 个客户端插件之一。没有独立的 token meter 客户端插件——显示是会话页脚的一部分。

Edge 没有改什么

  • 计量策略(usage-based vs estimated 基线)
  • Surface delta 追踪和逐节点定价
  • 启发式 token 估算规则
  • 与压缩引擎和系统提示词预算的集成
  • 客户端上下文使用量显示

性能特征

计量开销

measure() 从上一个锚点开始重放持久事件尾部。开销 O(surface 节点数)——普通对话通常 10–50 个节点。重放是同步的且有缓存;同一 turn 内的重复调用复用结果。无 I/O,无 LLM 调用。

启发式精度

Provider 调用间隙的 token 数是启发式估算。每次成功的 LLM 调用后,provider 报告的 usage 替换启发式基线。有符号 delta 保证过渡期的精度。DeepSeek 模型在响应 header 中报告精确的 token 数。

架构总结

| 组件 | 分类 | Edge 代码|

TokenMeter 服务 一行 ctx.plugin(),无配置
Token 用量显示 会话 UI 插件的一部分

关键观察:TokenMeter 是最简单的上游集成之一——零 Edge 代码,零配置。它被动地从 session 事件中读取 provider usage 数据并应用启发式估算。整个计量和显示管线都是上游。

English

中文

Clone this wiki locally