Skip to content

v1.24.7

Choose a tag to compare

@github-actions github-actions released this 08 Nov 11:47
· 43 commits to main since this release

更新说明

修复

  • 上游断流不再伪装成正常收尾:上游既没给 finish_reason、也没发 data: [DONE] 就 EOF
    (连接说到一半断了)时,网关此前只补一个 [DONE] 就当成功结束——客户端看到「内容 +
    正常结束」但 finish_reason 为空,Agent 侧表现就是「说到一半停了、也不报错」,只能人工
    接着催。现在流尾补一帧 finish_reason=length,由客户端自己决定续写 / 重试。只在网关这一层
    一个终态都没发过时补:正常收尾、以及「上游给了终态但漏发 [DONE]」的渠道都不受影响,
    空流仍走原来的 errEmptyStream 处置。
  • 输出预算下限,修掉「高档位思考把自己那份额度吃光」的截断:客户端指定 high / max 档
    思考、又把 max_tokens 给得比这一档的思考还小时,上游先把额度花在思考上,正文只剩一半
    就断在句子中间(生产实测 high + max_tokens=2048 → think=2048 正文=2048 finish=length;
    同一个提示词不给额度时正文 13722 token 正常收尾)。现在显式额度低于该档下限时抬到下限
    (minimal / low 4096、medium 6144、high 8192、xhigh 12288、max 16384),目录
    maxOutputTokens 更小时以目录封顶。抬的是上限不是目标长度,模型写完自然停、不额外计费;
    四种情形一律不动:没给显式额度、探活级额度(<16)、thinking.type=disabled / effort=off、
    档位未知。

性能

  • 脱敏预检去掉 RE2 大小写折叠:hasFingerprint 的兜底判据从 (?i) 正则
    MatchString(给每个 message 的每个字节跑一遍折叠状态机)改成单遍 ASCII 折叠扫描,
    字面量由正则表达式自身推导——正则形态一旦不再是纯字面量就自动回落成直接跑正则,
    不会因为手抄漂移而静默漏检。本机同一份 260KB 请求体实测:PrepareBodyOpt
    6.88ms → 3.03ms(-56%),sanitizeMessages 3.96ms → 0.45ms(-88%),单条 6KB 文本的
    预检 94.8µs → 10.2µs。这一段在上游同源取证里占请求体预处理 CPU 的 56%,是「并发一高
    就降速」的主要成本之一。

可观测

  • 上游断流的归因不再被客户端断开污染:StreamHint 新增 WithClientGoneFn。客户端
    自己走掉(pkill / 关页面 / idle 超时掐线)时上游只是被动跟随断连,不再记「上游未给终态
    就结束」WARN——实测 pkill 一次就刷一条,会把真正的上游断流盖掉。终态照补,静默只针对日志。
  • WB2API_PPROF 诊断监听:设成 127.0.0.1:6060 即另起一个只跑 pprof 的监听,默认不设
    环境变量就完全没有这个监听。用于「并发一高就降速」这类只能靠真实负载定位的 CPU 问题,
    取 /debug/pprof/profile?seconds=30,取完即关容器。

镜像

多架构镜像(linux/amd64、linux/arm64)已随本次发布构建。