Repository navigation
v1.24.7
更新说明
修复
- 上游断流不再伪装成正常收尾:上游既没给
finish_reason、也没发data: [DONE]就 EOF
(连接说到一半断了)时,网关此前只补一个[DONE]就当成功结束——客户端看到「内容 +
正常结束」但finish_reason为空,Agent 侧表现就是「说到一半停了、也不报错」,只能人工
接着催。现在流尾补一帧finish_reason=length,由客户端自己决定续写 / 重试。只在网关这一层
一个终态都没发过时补:正常收尾、以及「上游给了终态但漏发[DONE]」的渠道都不受影响,
空流仍走原来的errEmptyStream处置。 - 输出预算下限,修掉「高档位思考把自己那份额度吃光」的截断:客户端指定 high / max 档
思考、又把max_tokens给得比这一档的思考还小时,上游先把额度花在思考上,正文只剩一半
就断在句子中间(生产实测high + max_tokens=2048 → think=2048 正文=2048 finish=length;
同一个提示词不给额度时正文 13722 token 正常收尾)。现在显式额度低于该档下限时抬到下限
(minimal / low 4096、medium 6144、high 8192、xhigh 12288、max 16384),目录
maxOutputTokens更小时以目录封顶。抬的是上限不是目标长度,模型写完自然停、不额外计费;
四种情形一律不动:没给显式额度、探活级额度(<16)、thinking.type=disabled/effort=off、
档位未知。
性能
- 脱敏预检去掉 RE2 大小写折叠:
hasFingerprint的兜底判据从(?i)正则
MatchString(给每个 message 的每个字节跑一遍折叠状态机)改成单遍 ASCII 折叠扫描,
字面量由正则表达式自身推导——正则形态一旦不再是纯字面量就自动回落成直接跑正则,
不会因为手抄漂移而静默漏检。本机同一份 260KB 请求体实测:PrepareBodyOpt
6.88ms → 3.03ms(-56%),sanitizeMessages3.96ms → 0.45ms(-88%),单条 6KB 文本的
预检 94.8µs → 10.2µs。这一段在上游同源取证里占请求体预处理 CPU 的 56%,是「并发一高
就降速」的主要成本之一。
可观测
- 上游断流的归因不再被客户端断开污染:
StreamHint新增WithClientGoneFn。客户端
自己走掉(pkill / 关页面 / idle 超时掐线)时上游只是被动跟随断连,不再记「上游未给终态
就结束」WARN——实测 pkill 一次就刷一条,会把真正的上游断流盖掉。终态照补,静默只针对日志。 WB2API_PPROF诊断监听:设成127.0.0.1:6060即另起一个只跑 pprof 的监听,默认不设
环境变量就完全没有这个监听。用于「并发一高就降速」这类只能靠真实负载定位的 CPU 问题,
取/debug/pprof/profile?seconds=30,取完即关容器。
镜像
多架构镜像(linux/amd64、linux/arm64)已随本次发布构建。