Repository navigation
v0.18.0 — 流式请求 DB 连接解耦
变更
- feat(streaming): 配额与模型访问读取放入短生命周期
session_scope(),流式期间持有 0 条池连接,消除高并发下连接池耗尽 500- chat (
/v1/chat/completions)、messages (/v1/messages)、responses (/v1/responses) 三个流式端点统一改造 - token 校验改用短会话依赖
get_current_token_streaming/get_current_token_flexible_streaming - 连接池配置: pool_size=30, max_overflow=50
- chat (
- chore(deps): js-yaml 4.3.1 → 4.3.2 (Dependabot #161)
压测验证
100 并发 × 3 分钟(WAF 临时摘除),双端点:
| 模型 | 总请求 | 失败率 | 5xx |
|---|---|---|---|
| us.openai.gpt-5.6-luna | 5275 | 0.02% | 0 |
| global.xai.grok-4.6 | 1329 | 0.08% | 0 |