Skip to content

cnllm

Latest

Choose a tag to compare

@kanchengw kanchengw released this 12 Jun 16:09
· 7 commits to main since this release
29ccd12

v0.9.10 (2026-06-12)
⚡ 自适应调度算法 + 池化算法
chat.batch(stream=False) 路径支持自适应调度器:动态调整并发度、RPS 限速、RPM 学习、429 冻结/解冻
流式/混合批量调用依然需要手动配置 max_concurrent 和 rps 或使用默认值,非流式批量也可通过指定覆盖自适应调度
配置 fallback_models + performance=True 按模型吞吐量加权分发,快慢模型互不阻塞,不支持配置 max_concurrent 和 rps
配置 performance=False 或不配置 performance 时,默认主模型优先,失败请求自动重试 fallback 模型
✨ 阶跃星辰 Step 新厂商接入
支持 step-3-5-flash、step-3-7-flash 模型
支持非流式/流式 Chat Completions、Tools、推理强度 (reasoning_effort)
✨ MiniMax 新增 minimax-m3(MiniMax-M3)模型
thinking 参数支持 True/False 控制思考模式(M3 专用)
✨ 千问 Qwen 新增 qwen3.7-max、qwen3.7-plus 模型