Repository navigation
Local Model Gateway 2.2.0
サクラDevelopment 发布 2.2.0:可配置「原地重试」后再故障转移。
新增
- 新增可靠性设置「每个上游重试次数」(
upstreamRetries,0–10,默认 0)。
0 保持旧行为;设为 N 时,某个上游出现连接失败、超时、429 或 5xx 会先原地重试同一个站 N 次,
重试次数用尽才切换到下一优先级的备用上游。
改进
- 失败时返回给客户端的错误信息末尾会追加「已依次尝试:上游A×2、上游B×1」摘要,
一眼看出是重试耗尽还是切换耗尽;code/type/param等结构化字段保持原值。 - 请求日志的
attempts新增retry字段,按真实尝试顺序记录每次请求,
后台日志行会显示「第 N 次」重试标记。 failover统计改为「尝试过多个不同上游」,原地重试同一个站不再计入故障转移。4xx参数/鉴权错误既不原地重试也不切换上游,直接把配置问题暴露出来。- 修复设置项超出范围时管理接口返回 500 的问题(现返回 400 与具体提示)。
修复
- 修复 v2.1.1 管理后台中文乱码问题(该问题已在 v2.1.2 修复,此版本包含同样修复)。
说明
- 流式请求仍然只在向上游建立响应之前重试/切换,避免重复生成内容。
- 并发槽位在整个重试过程中持续占用。
- 升级后需重新下载安装包;Docker 用户
docker compose pull && docker compose up -d即可。