Skip to content

Local Model Gateway 2.2.0

Choose a tag to compare

@github-actions github-actions released this 22 Sep 08:11
· 9 commits to main since this release

サクラDevelopment 发布 2.2.0:可配置「原地重试」后再故障转移。

新增

  • 新增可靠性设置「每个上游重试次数」(upstreamRetries,0–10,默认 0)。
    0 保持旧行为;设为 N 时,某个上游出现连接失败、超时、429 或 5xx 会先原地重试同一个站 N 次,
    重试次数用尽才切换到下一优先级的备用上游。

改进

  • 失败时返回给客户端的错误信息末尾会追加「已依次尝试:上游A×2、上游B×1」摘要,
    一眼看出是重试耗尽还是切换耗尽;code / type / param 等结构化字段保持原值。
  • 请求日志的 attempts 新增 retry 字段,按真实尝试顺序记录每次请求,
    后台日志行会显示「第 N 次」重试标记。
  • failover 统计改为「尝试过多个不同上游」,原地重试同一个站不再计入故障转移。
  • 4xx 参数/鉴权错误既不原地重试也不切换上游,直接把配置问题暴露出来。
  • 修复设置项超出范围时管理接口返回 500 的问题(现返回 400 与具体提示)。

修复

  • 修复 v2.1.1 管理后台中文乱码问题(该问题已在 v2.1.2 修复,此版本包含同样修复)。

说明

  • 流式请求仍然只在向上游建立响应之前重试/切换,避免重复生成内容。
  • 并发槽位在整个重试过程中持续占用。
  • 升级后需重新下载安装包;Docker 用户 docker compose pull && docker compose up -d 即可。