Skip to content

v1.6.0 - AI Gateway & Cost & OpenAI-compatible Proxy

Choose a tag to compare

View all tags
@TASure TASure released this 29 Sep 07:18
· 36 commits to main since this release
v1.6.0
cad1345

sureai v1.6.0 — AI Gateway

本版本让 sureai 成为「Java 世界的 LiteLLM」：统一多平台网关 + 成本计量 + OpenAI 兼容独立代理。29 模块、937 测试 0 失败。

🆕 Added

  • sure-ai-gateway（多供应商统一网关）
    • GatewayClient 实现 core 的 AiClient 接口，对调用方完全透明；只依赖 core，不硬依赖任何平台模块；
    • 6 种路由策略：显式指定 / 能力匹配 / 轮询 / 加权 / 最低延迟 / 最低成本（可组合）；
    • 自动故障转移：5xx / 超时 / 连接错误切换候选，4xx 不转移，熔断健康摘除 + FailoverListener 事件；
    • 虚拟密钥 + 租户限流 + 成本预算（超限抛 AiBudgetExceededException）。
  • 成本计量（core）：PriceCatalog（18 个主流模型价格，官方定价核实）+ CostCalculator（输入/输出/缓存读/缓存写分别计价）+ CostAggregator（租户/模型/时间窗汇总）。
  • 密钥池（core）：ApiKeyProvider + KeyRotatingClientDecorator，401/429 自动换 key 重试（坏 key 冷却）。
  • sure-ai-proxy（OpenAI 兼容独立代理）：JDK 内置 HttpServer 启动，/v1/chat/completions（非流式 + SSE）、/v1/embeddings、/v1/models，虚拟密钥鉴权，任意应用改 baseUrl 即可接入全部平台（LiteLLM proxy 模式）。

📊 质量

  • 937 测试 0 失败（+82）；core 87.2%、gateway 87.2%、proxy 81.2%
  • checkstyle / spotbugs / license 门禁全绿；运行期第三方依赖仍有且仅有 sure-core:0.2.0
  • 文档 docs/gateway.md、docs/cost.md、docs/proxy.md；示例 GatewayDemo / ProxyDemo

Full Changelog: v1.5.0...v1.6.0

Assets 2
Loading