Skip to content

v0.5.0

Choose a tag to compare

@pescn pescn released this 31 Jan 11:00
· 22 commits to main since this release
f823a58

🚀 NexusGate v0.5.0

✨ 新功能

多 API 格式适配器架构

  • 全新的适配器模式,支持多种 LLM API 格式互相转换
  • 支持 OpenAI Chat、OpenAI Responses 和 Anthropic Messages 三种 API 格式
  • 新增 x-api-key header 支持,兼容 Anthropic SDK

Vision Language Model (VLM) 支持

  • 完整支持图片输入,跨所有 API 格式
  • 修复 Responses API 中的 VLM schema/adapter 不匹配问题

Function Calling / Tool Use 支持

  • 完整支持 Function Calling 和 Tool Use 功能
  • 前端可视化展示工具调用结果

请求去重 (Request Deduplication)

  • 通过 X-NexusGate-ReqId header 实现幂等请求
  • Redis 支持的 in-flight 请求追踪
  • 自动返回已完成请求的缓存响应

Prometheus 监控 & Grafana 集成

  • 内置 /metrics 端点,导出完成数、令牌用量、延迟直方图、成本等指标
  • Overview 页面可选嵌入 Grafana 仪表盘,支持视图模式切换
  • 预置 Grafana Dashboard JSON,包含成本分析、趋势对比、模型性能矩阵
  • 支持环境变量或数据库配置仪表盘 URL,含旧格式自动迁移

速率限制 (Rate Limiting)

  • 基于令牌桶算法的速率限制服务
  • 支持 RPM (每分钟请求数) 和 TPM (每分钟令牌数) 限制
  • API Key 级别的细粒度速率配置
  • 前端速率限制配置与使用量展示

Overview 仪表盘

  • 新增 Overview 页面,展示 API 调用统计
  • 支持时间范围筛选和数据可视化

多 Provider 故障转移

  • 自动故障转移和重试机制
  • 加权负载均衡支持
  • 指数退避与抖动

Kubernetes 集成

  • K8s Operator API Key 集成端点
  • 支持自动 API Key 管理

管理员设置 API

  • 通用 key-value 设置存储 (/api/admin/settings)
  • 专用仪表盘管理端点 (/api/admin/dashboards)

文档站点

  • 独立的文档子模块 (fumadocs + TanStack Start)
  • 支持中英文双语
  • CI 自动同步文档更新

🐛 Bug 修复

  • 修复客户端断开时未记录 completion 的问题 (#58)
  • 修复上游 Provider 响应的 JSON 解析安全性 (#64)
  • 修复 Anthropic 适配器透明性和兼容性 (#66)
  • 修复加权负载均衡选择逻辑 (#49)
  • 修复 Grafana 仪表盘中成功率/错误率除零问题
  • 修复 Overview 统计查询的时区问题
  • 修复速率限制的并发和竞态条件
  • 修复 Docker 构建路径和依赖问题

🔧 其他改进

  • 日志框架从 consola 迁移到 loglayer
  • 新增 Python 集成测试套件
  • PR Checks CI 流程
  • 代码格式化和类型安全改进

Full Changelog: v0.4.0-beta.1...v0.5.0