Skip to content

v1.0.0 — мультипровайдерный AI-гейтвей на Go

Latest
Latest

Choose a tag to compare

View all tags
@Mukller Mukller released this 23 Aug 05:36
· 30 commits to main since this release
v1.0.0
70ab4c9

claude-code-gateway v1.0.0

Self-hosted AI-гейтвей на чистом Go для Claude Code и любых OpenAI/Anthropic-совместимых клиентов: один бинарник, ноль тяжёлых зависимостей (только YAML + драйвер БД по желанию).

EN: Self-hosted AI gateway in pure Go for Claude Code and any OpenAI/Anthropic-compatible client — single binary, multi-provider routing, key rotation, budgets, semantic cache, guardrails and an MCP control surface.

Возможности

Ядро

  • 5 типов провайдеров: anthropic, anthropic-compat, openai, bedrock (SigV4 + event-stream), vertex (api-key / bearer / сервис-аккаунт с авто-OAuth)
  • Полная трансляция Anthropic ↔ OpenAI в обе стороны, включая SSE-стримы
  • Ротация ключей (round-robin / fill-first) с cooldown и уважением Retry-After
  • Фолбэк-цепочки + circuit breaker (5 ошибок подряд → пауза)
  • Балансировка: weighted / least_busy / latency (EMA)

Маршрутизация

  • Сценарные правила как в claude-code-router: long_context / image / thinking
  • Комбо-модели: один алиас → цепочка разных моделей
  • Session-sticky роутинг по metadata.user_id

Управление и наблюдение

  • Виртуальные ключи клиентов: бюджеты USD (daily/weekly/monthly), allowed_models, RPM/TPM
  • Веб-дашборд: графики за 24ч/14 дней, клиенты/бюджеты, встроенный редактор config.yaml с валидацией и откатом
  • MCP-сервер (HTTP + stdio): управляй гейтвеем прямо из Claude
  • Prometheus /metrics, usage/error вебхуки с HMAC, CSV-экспорт, TTFT
  • Guardrails: блок/redact паттерны, PII-пресеты, детект промпт-инъекций, скан стримов
  • Кэш ответов: точный + семантический (embeddings) + пер-реквест x-ccg-* заголовки
  • Распределённое состояние: Redis или Postgres для нескольких реплик
  • Автосинк цен моделей с OpenRouter

Быстрый старт

docker compose up -d --build

export ANTHROPIC_BASE_URL=http://localhost:8090
export ANTHROPIC_AUTH_TOKEN=ccg-local-dev-token
claude

Бинарники под linux/darwin/windows прикреплены ниже; docker-образ: ghcr.io/mukller/claude-code-gateway:v1.0.0.

Подключение провайдеров

В config.yaml из коробки: прямой Anthropic, AWS Bedrock, Google Vertex AI, любой OpenAI-совместимый агрегатор (OpenRouter, 9router, DeepSeek, GLM, Kimi, Ollama...). Модели подтягиваются автоматически.

Благодарности

Идеи вдохновлены и честно украдены у OmniRoute, claude-code-router, LiteLLM, one-api/new-api, CLIProxyAPI, gpt-load, uni-api, Helicone, Bifrost, Portkey Gateway, Cloudflare AI Gateway — все ссылки в README.

Full Changelog: https://github.com/Mukller/claude-code-gateway/commits/v1.0.0

Assets 7
Loading