Skip to content

[[ 开源自荐 ]] Deepnow-> AI 算力经营时代的 Token 超级软路由(网关),原生codex支持~ #111

@cebernic

Description

@cebernic

受够了 API 限流、单点故障和昂贵算力?受够了AI时代为每一种基础能力安装一种能力平台?希望让项目使用永不掉线的推理API服务?

项目地址: https://github.com/cebernic/deepnow

###🔥 直击Token使用者们的痛点:###

1.❌ 项目使用某个模型频繁出现推理服务繁忙?Request per min 超限?对话timeout?
→使用Deepnow后→ ✅ 主备秒级兜底 + 同类模型多 Key 轮询聚合 + 不同模型混合Robin-round,请求永不掉线,还可以为项目热切换推理模型。

2.❌ 用不完的残余大模型key希望流量转卖、流量经营?
→使用Deepnow后→ ✅ 闲置时可以放入模型池聚合给他人调用,管理者可轻松通过使用记录查看 Token 使用情况,并无需泄露自己的原始key,也不会有共享算力导致的推理API封号的风险(通过deepnow请求的算力始终来自相同的物理IP)

3.❌ RAG 与 Agent 集成碎片化 ?Codex 不想用 OpenAI的 Token? 配置太复杂?
→使用Deepnow后→ ✅ 自带百万级并发C++向量数据库,内置向量召回引擎,完美兼容 /v1/chat/completions 与 /v1/responses,Codex/Agent 框架开箱即用。可以在智能体、专业问答助手中使用语义级完全私有化知识。

4.❌ 希望多人公用模型,又不想共享模型API Key?
→使用Deepnow后→ ✅ 可以给任何人分配一个私有key ,还可以随时收回,限制访问性能等。

5.❌ 懒得折腾?部署麻烦?组件太多、依赖太多?
→使用Deepnow后→ ✅ 原生平台编译,Golang+ C++ 编写、向量数据库内置、高缓引擎内置、RAG 内置、不使用docker ,不依赖安装环境,更无需恼人的npm / pip 依赖,且原生性能支持百万级的并发请求。极简敏捷部署,开箱即用,无需查阅任何文档、解决任何软件冲突。无论是正在使用TOKEN编程的个人,还是正在打造超级算力网关的企业,deepnow 都实现了0成本部署。

6.❌ 希望集成本地Ollama + llama cpp 算力对外提供服务,却无法集成一个Endpoint ,无法方便管理?
→使用Deepnow后→ N个本地llama / ollama 资源并联到一起,一个接口提供超级效能的推理能力,还可让deepnow 自己与自己组网,形成更高级的推理API网关。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions