Etna: 锻造智能，运行未来 | Etna Intelligence, Run the Future
由 HenosisLab 研发维护，Etna 是下一代大模型运行与推理平台，专注于极致性能、异构算力协同与企业级可靠性，重新定义本地及私有化环境下的AI模型部署与运行体验。
超越传统轻量化运行工具，ForgeAI 从底层重构推理引擎，让不同规模的大模型（7B~70B+）在消费级硬件、服务器集群上均能高效稳定运行，同时原生支持多模态、智能体编排与RAG工作流，助力开发者与企业快速落地AI能力。
🚀 核心特性
-
极致推理性能：自研基于 PagedAttention 的推理引擎，结合推测解码（Speculative Decoding），推理速度提升2~5倍，KV Cache碎片率降低80%+，并发能力显著优于同类平台。
-
异构算力适配：原生支持 CPU/GPU/国产NPU（昇腾、AMD Ryzen AI等）协同调度，深度优化 Apple Silicon（MLX框架），充分释放全硬件算力潜力。
-
多模态原生融合：内置视觉（LLaVA）、语音（Whisper）、OCR/PDF解析能力，无需额外插件，直接支持图文音视频输入输出与上下文记忆。
-
企业级安全合规：全链路数据加密（传输/存储/推理）、细粒度权限管控、操作审计日志，支持等保2.0，适配金融、政务、医疗等敏感行业需求。
-
开发者友好：兼容 OpenAI API，无缝迁移现有代码；提供完善的 Python/Go/JavaScript SDK 与文档，支持自定义插件扩展。
-
灵活部署方式：支持本地离线运行、多节点集群部署、混合部署（本地+云端），兼顾隐私保护与成本优化。
-
丰富模型生态：兼容 GGUF/GPTQ/ONNX 等主流模型格式，一键导入 Hugging Face 模型，内置行业专属模型模板。
📦 快速开始
前提条件
-
操作系统：Windows 10+ / macOS 12+ / Linux (Ubuntu 20.04+)
-
硬件要求：最低 8GB RAM，支持 CUDA/NPU 的显卡（推荐 16GB+ 显存用于 7B+ 模型）
-
依赖：Python 3.8+ 或 Docker
安装方式
首次运行
etna pull llama3 # 拉取原始模型（矿石） etna forge llama3 # 锻造：量化/优化（核心价值！） etna run llama3 # 运行锻造后的模型 etna serve llama3 # 部署为 API 服务 etna list # 查看已锻造的模型清单
- OpenAI 兼容接口调用
import openai
openai.api_base = "http://localhost:8080/v1" openai.api_key = "sk-xxx" # 本地运行可随意填写
response = openai.ChatCompletion.create( model="qwen:7b", messages=[{"role": "user", "content": "解释什么是异构算力协同"}] )
print(response.choices[0].message.content)
📋 支持的模型
ForgeAI 支持主流开源大模型，一键下载、即开即用，部分模型如下：
-
Llama 2 / Llama 3（7B, 13B, 70B）
-
Qwen（7B, 14B, 72B）
-
Mistral（7B, 8x7B）
-
Gemini（开源版本）
-
多模态模型：LLaVA, MiniGPT-4
支持自定义模型导入，详情见 自定义模型导入 文档。
🔬 技术架构
ForgeAI 采用分层架构，兼顾性能与扩展性：
-
底层引擎层：自研推理引擎 + 异构算力调度模块，优化内存管理与并发控制；
-
核心功能层：模型管理、多模态处理、智能体编排、RAG 引擎；
-
接口层：OpenAI 兼容 API、SDK、命令行接口（CLI）；
-
应用层：Web 管理界面、桌面客户端、企业级运维监控工具。
架构详情见 架构文档。
📖 文档与资源
-
详细文档：./docs
-
API 参考：API 文档
-
模型导入指南：模型导入
-
集群部署教程：集群部署
-
常见问题：FAQ
🤝 贡献指南
欢迎开发者参与 ForgeAI 的开发与优化，贡献方式如下：
-
Fork 本仓库
-
创建特性分支（git checkout -b feature/your-feature）
-
提交代码（git commit -m "Add your feature"）
-
推送分支（git push origin feature/your-feature）
-
创建 Pull Request
贡献规范见 CONTRIBUTING.md。
📜 许可证
本项目采用 Apache-2.0 许可证，开源免费用于非商业用途；商业用途请联系 SensusResearch 获取授权。
📞 联系我们
-
组织：SensusResearch
-
邮箱：contact@sensusresearch.ai（商业合作、技术支持）
-
Discord：加入交流群（替换为实际链接）
Forge Intelligence, Run the Future. —— Built by SensusResearch