Skip to content

🚀 MLX Service v0.3.0 - Enterprise-Grade MLX Inference Service

Choose a tag to compare

View all tags
@sysit sysit released this 29 Mar 04:03
· 19 commits to main since this release
v0.3.0
8da8c2a

🎯 MLX Service v0.3.0

Production-Ready MLX Inference Service

✨ 核心特性

🌐 Multi-API Support

API 端点 状态
OpenAI /v1/chat/completions, /v1/models, /v1/audio/transcriptions ✅ 完整支持
Anthropic /v1/messages ✅ 完整支持
Ollama /api/chat, /api/generate, /api/tags ✅ 完整支持

🎨 Multi-Modal Support

  • Vision Language Models — 自动检测 VL 模型，支持 Qwen3-VL 等图片识别
  • Audio Models — 支持 Whisper 语音识别（WAV/MP3/M4A/FLAC/OGG/WEBM）

🧠 Smart Model Management

Request → Load (if needed) → Inference
    ↓
Memory Budget Check (120GB limit)
    ↓
LRU Eviction if Over Budget
    ↓
Idle Timeout (30 min) → Auto Unload

⚡ Three-Tier Cache Architecture

  • Hot Tier — 内存 LRU 缓存（20 entries）
  • Cold Tier — SSD 异步持久化（30GB）
  • Prefix Cache — 相同前缀请求提速 10x+

📦 统计

指标 数值
代码行数 ~2,500
API 端点 15+
测试用例 12
架构模块 7

🚀 快速开始

# 安装依赖
pip install -r requirements.txt

# 启动服务
python main.py

# 或使用启动脚本
./start.sh

📝 Changelog

See CHANGELOG.md for full details.

Made with ❤️ by the MLX Service Team

Assets 2
Loading