v0.3.1 - 稳定性优化

稳定性优化

本版本专注于代码质量和稳定性改进，无新增功能。

优化内容

依赖升级

• mlx-vlm 0.4.2 — thinking 参数透传 + Qwen3.5 MoE processor 修复
• 10 个 pip 包升级（aiohttp, cryptography, gradio, numpy 等）

代码质量

• detector.py 精简 — 魔法数字文档化 + 冗余集合合并为 VLM_REGISTRY
• 别名命名规则优化 — 保留有意义标识（如 claude），丢弃技术参数
• 12/12 回归测试通过

Commits

• c08b0a3 refactor: detector.py 精简
• 4aa047b feat: 别名命名规则优化
• ef67255 feat: mlx-vlm 0.4.2 适配

验证

• ✅ Qwen3.5-122B thinking 功能测试通过
• ✅ 模型类型检测正常
• ✅ API 端点功能正常

---

Full Changelog: v0.3.0...v0.3.1

🚀 MLX Service v0.3.0 - Enterprise-Grade MLX Inference Service

🎯 MLX Service v0.3.0

Production-Ready MLX Inference Service

---

✨ 核心特性

🌐 Multi-API Support

API	端点	状态
OpenAI	/v1/chat/completions, /v1/models, /v1/audio/transcriptions	✅ 完整支持
Anthropic	/v1/messages	✅ 完整支持
Ollama	/api/chat, /api/generate, /api/tags	✅ 完整支持

🎨 Multi-Modal Support

• Vision Language Models — 自动检测 VL 模型，支持 Qwen3-VL 等图片识别
• Audio Models — 支持 Whisper 语音识别（WAV/MP3/M4A/FLAC/OGG/WEBM）

🧠 Smart Model Management

Request → Load (if needed) → Inference
    ↓
Memory Budget Check (120GB limit)
    ↓
LRU Eviction if Over Budget
    ↓
Idle Timeout (30 min) → Auto Unload

⚡ Three-Tier Cache Architecture

• Hot Tier — 内存 LRU 缓存（20 entries）
• Cold Tier — SSD 异步持久化（30GB）
• Prefix Cache — 相同前缀请求提速 10x+

---

📦 统计

指标	数值
代码行数	~2,500
API 端点	15+
测试用例	12
架构模块	7

---

🚀 快速开始

# 安装依赖
pip install -r requirements.txt

# 启动服务
python main.py

# 或使用启动脚本
./start.sh

---

📝 Changelog

See CHANGELOG.md for full details.

---

Made with ❤️ by the MLX Service Team

v0.2

MLX Service v0.2

New Features

• Prefix Cache: KV cache reuse with LRU eviction
  • Token hash-based cache key
  • Configurable memory limits
  • Cache hit/miss statistics

New Endpoints

• GET /v1/cache/stats - View cache statistics
• POST /v1/cache/clear - Clear cache

Fixes (from v0.1)

• Ollama API proper error status codes (400/503)
• Auth whitelist for read-only endpoints

Tested

• ✅ Cache hit rate tracking
• ✅ Sync and stream generation
• ✅ ~22 tokens saved per cache hit

v0.1

MLX Service v0.1

Features

• On-demand model loading with LRU eviction
• OpenAI + Ollama API compatibility
• Model type detection from config.json (VL/MoE)
• Idle auto-unload (default 30 min)

Fixes

• Ollama API proper error status codes (400/503)
• Auth whitelist for read-only endpoints

Tested

• ✅ Health check
• ✅ Model list (public)
• ✅ Chat completion
• ✅ Error status codes