ML Model Serving Platform

机器学习模型服务化平台，支持：

• 多模型并行服务
• 自动版本控制
• 性能监控
• A/B测试

核心功能

✨ 模型热加载
✨ 自动扩缩容
✨ 请求批处理
✨ 模型性能分析
✨ 灰度发布

安装

使用Docker

docker-compose up --build

本地开发

1. 创建虚拟环境

python -m venv venv
source venv/bin/activate

2. 安装依赖

pip install -r requirements.txt

3. 启动服务

uvicorn app.main:app --reload

API文档

访问 http://localhost:8000/docs 查看交互式API文档

模型部署示例

from app.models.model_manager import ModelManager

manager = ModelManager()
manager.load_model(
    model_name="sentiment-analysis",
    version="1.0",
    path="models/sentiment/v1"
)

监控指标

平台暴露Prometheus指标端点：

GET /metrics

贡献

请阅读贡献指南后提交PR