MLsharp Version 1.29.1314
🚀 梯度检查点 v7.3
- ✅ 梯度检查点功能 - 减少显存占用 30-50%
- ✅ 智能内存优化 - 通过重新计算中间激活值节省显存
- ✅ 可配置选项 - 支持命令行参数和配置文件
- ✅ 默认关闭 - 不影响正常使用,按需启用
- ✅ 详细文档 - 乐观化方案文档
🚀 监控指标 v7.2
- ✅ Prometheus 集成 - 完整的 Prometheus 指标支持
- ✅ 性能监控 - HTTP 请求、预测请求、响应时间统计
- ✅ GPU 监控 - 实时 GPU 内存使用量和利用率监控
- ✅ 任务追踪 - 活跃任务数和各阶段耗时统计
- ✅ 配置支持 - 通过配置文件控制监控功能
🚀 输入尺寸参数 v7.1
- ✅ 输入尺寸参数 - 支持自定义推理输入尺寸(默认:1536x1536)
- ✅ 自动验证 - 自动验证并调整输入尺寸以符合模型要求
- ✅ 智能约束 - 确保尺寸能被 64 整除且宽高相等
- ✅ 最大限制 - 最大支持 1536x1536,避免 SPN 编码器补丁分割错误
- ✅ 配置文件支持 - 通过 config.yaml 或 config.json 配置输入尺寸