DeepSparkInference 25.09 Release Notes
·
379 commits
to master
since this release
25.09 Release Notes
模型与算法
- 新增了19个推理小模型示例，其中支持IGIE推理引擎的12个，支持ixRT推理引擎的7个。
- 新增了11个大语言模型推理示例，涉及FastDeploy、LMDeploy和vLLM等框架。
| ixRT | ||
|---|---|---|
| ATSS | CLIP | CSPResNeXt50 |
| EfficientNet-B4 | EfficientNet-B5 | PAA |
| RetinaNet | ||
| IGIE | ||
| EfficientNet-B6 | MNASNet1_3 | Regnet_x_32gf |
| Regnet_x_400mf | Regnet_y_3_2gf | Regnet_y_32gf |
| RegNet_y_400mf | SSD | VGG13 |
| VGG13_BN | YOLOF | YOLOv13 |
| 大模型 | ||
| CosyVoice2-0.5B | E5-V (vLLM) | ERNIE-4.5-21B-A3B (FastDeploy) |
| ERNIE-4.5-300B-A47B (FastDeploy) | GLM-4V (vLLM) | InternLM3 (LMDeploy) |
| MiniCPM-o-2_6 (vLLM) | Qwen-VL (vLLM) | Qwen2-VL (vLLM) |
| Qwen2.5-VL (vLLM) | Whisper (vLLM) | |
修复更新
- 修复了BERT Large SQuAD模型链接404问题 (#ICSF66)
- 修复了4.3.0容器环境下部分模型的依赖缺失问题
- 修复了MViTv2-base模型推理异常的问题
- 更新了CLIP模型的最新代码
- 更新了ByteMLPerf工具箱中optimizer的代码出处 (#ICKHTC)
- 更新了4.3.0适用大/小模型推理的Docker使用说明 (#ICLDBK)
版本关联
DeepSparkInference 25.09对应天数软件栈4.3.0版本。
感谢以下社区贡献者
YoungPeng，fhfang，郭寒冰，qiang.zhang，majorli6，honglyua。