DeepSparkInference 25.03 Release
·
548 commits
to master
since this release
25.03 Release Notes
模型与算法
- 新增了25个推理小模型示例，其中支持IGIE推理引擎的15个，支持IxRT推理引擎的10个。
- 新增了11个大模型推理示例，其中6个为DeepSeek-R1蒸馏模型。
| IGIE | |||
|---|---|---|---|
| CSPResNet50 | ConvNeXt_S | EfficientNet_b4 | |
| HRNetPose | MNASNet0_75 | Mixer_B | |
| Regnet_x_16gf | ResNeXt101_32x8d | SABL | |
| ShuffleNetv2_x2_0 | SqueezeNet1_0 | SVT_base | |
| VGG11 | Wide_ResNet101 | YOLOv11 | |
| IxRT | |||
| ConvNeXt-Base | DeiT-tiny | DenseNet201 | |
| EfficientNet-B3 | EfficientNetv2_rw_t | EfficientNetv2_s | |
| FoveaBox | FSAF | HRNet | |
| RetinaFace | |||
| 大模型 | |||
| DeepSeek-R1-Distill-Llama-8B | DeepSeek-R1-Distill-Llama-70B | DeepSeek-R1-Distill-Qwen-1.5B | |
| DeepSeek-R1-Distill-Qwen-7B | DeepSeek-R1-Distill-Qwen-14B | DeepSeek-R1-Distill-Qwen-32B | |
| Chameleon-7B | Fuyu-8B | InternVL2-4B | |
| LLaVA | LLaVA-Next-Video-7B | ||
问题修复
- 新增了IxRT的NLP推理模型的自动化测试运行脚本。
- 优化了IGIE推理模型自动化测试的运行脚本。
- 修复了onnxruntime 1.17.1导致的quantize fail问题。
- 修复了BERT模型在INT8精度下的问题。
- 修复了YOLOv6 IGIE模型运行推理脚本报错的问题。
- 修复了mmpretraino 0.24.0与mmcv 2.1.0版本不兼容问题。
- 修复了ChatGLM3-6B-32k模型中的中文乱码问题。
- 修复了vLLM模型中SamplingParams的初始化问题。
- 更新了所有模型README文档格式，补充了模型所支持的IXUCA SDK版本。
版本关联
DeepSparkInference 25.03对应天数软件栈4.2.0版本。
感谢以下社区贡献者
YoungPeng，majorli6，xinchi.tian，xiaomei.wang，honglyua，qiang.zhang。