DeepSparkInference 24.12 Release
24.12 Release Notes
模型与算法
● 新增了24个推理小模型示例，其中支持IGIE推理引擎的15个，支持IxRT推理引擎的9个。
● 新增了9个大语言模型的推理示例，其中支持vLLM的8个，支持ixFormer的1个。
| IGIE | |||
|---|---|---|---|
| ConvNeXt-Base | DenseNet201 | EfficientNet-B3 | |
| EfficientNetV2-S | MNASNet0_5 | MViTv2_base | |
| Regnet_y_1_6gf | ResNetV1_D50 | ResNeXt101_64x4d | |
| ShuffleNetV2_x1_5 | Kie_layoutXLM | Rec_SVTR | |
| YOLOv9 | YOLOv10 | PAA | |
| IxRT | |||
| CenterNet | OpenPose | RTMPose | |
| CSPDarkNet53 | DensNet161 | DensNet169 | |
| EfficientNetB2 | ResNeXt50_32x4d | ConvNeXt-Small | |
| 大模型推理 | |||
| CLIP (IxFormer) | ChatGLM3-6B-32K (vLLM） | Llama2-7B (vLLM) | |
| MiniCPM-V-2 (vLLM） | Qwen-7B (vLLM) | Qwen1.5-32B-Chat (vLLM） | |
| Qwen2-72B-Instruct (vLLM） | Qwen2-7B-Instruct (vLLM） | StableLM2-1.6B (vLLM） | |
问题修复
● 新增了IGIE推理模型自动化测试的运行脚本。
● 修复了YOLOv8 IxRT模型运行推理脚本报错的问题。
● 更新了YOLOv9和YOLOv10的IGIE模型的配置文件。
● 完善了IxRT模型BERT，Mask RCNN，MobileNetV2和YOLOX的end2end推理时间打印。
版本关联
DeepSparkInference 24.12对应天数软件栈4.1.2版本。
感谢以下社区贡献者
YoungPeng，majorli6，xinchi.tian，xiaomei.wang，honglyua，qiang.zhang。