DeepSparkInference 24.06 Release
·
1037 commits
to master
since this release
24.06 Release Notes
模型与算法
- 新增了31个推理小模型示例，其中支持IGIE推理引擎的16个，支持IxRT推理引擎的15个。
| IGIE | |||||
|---|---|---|---|---|---|
| CenterNet | DenseNet161 | EfficientNet_b1 | EfficientNet_rw_t | ||
| FoveaBox | HRNet | MobileNetv3_Large | MobileNetv3_Small | ||
| Regnet_x_1_6gf | RepNet | Res2Net50 | ResNeSt50 | ||
| ResNet101 | ResNet152 | ShuffleNetv2_x0_5 | Wide_ResNet50 | ||
| IxRT | |||||
| BERT Base SQuAD | DenseNet | DETR | EfficientNet_V2_t | ||
| FCOS | HRNet | Inception_ResNet_V2 | InceptionV3 | ||
| ResNet_V1_D50 | SoloV1 | SqueezeNet_v1.1 | YOLOv3 | ||
| YOLOv5m | YOLOv5s | YOLOv7 | |||
- 新增了4个大语言模型的推理示例。
- Baichuan2-7B (vLLM)
- ChatGLM-3-6B (vLLM)
- Llama2-7B (TensorRT-LLM)
- Qwen-7B (Text Generation Inference)
问题修复
- 修复了YOLOX IxRT 插件编译会报错的问题。
- 完善了libGL依赖在Ubuntu上安装的帮助说明。
版本关联
DeepSparkInference 24.06对应天数软件栈4.0.0版本。
感谢以下社区贡献者
YoungPeng，majorli，xinchi.tian，tianxi-yi，may，xiaomei.wang，cheneychen2023，qiang.zhang。