DeepSparkInference 24.09 Release
·
905 commits
to master
since this release
24.09 Release Notes
模型与算法
- 新增了29个推理小模型示例，其中支持IGIE推理引擎的15个，支持IxRT推理引擎的14个。
| IGIE | |||||
|---|---|---|---|---|---|
| ATSS | ConvNeXt-Small | CSPDarkNet50 | DeiT-tiny | ||
| DenseNet169 | EfficientNet-B2 | EfficientNetV2-M | FCOS | ||
| FSAF | RepVGG | RetinaFace | RTMDet | ||
| RTMPose | SEResNet50 | ShuffleNet_V2_X1_0 | |||
| IxRT | |||||
| ALBERT | Conformer | DeBERTa | FaceNet | ||
| RoBERTa | RoFormer | Swin Transformer Large | Transformer ASR | ||
| VideoBERT | Wide_ResNet50 | Wide&Deep | YOLOv4 | ||
| YOLOv6 | YOLOv8 | ||||
- 新增了5个大语言模型的推理示例。
- Llama3-70B (TensorRT-LLM)
- Qwen1.5-7B (Text Generation Inference)
- Qwen1.5-7B (vLLM)
- Qwen1.5-14B (vLLM)
- Qwen1.5-72B (vLLM)
问题修复
- 修复了BERT Base SQUAD模型在NV环境上int8精度异常的问题。
- 修复了Mask RCNN模型在NV 24.04环境上运行编译报错的问题。
- 修复了CLIP IGIE模型对transformers版本有依赖的问题。
- 完善了IxRT部分模型的end2end推理时间打印。
版本关联
DeepSparkInference 24.09对应天数软件栈4.1.2版本。
感谢以下社区贡献者
YoungPeng，majorli，xinchi.tian，xiaomei.wang，wenfeng.zhang，haoyanlong，qiang.zhang。