English

C++调用MediaPipe(CPU)

MediaPipe使用TFLite进行推理，在移动设备上有着优秀的性能。

尽管MediaPipe在PC中使用CPU也能达到较好的效果，但是在部分Solutions中的表现不尽如人意（比如Holistic）。

目前，MediaPipe只支持Linux的GPU加速，Windows下无法使用GPU进行推理加速。

本项目使用ONNX Runtime，为MediaPipe增加了CUDA和TensorRT支持，使Windows也能进行GPU加速。

如何使用

1. 为了在Windows下使用GPU加速，首先需要安装英伟达相关依赖：

   • CUDA
   • cuDNN
   • TensorRT

2. 下载ONNX Runtime

   将lib和include文件夹复制到mediapipe/calculators/tensor/onnxruntime目录下

3. 将CUDA、cuDNN的bin和TensorRT的lib目录添加到环境变量

   我的运行环境：

   • CUDA 11.7.1_516.94
   • cuDNN 8.5.0.96_cuda11
   • TensorRT 8.4.3.1

   64位Windows环境下cuDNN依赖zlib，下载解压后将dll_x64目录下的zlibwapi.dll复制到cuDNN的bin目录下

4. 编译Windows样例

支持CUDA和TensorRT的Solutions

• Face Detection
• Hand Tracking
• Pose Tracking
• Holistic Tracking

TODO

• face_landmark_with_attention模型无法使用

BUG

1. 编译使用CPU的样例，也依赖onnxruntime.dll（如果有人知道如何解决，欢迎PR）。

开源许可

• ONNX Runtime

其他

如果LOGO或开源许可侵犯了您的权益，请立即联系我，谢谢。