持续更新中.......

AI部署

本项目是AICore项目的扩展，主要是将AICore中的模型部署到以下所有平台上

部署过程要考虑硬件架构、系统版本、加速设备(GPU,CPU,...)、框架、编程语言 ，因此将所有情况整理成如下表格，

ID	Arch	Platform	API	FrameWork(Hardware Acceleration)	项目目录
01	x86	Ubuntu18.04+	C++ 11	onnxruntime1.11.0(cpu)
02	x86	Windows10	C++11	onnxruntime1.11.0(cpu)	OnnxRuntimeWindowsCPP
03	x86	Windows10/Ubuntu18.04+	Python3.6+	onnxruntime1.11.0(cpu)	OnnxRuntimeWinlinuxPython
🍓
07	x86	Ubuntu18.04+	C++ 11	tensorrt8.2(gpu)
08	x86	Windows10	C++ 11	tensorrt8.2(gpu)	OnnxRuntimeWindowsCPP
09	x86	Windows10/Ubuntu18.04+	Python3.6+	tensorrt8.2(gpu)
🍒

注意

• 其中Windows开发环境以VS工程备份在百度云，linux环境备份成Docker镜像。
• 本工程并未将tensorrt、onnxruntime等加速框架合并成一个库，而是分成多个库，方便以后调试

1. AICore Model支持列表

2. 环境安装

2.1 OnnxRuntime(windows)

本文是x86、windows10、C++库制作过程

安装环境时参考官方

注意：不管是GPU版本，还是CPU版本，请先确定CUDA、OnnxRuntime版本，参考

2.1.1 GPU版本

最新版本的onnxruntime可能不支持，所以以下内容仅供参考

(1)、VS2017安装

略

(2)、VS2017新建项目

(3)、安装onnxruntime

(4)、 配置opencv

安装略，因为测试过程中需要opencv，所以需要安装

注意：一定要做好版本匹配

2.2 CPU版本

(1). VS2017安装

略

(2). VS2017新建项目

(3). 安装onnxruntime

(4). 配置opencv

编译安装略

一定要做好版本匹配

2.2 TensorRT(windows)

安装环境时参考官方

注意：请先确定CUDA、TensorRT版本，参考

(1) opencv安装

略，参考onnxruntime如何安装的

(2) 安装TensorRT

自己总结

(3) VS环境配置

1）创建解决方案

2) 为TensorRTLib项目添加include、lib、dll等配置

3）为Demo项目配置include、lib、dll等

参考博客

1. ONNXRuntime

• 参考博客1

• ONNXRuntime官方资料

  • [1] onnxruntime官网学习资料

  • [2] onnxruntime Tutorial

  • [3] onnxruntime-gpu和cuda版本对应

  • [4] onnxruntime-openmp

  • [5] onnxruntime和cuda之间的版本对应-很详细

  • [6] onnxruntime与onnx各opset的对应

  • [7] lite.ai.toolkit

• Onnxruntime-C++参考

  • [1] onnx_runtime_cpp-github *

  • [2] onnxruntime demo2 *

  • [3] onnxruntime demo3 *

  • [4] onnxruntime demo4 *

  • [2] onnxruntime的c++使用 *

  • [7] onnxruntime-c++多输入多数出case

  • [8] onnxruntime中传入特定数据类型，比如fp16,int8

• onnxruntime调用AI模型的python和C++编程

• 解决: ONNXRuntime(Python) GPU 部署配置记录

• C++ log项目

2. TensorRT

3. Numpy(c++)

• 官方资料
  • GitHub：dpilger26/NumCpp
  • API