1.ONNXRUNTIME介绍

        ONNX格式模型部署兼容性最强的框架 ONNXRUNTIME，基本上不会有算子不支持跟不兼容的情况出现，只要能导出ONNX格式模型，它基本上都能成功加载，成功推理。虽然在CPU速度不及OpenVINO、GPU上速度不及TensorRT，但是胜在兼容性强，支持不同硬件上推理部署包括：ARM、CPU、GPU、AMD等，

 可以通过设置不同的推理后台支持，包括：

支持语言也非常丰富，不止于Python跟C++语言，支持列表如下：

 

支持的操作系统包括Windows、Android、乌班图、iOS等。

2.Python版本安装与测试

Python版本安装特别容易,一条命令行搞定

CPU版本

pip install onnxruntime

GPU版本

pip install onnxruntime-gpu

通过下面的API函数可以查询当前支持推理Provider，代码如下：

运行结果如下：

3.C++版本安装与测试

首先需要下载安装包，以 microsoft.ml.onnxruntime.gpu.1.13.1为例。首先需要配置包含目录

D:\microsoft.ml.onnxruntime.gpu.1.13.1\build\native\include

然后配置库目录：

D:\microsoft.ml.onnxruntime.gpu.1.13.1\runtimes\win-x64\native

最后配置链接器，我的是支持CUDA版本，配置如下：

onnxruntime_providers_shared.libonnxruntime_providers_cuda.libonnxruntime.lib

最后把DLL文件copy到编译生成的可执行文件同一个目录下，直接运行即可。C++推理，简单说分为四步，首先引入包含文件支持，再初始化推理会话对象Session，预处理图像，然后执行推理，最后完成后处理即可。

 

 以ResNet18模型为例，导出ONNX格式，基于ONNXRUNTIME推理效果如下：