OpenVINO在openEuler平台的完整指南：10分钟快速部署AI推理环境

OpenVINO在openEuler平台的完整指南10分钟快速部署AI推理环境【免费下载链接】intel-openvinoOpenVINO openEuler portal for maintaining the OpenVINO dependencies and projects项目地址: https://gitcode.com/openeuler/intel-openvino前往项目官网免费下载https://ar.openeuler.org/ar/OpenVINO是一款开源的深度学习模型优化与部署工具包专为提升计算机视觉、自动语音识别、生成式AI等任务的性能而设计。本文将为你提供在openEuler平台上快速部署OpenVINO AI推理环境的详细步骤让你在10分钟内完成从安装到运行的全过程。OpenVINO核心优势OpenVINO作为英特尔推出的AI推理优化工具具有三大核心优势推理性能优化显著提升各类深度学习任务的运行效率包括计算机视觉、自然语言处理等多个领域。多框架支持兼容TensorFlow、PyTorch、ONNX等主流深度学习框架无需依赖原框架即可完成模型转换与部署。跨平台兼容性支持从边缘设备到云端的多种平台包括CPUx86、ARM、GPU以及AI加速器如Intel NPU。准备工作系统要求OpenVINO已从openEuler 24.03 LTS SP1版本开始原生集成因此请确保你的系统满足以下条件操作系统openEuler 24.03 LTS SP1或更高版本网络连接用于下载安装包和模型文件权限需要sudo权限以安装系统包一键安装Intel GPU驱动与运行时库OpenVINO在GPU上的加速依赖于Intel的图形驱动和计算运行时库。幸运的是这些组件已集成到openEuler的软件仓库中只需执行以下命令即可完成安装sudo dnf install -y intel-gmmlib intel-gsc intel-igc-cm intel-igc-core intel-igc-opencl \ intel-level-zero-gpu intel-ocloc intel-opencl level-zero libmetee ocl-icd快速安装OpenVINO核心组件查看可用的OpenVINO包首先通过以下命令查看openEuler仓库中提供的OpenVINO相关包sudo dnf list *openvino*你将看到类似以下的输出显示所有可用的OpenVINO包libopenvino.x86_64 2024.3.0-1.oe2403 oe-openvino libopenvino-auto-batch-plugin.x86_64 2024.3.0-1.oe2403 oe-openvino libopenvino-auto-plugin.x86_64 2024.3.0-1.oe2403 oe-openvino libopenvino-devel.x86_64 2024.3.0-1.oe2403 oe-openvino libopenvino-intel-cpu-plugin.x86_64 2024.3.0-1.oe2403 oe-openvino libopenvino-intel-gpu-plugin.x86_64 2024.3.0-1.oe2403 oe-openvino ...安装基础OpenVINO包执行以下命令安装OpenVINO的核心组件包括CPU和GPU插件、开发库以及示例代码sudo dnf install -y libopenvino libopenvino-intel-cpu-plugin libopenvino-intel-gpu-plugin openvino-samples libopenvino-devel构建并运行OpenVINO示例程序安装构建工具为了编译示例代码需要安装CMake和编译器等构建工具sudo dnf install -y cmake gcc g wget sudo dnf install -y opencl-headers opencl-clhpp ocl-icd-devel编译示例代码OpenVINO的示例代码位于/usr/share/openvino/samples/cpp/目录下使用提供的脚本即可一键构建cd /usr/share/openvino/samples/cpp/ ./build_samples.sh构建完成后你将在~/openvino_cpp_samples_build/intel64/Release目录下找到所有编译好的示例程序。运行设备查询示例运行hello_query_device示例程序可以查看系统中支持的OpenVINO设备cd ~/openvino_cpp_samples_build/intel64/Release ./hello_query_device该程序将输出类似以下的信息显示系统中可用的AI加速设备CPU、GPU等及其详细属性[ INFO ] Available devices: [ INFO ] CPU [ INFO ] SUPPORTED_PROPERTIES: [ INFO ] Immutable: FULL_DEVICE_NAME : 11th Gen Intel(R) Core(TM) i9-11900K 3.50GHz [ INFO ] Immutable: OPTIMIZATION_CAPABILITIES : WINOGRAD FP32 INT8 BIN EXPORT_IMPORT ... [ INFO ] GPU.0 [ INFO ] SUPPORTED_PROPERTIES: [ INFO ] Immutable: FULL_DEVICE_NAME : Intel(R) UHD Graphics 750 (iGPU) [ INFO ] Immutable: GPU_EXECUTION_UNITS_COUNT : 32 ... [ INFO ] GPU.1 [ INFO ] SUPPORTED_PROPERTIES: [ INFO ] Immutable: FULL_DEVICE_NAME : Intel(R) Arc(TM) A770 Graphics (dGPU) [ INFO ] Immutable: GPU_EXECUTION_UNITS_COUNT : 512 ...使用基准测试工具评估性能OpenVINO提供了benchmark_app工具可以帮助你评估模型在不同设备上的推理性能。以下是使用方法下载示例模型首先从Intel Open Model Zoo下载一个预训练模型以ASL识别模型为例wget https://storage.openvinotoolkit.org/repositories/open_model_zoo/2023.0/models_bin/1/asl-recognition-0004/FP16/asl-recognition-0004.xml wget https://storage.openvinotoolkit.org/repositories/open_model_zoo/2023.0/models_bin/1/asl-recognition-0004/FP16/asl-recognition-0004.bin在CPU上测试延迟运行以下命令在CPU上测试模型的推理延迟./benchmark_app -m asl-recognition-0004.xml -d CPU -hint latency典型的输出结果如下显示了推理的延迟中位数约26.26 ms和吞吐量约37.86 FPS[ INFO ] Count: 2273 iterations [ INFO ] Duration: 60034.21 ms [ INFO ] Latency: [ INFO ] Median: 26.26 ms [ INFO ] Average: 26.40 ms [ INFO ] Min: 25.29 ms [ INFO ] Max: 35.82 ms [ INFO ] Throughput: 37.86 FPS在GPU上测试吞吐量运行以下命令在GPU上测试模型的推理吞吐量./benchmark_app -m asl-recognition-0004.xml -d GPU.1 -hint throughput典型的输出结果如下显示了GPU上的推理性能吞吐量可达476.26 FPS[ INFO ] Count: 28580 iterations [ INFO ] Duration: 60009.64 ms [ INFO ] Latency: [ INFO ] Median: 8.24 ms [ INFO ] Average: 8.36 ms [ INFO ] Min: 3.27 ms [ INFO ] Max: 13.66 ms [ INFO ] Throughput: 476.26 FPS总结与下一步通过本文的步骤你已经成功在openEuler平台上部署了OpenVINO AI推理环境并通过示例程序验证了其功能和性能。OpenVINO提供了强大的模型优化能力和广泛的硬件支持是在openEuler上构建AI应用的理想选择。接下来你可以探索更多OpenVINO示例程序了解不同场景下的应用尝试将自己的模型转换为OpenVINO格式并进行优化查阅官方文档docs/openvino_samples.md获取更多技术细节希望本文能帮助你快速上手OpenVINO在openEuler平台上构建高效的AI应用【免费下载链接】intel-openvinoOpenVINO openEuler portal for maintaining the OpenVINO dependencies and projects项目地址: https://gitcode.com/openeuler/intel-openvino创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考