当前位置：首页 > article >正文

使用openvino和onnxruntime的SDK部署yolo11检测模型

article 2025/9/6 10:19:23

这里的代码参考ultralytics代码库里面的examples文件夹下面的openvino和onnxruntime使用案例部署yolo11检测模型的代码。这两种部署框架和前面的tensorRT框架都是类似的，只是使用的接口不太一样。

PART A -- onnxruntime的使用

1.下载onnxruntime的推理框架

(1) 进入onnxruntime的官方仓库https://github.com/microsoft/onnxruntime.git

点击Releases部分，如下图所示：

(2) 进入后，下滑选择自己需要的版本，下载

文件名字带有gpu的表示使用gpu做推理，否则使用cpu做推理；这里有不同系统的onnxruntime的推理框架，根据自己需求下载。如下图

(3) 下载后直接解压即可以使用，解压后的文件夹包含了头文件和库文件，如下图

2.把解压好的文件复制到onnxruntime推理的项目文件夹

修改CMakeLists.txt的配置文件

其中23行option(USE_CUDA "Enable CUDA support" ON)这里的ON表示使用cuda推理，如果不使用cuda的话，需要把这里的参数修改为OFF；

35行set(ONNXRUNTIME_VERSION 1.15.1)表示设定onnxruntime的版本，根据自己下载release版本修改这里1.15.1参数就可以啦。

原文件的配置显得有些多余，这里做了简单的修改，我的配置文件如下：

cmake_minimum_required(VERSION 3.5)set(PROJECT_NAME Yolov8OnnxRuntimeCPPInference)
project(${PROJECT_NAME} VERSION 0.0.1 LANGUAGES CXX)# -------------- Support C++17 for using filesystem  ------------------#
set(CMAKE_CXX_STANDARD 17)
set(CMAKE_CXX_STANDARD_REQUIRED ON)
set(CMAKE_CXX_EXTENSIONS ON)
set(CMAKE_INCLUDE_CURRENT_DIR ON)# -------------- OpenCV  ------------------#
find_package(OpenCV REQUIRED)
include_directories(${OpenCV_INCLUDE_DIRS})# -------------- Compile CUDA for FP16 inference if needed  ------------------#
# -------------- 设置是否使用cuda  ------------------#option(USE_CUDA "Enable CUDA support" ON)  # 控制使用 cuda
if (NOT APPLE AND USE_CUDA)find_package(CUDA REQUIRED)include_directories(${CUDA_INCLUDE_DIRS})add_definitions(-DUSE_CUDA)
else ()set(USE_CUDA OFF)
endif ()# -------------- ONNXRUNTIME  ------------------## Set ONNXRUNTIME_VERSION
set(ONNXRUNTIME_VERSION 1.15.1)    # 设置onnxruntime的版本信息if (WIN32)if (USE_CUDA)set(ONNXRUNTIME_ROOT "${CMAKE_CURRENT_SOURCE_DIR}/onnxruntime-win-x64-gpu-${ONNXRUNTIME_VERSION}")else ()set(ONNXRUNTIME_ROOT "${CMAKE_CURRENT_SOURCE_DIR}/onnxruntime-win-x64-${ONNXRUNTIME_VERSION}")endif ()
elseif (LINUX)if (USE_CUDA)set(ONNXRUNTIME_ROOT "${CMAKE_CURRENT_SOURCE_DIR}/onnxruntime-linux-x64-gpu-${ONNXRUNTIME_VERSION}")else ()set(ONNXRUNTIME_ROOT "${CMAKE_CURRENT_SOURCE_DIR}/onnxruntime-linux-x64-${ONNXRUNTIME_VERSION}")endif ()
elseif (APPLE)set(ONNXRUNTIME_ROOT "${CMAKE_CURRENT_SOURCE_DIR}/onnxruntime-osx-arm64-${ONNXRUNTIME_VERSION}")# Apple X64 binary# set(ONNXRUNTIME_ROOT "${CMAKE_CURRENT_SOURCE_DIR}/onnxruntime-osx-x64-${ONNXRUNTIME_VERSION}")# Apple Universal binary# set(ONNXRUNTIME_ROOT "${CMAKE_CURRENT_SOURCE_DIR}/onnxruntime-osx-universal2-${ONNXRUNTIME_VERSION}")
else ()message(SEND_ERROR "Variable ONNXRUNTIME_ROOT is not set properly. Please check if your cmake project \is not compiled with `-D WIN32=TRUE`, `-D LINUX=TRUE`, or `-D APPLE=TRUE`!")
endif ()include_directories(${PROJECT_NAME} ${ONNXRUNTIME_ROOT}/include)set(PROJECT_SOURCESmain.cppinference.hinference.cpp
)add_executable(${PROJECT_NAME} ${PROJECT_SOURCES})if (WIN32)target_link_libraries(${PROJECT_NAME} ${OpenCV_LIBS} ${ONNXRUNTIME_ROOT}/lib/onnxruntime.lib)if (USE_CUDA)target_link_libraries(${PROJECT_NAME} ${CUDA_LIBRARIES})endif ()
elseif (LINUX)target_link_libraries(${PROJECT_NAME} ${OpenCV_LIBS} ${ONNXRUNTIME_ROOT}/lib/libonnxruntime.so)if (USE_CUDA)target_link_libraries(${PROJECT_NAME} ${CUDA_LIBRARIES})endif ()
elseif (APPLE)target_link_libraries(${PROJECT_NAME} ${OpenCV_LIBS} ${ONNXRUNTIME_ROOT}/lib/libonnxruntime.dylib)
endif ()# For windows system, copy onnxruntime.dll to the same folder of the executable file
if (WIN32)add_custom_command(TARGET ${PROJECT_NAME} POST_BUILDCOMMAND ${CMAKE_COMMAND} -E copy_if_different"${ONNXRUNTIME_ROOT}/lib/onnxruntime.dll"$<TARGET_FILE_DIR:${PROJECT_NAME}>)
endif ()# Download https://raw.githubusercontent.com/ultralytics/ultralytics/main/ultralytics/cfg/datasets/coco.yaml
# and put it in the same folder of the executable file
# configure_file(coco.yaml ${CMAKE_CURRENT_BINARY_DIR}/coco.yaml COPYONLY)# # Copy yolov8n.onnx file to the same folder of the executable file
# configure_file(weight/yolo11s.onnx ${CMAKE_CURRENT_BINARY_DIR}/weight/yolo11s.onnx COPYONLY)# # Create folder name images in the same folder of the executable file
# add_custom_command(TARGET ${PROJECT_NAME} POST_BUILD
#     COMMAND ${CMAKE_COMMAND} -E make_directory ${CMAKE_CURRENT_BINARY_DIR}/images
# )

在我的项目文件中下载了多个版本的onnxruntime的推理框架，以下是我的项目文件。具体如下图：

这里使用onnxruntime的gpu方式推理模型的话，需要手动编译带有cuda的opencv方式，由于我的电脑安装了很多版本的cuda和tensorRT，如果配置cuda的opencv不方便不同版本之间的切换，这里主要使用cpu的onnxruntime来推理检测模型。

由于这个代码比较简单，这里不做代码的解读。

PART B -- openvino的使用

openvino的下载链接：https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/download.html?PACKAGE=OPENVINO_BASE&VERSION=v_2024_3_0&OP_SYSTEM=WINDOWS&DISTRIBUTION=PIP

点击这个下载连接后出现如下所示，根据自己电脑的系统和版本，选择合适进行下载，我的下载如下：

随后，解压这个文件夹，tar -xvf ***.tar.gz就可以啦，解压后的文件

这里可以和onnxruntime的一样设置，直接复制整个runtime文件夹到自己的项目中。我在我自己的项目中建openvino的文件夹，然后把刚刚复制的openvino的文件夹复制到这个文件夹内就可以正常使用。

以下是我的cmakelist.txt的配置文件

cmake_minimum_required(VERSION 3.12)
project(yolov8_openvino_example)set(CMAKE_CXX_STANDARD 14)find_package(OpenCV REQUIRED)include_directories(${OpenCV_INCLUDE_DIRS}${CMAKE_CURRENT_SOURCE_DIR}/openvino/runtime/include
)add_executable(detectmain.ccinference.cc
)target_link_libraries(detect${OpenCV_LIBS}${CMAKE_CURRENT_SOURCE_DIR}/openvino/runtime/lib/intel64/libopenvino.so
)

在我的项目文件组织是这样的：