当前位置：首页 > news >正文

RK3568 NPU RKNN（四）：RKNN-ToolKit2性能和内存评估

news 2025/8/17 5:59:41

文章目录

1、前言
2、目标
3、完整的测试程序
4、运行测试程序
5、程序拆解
6、总结

1、前言

本文仅记录本人学习过程，不具备教学指导意义。

2、目标

使用野火提供的示例程序，体验 RKNN-ToolKit2 在PC端使用连板推理，进行性能和内存评估。

3、完整的测试程序

from rknn.api import RKNNRKNN_MODEL = 'yolov5s.rknn'
IMG_PATH = './bus.jpg'
DATASET = './dataset.txt'if __name__ == '__main__':# 创建RKNN# 如果测试遇到问题，请开启verbose=True，查看调试信息。#rknn = RKNN(verbose=True)rknn = RKNN()# 导入RKNN模型，path参数指定模型路径print('--> Loading model')ret = rknn.load_rknn(path=RKNN_MODEL)if ret != 0:print('Load model failed!')exit(ret)print('done')# 初始化运行时环境，指定连接的板卡NPU平台,# perf_debug开启进行性能评估时开启debug模式，eval_mem进入内存评估模式print('--> Init runtime environment')ret = rknn.init_runtime(target='rk3588', device_id='4c52ebe8f0ee8e63', perf_debug=True, eval_mem=True)if ret != 0:print('Init runtime environment failed!')exit(ret)print('done')# 模型性能进行评估，默认is_print是true，打印内存使用情况print('--> eval_perf')rknn.eval_perf()print('done')# 调试，模型性能进行评估,默认is_print是true，打印内存使用情况print('--> eval_memory')rknn.eval_memory()print('done')rknn.release()

4、运行测试程序

这里电脑使用usb type-c线和板卡otg接口连接。同时板卡需要先开启rknn_server服务：

cat@lubancat:/ rknn_server &

电脑端执行程序：

cd lubancat_ai_manual_code/dev_env/rknn_toolkit2/examples/evaluation/yolov5
python3 test.py

程序执行之初，会打印板卡端rknn_server和rknnrt的版本，请确保版本一致：

rknn_server和rknnrt获取方式：

# 1. 从野火提供的工程源码中获取
# 在 lubancat_ai_manual_code/dev_env/rknpu2/runtime/ 目录下# 2. 在官网获取：
# 在 https://github.com/airockchip/rknn-toolkit2/tree/master/rknpu2/runtime 目录下

程序运行结束：

5、程序拆解

加载 rknn 模型

ret = rknn.load_rknn(path=RKNN_MODEL)

RKNN_MODEL 指向模型文件路径（例：yolov5s.rknn）。

初始化运行环境

ret = rknn.init_runtime(target='rk3588', device_id='4c52ebe8f0ee8e63', perf_debug=True, eval_mem=True)

初始化 RKNN 推理环境。
- target：指定连接的平台为rk3588
- device_id：指定连接的平台的adb device id
- perf_debug：开启进行性能评估时开启debug模式
- eval_mem：eval_mem进入内存评估模式

模型性能评估

rknn.eval_perf()

评估模型性能。
模型必须运行在与 PC 连接的 RK3566 / RK3568 / RK3588 / RV1103 / RV1106 上。如果初始化运行环境时设置 perf_debug 为 False，则获得的是模型在硬件上运行的总时间；如果设置 perf_debug为 True，除了返回总时间外，还将返回每一层的耗时情况。