RV1126平台下的MobileSeg量化指南：高效部署低算力硬件

1 引言

MobileSeg系列模型采用编解码架构，并以轻量级模型作为骨干网络，专为低算力硬件（如BPU、NPU、ARM CPU等）设计。这使得MobileSeg在边缘设备和移动端应用中表现出色，具备高效能和灵活性。本文将以MobileSeg分割模型为例，详细讲解如何在RV1126平台上进行模型量化操作，最大化发挥模型的性能优势。

2 环境声明

2.1 训练环境

• 操作系统：Ubuntu 20.04 x86_64
• 包管理工具：conda 24.3.0
• 依赖库：PaddleSeg 版本 2.8.1

2.2 部署环境

• 操作系统：Ubuntu 18.04 x86_64
• 工具包：rknn-toolkit 1.7.5
• 驱动支持：rknpu 1.7.3

注意：如果你不清楚如何安装rknn环境，可以参考【一步步搭建 RV1126 深度学习环境，轻松实现边缘推理】了解详细的安装步骤。

3 量化步骤

3.1 Paddle模型转换为ONNX格式

1、安装PaddleSeg环境。使用conda安装PaddleSeg环境，具体步骤请参考【PaddleSegGetStarted】。下载并安装PaddleSeg代码，确保环境正确配置，代码下载包位于，此处（https://github.com/PaddlePaddle/PaddleSeg/releases/tag/v2.8.0）。
2、本次实验使用MobileSeg模型，选择MobileNetV3作为Backbone进行分割模型测试。

3、下载模型保存到本地，此此使用模型配置文件，路径为：PaddleSeg/configs/mobileseg/mobileseg_mobilenetv3_cityscapes_1024x512_80k.yml。

4、执行以下命令将下载的模型转换为pdmodel格式。

python tools/export.py 
--config configs/mobileseg/mobileseg_mobilenetv3_cityscapes_1024x512_80k.yml \
--model_path runs/mobileseg.official.v3/weights/model.pdparams \
--save_dir runs/mobileseg.official.v3/export/ \
--input_shape 1 3 512 512 --output_op none

执行成功后显示如下：

5、安装paddle2onnx，该工具用于将pdmodel转换为onnx格式。

pip install paddle2onnx==1.2.5 -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple 

6、使用以下命令将pdmodel模型转换为onnx格式。

paddle2onnx \
--model_dir runs/mobileseg.official.v3/export/ \
--model_filename model.pdmodel \
--params_filename model.pdiparams \
--opset_version 11 \
--save_file runs/mobileseg.official.v3/export/mobileseg_m3.onnx

7、执行Paddle优化策略（如有需要），进一步提升模型的推理性能：

python -m paddle2onnx.optimize --input_model runs/mobileseg.official.v3/export/mobileseg_m3.onnx --output_model runs/mobileseg.official.v3/export/mobileseg_m3.onnx

3.2 从ONNX到RKNN模型的转换

1、执行形状推断（Shape Inference）。由于得到的模型输入为[1, 3, 512, 512]，且输出尺寸是动态的，需使用onnxsim进行形状推断（Shape Inference）以确定模型的完整形状。

onnxsim runs/mobileseg.official.v3/export/mobileseg_m3.onnx runs/mobileseg.official.v3/export/mobileseg_m3.sim.onnx

2、使用rknn-toolkit进行模型转换。在基于rknn-toolkit的conda环境中，执行转换脚本convert.py，将ONNX模型转换为RKNN格式。

python convert.py

主要配置如下：
● rknn.config参数：

● rknn.build参数：

3、编译RKNN预编译模型。使用rknn-toolkit将模型编译为预编译模型，输出文件名为mobileseg_m3.hw.rknn。如果你不清楚如何预编译，可以参考我的预编译技术指导。
4、编写C++代码进行性能测试。使用C++编写代码，进行模型的性能测试，评估其在RV1126上的运行效果。

4 性能评估

我们分别运行模型推理5000次，观察推理时间的稳定性。在本次性能评估中，我们对比了绑定核心与不绑定核心两种配置下，NPU推理时间的变化。以下是绑定核心CPU的动态利用情况。

经过结果分析，发现在定频后绑定核心对NPU的稳定性存在不稳定性干扰。平均值前者是38.52ms，后者是38.46ms，相差不是很大。

5 技术交流

5.1 QQ群

● RKNN非官方交流：909472035