RK3588 + Ubuntu24.04 部署 rknn 模型——不用[特殊字符]版全流程教程

发布于:2025-06-13 ⋅ 阅读:(14) ⋅ 点赞:(0)

假定你拿到了一块联网但没挂🪜的 rk3588 板子,配置 Ubuntu24.04,要部署 rknn 模型

一般来讲模型要先转换成 onnx,onnx 再转换成 rknn,详见链接的文章。如何转 onnx 有空再写

目录

1. 配置 miniconda

 2. 配置 rknn 环境

3. 部署模型


1. 配置 miniconda

打开 anaconda 官网,下载。亲测下载 anaconda 非常慢,所以选择了 miniconda

图省事也可以直接运行我的命令来下载:

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

下载好后得到一个 .sh 文件,运行:

chmod 777 Miniconda3-latest-Linux-aarch64.sh
bash Miniconda3-latest-Linux-aarch64.sh

接下来是 miniconda 的安装过程,依次输入:yes -> enter -> no,完成安装

配图是 anaconda 安装过程,别管

最后一步的安装路径要记住,默认是 /root/miniconda3

anaconda 最后一步要选 yes,miniconda 要选 no,很反人类。如果你不幸选错,恭喜你需要手动激活环境:

source /root/miniconda/bin/activate

激活后,命令行提示符应变为 (base),表示 base 环境已激活。这时你可以正常使用 conda 命令

还可以让 miniconda 修改 shell 文件,这样每次新打开一个窗口都直接进入 base 环境:

conda init
source ~/.bashrc

装好后,就可以启动一个虚拟环境啦:

conda create -n rknn python=3.12 -y
conda activate rknn

注意用 python 3.12,后面都会用这个版本 

 2. 配置 rknn 环境

如果只能连国内网,下载官方 rknn toolkit 会慢到怀疑人生。建议下载 gitee 的仓库:rknn-toolkit: github迁移版本

而 gitee 仓库不支持 arm 架构,3588 板子是 arm,所以要再从官方仓库下载两个文件:rknn-toolkit: github迁移版本

下载里面的 arm64_requirements_cp312.txt 和 rknn_toolkit2-2.3.2-cp312....whl 到本机,再用 scp 传到 3588。如果不会 scp,问一下 ai

接下来用这两个文件来配置环境依赖,下面一个文件名用 tab 补全,懒得打

pip install -r arm64_requirements_cp312.txt
pip install rknn_toolkit2-2.3.2-cp312....whl

出现这个 warning 是正常的:

 

安装完成后就可以 infer 模型

3. 部署模型

由于我的 rknn 模型是 qwen2 转化过来的,所以还要装 transformers:

pip install transformers

接下来自己写一个 infer 的脚本,然后运行就可以啦