假定你拿到了一块联网但没挂🪜的 rk3588 板子,配置 Ubuntu24.04,要部署 rknn 模型
一般来讲模型要先转换成 onnx,onnx 再转换成 rknn,详见链接的文章。如何转 onnx 有空再写
目录
1. 配置 miniconda
打开 anaconda 官网,下载。亲测下载 anaconda 非常慢,所以选择了 miniconda
图省事也可以直接运行我的命令来下载:
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh
下载好后得到一个 .sh 文件,运行:
chmod 777 Miniconda3-latest-Linux-aarch64.sh
bash Miniconda3-latest-Linux-aarch64.sh
接下来是 miniconda 的安装过程,依次输入:yes -> enter -> no,完成安装

最后一步的安装路径要记住,默认是 /root/miniconda3
anaconda 最后一步要选 yes,miniconda 要选 no,很反人类。如果你不幸选错,恭喜你需要手动激活环境:
source /root/miniconda/bin/activate
激活后,命令行提示符应变为 (base),表示 base 环境已激活。这时你可以正常使用 conda 命令
还可以让 miniconda 修改 shell 文件,这样每次新打开一个窗口都直接进入 base 环境:
conda init
source ~/.bashrc
装好后,就可以启动一个虚拟环境啦:
conda create -n rknn python=3.12 -y
conda activate rknn
注意用 python 3.12,后面都会用这个版本
2. 配置 rknn 环境
如果只能连国内网,下载官方 rknn toolkit 会慢到怀疑人生。建议下载 gitee 的仓库:rknn-toolkit: github迁移版本
而 gitee 仓库不支持 arm 架构,3588 板子是 arm,所以要再从官方仓库下载两个文件:rknn-toolkit: github迁移版本
下载里面的 arm64_requirements_cp312.txt 和 rknn_toolkit2-2.3.2-cp312....whl 到本机,再用 scp 传到 3588。如果不会 scp,问一下 ai
接下来用这两个文件来配置环境依赖,下面一个文件名用 tab 补全,懒得打
pip install -r arm64_requirements_cp312.txt
pip install rknn_toolkit2-2.3.2-cp312....whl
出现这个 warning 是正常的:
安装完成后就可以 infer 模型
3. 部署模型
由于我的 rknn 模型是 qwen2 转化过来的,所以还要装 transformers:
pip install transformers
接下来自己写一个 infer 的脚本,然后运行就可以啦