本文通过不使用官方镜像,自己在910b 进行华为mindie的镜像制作,可离线安装部署。
硬件:cann 8.0
1. 部署参考文档:
安装依赖-安装开发环境-MindIE安装指南-MindIE1.0.0开发文档-昇腾社区
2. 参数说明文档:https://www.hiascend.com/document/detail/zh/mindie/100/mindieservice/servicedev/mindie_service0285.html#ZH-CN_TOPIC_0000002186689269__section27371398218
3. 必备资源包:
ATB Models 安装包:Ascend-mindie-atb-models_1.0.0_linux-aarch64_py310_torch2.1.0-abi0.tar.gz
torch_npu 安装包:torch_npu-2.1.0.post10-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
Mindie安装包: Ascend-mindie_1.0.0_linux-aarch64.run
requirements.txt 文件包。然后安装 pip install -r requirements.txt
gevent==22.10.2
python-rapidjson>=1.6
geventhttpclient==2.0.11
urllib3>=2.1.0
greenlet==3.0.3
zope.event==5.0
zope.interface==6.1
prettytable~=3.5.0
jsonschema~=4.21.1
jsonlines~=4.0.0
thefuzz~=0.22.1
pyarrow~=15.0.0
pydantic~=2.6.3
sacrebleu~=2.4.2
rouge_score~=0.1.2
pillow~=10.3.0
requests~=2.31.0
matplotlib>=1.3.0
text_generation~=0.7.0
numpy~=1.26.3
pandas~=2.1.4
transformers>=4.44.0
tritonclient[all]
colossalai==0.4.0
make
net-tools
protobuf==3.20
decorator>=4.4.0
sympy>=1.5.1
cffi>=1.12.3
attrs
cython
pyyaml
pathlib2
psutil
scipy
absl-py
4. 安装torch-npu
pip install torch_npu-2.1.0.post10-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
5. 安装atb-models。注意这个文件解压到任何文件夹都可以,