鲲鹏+昇腾部署集群管理软件GPUStack，两台服务器搭建双节点集群【实战详细踩坑篇】

前期说明

配置：2台鲲鹏32C2 + 2Atlas300I duo，之前看网上文档，目前GPUstack只支持910B芯片，想尝试一下能不能310P也部署试试，毕竟华为的集群软件要收费。
系统：openEuler22.03-LTS
驱动：24.1.rc3

前期准备

（1）安装Ascend-docker-runtime

chmod +x Ascend-docker-runtime_6.0.RC3_linux-aarch64.run  
./Ascend-docker-runtime_6.0.RC3_linux-aarch64.run

这玩意就是对Docker以插件方式提供Ascend NPU适配功能

部署GPUStack

docker run -it --privileged -u root --net=host --ipc=host \
  --name=gpustack \
  -p 80:80 \
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \   #映射驱动
    -v /usr/local/sbin:/usr/local/sbin:ro \
  --device=/dev/davinci0 \  #2张卡4个芯片
  --device=/dev/davinci1 \
  --device=/dev/davinci2 \
  --device=/dev/davinci3 \
  gpustack/gpustack:latest-npu

这个命令我自己改的，原本官方那个太坑了，不映射驱动和NPU卡！

docker exec -it gpustack cat /var/lib/gpustack/initial_admin_password  ##获取密码，账号默认admin

登录GPUStack

部署worker节点

docker run -d \
  --name gpustack-worker \
  --restart=unless-stopped \
  -e ASCEND_VISIBLE_DEVICES=0 \
  -p 10150:10150 \
  -p 40000-41024:40000-41024 \
  -p 50000-51024:50000-51024 \
  --ipc=host \
  --device=/dev/davinci0 \
  --device=/dev/davinci1 \
  --device=/dev/davinci2 \
  --device=/dev/davinci3 \
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
  -v /usr/local/sbin:/usr/local/sbin:ro \
  -v gpustack-worker-data:/var/lib/gpustack \
  gpustack/gpustack:v0.5.1-npu \
  --server-url http://192.168.124.19 \
  --token 5a3b06c91adf9090890258301bb75710 \
  --worker-ip 192.168.124.20

创建容器命令我自己改的，可以根据我这个创建，官方给的都是坑！
刷新一下页面，就可以看到worker节点了

GPUStack部署模型测试

总结：下载了三个模型，测试对话都失败，确实不支持310P，目前只支持910B！但是作为开源软件来说，GPUStack确实功能齐全，用起来方便，非常不错！