使用 GPUStack 纳管摩尔线程 GPU 进行大语言模型和文生图模型的推理

什么是 GPUStack?​

GPUStack 是一个用于运行 AI 模型的开源 GPU 集群管理器。

核心特性​

• 广泛的硬件兼容性：支持管理 Apple Mac、Windows PC 和 Linux 服务器上不同品牌的 GPU。
• 广泛的模型支持：从大语言模型 LLM、多模态模型 VLM 到 Diffusion 扩散模型、STT 与 TTS 语音模型、文本嵌入和重排序模型的广泛支持。
• 异构 GPU 支持与扩展：轻松添加异构 GPU 资源，按需扩展算力规模。
• 分布式推理：支持单机多卡并行和多机多卡并行推理。
• 多推理后端支持：支持 llama-box（基于 llama.cpp 和 stable-diffusion.cpp）、vox-box 和 vLLM 作为推理后端（后面两个推理后端对摩尔线程 GPU 的支持还在适配中）。
• 轻量级 Python 包：最小的依赖和操作开销。
• OpenAI 兼容 API：提供兼容 OpenAI 标准的 API 服务。
• 用户和 API 密钥管理：简化用户和 API 密钥的管理流程。
• GPU 指标监控：实时监控 GPU 性能和利用率。
• Token 使用和速率统计：有效跟踪 token 使用情况，并管理速率限制。

使用 GPUStack 纳管摩尔线程 GPU 进行大语言模型和文生图模型的推理​

准备工作​

  以下代码运行在 x86 架构的 Ubuntu 20.04/22.04 系统。

配置容器运行时​

请参考以下链接安装和配置容器运行时。

1. 安装 Docker: Docker 安装指南
2. 安装 MTT S80/S3000/S4000 驱动 (当前为 rc3.1.1): MUSA SDK 下载
3. 安装 MT Container Toolkit (当前为 v1.9.0): MT CloudNative Toolkits 下载

检查容器运行时配置是否正确，确认输出的默认运行时为 mthreads。

$ (cd /usr/bin/musa && sudo ./docker setup $PWD)
$ docker info | grep mthreads
 Runtimes: mthreads mthreads-experimental runc
 Default Runtime: mthreads

通过 Docker 运行 GPUStack​

$ docker run --pull always -d --name gpustack \
      --restart=unless-stopped \
      --network=host \
      --ipc=host \
      -v gpustack-data:/var/lib/gpustack \
      gpustack/gpustack:v0.6.0-musa

通过上述步骤，您将运行一个名为 gpustack 的容器，此容器使用主机网络模式并通过 80 端口来提供 WebUI 服务。您可以通过浏览器访问 http://localhost 来查看 GPUStack 的界面。

获取首次登录的密码​

$ docker exec -it gpustack bash
# cat /var/lib/gpustack/initial_admin_password

登录 GPUStack​

在浏览器中访问 http://localhost，输入用户名 admin 和上一步获取的密码进行登录。

查看摩尔线程 GPU 资源​

点击侧边栏中的 Resources 选项，您将看到 GPUStack 管理的所有 Worker 节点信息。

通过切换 GPUs 选项卡，您可以查看每个 Worker 节点上 GPU 的使用情况和性能指标。

部署模型​

点击侧边栏中的 Models 选项，您将看到 GPUStack 管理的所有模型信息。

通过点击右上角的 Deploy Model 按钮，您可以创建新的模型（为避免下载模型文件时间过长，此处我们部署两个已经下载好的模型）。

第一个模型是 deepseek-r1_7b_q4_0.gguf，它是将 DeepSeek-R1 Distill Qwen 7B 模型量化为 4-bit 的模型，具有较小的参数量和较快的推理速度。

第二个模型是 stable-diffusion-v2-1_768-nonema-pruned.q4_0.gguf，它是将 Stable Diffusion 2.1 模型量化为 4-bit 的模型，具有较小的参数量和较快的推理速度。

展开模型后，点击 replica 名称旁边的感叹号按钮，在弹出的对话框中，您可以查看模型使用的节点、GPU 和推理后端。

运行模型​

点击侧边栏中的 Playground 选项，您将看到 GPUStack 提供了多种模型的推理方式。

运行大语言模型​

点击侧边栏中的 Chat 选项，您可以与刚才部署的 deepseek-r1_7b_q4_0.gguf 模型进行对话。

运行文生图模型​

点击侧边栏中的 Image 选项，您可以与刚才部署的 stable-diffusion-v2-1_768-nonema-pruned.q4_0.gguf 模型进行文生图的操作。

探索更多模型​

点击侧边栏中的 Catalog 选项，您可以查看 GPUStack 支持的更多模型。