mac m1安装大模型工具vllm

发布于：2025-07-10 ⋅ 阅读:(22) ⋅ 点赞:(0)

1 更新系统环境

参考vllm官网文档，vllm对apple m1平台mac os, xcoder, clang有如下要求

OS: macOS Sonoma or later

SDK: XCode 15.4 or later with Command Line Tools

Compiler: Apple Clang >= 15.0.0

在App Store更新macOS和XCoder，依据XCoder版本号安装command line tools。

https://developer.apple.com/download/all/?q=Command%20Line%20Tools

2 安装anconda并初始化虚拟环境

下载并安装apple m1版本anconda

比如 Anaconda3-2025.06-0-MacOSX-arm64.pkg

https://www.anaconda.com/download-success

初始化conda虚拟环境

conda create -n vllm python=3.12

conda activate vllm

3 安装vllm

1）下载vllm

git clone https://github.com/vllm-project/vllm.git

大部分情况git clone会失败，所以直接下载vllm的release版本，这里下载0.92，链接如下。

https://github.com/vllm-project/vllm/releases/download/v0.9.2/vllm-0.9.2.tar.gz

https://github.com/vllm-project/vllm/releases

2）安装vllm

先安装依赖

cd vllm

pip install -r requirements/cpu.txt

conda install cmake

conda install ninja

再安装vllm

pip install -e .

需注意的是以上操作要在mac自带终端下完成，在iterm下会遇到编译问题。

4 验证vllm

vLLM 将 Hugging Face 模型下载到本地，默认 ~/cache/huggingface/hub 文件夹中。

以下是测试代码。

import os

os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

from vllm.entrypoints.llm import LLM
from vllm.sampling_params import SamplingParams

model_name = "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B"

llm = LLM(model=model_name, max_model_len=128)

sampling_params = SamplingParams(temperature = 0.9,
                                 max_tokens = 100)
prompt = "中国首都在那?"
output = llm.generate(prompt, sampling_params)

print(output)
print(output[0].outputs[0].text)

另外，vLLM 还可以作为服务运行。

目前存在的问题是运行慢，后续看有效量化方法，比如llama.cpp的int4量化，链接如下。

https://blog.csdn.net/liliang199/article/details/149246699

reference

---

vllm

https://github.com/vllm-project/vllm.git

vllm CPU install doc

https://docs.vllm.ai/en/latest/getting_started/installation/cpu.html

mac command line tools

https://developer.apple.com/download/all/?q=Command%20Line%20Tools

小白入门：使用vLLM在本机MAC上部署大模型