大语言模型引擎选型：vLLM、SGLang 、 Ollama

博主近日很困惑，又穷又喜新厌旧， 各种大模型都想体验。本地服务器有不太支持， 之前尝试kTransformers平替ollama，不太理想。 持续关注大语言模型（LLMs）。然而，如何高效地运行和优化这些模型，成为了开发者和研究者面临的重要挑战。为此，一系列专为大语言模型设计的引擎应运而生。本文将带你深入了解 Transformers、vLLM、Llama.cpp、SGLang、MLX 和 Ollama 这些引擎，帮助你找到最适合的工具，释放大语言模型的全部潜力！

---

1. Transformers（Hugging Face）

• 特点：NLP领域的通用工具库，支持数百种预训练模型（如GPT、BERT），提供从训练到推理的全套工具。
• 优势：社区活跃、模型库丰富，兼容PyTorch和TensorFlow，适合快速实现文本分类、生成等任务。
• 适用场景：研究、快速原型开发及中小规模模型训练/推理。适用于从研究到生产的各种 NLP 任务。
• 局限性：推理性能中等，GPU利用率低，不适合高并发生产环境。
• 开发者: Hugging Face
• 吸引点: 无论你是初学者还是专家，Transformers 都能让你轻松上手，快速实现 NLP 应用的落地。

2. vLLM（UC Berkeley）

• 特点：专为GPU推理优化，采用PagedAttention技术提升内存利用率，支持动态批处理，显著提升了 GPU 的利用率和推理速度。
• 优势：吞吐量高（比Hugging Face快14-24倍），适合大规模模型部署，兼容OpenAI接口。
• 适用场景：企业级高并发服务（如实时聊天机器人）、需要低延迟的生产环境。如果你需要在生产环境中部署大语言模型，并追求极致的推理性能，vLLM 是你的最佳选择。
• 局限性：依赖高性能GPU（如A100/H100），配置复杂，不支持量化适配。
• 开发者: UC Berkeley 研究团队
• 亮点: vLLM 可以让你的模型推理速度提升数倍，同时降低硬件成本，是高性能应用的秘密武器。

3. Llama.cpp

特点：基于C++的CPU推理引擎，专为资源受限环境设计，支持量化（4-bit/8-bit）。
优势：轻量级、无需GPU，适合嵌入式设备或低配服务器，开源且扩展性强。
适用场景：边缘计算、本地实验及中小规模模型离线运行。
局限性：推理速度较慢，仅支持CPU，无法利用GPU加速。

4. SGLang

特点：新兴推理引擎，采用RadixAttention技术优化KV缓存复用，支持多GPU分布式部署。
优势：吞吐量比vLLM高5倍，支持结构化输出（如JSON）和复杂控制流，适合企业级复杂任务。
适用场景：高并发、低延迟需求场景（如实时数据分析），需多模态或长上下文处理的应用。
局限性：配置复杂度高，学习成本较高，社区生态尚不成熟。

5. Ollama

特点：本地化部署工具，支持一键运行多种模型（如Llama、DeepSeek），集成Web界面。
优势：零配置、跨平台，适合个人开发者快速测试，支持自定义模型。简单易用。
适用场景：本地学习、隐私敏感场景（如个人聊天助手），轻量级应用开发。
局限性：并发能力弱，依赖本地硬件性能，不适合企业级高负载。

---

最佳选择建议

需求场景 推荐引擎 核心理由
企业级高并发/低延迟 vLLM 或 SGLang vLLM适合GPU密集型场景，SGLang在复杂任务中吞吐量更高。
本地轻量化部署 Ollama 或 Llama.cpp Ollama零配置适合个人，Llama.cpp适合资源受限设备。
多模态/复杂控制流 SGLang 支持高级提示工程和多模态输入，适合定制化应用。
研究/快速原型开发 Transformers 生态完善，兼容性强，适合学术实验。
高性能推理和 GPU 优化: 选择 vLLM，它能为你的模型提供极致的推理速度。
资源受限的环境: 选择 Llama.cpp，它让你在 CPU 上也能运行大模型。
探索未来技术: 关注 SGLang 和 MLX，它们可能带来革命性的优化。
本地运行和测试: 选择 Ollama，它让你轻松在个人设备上运行大模型。

指标对比

1. 性能对比
   

总结:

• vLLM 在 GPU 上的推理性能最优，适合大规模模型。
• Llama.cpp 和 Ollama 适合在 CPU 或低配设备上运行中小规模模型。
• SGLang 和 MLX 的性能潜力较大，但需要更多实践验证。

2. 并发能力对比
   

总结:

• vLLM 在高并发场景下表现最佳，适合生产环境。
• Transformers 和 SGLang 适合中等并发任务。
• Llama.cpp 和 Ollama 更适合单任务或低并发场景。

3. 适用场景对比
   

总结:

• Transformers 是通用性最强的工具，适合大多数 NLP 任务。
• vLLM 是企业级高并发场景的首选。
• Llama.cpp 和 Ollama 适合个人开发者或资源受限的环境。
• SGLang 和 MLX 适合需要高性能或特定硬件支持的场景。

4. 硬件兼容性对比
   

总结:

• Transformers 和 Ollama 兼容性最强，支持多种设备。
• vLLM 和 SGLang 需要高性能 GPU 或服务器。
• Llama.cpp 适合低配设备，而 MLX 需要特定硬件支持。

每秒输出token对比

1. 性能影响因素
   在对比 TPS 之前，需要明确影响性能的关键因素：

• 硬件性能: GPU 的算力、显存带宽、显存容量等。
• 模型规模: 参数量越大，推理速度越慢。
• 批处理大小（Batch Size）: 较大的批处理可以提高吞吐量，但会增加显存占用。
• 引擎优化: 不同引擎在内存管理、计算优化等方面的表现差异显著。

2. GPU 性能对比
   以下是 A800、A100 和 H100 的主要参数对比：
   

• H100 是目前性能最强的 GPU，适合高吞吐量和高并发场景。
• A100 和 A800 性能接近，但 A800 主要针对中国市场，符合出口管制要求。

3. 引擎 TPS 对比
   以下是各引擎在不同 GPU 上的 预估 TPS（以 LLaMA-13B 模型为例）：
   

说明:

• vLLM 在高性能 GPU（如 H100）上的表现最佳，TPS 可达 500-1000，远超其他引擎。
• Transformers 性能中等，适合通用场景。
• Llama.cpp 和 Ollama 性能较低，适合资源受限的环境。
• SGLang 和 MLX 的性能数据较少，需进一步测试。