【LLM】Llama Factory：Windows部署全流程

一、部署原理与流程概述

（一）核心逻辑

本教程基于"环境隔离-硬件适配-框架集成"三层架构设计，通过创建独立Python环境保障系统稳定性，结合GPU硬件加速提升计算效率，最终实现Llama Factory框架的完整功能调用。

（二）部署流程

二、Nvidia驱动部署（硬件适配层）

（一）必要性说明

• 功能支撑：激活GPU的CUDA计算能力，为后续PyTorch框架提供硬件加速支持
• 版本要求：驱动版本需与CUDA工具包兼容（本教程适配CUDA 12.1）

（二）操作流程

1. 硬件识别

   • Win+R输入dxdiag调取诊断工具
   • 记录显示标签页的【设备名称】与【驱动版本】
   • 结果验证：确认显卡型号属于支持CUDA的Nvidia产品

2. 驱动安装

   • 访问Nvidia驱动下载中心
   • 按型号选择Game Ready驱动（推荐最新稳定版）
   • 执行安装包选择精简安装模式
   • 结果验证：CMD执行nvidia-smi应显示GPU状态信息

三、Python环境搭建（环境隔离层）

（一）Miniconda安装

1. 工具选择
   • 采用Miniconda而非Anaconda：精简体积（约1/10）且避免冗余包冲突
   • 镜像源配置：使用清华镜像加速下载
2. 安装步骤
   • 推荐方式：通过清华大学开源软件镜像站下载，速度更快。
   • 替代方式：访问Miniconda官网下载。
   • 安装选项：勾选Add to PATH，取消Register as default Python
   • 结果验证：CMD执行conda --version显示版本信息

（二）虚拟环境管理

1. 环境创建

   conda create -n llama_factory python=3.11 -y
   

   • 版本说明：Python 3.11在异步IO和类型提示方面优化显著，适配最新AI框架

2. 环境激活

   conda activate llama_factory
   

   • 状态提示：命令行前缀变为(llama_factory)

四、PyTorch框架安装（计算加速层）

（一）版本匹配原则

• CUDA 12.1：适配RTX 40系显卡的SM 8.9架构
• PyTorch 2.4.0：支持动态形状编译优化

（二）安装命令

conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.1 -c pytorch -c nvidia

（三）验证测试

# CUDA可用性测试
import torch
print(f"CUDA状态: {torch.cuda.is_available()}")
print(f"计算设备: {torch.cuda.get_device_name(0)}")

预期输出示例：

CUDA状态: True
计算设备: NVIDIA GeForce RTX 4060

五、Llama Factory部署（应用层）

（一）代码获取

# 推荐使用SSH方式（需配置Git密钥）
git clone git@github.com:hiyouga/LLaMA-Factory.git

# 或HTTPS方式
git clone https://github.com/hiyouga/LLaMA-Factory.git

（二）依赖安装

1. 基础依赖

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
   

   • 镜像加速：推荐国内用户使用清华源以提升下载速度。

2. 扩展组件

   pip install -e ".[torch,metrics]"
   

   • torch：集成PyTorch扩展功能。
   • metrics：加载评估指标模块。

3. 量化 LoRA（QLoRA）支持

   pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl
   

   • 为在 Windows 平台上开启量化 LoRA，需安装预编译的 bitsandbytes 库，支持 CUDA 11.1 到 12.2。

（三）服务启动

llamafactory-cli webui --port 7860 --host 0.0.0.0

• 访问路径：浏览器打开http://localhost:7860
• 服务验证：终端显示Running on local URL: http://0.0.0.0:7860

六、维护与升级

（一）环境备份

conda env export > llama_factory_env.yaml

（二）驱动更新

1. 定期检查Nvidia驱动更新页面
2. 建议每季度更新一次驱动版本

（三）框架升级

# 在项目目录执行
git pull origin main
pip install -r requirements.txt --upgrade

附录：常见问题排查

本教程通过四层架构设计确保部署可靠性，各环节均设有验证机制。建议在物理环境部署前，先通过Windows Sandbox进行沙箱测试。