LlamaFactory部署及模型微调【win10环境】

1.Llama-Factory简介

LLaMA-Factory，全称 Large Language Model Factory，旨在简化大模型的微调过程，帮助开发者快速适应特定任务需求，提升模型表现。它支持多种预训练模型和微调算法，适用于智能客服、语音识别、机器翻译等多种应用场景。

2.Llama-Factory部署

2.1.git克隆项目

git clone https://github.com/hiyouga/LLaMA-Factory

2.2.基础模块安装

pip install -e ".[torch,metrics]" -i  https://mirrors.aliyun.com/pypi/simple/

2.3.开启量化

pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl

2.4.开启FlashAttention-2

如果要在 Windows 平台上开启 FlashAttention-2，需要安装预编译的 flash-attn 库，支持 CUDA 12.1 到 12.2，请根据需求到 flash-attention 下载对应版本安装。

 pip install F:\11-X-AGI\python-whl\flash_attn-2.7.1.post1+cu124torch2.3.1cxx11abiFALSE-cp310-cp310-win_amd64.whl

2.5.torch版本不匹配问题解决

pip uninstall torch torchvision torchaudio -y
pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu121

2.6.验证torch是否可用

import torch
torch.cuda.current_device()
torch.cuda.get_device_name(0)
torch.__version__
print(torch.cuda.is_available())

3.下载模型

https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B/tree/main

模型文件放置到你可以找到的目录即可

4.启动web-ui

python webui.py

5.训练模型初体验

界面操作比较简单，选择模型、选择数据集、开始训练


微调模型的评估、保存、挂载等操作都是界面上显而易见的操作，不再赘述。