1. 介绍
LLaMA-Factory是一个专注于大模型训练、微调、推理和部署的开源平台。这个平台的设计目标是简化大模型的训练流程,增强模型微调能力,优化推理和部署体验,以及促进社区协作。LLaMA-Factory支持多种模型类型,包括LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi等,并提供了多种训练算法、运算精度、优化算法、加速算子和推理引擎。
LLaMA-Factory的特点包括:
- 无需编写代码即可在本地完成上百种预训练模型的微调。
- 提供了多个高层次抽象的调用接口和网页版工作台,方便用户使用。
- 支持多种微调方法,如LoRA、QLoRA等,允许用户根据特定任务需求对模型进行精细调整。
- 提供便捷的推理接口和部署工具,支持多种硬件环境和云服务平台。
此外,LLaMA-Factory还提供了一个全面的教程,涵盖了从环境搭建到模型训练评估的全过程。这个教程旨在帮助开发者迅速浏览和实践项目涉及到的常见功能,包括原始模型直接推理、自定义数据集构建、基于LoRA的sft指令微调、动态合并LoRA的推理、批量预测和训练效果评估、LoRA模型合并导出、一站式webui board的使用、API Server的启动与调用,以及大模型主流评测benchmark。
2. 部署LLaMA-Factory
2.1 检验硬件环境是否支持
在命令行窗口中输入如下命令,查看自己电脑的显卡配置信息。
nvidia-smi
2.2 下载LLaMA-Factory
首先在本地需要部署的地方建好目录,用于将LLaMA-Factory下载到这个目录当中。然后使用如下的命令将LLaMA-Factory从仓库克隆到本地。
//github上克隆
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
//gitee上克隆,如果本地在github上克隆遇到错误时,就切换到这个
git clone https://gitee.com/qzl9999/LLaMA-Factory.git
执行完命令之后,可以看见本地的文件夹就有了 LLaMA-Factory文件夹。
2.3 创建LLaMA-Factory需要的虚拟环境
输入如下的命令创建环境,-n是需要创建的虚拟环境的名称,python后面是指定的python版本,建议使用3.10版本。
conda create -n llama_factory python=3.10
在创建过程中,如果遇到如下图所示的情况后,输入y即可。
看到如下图所示的输出后,则说明已经创建成功。
接下来就可以使用如下的命令使用环境。使用成功后会看到前面出现虚拟环境的名字。
conda activate llama_factory
2.4 安装需要的依赖
使用命令切换到该目录下之后,然后安装相关的依赖。
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
到这里说明已经依赖已经安装成功。
安装成功后使用如下命令查看是否安装成功,如果看到对应的版本信息则说明安装成功。
llamafactory-cli version
2.4 校验CUDA和Pytorch环境是否符合要求
在命令行中输入python进入Python操作界面,然后以此输入如下命令进行查看,如果识别到了可用的GPU就可以进行后续操作,如果识别不到,还需要继续处理环境问题,才能进行后续操作,否则可能会报错。查询结束之后,输入exit(),即可退出Python运行环境。
import torch
torch.cuda.current_device()
torch.cuda.get_device_name(0)
torch.__version__
2.5 打开可视化微调界面。
输入下面的命令,然后就可以启动LLaMA-Factory,进入可视化界面。
llamafactory-cli webui
3. 下载模型
我了解的有两个常用的下载模型的网站。
Models - Hugging Face,这个网站下载模型需要注册登录,我试了好几次没有注册成功,如果可以注册成功,可以选择这个。
模型库首页 · 魔搭社区 ,这个网站注册登陆后,也可以下载模型,而且速度还不慢。
这里的模型选择需要考虑自己的显卡,为了能成功运行,我选择的是Qwen2.5-3B-Instruct这个3B的模型。
点击模型文件后下载模型,然后复制下面的git命令,在命令行进行下载。
注意下载的模型还是要在原来的这个目录下。执行命令后就可以进行下载,耐心等待下载完成即可。
出现如下界面,就说明已经下载完成了。
4. 训练模型
在可视化界面训练模型之前,还需要进行一些配置。
4.1 模型和数据集配置
首先选择zh,将语言切换到中文,这样后续操作也方便。
然后模型名称就是刚才下载的模型的名称,由于模型是安装在LLaMA-Factory目录之下,所以模型路径直接使用文件夹的名字即可。
设置好如下图所示:
4.2 设置训练参数
首先选择一个数据集,随便选择一个即可,然后设置学习率和训练轮数,可以按照图里的进行设置。至于其他的参数和设置,我还没有了解清楚,后续了解清楚了再写文章进行介绍。
4.3 开始训练
设置好参数后,点击预览命令,就会以命令行的方式显示刚才的各种配置。关于这个命令还需要好好注意,后面如果不用可视化界面的话,都需要依靠命令行进行操作。然后点击开始按钮,就开始训练了。
点击开始训练后,稍等片刻,就可以看见对应的进度、图像和日志。
到这里,LLaMA-Factory工具就算是在本地成功部署了。后续的内容还需要继续学习更新。