【大模型】MS-SWIFT : 高效、灵活的大模型微调框架

一、项目下载

可以通过以下命令从对应的源下载 MS-SWIFT 项目：

https://github.com/modelscope/ms-swift.git

二、环境准备

本次部署选用 Ubuntu 22.04 操作系统，搭配 Python 3.10 与 PyTorch 2.1.2。计算硬件为一块 NVIDIA GeForce RTX 4090D GPU，显存 24GB，同时安装 Cuda 11.8，确保环境稳定高效，满足运行需求。

conda create --name MS-SWIFT python=3.10
conda activate MS-SWIFT
pip install torch==2.1.2+cu118 torchvision==0.16.1+cu118 torchaudio==2.1.2 --extra-index-url https://download.pytorch.org/whl/cu118

三、模型文件准备

以微调 Qwen2.5-7B-Instruct 模型为例，可从 ModelScope 等平台下载模型文件。下载完成后，需验证模型是否正常工作，可通过以下命令进行推理验证：

CUDA_VISIBLE_DEVICES=0 \
swift infer \
    --model /root/autodl-tmp/Qwen2.5-7B-Instruct \
    --infer_backend pt \
    --stream true

若模型能正常输出合理回答，说明模型文件完整且配置正确。

四、数据准备

数据集需提前准备并置于合适路径，例如 /root/autodl-tmp/datasets/trainTest.json，可在数据集文件路径后加 #500 来指定使用 500 条记录。数据集格式一般需符合特定要求，如包含输入、输出等字段。

{
  "instruction": "介绍人工智能的发展历程",
  "input": "",
  "output": "人工智能的发展历程可以追溯到 20 世纪中叶，当时科学家们开始探索如何使机器模拟人类智能。1956 年，达特茅斯会议的召开标志着人工智能学科的正式诞生。在接下来的几十年里，人工智能经历了多次起伏，包括专家系统的兴起与衰落、机器学习的崛起等。近年来，随着深度学习技术的突破，人工智能迎来了新的发展高潮，自然语言处理、计算机视觉等领域取得了显著的成果。"
}

五、微调命令及参数说明

以下是使用 MS-SWIFT 进行 SFT、LoRA、Full 微调的命令及关键参数说明：

SFT 微调

CUDA_VISIBLE_DEVICES=0 \
swift sft \
    --model /root/autodl-tmp/Qwen2.5-7B-Instruct \
    --train_type sft \
    --dataset /root/autodl-tmp/datasets/trainTest.json#500 \
    --torch_dtype bfloat16 \
    --num_train_epochs 1 \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --learning_rate 1e-4 \
    --target_modules all-linear \
    --gradient_accumulation_steps 16 \
    --eval_steps 50 \
    --save_steps 50 \
    --save_total_limit 2 \
    --logging_steps 5 \
    --max_length 2048 \
    --output_dir output \
    --system 'You are a helpful assistant.' \
    --warmup_ratio 0.05 \
    --dataloader_num_workers 4 \
    --model_author swift \
    --model_name swift-robot

关键参数说明：

• --train_type sft：指定微调类型为 SFT。
• --target_modules all-linear：指定对所有线性层进行微调。

LoRA 微调

CUDA_VISIBLE_DEVICES=0 \
swift sft \
    --model /root/autodl-tmp/Qwen2.5-7B-Instruct \
    --train_type lora \
    --dataset /root/autodl-tmp/datasets/trainTest.json#500 \
    --torch_dtype bfloat16 \
    --num_train_epochs 1 \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --learning_rate 1e-4 \
    --lora_rank 8 \
    --lora_alpha 32 \
    --target_modules all-linear \
    --gradient_accumulation_steps 16 \
    --eval_steps 50 \
    --save_steps 50 \
    --save_total_limit 2 \
    --logging_steps 5 \
    --max_length 2048 \
    --output_dir output \
    --system 'You are a helpful assistant.' \
    --warmup_ratio 0.05 \
    --dataloader_num_workers 4 \
    --model_author swift \
    --model_name swift-robot

关键参数说明：

• --train_type lora：指定微调类型为 LoRA。
• --lora_rank 8：设置 LoRA 微调中的秩为 8，与 alpha 一起影响微调参数分布。
• --lora_alpha 32：设置 LoRA 微调中的 alpha 值为 32。

Full 微调

CUDA_VISIBLE_DEVICES=0 \
swift sft \
    --model /root/autodl-tmp/Qwen2.5-7B-Instruct \
    --train_type full \
    --dataset /root/autodl-tmp/datasets/trainTest.json#500 \
    --torch_dtype bfloat16 \
    --num_train_epochs 1 \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --learning_rate 1e-4 \
    --gradient_accumulation_steps 16 \
    --eval_steps 50 \
    --save_steps 50 \
    --save_total_limit 2 \
    --logging_steps 5 \
    --max_length 2048 \
    --output_dir output \
    --system 'You are a helpful assistant.' \
    --warmup_ratio 0.05 \
    --dataloader_num_workers 4 \
    --model_author swift \
    --model_name swift-robot

关键参数说明：

• --train_type full：指定微调类型为 Full。

六、可能会遇到的报错及解决方法

• CUDA 相关报错 ：如显存不足，可通过减小 per_device_train_batch_size 或增加 gradient_accumulation_steps 来解决。
• 数据格式错误 ：需检查数据集文件是否符合要求，确保数据格式正确。
• 模型加载失败 ：需检查模型文件路径是否正确，文件是否完整。
• loss 不下降或 nan loss ：可尝试调整学习率，检查数据质量。

七、相关论文信息

MS-SWIFT 涉及的微调方法如 LoRA 等，相关论文有《Low-Rank Adaptation of Large Language Models》等，详细介绍了 LoRA 微调方法的原理和优势。