大模型微调---Prompt-tuning微调

一、前言

Prompt-tuning通过修改输入文本的提示（Prompt）来引导模型生成符合特定任务或情境的输出，而无需对模型的全量参数进行微调。

Prompt-Tuning 高效微调只会训练新增的Prompt的表示层，模型的其余参数全部固定，其核心在于将下游任务转化为预训练任务

新增的 Prompt 内容可以分为 Hard Prompt 和 Soft Prompt 两类：

• Soft prompt 通常指的是一种较为宽泛或模糊的提示，允许模型在生成结果时有更大的自由度，通常用于启发模型进行创造性的生成；
• Hard prompt 是一种更为具体和明确的提示，要求模型按照给定的信息生成精确的结果，通常用于需要模型提供准确答案的任务；

Soft Prompt 在 peft 中一般是随机初始化prompt的文本内容，而 Hard prompt 则一般需要设置具体的提示文本内容；

对于不同任务的Prompt的构建示例如下：

例如，假设我们有兴趣将英语句子翻译成德语。我们可以通过各种不同的方式询问模型，如下图所示。

1)“Translate the English sentence ‘{english_sentence}’ into German: {german_translation}”
2)“English: ‘{english sentence}’ | German: {german translation}”
3)“From English to German:‘{english_sentence}’-> {german_translation}”

上面说明的这个概念被称为硬提示调整

软提示调整（soft prompt tuning）将输入标记的嵌入与可训练张量连接起来，该张量可以通过反向传播进行优化，以提高目标任务的建模性能。

例如下方伪代码：

# 定义可训练的软提示参数
# 假设我们有 num_tokens 个软提示 token，每个 token 的维度为 embed_dim
soft_prompt = torch.nn.Parameter(
    torch.rand(num_tokens, embed_dim)  # 随机初始化软提示向量
)

# 定义一个函数，用于将软提示与原始输入拼接
def input_with_softprompt(x, soft_prompt):
    # 假设 x 的维度为 (batch_size, seq_len, embed_dim)
    # soft_prompt 的维度为 (num_tokens, embed_dim)
    # 将 soft_prompt 在序列维度上与 x 拼接
    # 拼接后的张量维度为 (batch_size, num_tokens + seq_len, embed_dim)
    x = concatenate([soft_prompt, x], dim=seq_len)
    return x

# 将包含软提示的输入传入模型
output = model(input_with_softprompt(x, soft_prompt))

1. 软提示参数：

使用 torch.nn.Parameter 将随机初始化的向量注册为可训练参数。这意味着在训练过程中，soft_prompt 中的参数会随梯度更新而优化。

2. 拼接输入：

函数 input_with_softprompt 接收原始输入 x（通常是嵌入后的 token 序列）和 soft_prompt 张量。通过 concatenate（伪代码中使用此函数代指张量拼接操作），将软提示向量沿着序列长度维度与输入拼接在一起。

3. 传递给模型：

将包含软提示的输入张量传给模型，以引导模型在执行特定任务（如分类、生成、QA 等）时更好地利用这些可训练的软提示向量。

二、Prompt-tuning实战

预训练模型与分词模型——Qwen/Qwen2.5-0.5B-Instruct
数据集——lyuricky/alpaca_data_zh_51k

2.1、下载模型到本地

# 下载数据集
dataset_file = load_dataset("lyuricky/alpaca_data_zh_51k", split="train", cache_dir="./data/alpaca_data")
ds = load_dataset("./data/alpaca_data", split="train")

# 下载分词模型
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
# Save the tokenizer to a local directory
tokenizer.save_pretrained("./local_tokenizer_model")

#下载与训练模型
model = AutoModelForCausalLM.from_pretrained(
    pretrained_model_name_or_path="Qwen/Qwen2.5-0.5B-Instruct",  # 下载模型的路径
    torch_dtype="auto",
    low_cpu_mem_usage=True,
    cache_dir="./local_model_cache"  # 指定本地缓存目录
)

2.2、加载模型与数据集

#加载分词模型
tokenizer_model = AutoTokenizer.from_pretrained("../local_tokenizer_model")

# 加载数据集
ds = load_dataset("../data/alpaca_data", split="train[:10%]")

# 记载模型
model = AutoModelForCausalLM.from_pretrained(
    pretrained_model_name_or_path="../local_llm_model/models--Qwen--Qwen2.5-0.5B-Instruct/snapshots/7ae557604adf67be50417f59c2c2f167def9a775",
    torch_dtype="auto",
    device_map="cuda:0")

2.3、处理数据

"""
并将其转换成适合用于模型训练的输入格式。具体来说，
它将原始的输入数据（如用户指令、用户输入、助手输出等）转换为模型所需的格式，
包括 input_ids、attention_mask 和 labels。
"""
def process_func(example, tokenizer=tokenizer_model):
    MAX_LENGTH = 256
    input_ids, attention_mask, labels = [], [], []
    instruction = tokenizer("\n".join(["Human: " + example["instruction"], example["input"]]).strip() + "\n\nAssistant: ")
    if example["output"] is not None:
        response = tokenizer(example["output"] + tokenizer.eos_token)
    else:
        return
    input_ids = instruction["input_ids"] + response["input_ids"]
    attention_mask = instruction["attention_mask"] + response["attention_mask"]
    labels = [-100] * len(instruction["input_ids"]) + response["input_ids"]
    if len(input_ids) > MAX_LENGTH:
        input_ids = input_ids[:MAX_LENGTH]
        attention_mask = attention_mask[:MAX_LENGTH]
        labels = labels[:MAX_LENGTH]
    return {
        "input_ids": input_ids,
        "attention_mask": attention_mask,
        "labels": labels
    }


# 分词
tokenized_ds = ds.map(process_func, remove_columns=ds.column_names)

2.4、Prompt-tuning微调

soft Prompt

# Soft Prompt
config = PromptTuningConfig(task_type=TaskType.CAUSAL_LM, num_virtual_tokens=10) # soft_prompt会随机初始化

Hard Prompt

# Hard Prompt
prompt = "下面是一段人与机器人的对话。"
config = PromptTuningConfig(task_type=TaskType.CAUSAL_LM, prompt_tuning_init=PromptTuningInit.TEXT,
                            prompt_tuning_init_text=prompt,
                            num_virtual_tokens=len(tokenizer_model(prompt)["input_ids"]),
                            tokenizer_name_or_path="../local_tokenizer_model")

加载peft配置

peft_model = get_peft_model(model, config)

print(peft_model.print_trainable_parameters())

可以看到要训练的模型相比较原来的全量模型要少很多

2.5、训练参数配置

# 配置模型参数
args = TrainingArguments(
    output_dir="chatbot",   # 训练模型的输出目录
    per_device_train_batch_size=1,
    gradient_accumulation_steps=4,
    logging_steps=10,
    num_train_epochs=1,
)

2.6、开始训练

# 创建训练器
trainer = Trainer(
    args=args,
    model=model,
    train_dataset=tokenized_ds,
    data_collator=DataCollatorForSeq2Seq(tokenizer_model, padding=True )
)
# 开始训练
trainer.train()

可以看到 ，损失有所下降

三、模型评估

# 模型推理
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model = AutoModelForCausalLM.from_pretrained("../local_llm_model/models--Qwen--Qwen2.5-0.5B-Instruct/snapshots/7ae557604adf67be50417f59c2c2f167def9a775", low_cpu_mem_usage=True)
peft_model = PeftModel.from_pretrained(model=model, model_id="./chatbot/checkpoint-643")
peft_model = peft_model.cuda()

#加载分词模型
tokenizer_model = AutoTokenizer.from_pretrained("../local_tokenizer_model")
ipt = tokenizer_model("Human: {}\n{}".format("我们如何在日常生活中减少用水？", "").strip() + "\n\nAssistant: ", return_tensors="pt").to(
    peft_model.device)
print(tokenizer_model.decode(peft_model.generate(**ipt, max_length=128, do_sample=True)[0], skip_special_tokens=True))

print("-----------------")
#预训练的管道流
# 构建prompt
ipt = "Human: {}\n{}".format("我们如何在日常生活中减少用水？", "").strip() + "\n\nAssistant: "
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer_model)
output = pipe(ipt, max_length=256, do_sample=True, truncation=True)
print(output)

训练了一轮，感觉效果不大，可以增加训练轮数试试

四、完整训练代码

from datasets import load_dataset
from peft import PromptTuningConfig, TaskType, PromptTuningInit, get_peft_model, PeftModel
from transformers import AutoTokenizer, AutoModelForSequenceClassification, AutoModelForCausalLM, TrainingArguments, \
    DataCollatorForSeq2Seq, Trainer

# 下载数据集
# dataset_file = load_dataset("lyuricky/alpaca_data_zh_51k", split="train", cache_dir="./data/alpaca_data")
# ds = load_dataset("./data/alpaca_data", split="train")
# print(ds[0])

# 下载分词模型
# tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
# Save the tokenizer to a local directory
# tokenizer.save_pretrained("./local_tokenizer_model")

#下载与训练模型
# model = AutoModelForCausalLM.from_pretrained(
#     pretrained_model_name_or_path="Qwen/Qwen2.5-0.5B-Instruct",  # 下载模型的路径
#     torch_dtype="auto",
#     low_cpu_mem_usage=True,
#     cache_dir="./local_model_cache"  # 指定本地缓存目录
# )

#加载分词模型
tokenizer_model = AutoTokenizer.from_pretrained("../local_tokenizer_model")

# 加载数据集
ds = load_dataset("../data/alpaca_data", split="train[:10%]")

# 记载模型
model = AutoModelForCausalLM.from_pretrained(
    pretrained_model_name_or_path="../local_llm_model/models--Qwen--Qwen2.5-0.5B-Instruct/snapshots/7ae557604adf67be50417f59c2c2f167def9a775",
    torch_dtype="auto",
    device_map="cuda:0")


# 处理数据
"""
并将其转换成适合用于模型训练的输入格式。具体来说，
它将原始的输入数据（如用户指令、用户输入、助手输出等）转换为模型所需的格式，
包括 input_ids、attention_mask 和 labels。
"""
def process_func(example, tokenizer=tokenizer_model):
    MAX_LENGTH = 256
    input_ids, attention_mask, labels = [], [], []
    instruction = tokenizer("\n".join(["Human: " + example["instruction"], example["input"]]).strip() + "\n\nAssistant: ")
    if example["output"] is not None:
        response = tokenizer(example["output"] + tokenizer.eos_token)
    else:
        return
    input_ids = instruction["input_ids"] + response["input_ids"]
    attention_mask = instruction["attention_mask"] + response["attention_mask"]
    labels = [-100] * len(instruction["input_ids"]) + response["input_ids"]
    if len(input_ids) > MAX_LENGTH:
        input_ids = input_ids[:MAX_LENGTH]
        attention_mask = attention_mask[:MAX_LENGTH]
        labels = labels[:MAX_LENGTH]
    return {
        "input_ids": input_ids,
        "attention_mask": attention_mask,
        "labels": labels
    }


# 分词
tokenized_ds = ds.map(process_func, remove_columns=ds.column_names)




prompt = "下面是一段人与机器人的对话。"

# prompt-tuning
# Soft Prompt
# config = PromptTuningConfig(task_type=TaskType.CAUSAL_LM, num_virtual_tokens=10) # soft_prompt会随机初始化
# Hard Prompt
config = PromptTuningConfig(task_type=TaskType.CAUSAL_LM, prompt_tuning_init=PromptTuningInit.TEXT,
                            prompt_tuning_init_text=prompt,
                            num_virtual_tokens=len(tokenizer_model(prompt)["input_ids"]),
                            tokenizer_name_or_path="../local_tokenizer_model")

peft_model = get_peft_model(model, config)

print(peft_model.print_trainable_parameters())

# 训练参数

args = TrainingArguments(
    output_dir="./chatbot",
    per_device_train_batch_size=1,
    gradient_accumulation_steps=8,
    logging_steps=10,
    num_train_epochs=1
)

# 创建训练器
trainer = Trainer(model=peft_model, args=args, train_dataset=tokenized_ds,
                  data_collator=DataCollatorForSeq2Seq(tokenizer=tokenizer_model, padding=True))


# 开始训练
trainer.train()