P-Tuning项目——新零售决策评价系统（二）
0 前言
上篇文章我们介绍了使用PET方式微调BERT模型，PET属于提示词微调的一种，另一种比较常见的提示词微调是P-Tuning，我们今天在相同的项目上面用P-Tuning看看。
1 P-Tuning原理
P-Tuning 的目标是减少对人工设计模板（硬模板）的依赖，并通过引入可学习的参数来自动优化提示（prompt），以达到更好的任务表现。在这种设置下，模板不是固定的文本序列，而是由一组可学习的向量表示，这些向量可以在训练过程中根据任务的具体要求进行调整和优化，因此，P-Tuning的模板被称为软模板。
这种方式的优点包括：
- 灵活性：软提示允许模型动态地适应不同的任务需求，而不需要手动调整模板。
- 泛化能力：通过训练，模型可以学到更通用的提示表达，有助于提高在未见过的数据上的表现。
- 减少工作量：减少了为每个新任务或数据集设计和测试模板的需求。
在实际工作中，纯软模板是比较少见的，模板并不是完全由可学习的参数表示，而是使用特殊字符（特殊字符可以自由学习也可以自己指定），将模版与原始文本拼在一起输入预训练模型，预训练模型会对模板中的mask做预测，得到一个label。
图中[u1][u2][u3][u4][u5][u6]都是伪标记，它们都是词表中没有使用过的token，所谓没有使用，指的是没有在训练集和验证集中出现过，所以构建软模板时，要找那种肯定不会出现在训练集和验证集的token。也就是说，软模板不再是人能理解的，只有模型能理解。
本项目的结构和PET大致相同，除了数据处理部分，其他代码只需要略微修改即可，因此我们这里只讲数据处理部分。
2 数据处理
数据处理的代码在 data_handle/data_preprocess.py 中，大致过程就是先插入Mask，后插入伪标记，我做了比较详细的注释，代码如下：
import torch
import numpy as np
from rich import print
from functools import partial
from datasets import load_dataset
from transformers import AutoTokenizer
def convert_example(
examples: dict,
tokenizer,
max_seq_len: int,
max_label_len: int,
p_embedding_num=6,
train_mode=True,
return_tensor=False
) -> dict:
"""
将样本数据转换为模型接收的输入数据。
Args:
examples (dict): 训练数据样本, e.g. -> {
"text": [
'娱乐 嗨放派怎么停播了',
'体育 世界杯为何迟迟不见宣传',
...
]
}
max_label_len (int): 最大label长度，若没有达到最大长度，则padding为最大长度
p_embedding_num (int): p-tuning token（伪标记） 的个数
train_mode (bool): 训练阶段 or 推理阶段。
return_tensor (bool): 是否返回tensor类型，如不是，则返回numpy类型。
Returns:
dict (str: np.array) -> tokenized_output = {
'input_ids': [[101, 3928, ...], [101, 4395, ...]],
'token_type_ids': [[0, 0, ...], [0, 0, ...]],
'mask_positions': [[5, 6, ...], [3, 4, ...]],
'mask_labels': [[183, 234], [298, 322], ...]
}
"""
# 定义输出格式（Bert模型的接收格式）
tokenized_output = {
'input_ids': [],
'attention_mask': [],
'mask_positions': [], # 记录label的位置（即MASK Token的位置）
'mask_labels': [] # 记录MASK Token的原始值（即Label值）
}
# 遍历样本数据，将样本填充到模板中，并转化为Bert模型的输入格式
for i, example in enumerate(examples['text']):
try:
# 将[MASK]插在[CLS]之后，[MASK]的位置可以在任何位置，但提示词的开头和结尾必须为[CLS]和[SEP]
start_mask_position = 1
if train_mode:
# 如果是训练模式，则既有样本的label，也有样本的文本内容
label, content = example.strip().split('\t', 1) # 第二个参数为1表示最多分割1次，结果列表中最多包含2个元素
else:
# 如果是评估（推理）模式，则只有样本的文本内容
content = example.strip()
# 将文本转换为Bert模型的输入格式
encoded_inputs = tokenizer(
text=content,
truncation=True,
max_length=max_seq_len,
padding='max_length')
# encoded_inputs包含三个键：'input_ids', 'token_type_ids', 'attention_mask'
except:
continue
# 生成 MASK Tokens, 和label长度一致
mask_tokens = ['[MASK]'] * max_label_len
# 将 MASK Tokens 转为 id
mask_ids = tokenizer.convert_tokens_to_ids(mask_tokens)
# 构建 prompt token(s)，即构建伪标记，[[unused1] [unused2] ... [unused6]]
p_tokens = ["[unused{}]".format(i + 1) for i in range(p_embedding_num)]
# 伪标记 转 id
p_tokens_ids = tokenizer.convert_tokens_to_ids(p_tokens)
# 获取input_ids
input_ids = encoded_inputs['input_ids']
# 去掉最后的[SEP]
tmp_input_ids = input_ids[:-1]
# 裁剪content的长度
tmp_input_ids = tmp_input_ids[:max_seq_len - len(mask_ids) - len(p_tokens_ids) - 1]
# 因为要插入 p_embedding_num 个伪标记，并且标签长度为 max_label_len，并且最后要加上[SEP]
# 所以原来的 input_ids 只能保存 max_seq_len - len(mask_ids) - len(p_tokens_ids) - 1 个token
# 插入[MASK]对应的id
tmp_input_ids = tmp_input_ids[:start_mask_position] + mask_ids + tmp_input_ids[start_mask_position:]
# 插入后，tmp_input_ids 变为 [CLS][MASK][MASK]世界杯...
# 补上[SEP]
input_ids = tmp_input_ids + [input_ids[-1]]
# 插入伪标记
input_ids = p_tokens_ids + input_ids # [unused1][unused2]...[CLS][MASK][MASK]世界杯...[SEP]
# 将 Mask Tokens 的位置记录下来
mask_positions = [len(p_tokens_ids) + start_mask_position + i for i in range(max_label_len)]
# 将填充后的提示词加入到输出字典中
tokenized_output['input_ids'].append(input_ids)
# 如果输入需要token_type_ids，可以进行添加，
if 'token_type_ids' in encoded_inputs: # 兼容不需要 token_type_id 的模型, e.g. Roberta-Base
tmp = encoded_inputs['token_type_ids']
if 'token_type_ids' not in tokenized_output:
# 循环第一轮时，'token_type_ids'不在字典tokenized_output中，所以需要增加键值对
tokenized_output['token_type_ids'] = [tmp]
else:
# 从第二轮循环开始，直接在列表里添加
tokenized_output['token_type_ids'].append(tmp)
# 收集Bert模型需要的其他信息
tokenized_output['attention_mask'].append(encoded_inputs['attention_mask'])
tokenized_output['mask_positions'].append(mask_positions)
# 对于训练模式，则需要将label转化为Bert模型的输入格式
if train_mode:
mask_labels = tokenizer(text=label) # label token 转 id
mask_labels = mask_labels['input_ids'][1:-1] # 丢掉[CLS]和[SEP]
mask_labels = mask_labels[:max_label_len] # 如果标签的长度大于max_label_len，则截断
mask_labels += [tokenizer.pad_token_id] * (max_label_len - len(mask_labels)) # 将 label 补到最长
tokenized_output['mask_labels'].append(mask_labels) # 收集处理后的标签
# 将数据转化为torch.tensor或者numpy.array格式，方便后续处理
for k, v in tokenized_output.items():
if return_tensor:
tokenized_output[k] = torch.LongTensor(v)
else:
tokenized_output[k] = np.array(v)
return tokenized_output
if __name__ == '__main__':
# 导入数据
train_dataset = load_dataset('text', data_files={'train': '../data/train.txt'})
print(f'train_dataset==>{train_dataset}')
print(train_dataset['train']['text'][0])
print('-'*80)
# 创建分词器
tokenizer = AutoTokenizer.from_pretrained('../../预训练模型/bert-base-chinese')
# 函数式编程
new_func = partial(convert_example,
tokenizer=tokenizer,
max_seq_len=20,
max_label_len=2,
p_embedding_num=6)
# 数据批处理
new_dataset = train_dataset.map(new_func, batched=True)
# 打印
print(f'dataset---》{new_dataset}')
for value in new_dataset['train']:
# value将是一个字典，包含输入的text、input_ids、token_type_id、attention_mask、mask_position和mask_label
print(type(value))
for k, v in value.items():
print(k, v)
print(len(value['input_ids']))
break
输出
train_dataset==>DatasetDict({
train: Dataset({
features: ['text'],
num_rows: 63
})
})
电脑 (1)这款笔记本外观感觉挺漂亮的，分量吗，对我来说不算沉。 (2)安装了WindowsXP系统后，运行的速度挺快。发热量没有想象中那么大。可能尚未运行很耗资源的程序，没有感到内存的弊病。不过，1G的内存确实有点小。 (3)附赠的包很不错，挺有手感的。但是附赠的鼠标实在是太小了，幸好同时订了一个双飞燕的鼠标哟。
--------------------------------------------------------------------------------
dataset---》DatasetDict({
train: Dataset({
features: ['text', 'input_ids', 'attention_mask', 'mask_positions', 'mask_labels', 'token_type_ids'],
num_rows: 63
})
})
<class 'dict'>
text 电脑 (1)这款笔记本外观感觉挺漂亮的，分量吗，对我来说不算沉。 (2)安装了WindowsXP系统后，运行的速度挺快。发热量没有想象中那么大。可能尚未运行很耗资源的程序，没有感到内存的弊病。不过，1G的内存确实有点小。 (3)附赠的包很不错，挺有手感的。但是附赠的鼠标实在是太小了，幸好同时订了一个双飞燕的鼠标哟。
input_ids [1, 2, 3, 4, 5, 6, 101, 103, 103, 113, 122, 114, 6821, 3621, 5011, 6381, 3315, 1912, 6225, 102]
attention_mask [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
mask_positions [7, 8]
mask_labels [4510, 5554]
token_type_ids [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
20