总结GPT1和GPT2

参考链接：

1. https://blog.csdn.net/hyzhyzhyz12345/article/details/104181606
2. https://www.jianshu.com/p/a68288613a0f
3. https://blog.csdn.net/u012526436/article/details/87882985
4. https://www.jianshu.com/p/6c2bfa1848f2
5. https://zhuanlan.zhihu.com/p/57251615
6. https://www.jiqizhixin.com/articles/2019-08-26-12

GPT1

全称：Generative Pre-Training 1.0
论文：《Improving Language Understanding by Generative Pre-Training》

概述

GPT1采用了NLP中常用的“预训练+微调（generative pre-training + discriminative fine-tuning）”的模式。

由于LSTM等结构在捕获长期依赖的局限性，GPT1的模型是Transformer的Decoder部分，其采用的self-attention机制较好地弥补了LSTM的弊端。

框架

1.无监督的预训练阶段（Unsupervised pre-training）

给定一个无监督的（无标签）tokens语料库 U = { u 1 , ⋅ ⋅ ⋅ , u n } \mathrm{U}=\left \{u_{1},\cdot \cdot \cdot ,u_{n}\right \} U={u1​,⋅⋅⋅,un​}，选择标准的语言模型目标函数（即根据前$k$个词预测下一个词），需最大化：

$L_1\left(\mathrm{U}\right)={\sum }_i^{}logP\left(u_i|u_{i-k},\cdot \cdot \cdot ,u_{i-1};\Theta \right)$

其中，$k$为token的上下文窗口大小，条件概率$P$使用参数为$\Theta$的神经网络建模。GPT1的结构示意图如下：

1）输入为前k个词和位置的embedding

$h_0=U{W}_e+W_p$

其中，$U=\left(u_{-k},\cdot \cdot \cdot ,u_{-1}\right)$为token上下文one-hot向量，则$U{W}_e$为上下文对应的embedding。

2）经过n层transformer-decoder层（12层）

$h_l=transforme{r}_{b}lock\left(h_{l-1}\right)\forall l\in \left[1,n\right]$

3）乘上一个token embedding矩阵，通过softmax得到概率

$P\left(u\right)=softmax\left(h_n{W}_e^T\right)$

2.有监督的微调阶段（Supervised fine-tuning）

微调过程的示意图如下：

对比预训练阶段，可以看出，只是多增加了“Task Classifier”模块。

对于有监督的训练，数据集$\text{C}$每个样本自然包括一个输入tokens序列$x^1,\cdot \cdot \cdot ,x^m$和对应的标签$y$，具体任务相应的目标函数为：

$L_2\left(\text{C}\right)={\sum }_{\left(x,y\right)}^{}logP\left(y|x^1,\cdot \cdot \cdot ,x^m\right)$

其中，$P\left(y|x^1,\cdot \cdot \cdot ,x^m\right)=softmax\left(h_l^m{W}_y\right)$，$h_l^m$为最后一个token$x^m$对应的最后一层transformer-decoder的输出。所以需要额外调整的参数只有$W_y$。

最终，微调阶段的目标函数为：

$L_3\left(\text{C}\right)=L_2\left(\text{C}\right)+\lambda \ast L_1\left(\text{C}\right)$

上图还展示了一个细节，就是针对不同的任务，模型的输入token序列是有区别的：

1. 对于文本分类任务，输入格式与预训练时一样，[start;text;extract]；

2. 对于文本蕴含任务，在前提（premise）和假设（hypothesis）间加上了一个分隔符（delimiter），[start;premise;delimiter;hypothesis;extract]；
   注：文本蕴含任务(text entailment)，它的任务形式是：给定一个前提文本（premise），根据这个前提去推断假设文本（hypothesis）与前提文本的关系，一般分为蕴含关系（entailment）和矛盾关系（contradiction），蕴含关系（entailment）表示从前提文本中可以推断出假设文本；矛盾关系（contradiction）即假设文本与前提文本矛盾。文本蕴含的结果就是这几个概率值。

3. 对于文本相似性度量任务，由于两个文本间没有相对顺序，所以把两种情况（[start;text1;delimiter;text2;extract]和[start;text2;delimiter;text1;extract]）分别处理后得到两个$h_l^m$后，再按位相加经过全连接层；

4. 对于问答和常识推理任务，将上下文文档（context document）和问题（question）与不同的答案（answer）分别拼接起来（[start;context;question;delimiter;answer1];[start;context;question;delimiter;answer2]…），经过模型后，再经过softmax层。

GPT2

全称：Generative Pre-Training 2.0
论文：《Language Models are Unsupervised Multitask Learners》

概述

GPT2有4个不同的版本，分别如下图所示，区别在于embedding的维度和transformer-decoder的层数。所有的模型目前在WebText上都还存在欠拟合的情况，如果给更多的时间去训练的话效果还能进一步的提升。

GPT2与GPT1

最主要的区别还是GPT2完全变成无监督训练，直接用于下游任务，属于零样本学习（Zero-shot learning）。下面具体介绍一些区别。

输入表征（Input Representation）

为了解决word级别的embedding常存在的OOV问题（out-of-vocabulary，即词典以外的词汇），而字符级的embedding效果又不太好。

本文采用了字节对编码（BPE，Byte Pair Encoding），即将频率高的字节对一起编码。
（以下部分内容为本人的推测）
GPT2可能使用的是UTF-8的编码方式，如下图所示，UTF-8会将字符以8位为一个编码单元进行编码，所以只需要有0~255对应的embedding就可以得到每个字符embedding（与原文“a byte-level version of BPE only requires a base vocabulary of size 256.”对应），如将266、128、188对应的embedding加起来就得到了“!!”的embedding。

但这种效果肯定不好，所以对高频的字符串应该进行额外学习embedding，如“dog”有很高的频率一起出现，所以单独给它一个embedding。但“dog?”、“dog.”、“dog!”等也有很高的频率一起出现，如果也单独给它们一个embedding有些浪费资源，所以设置一个规则：对于包含多类字符的字符串不额外学习embedding。

如此，GPT2不需要任何预处理即可用于任意数据集。

模型（Model）

1. Layer normalization层被移动到了每个子块的输入；
2. 在每个self-attention block后加normaliztion；
3. 修改residual layers的权重（$1/\sqrt{N}$，其中$\sqrt{N}$为残差层的数量），即残差层的参数初始化根据网络深度进行调节；
4. 词汇量增加到50257；
5. 上下文大小从512增加到1024;
6. batchsize增加到512

GPT2的模型大概八成可能也就像下图右一：

参数个数统计

GPT2-small的参数统计表如下：

其中，attn/c_attn和attn/c_proj分别为Self-Attention模块中的attention矩阵和映射矩阵；attn/c_proj和attn/fc分别为Feed-Forward模块中的全连接层和映射层；ln_1和ln_2为两个Layer Normalization层。

如何使用

这里直接借用了李宏毅老师的ppt：

可以看出，在使用模型时，只需要给GPT少量的文本和提示词，GPT就可以自动完成阅读理解、文本摘要和翻译等任务。