chatglm系列知识

一、目录

1. chatglm 是什么语言模型与transformer decoder 的区别
2. 解释prefix LM与Cause LM
3. chatglm（prefix LM）与decoder-only LM 核心区别
4. glm 架构
5. chatglm 预训练方式
6. chatglm 微调
7. chatglm与chatglm2、chatglm3的区别
8. chatglm 激活函数采用gelu, 为什么chatglm2 采用swish 激活函数？
9. prefixLm 与decoder-only LM的优缺点？
   10 glm4 与chatglm3 的区别？

二、实现

1. chatglm 是什么语言模型与transformer decoder 的区别
   1. GLM 预训练方式：自回归的空白填充，并通过 GLM 通过添加 2D 位置编码和打乱片段顺序来改进空白填充预训练。
   2. chatglm 为前缀语言模型(自回归空白填充的通用语言模型（GLM)，prefix-LM。结构为：Prefix-LM中前半段深黑色的连线为双向语言模型的标准架构，而在后半段通过
   mask attetnion矩阵使其成为递归生成的单向语言模型。
   3. 模型架构为prefix decoder-only 模型架构，在输入上采用双向的注意力机制，在输出上采用单向注意力机制。
   注意力为前缀注意力， 如输入x1 -x5, 第一时刻输出y1时，实际输入信息为x1-x3，第二第三时刻输出y2,y3 ,实际输入信息为x1-x3。第四时刻输出y4时，输入信息为x1-x4。
2. decoder-only 架构，也称Cause架构。
   
   该类模型全程都是单向语言信息传输，其做法也是将attention后向信息部分mask掉

2 解释prefix LM与Cause LM
prefix LM，前缀语言模型，在输入序列的开头添加一个可学习的任务相关的前缀，然后使用该前缀和输入序列一起生成输出。用于一道模型生成适应特定任务的输出。
causal LM，因果语言模型，也成为自回归语言模型，根据之前生成的token预测下一个token，在生成文本时，模型只能根据已经生成的部分生成后续部分，不能访问未来的信息。
3. chatglm（prefix LM）与decoder-only LM 核心区别
核心区别：多头注意力mask 不同。 prefix LM 有前缀。 cause LM 没有前缀。

4. glm 架构
   GLM使用Transformer，并对其架构进行了一些修改：
   （1）重新安排了层归一化和残差连接的顺序 (将Post-LN改成Pre-LN)，这对于大规模语言模型避免数值误差至关重要；
   （2）使用单个线性层进行输出token预测；
   （3）用GeLUs替换ReLU激活函数。

5. chatglm 预训练方式
   GLM（General Language Model）提出了一种新的训练架构，旨在吸收自回归和自编码两种方法的优势。主要思想是用生成式预测的方式来完形填空。
   如图3所示，前面掩码，后面预测。(自回归填充)
   输入文本构成： 前半部分：有mask的文本，后半部分：被mask的词的真正预测。
   长文本生成具体包含以下两个目标：
   sentence-level (句子级)：从文档中随机掩码若干文本片段，每个文本片段必须为完整的句子，被掩码的词数量为整个文档长度的15%。这一目标是能针对seq2seq任务，其预测往往是完整的整个句子或者段落。
   document-level (文档级)：采样一个长度从原始文本长度的50%到100%的均匀分布中采样的片段。这预训练目标针对的是无条件的长文本生成。

6. chatglm 微调
   
   对于文本生成任务，给定的上下文构成了输入的 Part A，末尾附加了一个 mask 符号。模型自回归地生成 Part B 的文本。可以直接应用预训练的 GLM 进行无条件的生成，或者在下游的条件生成任务上对其进行微调。

7. chatglm与chatglm2、chatglm3的区别

   1. chatglm 与chatglm2、chatglm3不同，chatglm2与chatglm3 架构相同。
      在 chatglm版本中，attention mask 分为两部分：Part A 和 Part B。Part A 部分是双向 Attention，Part B 部分是 Causal Attention。但在chatglm2 版本中，我们全部换成了 Causal Attention，不再区分是 Part A 还是 Part B，完全变成了 decoder-only 的架构。
   2. chatglm2改进点：1. 词表大小从15万528 缩小为6万5024 。
   3. 位置编码从每个模块编码升级为全局一份。
   4. 标准化有LayerNorm 改为RMSNorm。 采用FlashAttention， 长度2k -->32k，对话支持8k 数据。
   5. chatglm2 效果比chatglm 评分高，chatglm3 反而降低一些。
      chatglm–>chatglm2: 改进点：
      1. 训练数据： 1T -->1.4T
      词表缩小：150528–>65024
      2. 模型算子改进：
      更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型（Prefix-LM->Decoder-Only）。
      更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。
      更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。
      layerNorm—>RMSNorm
      chatglm2–>chatglm3:改进点：
      全新设计的 Prompt 格式
      一些工具的开发。
      训练数据更丰富。

8. chatglm 激活函数采用gelu, 为什么chatglm2 采用swish 激活函数？
   使用Swish作为GLU块的激活函数可以增强模型的非线性能力，并在某些情况下提供更好的性能和更快的收敛速度。

9. prefixLm 与decoder-only LM的优缺点？
   prefixLM 是Encoder-Decoder模型的一个变型，在标准的encoder-decoder 中，encoder和decoder 各自使用一个独立的transformer。
   而在PrefixLM中，Encoder和Decoder则共享了同一个Transformer结构，在Transformer内部通过Attention Mask机制来实现 。如图
   decoder -only 采用自回归模式，就是根据历史的token来预测下一个token，也是在Attention Mask这里做的手脚。
   在多轮对话中，PrefixLM 会带来数据膨胀问题，影响模型训练效率。
   在处理多轮对话的过程中,设有3轮对话,Q1A1，Q2A2，Q3A3，PrefixLM需要构建三条样本:
   Q1->A1
   Q1A1Q2->A2
   Q1A1Q2A2Q3->A3
   而这种数据构建方式带来了严重的数据膨胀问题，影响模型训练的效率。
   Decoder-Only模型则可以利用Causal Mask的特性(每一个Token可以看到前面所有Token的真实输入)，在一条样本中实现多轮对话:
   样本构建:Q1 A1 Q2 A2 Q3 A3
   Loss计算:只需要计算 A1 A2 和 A3 部分

10. glm4 与chatglm3 的区别？
    待续