RNN与LSTM：循环神经网络在机器翻译中的应用

循环神经网络（RNN）及其变体LSTM（长短期记忆网络）是早期神经机器翻译（NMT）中序列建模的核心工具，尽管后续被Transformer等模型超越，但它们在理解序列依赖关系、处理变长输入输出等方面奠定了基础。

一、RNN（循环神经网络）概述

1.1 序列建模的核心挑战：为什么需要 RNN？

机器翻译的本质是一个序列到序列 的任务。输入是一个单词序列（如中文句子），输出是另一个单词序列（如英文句子）。这种任务天然具有顺序性和依赖性。
传统的全连接神经网络无法很好地处理这类问题，因为它假设输入数据是无序且独立的。而语言是高度有序的，单词的位置和上下文至关重要。例如，在句子“猫在追老鼠”中，“老鼠”的含义和翻译，严重依赖于它前面的“猫”和“在追”。
为了解决这个问题，循环神经网络 应运而生。RNN是一类专门用于处理序列数据的神经网络：

• 核心特点：具有时间上的循环连接，能够保持"记忆"
• 数学表达：$h_t=\tanh (W_{hh}{h}_{t-1}+W_{xh}{x}_t+b_h)$
• 信息流动：当前状态依赖于前一时刻状态和当前输入

1.2 循环神经网络 的核心思想

RNN 的设计灵感来自于人类处理序列信息的方式。它的核心特点是**“记忆”和“循环”**。

工作原理：RNN 的神经元不仅接收当前时刻的输入，还会接收来自上一个时刻自身的输出。这个“来自过去”的输出，可以被看作是对过去所有信息的一个总结。
让我们用机器翻译的例子来解释：
假设我们要翻译句子：“我 爱 NLP”

1. 时刻 1 (t=1):
   • 输入：单词 “我” (通常被表示为一个词向量 x_1)。
   • RNN 单元处理 x_1，并生成一个输出 y_1（可能对应目标语言的某个单词或概率分布）。
   • 同时，RNN 会生成一个隐藏状态 h_1。h_1 是对 x_1 的信息编码，可以被看作是 RNN 此时“记住”的内容。
2. 时刻 2 (t=2):
   • 输入：单词 “爱” (词向量 x_2)。
   • RNN 单元接收两个输入：当前的 x_2 和上一个时刻的隐藏状态 h_1。
   • RNN 结合 x_2 和 h_1，生成新的输出 y_2 和新的隐藏状态 h_2。
   • 关键点：此时的 h_2 不仅包含了 x_2 的信息，还通过 h_1 间接包含了 x_1 的信息。RNN 开始“记住”句子的前半部分。
3. 时刻 3 (t=3):
   • 输入：单词 “NLP” (词向量 x_3)。
   • RNN 单元接收 x_3 和 h_2。
   • 生成输出 y_3 和最终的隐藏状态 h_3。h_3 是对整个输入序列 “我 爱 NLP” 的完整编码。

1.3 RNN 在 Seq2Seq 框架中的角色

在编码器-解码器框架中，RNN 完美地契合了其设计：

• 编码器 RNN：读取源语言句子（x_1, x_2, ..., x_T），每一步都更新其隐藏状态。当读完整个句子后，编码器的最终隐藏状态 h_T 被用作整个句子的上下文向量，并传递给解码器。
• 解码器 RNN：接收这个上下文向量 h_T 作为其初始隐藏状态。然后，它开始逐词生成目标语言句子。在生成第一个目标词后，这个词又作为新的输入，帮助解码器生成第二个词，依此类推，直到生成一个表示句子结束的特殊符号。

1.4 RNN 的致命弱点：长距离依赖问题

尽管 RNN 的设计很优雅，但它存在一个根本性的缺陷，即梯度消失/爆炸。
在反向传播算法中，梯度需要通过时间步进行传递。对于长句子，梯度需要乘以很多个权重矩阵 W_{hh}。如果 W_{hh} 的特征值小于1，梯度会随着时间步的增加呈指数级缩小，导致梯度消失。这使得 RNN 在训练时“忘记”了早期的重要信息。
在机器翻译中的表现：当一个句子很长时（例如，“这个在法国出生并长大的著名哲学家，尽管他一生中大部分时间都在德国教书，但他仍然认为自己是意大利人，因为他的…”），RNN 编码器很难将句首的“法国”、“哲学家”等关键信息有效传递到句末。因此，解码器在翻译句末部分时，已经“记不清”句子的核心主题，导致翻译质量下降。

二、LSTM：RNN 的超级升级版

为了解决 RNN 的长距离依赖问题，长短期记忆网络 被提出。LSTM 可以看作是 RNN 的一个特殊变体，它通过精巧的内部结构，有选择地记忆和遗忘信息。

2.1 LSTM 的核心组件：细胞状态 和门控机制

LSTM 不再是简单地传递一个隐藏状态，而是维护一个更强大的细胞状态 C_t。你可以把它想象成一条“信息传送带”，信息可以在上面直接流动，只有一些微小的线性交互，这使得信息更容易保持不变。
LSTM 通过三个“门”来控制细胞状态：

1. 遗忘门：
   • 作用：决定从细胞状态中丢弃什么信息。
   • 工作方式：它查看上一时刻的隐藏状态 h_{t-1} 和当前输入 x_t，输出一个在 0 到 1 之间的数值。1 表示“完全保留”，0 表示“完全遗忘”。
   • 应用：在翻译中，当处理一个从句并回到主句时，遗忘门可以学会“忘记”从句的时态和主语，回到主句的语境。
2. 输入门：
   • 作用：决定存储什么新信息到细胞状态中。
   • 工作方式：它分两步：首先，一个 sigmoid 层决定哪些值需要更新；然后，一个 tanh 层创建新的候选值 Ċ_t。这两部分相乘，更新到细胞状态中。
   • 应用：当遇到一个新名词或关键动词时，输入门会确保这个新信息被安全地存储到细胞状态中。
3. 输出门：
   • 作用：决定输出什么信息作为当前的隐藏状态 h_t。
   • 工作方式：它首先通过一个 sigmoid 层决定细胞状态的哪些部分可以输出。然后，将细胞状态通过一个 tanh 函数（将值缩放到 -1 到 1 之间），再与 sigmoid 门的输出相乘，得到最终的 h_t。
   • 应用：在生成目标语言单词时，输出门根据当前细胞状态中最相关的部分，来决定下一个单词的概率分布。

2.2 LSTM 如何解决长距离依赖？

LSTM 的门控机制使得梯度可以更容易地在细胞状态中流动。遗忘门和输入门可以创建一条“捷径”，让梯度在反向传播时绕过可能导致其消失的乘法运算。这使得 LSTM 能够捕捉到句子相隔很远的信息之间的依赖关系。
在机器翻译中，LSTM 编码器可以更好地记住长句子的开头信息，并将其有效地传递给解码器，从而显著提升了长句的翻译质量。

三、RNN和LSTM对比

3.1 特性对比

3.2 演进与局限性

尽管 RNN/LSTM 在很长一段时间内是 NMT 的王者，但它们也存在固有的局限性：

• 串行计算：RNN/LSTM 必须按顺序处理输入和输出，无法像 CNN 那样并行化，这限制了训练速度和模型规模。
• 信息瓶颈：整个源语言句子的信息被压缩进一个固定长度的上下文向量中。对于非常长的句子，这个向量可能会成为信息瓶颈，导致信息丢失。

正是这些局限性，催生了下一场革命——注意力机制 和 Transformer 模型。注意力机制允许解码器在生成每个词时，都能“回头看”编码器输出的所有信息，动态地关注源句子中最相关的部分，从而极大地缓解了信息瓶颈问题，并实现了高度的并行化，最终成为了现代 NMT 的标准架构。

简单来说，RNN/LSTM 是机器翻译领域从规则统计时代走向深度学习时代的基石。它们证明了端到端神经网络在处理序列任务上的强大能力，而它们暴露出的缺点，则直接指引了后续更高效、更强大的 Transformer 模型的诞生。