循环神经网络（RNN）

循环神经网络（RNN）的变体主要是为了解决传统 RNN 在处理长序列时的梯度消失 / 爆炸问题，以及提升模型对序列特征的捕捉能力。以下是几种常见的 RNN 变体及其原理、应用场景和代码示例（基于 PyTorch）：

一、长短期记忆网络（LSTM）

核心原理

• 引入 门控机制（输入门、遗忘门、输出门），通过控制信息的流动来缓解长距离依赖问题。
• 细胞状态（Cell State）负责传递长期信息，隐藏状态（Hidden State）负责传递短期信息。

应用场景

• 自然语言处理（如机器翻译、文本生成）、时间序列预测（如股票价格、天气预测）。

代码示例（PyTorch）

python

import torch
import torch.nn as nn

class LSTMModel(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, output_size):
        super(LSTMModel, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        
        # LSTM 层
        self.lstm = nn.LSTM(input_size, hidden_size, num_layers, 
                            batch_first=True, bidirectional=True)  # 双向 LSTM
        
        # 全连接层
        self.fc = nn.Linear(hidden_size * 2, output_size)  # 双向拼接后的维度
    
    def forward(self, x):
        # x 形状: (batch_size, seq_length, input_size)
        batch_size = x.size(0)
        
        # 初始化隐藏状态和细胞状态（双向时需乘以 2）
        h0 = torch.zeros(self.num_layers * 2, batch_size, self.hidden_size).to(x.device)
        c0 = torch.zeros(self.num_layers * 2, batch_size, self.hidden_size).to(x.device)
        
        # 前向传播
        out, (hn, cn) = self.lstm(x, (h0, c0))  # out: (batch_size, seq_len, hidden_size*2)
        
        # 取最后一个时间步的输出（也可根据任务选择平均或其他方式）
        out = self.fc(out[:, -1, :])  # 形状: (batch_size, output_size)
        return out

# 示例参数
input_size = 10  # 输入特征维度
hidden_size = 32  # 隐藏层维度
num_layers = 2    # LSTM 层数
output_size = 2   # 输出维度（如分类任务的类别数）

model = LSTMModel(input_size, hidden_size, num_layers, output_size)

二、门控循环单元（GRU）

核心原理

• 是 LSTM 的轻量级变体，合并了遗忘门和输入门为 更新门，并引入 重置门 控制历史信息的遗忘程度。
• 结构更简单，计算效率更高，适合处理中等长度的序列。

应用场景

• 语音识别、文本分类、实时时间序列分析。

代码示例（PyTorch）

python

class GRUModel(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, output_size):
        super(GRUModel, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        
        # GRU 层（双向）
        self.gru = nn.GRU(input_size, hidden_size, num_layers, 
                          batch_first=True, bidirectional=True)
        
        # 全连接层
        self.fc = nn.Linear(hidden_size * 2, output_size)
    
    def forward(self, x):
        # x 形状: (batch_size, seq_length, input_size)
        h0 = torch.zeros(self.num_layers * 2, x.size(0), self.hidden_size).to(x.device)  # 双向隐藏状态
        
        out, hn = self.gru(x, h0)  # out: (batch_size, seq_len, hidden_size*2)
        
        # 取最后一个时间步的输出
        out = self.fc(out[:, -1, :])
        return out

# 示例参数与 LSTM 相同，可直接替换
model = GRUModel(input_size, hidden_size, num_layers, output_size)

三、双向循环神经网络（Bidirectional RNN）

核心原理

• 由 前向 RNN 和 后向 RNN 组成，分别从序列的正向和反向提取特征，最终将两者的隐藏状态拼接或求和。
• 适用于需要同时利用上下文信息的任务（如命名实体识别）。

代码特点

• 在 LSTM/GRU 层中设置 bidirectional=True，并调整输出层维度（如拼接时维度乘以 2）。
• 上述 LSTM/GRU 示例已包含双向配置。

四、深层循环神经网络（Deep RNN）

核心原理

• 堆叠多层 RNN 单元（如 LSTM 层），每层的输出作为下一层的输入，增强特征提取能力。
• 层数越多，模型复杂度越高，需注意过拟合和计算效率问题。

代码特点

• 通过 num_layers 参数设置层数（如 num_layers=2 表示两层 LSTM/GRU）。
• 上述 LSTM/GRU 示例已包含多层配置。

五、变体对比

六、选择建议

• 长序列或复杂依赖：优先选择 LSTM。
• 计算资源有限或中等序列：选择 GRU。
• 需要上下文信息：使用双向 RNN（可与 LSTM/GRU 结合）。
• 深层特征提取：堆叠多层 RNN 单元（需配合正则化防止过拟合）。