神经网络常见层速查表

神经网络常见层速查表

本文总结了深度学习中常见的“层 (Layer)”，包括简称、全称、使用场景和作用，便于快速学习。

🔹 1. 全连接层 (Fully Connected Layer)

• 简称：FC / Dense / Linear
• 全称：Fully Connected Layer
• PyTorch：nn.Linear(in_features, out_features)
• 使用场景：通用任务（分类、回归、MLP）
• 作用：输入和输出的每个节点都相连，适合通用函数拟合。

🔹 2. 卷积层 (Convolutional Layer)

• 简称：Conv
• 全称：Convolutional Layer
• PyTorch：nn.Conv1d, nn.Conv2d, nn.Conv3d
• 使用场景：图像、视频、语音
• 作用：用卷积核提取局部特征，权重共享，参数量少。

🔹 3. 池化层 (Pooling Layer)

• 简称：Pooling
• 全称：Pooling Layer
• PyTorch：nn.MaxPool2d, nn.AvgPool2d
• 使用场景：CNN 中常见
• 作用：缩小特征图尺寸，保留主要特征，降低计算量。

🔹 4. 循环层 (Recurrent Layer)

• 简称：RNN 系列
• 全称：Recurrent Neural Network Layer
• PyTorch：nn.RNN, nn.LSTM, nn.GRU
• 使用场景：文本、语音、时间序列预测
• 作用：处理序列数据，记忆历史信息。
  • RNN: 基础循环网络
  • LSTM: Long Short-Term Memory，解决长依赖问题
  • GRU: Gated Recurrent Unit，简化版 LSTM

🔹 5. 归一化层 (Normalization Layer)

• 简称：BN / LN / IN
• 全称：Batch Normalization / Layer Normalization / Instance Normalization
• PyTorch：nn.BatchNorm1d, nn.LayerNorm, nn.InstanceNorm2d
• 使用场景：各种深度学习模型
• 作用：稳定训练，加快收敛。

🔹 6. 正则化层 (Regularization Layer)

• 简称：Dropout
• 全称：Dropout Layer
• PyTorch：nn.Dropout(p=0.5)
• 使用场景：防止过拟合
• 作用：训练时随机“丢弃”部分神经元连接。

🔹 7. 注意力层 (Attention Layer)

• 简称：Attention
• 全称：Attention Layer / Multi-Head Attention
• PyTorch：nn.MultiheadAttention
• 使用场景：NLP，Transformer，LLM
• 作用：让模型选择性关注输入的重要部分。

🔹 8. 嵌入层 (Embedding Layer)

• 简称：Embedding
• 全称：Embedding Layer
• PyTorch：nn.Embedding(num_embeddings, embedding_dim)
• 使用场景：自然语言处理（词向量表示）
• 作用：将离散的类别（如单词 ID）映射为稠密向量。

🔹 9. 上采样层 (Upsampling Layer)

• 简称：Deconv / Transposed Conv
• 全称：Upsampling Layer / Deconvolution Layer
• PyTorch：nn.ConvTranspose2d, nn.Upsample
• 使用场景：生成模型（GAN）、图像分割 (U-Net)
• 作用：扩大特征图尺寸，重建细节信息。

📌 总结

✍️ 一句话记忆：

全连接最通用，卷积看图像，循环管时间，归一化保稳定，Dropout 防过拟合，注意力会聚焦，嵌入层懂语义，上采样能重建。