网络中的网络（NiN）

• NiN块使用卷积层加两个1x1卷积层
  • 后者对每个像素增加了非线性性
• NiN使用全局平均池化层来替代VGG和AlexNet中的全连接层
  • 不容易过拟合，更少的参数个数

Inception

Inception块由四条并行路径组成。 前三条路径使用窗口大小为1x1、3x3和5x5的卷积层，从不同空间大小中提取信息。 中间的两条路径在输入上执行1x1卷积，以减少通道数，从而降低模型的复杂性。 第四条路径使用3x3最大汇聚层，然后使用1x1卷积层来改变通道数。 这四条路径都使用合适的填充来使输入与输出的高和宽一致，最后我们将每条线路的输出在通道维度上连结，并构成Inception块的输出。在Inception块中，通常调整的超参数是每层输出通道数。

GoogLeNet

总结：

• Inception块相当于一个有4条路径的子网络。它通过不同窗口形状的卷积层和最大汇聚层来并行抽取信息，并使用卷积层减少每像素级别上的通道维数从而降低模型复杂度。
  特点：模型参数小，计算复杂度低。
• GoogLeNet将九个设计精细的Inception块与其他层（卷积层、全连接层）串联起来。其中Inception块的通道数分配之比是在ImageNet数据集上通过大量的实验得来的。

3x3 改成 1x3 和 3x1 减少计算量，但是效果没那么好。