文章目录
17.9 常用的轻量级网络有哪些
17.9.1 SequeezeNet
SqueezeNet出自 F.N.landola, S.Han等人发表的论文《SqueezeNet：ALexNet-level accuracy with 50x fewer parameters and < 0.5MB model size》，作者在保证精度不损失的同时，将原石AlexNet压缩至原来的510倍。
1.1 设计思想
在网络结构设计方面主要采取以下三种方式：
- 用 1*1 卷积核替换 3*3 卷积
理论上一个 1*1卷积核的参数是一个3*3卷积核的1/9，可以将模型尺寸压缩9倍。
- 减小3*3卷积的输入通道数
根据上述公式，减少输入通道数不仅可以减少卷积的运算量，而且输入通道数与输出通道数相同时还可以减少MAC。
- 延迟降采样
分辨率越大的输入能够提供更多特征的信息，有利于网络的训练判断，延迟降采样可以提高网络精度。
1.2 网络架构
SqueezeNet提出一种多分支结构——fire model，其中是由Sequeeze层和expand层构成。Squeeze层是由s1个1*1卷积组成，主要是通过1*1的卷积降低expand层的输入维度；expand层利用e1个1*1和e3个3*3卷积构成多分支结构的提取输入特征，以此提高网络的精度（其中e1=e3=4*s1）。
SqueezeNet整体结构如下图所示：
1.3 实验结果
不同压缩方法在ImageNet上的对比实验结果。
由实验结果可知，SqueezeNet不仅保证了精度，而且将原始ALexNet从240M压缩至4.8M，压缩50倍，说明此轻量级网络设计是可行的。
17.9.2 MobileNet
MobileNet是Google团队于CVPR-2017的论文《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》中针对手机等嵌入式设备提出的一种轻量级的深层神经网络，该网络结构在VGG的基础上使用DW+PW的组合，在保证不损失太大精度的同时，降低模型参数量。
2.1 设计思想
- 采用深度可分离卷积代替传统卷积
采用DW卷积在减少参数数量的同时提升运算速度。但是由于每个feature map只被一个卷积核卷积，因此经过DW输出的feature map不能只包含输入特征图的全部信息，而且特征之间的信息不能交流，导致“信息流通不畅”。
采用PW卷积实现通道特征信息交流，解决DW卷积导致“信息流通不畅”的问题。
- 使用stride=2的卷积替换pooling
直接在卷积时利用stride=2完成了下采样，从而节省了需要再去用pooling再去进行一次下采样的时间，可以提升运算速度。同时，因为pooling之前需要一个stride=1的conv，而与stride=2 conv的计算量相比要高近4倍（个人理解）。
2.2 网络结构
- DW conv和PW conv MobileNet的网络架构主要是由DW conv和PW conv组成，相比于传统卷积可以降低
倍的计算量。
标准卷积与DW conv和PW conv如图所示：
网络结构：
- MobileNets的架构：
2.3 实验结果
由上表可知，使用相同的结构，深度可分离卷积虽然准确率降低1%，但是参数量减少了6/7。
17.9.3 MobileNet-v2
MobileNet-v2是2018年1月公开在arXiv上论文《Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation》，是对MobileNet-v1的改进，同样是一个轻量化卷积神经网络。
3.1 设计思想
- 采用Inverted residuals
为了保证网络可以提取更多的特征，在residual block中第一个1*1 Conv和3*3 DW Conv之前进行通道扩充。
- Linear bottlenecks
为了避免Relu对特征的破坏，在residual block的Eltwise sum之前的那个1*1 Conv不再采用Relu。
- stride=2的conv不使用shot-cot，stride=1的conv使用shot-cut
3.2 网络架构
- Inverted residuals
ResNet中的Residuals block先经过1*1的Conv layer，把feature map的通道数降下来，再经过3*3 Conv layer，最后经过一个1*1的Conv layer，将feature map通道数再“扩张”回去。即采用先压缩，后扩张的方式。而inverted residuals采用先扩张，后压缩的方式。
MobileNet采用DW conv提取特征，由于DW conv本身提取的特征数就少，再经过传统residuals block进行“压缩”，此时提取的特征数会更少，因此inverted residuals对其进行“扩张”，保证网络可以提取更多的特征。
- Linear bottlenecks
ReLu激活函数会破坏特征。ReLu对于负的输入，输出全为0，而本来DW conv特征通道已经被“压缩”，再经过ReLu的话，又会损失一部分特征。采用Linear，目的是防止Relu破坏特征。
- shortcut
stride=2的conv不使用shot-cot，stride=1的conv使用shot-cut 。
- 网络架构
17.9.4 Xception
Xception是Google提出的，arXiv 的V1 于2016年10月公开《Xception: Deep Learning with Depthwise Separable Convolutions 》，Xception是对Inception v3的另一种改进，主要是采用depthwise separable convolution来替换原来Inception v3中的卷积操作。
4.1 设计思想
- 采用depthwise separable convolution来替换原来Inception v3中的卷积操作
与原版的Depth-wise convolution有两个不同之处：
第一个：原版Depth-wise convolution，先逐通道卷积，再1*1卷积; 而Xception是反过来，先1*1卷积，再逐通道卷积；
第二个：原版Depth-wise convolution的两个卷积之间是不带激活函数的，而Xception在经过1*1卷积之后会带上一个Relu的非线性激活函数；
4.2 网络架构
feature map在空间和通道上具有一定的相关性，通过Inception模块和非线性激活函数实现通道之间的解耦。增多3*3的卷积的分支的数量，使它与1*1的卷积的输出通道数相等，此时每个3*3的卷积只作用与一个通道的特征图上，作者称之为“极致的Inception（Extream Inception）”模块，这就是Xception的基本模块。
