Scale-Aware Modulation Meet Transformer

本文给出一种集合卷积网络和Transformer的架构。提出的尺度感知调制（Scale-Aware Modulation，SAM）包括两个核心新颖模块，捕捉多尺度特征并扩大感受野的多头混合卷积（Multi-head Mixed Convolution，MHMC）模块与允许信息在不同头之间混合的尺度感知聚合模块（Scale-Aware Aggregation，SAA）。另外提出了进化混合网络（Evolutionary Hybrid Network，EHN），该模块可以有效地模拟随着网络深入从捕捉全局依赖性到全局依赖性的转变。

MHMC模块

多头混合卷积模块通过引入不同核尺寸的卷积捕捉多种尺度的空间特征。此外，MHMC可以使用大卷积核扩大感受野，增强其对长距离依赖建模的能力。MHMC将输入通道划分为N头并使用不同的深度可分离卷积，该设计减少了参数尺寸和参数成本。为了简化设计，本文初始化核尺寸为3x3，并在每个头逐渐增加2。这种设计使得能够仅通过调整头数量调节感受野和多粒度信息范围。MHMC可以描述为：
$$MHMC(X)=Concat(D{W}_{k_1\times k_1}(x_1),\dots ,D{W}_{k_n\times k_n}(x_n))$$
MHMC在浅层阶段可以比单一头更好地捕捉局部信息，同时随着网络深入保持目标的详细和语义信息。

尺度感知聚合

为了增强MHMC中多头之间信息交互，本文引入了一种新的轻量级聚合模块，称为尺度感知聚合（Scale-aware Aggregation,SAA）。SAA包含一个对MHMC产生不同力度特征进行混洗和分组的操作。从每个头选择一个通道构建一个组，之后使用反向瓶颈（Inverse bottleneck）结构执行每个组内的自顶向下特征融合操作，因此增强多尺度特征多样性。一个良好设计的分组策略在仅引入少量计算同时获得期望的聚合结果。定义输入$X\in {\mathbb{R}}^{H\times W\times C}$，$Groups=\frac{C}{heads}$，这意味着组数量与头数量成反比。使用逐点卷积对所有特征进行跨组信息聚合以实现全局信息交叉融合。SAA模块可以描述为：
$$\begin{array}{rl}M& =W_{inter}([G_1,G_2,\dots ,G_M])\\ G_i& =W_{intra}([H_1^i,H_2^i,\dots ,H_N^i])\\ H_j^i& =DWCon{v}_{k_j\times k_j}(x_j^i)\in {\mathbb{R}}^{H\times W\times 1}\end{array}$$
$W_{inter},W_{intra}$是点卷积的权重矩阵。$H_j$表示有深度卷积的第j头。

尺度感知调制

在使用MHMC捕捉多尺度空间特征并将其与SAA聚合后，获得了输出特征图，本文称之为调制器$M$。然后采用这种调制器与标量乘积调制值$V$并计算结果$Z$。
$$\begin{array}{rl}Z& =M\odot V\\ V& =W_{v}X\\ M& =SAA(MHMC(W_{s}X))\end{array}$$
$W_v,W_s$是线性层的权重矩阵。权重根据不同输入动态变化，因此获得自适应自调制。

尺度感知调制Transformer

进化混合网络（Evolutionary Hybrid Network）

本节提出根据网络捕捉范围相关性的变化模式重新分配适当的计算模块，以实现更好的计算性能。本文提出仅使用倒数第二阶段的MSA块减少计算负担。此外为了有效地模拟变换范式，本文针对倒数第二个阶段提出了两种混合堆叠策略：1. 顺序堆叠SAM块和MSA块，描述为：$(SAM\times 1+MSA\times 1)\times \frac{N}{2}$,2. 前半段阶段使用SAM块，后半段使用MSA块，描述为：$(SAM\times \frac{N}{2}+MSA\times \frac{N}{2})$