A multiscale residual pyramid attention network for medical image fusion

一种用于医学图像融合的多尺度残差金字塔注意网络

作者：Jun Fu, Weisheng Li, Jiao Du, Yuping Huang

期刊：BSPC（2021）

摘要

       深度学习在成像领域得到了广泛的应用。残差、金字塔和注意力网络相继提出，并因其优异的性能而得到广泛应用。但是，单个网络的性能是有限的。基于此，我们提出了一种用于医学图像融合的多尺度残差金字塔注意力网络（MSRPAN）。我们的网络由一个特征提取器、融合器和重构器组成。特征提取器由三个 MSRPAN 块组成，用于提取多尺度特征。重构器由三个卷积层组成，用于重构融合的特征。此外，我们还提出了特征融合过程中的特征能量比策略。所提策略在实验中取得了较好的融合效果。与现有的先进算法相比，我们的算法在视觉质量和客观指标方面实现了更好的性能。

算法结构

       该算法分为三个部分：特征提取器、融合器和重构器。特征提取器用于提取原始图像中的高维特征，特征融合器用于融合这些提取的特征。然后，融合特征由重建器重建为融合图像。

特征提取器

       包含两部分：

       维数增加模块：由残差注意力机制和1x1滤波器组成，输入通道为1维，输出通道为64维。

       特征提取模块：由三个MSRPAN块和残差注意力机制组成，残差注意力机制是为了提高训练速度和特征表达能力。

多尺度残差金字塔注意力网络（MSRPAN）结构

       残差注意力网络具有收敛速度快、不梯度消失或爆炸、不退化、特征表达能力好的优点。但其无法提取深层特征。

       金字塔注意力可以提取深层特征，但随着层数的增加，很容易丢失原始信息，因此将其结合互补，形成MSRPAN的新网络。

       本文在金字塔注意力模块中添加了一个残差注意力机制，因此，梯度不会随着特征表达能力的增加而消失或爆炸。

       将维数增加模块生成的特征图通过池化得到三个大小分别欸原始大小1/2，1/4，1/8倍的特征图。每层由3x3，5x5，7x7的滤波器卷积以获得多尺度特征，然后将他们加起来。之后，使用残差注意力机制来获得每一层的输出特征，再对输出特征进行上采样，最后使用残差注意机制来获得最后一个特征图。

       这里使用几个小的卷积滤波器来替代大的卷积滤波器，以减少计算量和参数量。具体，使用两个3x3替换一个5x5，3个3x3替换一个7x7。

特征融合器（融合策略）

       用于融合提取的特征

       本文提出了特征能量比策略：根据特征图的权重设置融合系数。

特征重构器

       用于从融合特征中重建融合图像；

       重构器的目的是减少维度，获得一个一维通道的亮度图像作为最后的输出。

损失函数

       本文采用均方误差（MSE）损失函数，因其简单、速度快、效果好。在本文中用作训练过程中，以减少生成图像和原图像之间的误差。

       其中：I是原始图像，R是融合图像，M、N是图像的行列数。     

创新点

       提出了一种新的网络结构，即多尺度残差金字塔注意力架构（MSRPAN），用于医疗图像融合；

       提出基于能量比的融合策略，并取得良好效果。

结果

结论

       本文的融合算法是基于MSRPAN，是对残差注意力和金字塔注意力网络的改进。因此，它具有两种网络的优点。

不足

       为了适应其他融合任务，需要手动的去增加或减少 MSRPAN 块的数量，以达到最好的效果。

        本文期刊翻译来源于：学霸视界（xbsj.cool）