作者:上海应用技术大学 温州医科大学
论文发布时间:2022年8月3日
目的和创新:
属于的领域:显著性目标检测
目的: 目前的方法通常模型机构复杂,参数量大; 轻量级的网络结构性能一般;
创新: 作者提出了 semantics-guided contextual fusion network(SCFNet),用于混合多维特征进行显著性目标检测; 使用知识蒸馏优化模型性能,并整理了数据集KD-SOD80K;
整体框架图:
方法:
backbone
1.SCFNet的主干是MobileNet V3 Large 0.5,移除fc用于SOD任务;
2.假设输入图片尺寸是HxWx3,可获得5层特征{fi|i=1,2,3,4,5},尺寸为[H/2i,W/2i];
3.f^1,f^2,f^3主要为低维特征;f^4,f^5为高维特征;
4.f^1带来了计算消耗和很小的性能提升,所以该层不参与计算;
5.同时为了减少特征维度,所有的特征都经过了3*3的卷积处理; 6.f^4通道数处理为16,f使用膨胀率为5放入膨胀卷积,获得更深的语义信息;
Semantics-guided Contextual Fusion Module
为了更好的使用细节信息和高维语义信息 没有引入深度特征的边缘信息,作者引入了物体在深度特征f^5中的位置信息至浅层特征中。 将f^5送入了SCFM,获得f^i+1_scf。模型也是首次关注到物体的位置信息,然后精炼‘粗糙’的边缘信息。
⊙:用来传递位置信息;
第一个⊕:用于添加浅层特征的细节信息;
第二个⊕:用于融合所有特征;
Supervision
BCE函数没有考虑样例均衡问题;所以参考【25,27,34】作者使用了DICE loss;
为了严格的控制边界区域,作者引入了边界DICEloss,用于学习显著物体的边界,
其中,
通过膨胀操作gt G获得边界图G^b,thin,通过腐蚀操作预测结果P来获得P^b,thin;然后使用最大池化(max(.) )来扩大边界覆盖面积。A_i,j代表了像素(i,j)附近的池化面积。面积越大,边界约细; 边界越细,训练的早期阶段loss波动比较大,不利于模型训练。所以作者提出了一个渐进式边界监督方法PBSM。总的epoch数为69.设定13*13的池化面积在最初的10个epoch,协助网络更好的定位显著物,每10个epoch,池化面积减少2。文中最后的loss函数为loss_sp:
超参数λ=1;
LFS:全监督训练 LKD:弱监督训练