引导方法深度补全系列—基于SPN模型—5—《Dynamic spatial propagation network for depth completion》文章细读

发布于:2022-12-21 ⋅ 阅读:(253) ⋅ 点赞:(0)

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档


创新点

1.提出了动态空间传播网络,一种非线性传播模型,动态调整亲和力权重

*2.扩散抑制操作,防止迭代过拟合造成深度过于平滑


文章概述

1. 我们提出的动态空间传播网络(dynamicspatialpropagationnetworkdypn)利用了非线性传播模型(NLPM)。它将邻域分解为关于不同距离的部分,并递归地生成独立的注意力图,以将这些部分细化为自适应亲和矩阵。在传播开始时,远邻域提供长距离信息填充初始深度图的空洞并快速平滑。随着深度图变得更密集,近邻更加关注边缘保持。注意力机制根据每个传播阶段调整亲和矩阵,使过程更加准确和高效

2.扩散抑制(DS)操作,使模型在早期收敛,以防止密集深度的过度平滑

3. 模型三种实现配置在保持相似精度的同时,减少了所需的邻居数量和注意事项。

网络结构

       使用ResNet34-Unet生成初始深度图、亲和矩阵、一系列空间和顺序注意力图,也就是Kt调整扩散过程。注意力图分为六个部分,并在6步传播过程中应用于Dysn模块。

方法详解

新的扩散过程的推导:

 Kt是全局注意力矩阵,有了Kt模型才被称为非线性模型

三种变体

文章提到的对于基本结构的三种变体

1.领域分为四部分分别调整,每一圈的权重是相关的,参数数量成倍

2.减少领域像素获得相同的感受野,进一步减少参数数量

3.使用了可变形的领域并在感受野和领域像素数量取折中

这三种模型变体的作用是减少计算成本


总结

文章为了解决当时文章的局限性提出的创新型方法,当时的问题有:

SPN方法的问题

       1.固定亲和度的表示限制

        2.迭代过程中过于平滑

CSPN

       亲和矩阵权重分布在距离上,意思是密集深度图靠亲和矩阵刷新像素及邻域的深度值,但并不能表示像素和其领域的关系

本文含有隐藏内容,请 开通VIP 后查看

网站公告

今日签到

点亮在社区的每一天
去签到