提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
创新点
1.改进了SPN网络,主要是更新方式上从串行扫描改为局部同时更新,也就是CSPN
网络结构
首先总的结构采用了早期融合模型的框架,但这里的稀疏深度图输入是一个可选输入,指导深度细化,然后将SPN网络嵌入整个网络中而不是专门构建新的网络学习相似性,特征提取使用的是resnet,考虑到下采样过程中会丢失空间信息,网络添加了镜像连接将特征连接到上投影层,特征融合后得到一个深度图,然后根据相似性矩阵更新深度图得到稠密准确的结果。
方法详解
卷积空间传播网络CSPN
给定深度图和图像,本文网络的任务是迭代n次将深度图不断更新,对于每个时间步长t,核大小为k的卷积变换泛函可以写成:
这个核k就是亲和网络的输出,CSPN在一个位置向所有方向传播局部区域同时进行
CSPN具有SPN的所有期望属性。
新的扩散过程的推导:
图(Graph)是用于表示物体与物体之间存在某种关系的结构。数学抽象后的“物体”称作节点或顶点,节点间的相关关系则称作边
其中L是拉普拉斯矩阵,D是图里顶点相邻的边数,A是亲和矩阵,表示有限图,它的每个元素代表各点之间是否有边相连,也就是,是G的非对角部分
新的更新方式与SPN不同用偏微分的方法以时间步长t为变量使用L(拉普拉斯矩阵)更新深度图。
稀疏深度样本的空间传播
就是将上面的网络输出深度(更新前)变为稀疏深度图输入,相应的改变迭代公式:
1.学习到了和有效像素相同的深度值
2.信息传播到了周围像素,保证了平滑度
3.深度图和图像结构对齐
对比SPN
线性传播SPN
线性变换矩阵wt在相邻列之间从左到右线性传播信息
其中I是n×n单位矩阵,初始条件h1=x1,dt(i,i)是对角矩阵,其中第ith个元素是wt的第I行的所有元素之和:
矩阵以逐列方式递归更新,每列是前一列的线性加权组合
上式表示空间各向异性扩散过程,具有线性传播的亲和矩阵A由等式中G的非对角元素组成。
总结
文章贡献
我们将所设计的CSPN应用于给定单个图像的两个深度估计任务:
(1)优化现有最先进方法(SOTA)的深度输出;
(2)通过在传播过程中嵌入深度样本,将稀疏深度样本转换为密集深度贴图。