今天读一篇发表在ECCV2024上的文章，作者来自港中深。
文章链接：GaussReg: Fast 3D Registration with Gaussian Splatting
项目地址：GaussReg
文章目录
Abstract
Point Cloud Registration是大规模 3D 场景扫描和重建的核心问题。随着深度学习的发展，该任务已趋于成熟。然而，NeRF作为一种新兴的场景表示方法，在大规模场景重建中的注册问题尚未得到充分探索。这主要是由于其隐式表示方式，使得难以建模两个场景之间的几何关系。现有方法通常需要将隐式表示转换为显式表示再进行配准。
最近，Gaussian Splatting被剔除，它使用显式3D高斯分布，既保持了高质量渲染，又提高了渲染速度。在本研究中，我们探索基于GS的3D配准任务，并提出了一种新颖的GaussReg框架，该框架采用 coarse-to-fine方法，兼具高效性和准确性：
- 粗配准阶段：基于点云配准方法，估计GS点云的粗略对齐。
- 细配准阶段：利用GS渲染的图像提取几何信息，实现更精确的对齐。
此外，我们构建了ScanNet-GSReg数据集和GSReg数据集进行评估。实验结果表明，GaussReg 比 HLoc（SuperPoint + SuperGlue）快44倍，且精度相当，在多个数据集上达到了 SOTA性能。
1 Introduction
1.1 3D场景配准的背景
在传统的三维场景重建中，大型场景通常会被划分为多个独立的子场景，这些子场景可能处于不同的坐标系中，因此配准成为关键步骤。目前，点云配准技术较为成熟，如：
- ICP（Iterative Closest Point）
- D3Feat
- GeoTransformer
这些方法通常通过从点云中提取特征点，并进行匹配以计算变换矩阵来完成配准。
1.2 NeRF与配准问题
最近，NeRF 作为 3D 场景建模的热门方法，能够生成高质量的合成视图。然而，NeRF在大规模场景重建中仍然面临两个挑战：
- 数据采集时间长：需要大量的图像或视频进行训练。
- 计算成本高：优化NeRF需要大量计算资源。
为了解决这一问题，一种直接的方式是将大场景划分为多个小场景，并通过配准将它们组合在一起。目前NeRF配准方法主要有：
- NeRFuser：渲染大量图像，使用SfM进行配准，但时间开销大。
- DReg-NeRF：将NeRF转换为Voxel后进行配准，但受限于体素分辨率。
1.3 Gaussian Splatting的引入
GS是一种新型3D场景表示方法，它采用显式3D高斯分布，能够在保持高质量渲染的同时提高渲染速度。GS 的引入带来了一个新的问题：
“既然Gaussian Splatting提供了点云表示，我们能否利用点云配准方法进行GS配准？”
为了解决这一问题，我们提出了GaussReg框架，该框架结合点云配准与图像引导的细配准，以实现更高效和准确的GS配准。
2 Related Work
介绍了相关工作。
3 Method
3.1 Overview
如Fig. 2所示，我们提出的框架由两个阶段组成：
- Coarse Registration：
- 从GS提取点云，并应用GeoTransformer进行初步对齐。
- 由于GS点云通常存在噪声，粗配准的结果可能不够精确。
- Image-Guided Fine Registration：
- 基于粗配准结果，定位重叠区域，并渲染若干图像。
- 利用这些图像构造3D体素特征（Volumetric Features），以实现更精确的配准。
3.2 Coarse Registration
- 点云提取：GS由3D高斯点组成，每个点包含位置、透明度（Opacity）、旋转、缩放等属性。我们选取透明度高于 0.7 的点作为输入。
- 特征提取：
- 采用KPConv-FPN提取多尺度特征。
- 最粗糙的特征用于Superpoint Match，使用Geotransformer来完成；精细的特征用于Point Match，使用ICP得到coarse registration（而非使用Geotransformer中的local-to-global registration）。
3.3 Image-Guided Fine Registration
GS不仅包含几何信息，还可以渲染高质量图像。因此，我们利用图像进行更精确的配准：
- 重叠图像选择（Overlap Image Selection）：
- 计算相机视角的余弦相似度，选取重叠度最高的相机对。
- 通过GS渲染深度图，并计算视角共享区域，筛选最优的图像对。
- 图像引导 3D 特征提取（I3D Feature Extraction）：
- 使用MVS提取深度和特征。
- 构建Probability Volume以优化深度估计。
3.4 Gaussian Splatting的融合与过滤
在最终变换完成后，我们将两个GS模型合并：
- 变换位置、旋转、尺度、透明度。
- 采用球谐系数调整颜色信息。
- 进行GS过滤，去除重复或错误的高斯点。
4 Experiment
4.1 Experiment Setup
我们构建了两个新数据集：
- ScanNet-GSReg：基于ScanNet生成，包含不同的视角组合。
- GSReg：包括6个室内和4个室外场景。
4.2 Comparison
在ScanNet-GSReg上的比较：
| 方法 | RRE（↓） | RTE（↓） | RSE（↓） | 成功率（↑） | 时间（↓） |
|---|---|---|---|---|---|
| HLoc (SuperPoint + SuperGlue) | 2.725 | 0.099 | 0.098 | 75.6% | 212.3s |
| GaussReg (Ours) | 2.827 | 0.042 | 0.032 | 100% | 4.8s |
提出的GaussReg比HLoc快44倍，并且具有更高的成功率。
4.3 Ablation Study
简单的消融实验验证模块有效性。
5 Conclusion
- 我们是首个探索 Gaussian Splatting 配准的工作。
- 提出了 Coarse-to-Fine Registration，兼具高效性与准确性。
- 通过图像引导细配准，提高了配准精度。
- 构建了两个新数据集，为后续研究提供基准。
未来工作可进一步优化GS模型融合，解决光照变化等问题。