3D点云的深度学习网络分类(按照作用分类)

发布于:2025-03-26 ⋅ 阅读:(31) ⋅ 点赞:(0)

1. 3D目标检测(Object Detection)

用于在点云中识别和定位目标,输出3D边界框(Bounding Box)

🔹 方法类别:

  • 单阶段(Single-stage):直接预测3D目标位置,速度快但精度较低。
  • 双阶段(Two-stage):先生成候选区域,再进行精细分类,精度高但计算量大。

🔹 代表模型:

  • VoxelNet (2018):将点云转换为体素,使用3D CNN进行检测。
  • PointRCNN (2019):基于PointNet++,使用Region Proposal生成3D候选框。
  • PV-RCNN (2020):结合体素和点特征,改进目标定位精度。
  • VoteNet (2019):基于Hough Voting,将点投票给目标中心。
  • CenterPoint (2021):基于BEV(鸟瞰图)的方法,适用于自动驾驶。

适用场景

  • 自动驾驶(识别车辆、行人、障碍物)
  • 机器人导航(目标检测)
  • 农业(检测果实、树木)

2. 3D语义分割(Semantic Segmentation)

用于为每个点分配类别标签,适用于场景理解。

🔹 方法类别:

  • 体素化(Voxel-based):如 MinkowskiNet、SparseConvNet。
  • 基于点(Point-based):如 PointNet++、Point Transformer。
  • 基于图(Graph-based):如 GCN、DGCNN。

🔹 代表模型:

  • PointNet (2017):直接处理点云,适用于简单结构。
  • PointNet++ (2017):引入局部邻域聚合,提高细节捕捉能力。
  • RandLA-Net (2020):使用随机点采样,提高计算效率。
  • KPConv (2019):使用可变形卷积处理点云,提高表达能力。
  • Point Transformer (2021):基于Transformer,提高长距离依赖建模能力。

适用场景

  • 室内场景理解(如 S3DIS 数据集)
  • 地形和城市建模(如 Semantic3D)
  • 果树、植物点云分割(如苹果树枝、叶片、果实)

3. 3D实例分割(Instance Segmentation)

用于区分不同个体的点云,即同类别不同实例要区分开,例如不同的树枝或不同的果实。

🔹 代表模型:

  • SGPN (2018):基于PointNet的端到端实例分割方法。
  • 3D-MPA (2020):结合多尺度特征学习进行实例分割。
  • PointGroup (2020):利用点的聚合特性,提高实例分割精度。
  • DyCo3D (2021):动态卷积提升实例分割能力。

适用场景

  • 自动驾驶(分割不同车辆/行人)
  • 工业检测(区分不同零件)
  • 果树点云(区分不同树枝或果实)

4. 3D关键点检测(Keypoint Detection)

用于检测点云中的重要特征点,例如物体的边缘、拐角、接触点等。

🔹 代表模型:

  • Harris3D (1999):经典的3D关键点检测算法。
  • ISS Keypoint (2009):基于点密度稳定性检测关键点。
  • KPConv (2019):结合可变形卷积进行关键点检测。
  • SuperPoint3D (2021):基于深度学习的端到端关键点检测方法。

适用场景

  • 3D物体识别(如机器人抓取)
  • 3D配准(点云拼接)
  • 果树修剪(检测关键生长点)

5. 3D配准(Registration)

用于对齐不同视角或不同时间采集的点云数据,适用于3D重建和变化检测。

🔹 方法类别:

  • 基于ICP(迭代最近点):如 ICP、Go-ICP。
  • 基于特征匹配:如 FPFH、SHOT。
  • 基于深度学习:如 DCP、PRNet。

🔹 代表模型:

  • ICP (1992):最经典的点云配准方法,计算最近邻并迭代优化。
  • Go-ICP (2014):改进ICP,提高配准精度。
  • DCP (Deep Closest Point, 2019):使用深度学习进行点云配准。
  • FMR (Feature Matching Registration, 2020):基于特征匹配进行3D点云对齐。

适用场景

  • 多视角点云合并(如无人机+地面激光扫描融合)
  • 变化检测(如修剪前后点云对比)
  • 医学图像配准

6. 3D重建(Reconstruction)

用于从点云中生成完整的3D模型,适用于缺失数据补全。

🔹 代表模型:

  • Poisson Surface Reconstruction (PSR, 2006):基于泊松方程的曲面重建方法。
  • AtlasNet (2018):基于深度学习的3D形状重建。
  • DeepSDF (2019):使用隐式表面表示重建3D结构。
  • NeRF (2020):基于神经辐射场的3D重建方法。

适用场景

  • 文化遗产保护(3D扫描文物重建)
  • 医学建模(如骨骼3D重建)
  • 农业(完整果树结构重建)

总结:作用分类与代表模型

任务类别 用途 代表模型
目标检测 检测目标,输出3D框 PointRCNN, PV-RCNN, VoteNet
语义分割 给每个点分类 PointNet++, KPConv, Point Transformer
实例分割 区分不同实例 SGPN, 3D-MPA, PointGroup
关键点检测 检测重要特征点 ISS Keypoint, KPConv, SuperPoint3D
点云配准 3D点云对齐 ICP, DCP, FMR
3D重建 生成完整3D模型 Poisson, DeepSDF, NeRF