1. 3D目标检测(Object Detection)
用于在点云中识别和定位目标,输出3D边界框(Bounding Box)。
🔹 方法类别:
- 单阶段(Single-stage):直接预测3D目标位置,速度快但精度较低。
- 双阶段(Two-stage):先生成候选区域,再进行精细分类,精度高但计算量大。
🔹 代表模型:
- VoxelNet (2018):将点云转换为体素,使用3D CNN进行检测。
- PointRCNN (2019):基于PointNet++,使用Region Proposal生成3D候选框。
- PV-RCNN (2020):结合体素和点特征,改进目标定位精度。
- VoteNet (2019):基于Hough Voting,将点投票给目标中心。
- CenterPoint (2021):基于BEV(鸟瞰图)的方法,适用于自动驾驶。
✅ 适用场景:
- 自动驾驶(识别车辆、行人、障碍物)
- 机器人导航(目标检测)
- 农业(检测果实、树木)
2. 3D语义分割(Semantic Segmentation)
用于为每个点分配类别标签,适用于场景理解。
🔹 方法类别:
- 体素化(Voxel-based):如 MinkowskiNet、SparseConvNet。
- 基于点(Point-based):如 PointNet++、Point Transformer。
- 基于图(Graph-based):如 GCN、DGCNN。
🔹 代表模型:
- PointNet (2017):直接处理点云,适用于简单结构。
- PointNet++ (2017):引入局部邻域聚合,提高细节捕捉能力。
- RandLA-Net (2020):使用随机点采样,提高计算效率。
- KPConv (2019):使用可变形卷积处理点云,提高表达能力。
- Point Transformer (2021):基于Transformer,提高长距离依赖建模能力。
✅ 适用场景:
- 室内场景理解(如 S3DIS 数据集)
- 地形和城市建模(如 Semantic3D)
- 果树、植物点云分割(如苹果树枝、叶片、果实)
3. 3D实例分割(Instance Segmentation)
用于区分不同个体的点云,即同类别不同实例要区分开,例如不同的树枝或不同的果实。
🔹 代表模型:
- SGPN (2018):基于PointNet的端到端实例分割方法。
- 3D-MPA (2020):结合多尺度特征学习进行实例分割。
- PointGroup (2020):利用点的聚合特性,提高实例分割精度。
- DyCo3D (2021):动态卷积提升实例分割能力。
✅ 适用场景:
- 自动驾驶(分割不同车辆/行人)
- 工业检测(区分不同零件)
- 果树点云(区分不同树枝或果实)
4. 3D关键点检测(Keypoint Detection)
用于检测点云中的重要特征点,例如物体的边缘、拐角、接触点等。
🔹 代表模型:
- Harris3D (1999):经典的3D关键点检测算法。
- ISS Keypoint (2009):基于点密度稳定性检测关键点。
- KPConv (2019):结合可变形卷积进行关键点检测。
- SuperPoint3D (2021):基于深度学习的端到端关键点检测方法。
✅ 适用场景:
- 3D物体识别(如机器人抓取)
- 3D配准(点云拼接)
- 果树修剪(检测关键生长点)
5. 3D配准(Registration)
用于对齐不同视角或不同时间采集的点云数据,适用于3D重建和变化检测。
🔹 方法类别:
- 基于ICP(迭代最近点):如 ICP、Go-ICP。
- 基于特征匹配:如 FPFH、SHOT。
- 基于深度学习:如 DCP、PRNet。
🔹 代表模型:
- ICP (1992):最经典的点云配准方法,计算最近邻并迭代优化。
- Go-ICP (2014):改进ICP,提高配准精度。
- DCP (Deep Closest Point, 2019):使用深度学习进行点云配准。
- FMR (Feature Matching Registration, 2020):基于特征匹配进行3D点云对齐。
✅ 适用场景:
- 多视角点云合并(如无人机+地面激光扫描融合)
- 变化检测(如修剪前后点云对比)
- 医学图像配准
6. 3D重建(Reconstruction)
用于从点云中生成完整的3D模型,适用于缺失数据补全。
🔹 代表模型:
- Poisson Surface Reconstruction (PSR, 2006):基于泊松方程的曲面重建方法。
- AtlasNet (2018):基于深度学习的3D形状重建。
- DeepSDF (2019):使用隐式表面表示重建3D结构。
- NeRF (2020):基于神经辐射场的3D重建方法。
✅ 适用场景:
- 文化遗产保护(3D扫描文物重建)
- 医学建模(如骨骼3D重建)
- 农业(完整果树结构重建)
总结:作用分类与代表模型
任务类别 | 用途 | 代表模型 |
---|---|---|
目标检测 | 检测目标,输出3D框 | PointRCNN, PV-RCNN, VoteNet |
语义分割 | 给每个点分类 | PointNet++, KPConv, Point Transformer |
实例分割 | 区分不同实例 | SGPN, 3D-MPA, PointGroup |
关键点检测 | 检测重要特征点 | ISS Keypoint, KPConv, SuperPoint3D |
点云配准 | 3D点云对齐 | ICP, DCP, FMR |
3D重建 | 生成完整3D模型 | Poisson, DeepSDF, NeRF |