深度学习在3D点云处理中的应用

一.点云性质

1.无序性(结果与输入顺序无关,结构相同)
2.稀疏性,噪声…
3.几何旋转鲁棒性(平移、旋转、尺度等不影响结果)web

2、任务

任务
分类、3D物体重建、3d关键点、配准、分割、目标检测、法向量估计网络

三.数据集svg

4、3d场景深度学习方法回顾

在这里插入图片描述
1.转换为栅格数据(volumetric data)+3D cnn
2.多视角图像(multi_view images)+2D CNN
3.mesh data +gnn(图神经网络)
4.深度图像+ cnn
5.点云 +cnn
在这里插入图片描述
分类:基于3D点、基于二维投影点
在这里插入图片描述函数

5、具体网络介绍:Pointnet

1.概述:
在这里插入图片描述
pointnet代码:https://mp.weixin.qq.com/s/2JxsMR3NNT1WCfkkY6FHCg
在这里插入图片描述
input(n*3) ——T-net(至关于矩阵,点云数据对齐) ——MLP(多层感知机,升维至64) ——T-net ——MLP(升维至1024) ——max pooling(每一维最大值,获得1024向量) ——MLP(降维至K)性能

二、关键1:max pooling(接在在mlp后:解决点云无序性,不管输入什么,最终结果不变)
在这里插入图片描述理论证实:在hausdorff空间连续下,max方法后接MLP可无限逼近目标函数F学习

3.关键2:T-net(借鉴STN网络,保证点云几何不变性,不用担忧点云姿态,无平移不变形?)
在这里插入图片描述
4.总结
在这里插入图片描述3d

6、具体网络介绍:Pointnet++

1.概述
在这里插入图片描述
2.点集抽象三部分:采样+分组+pointnet(以二维图形式表示)
在这里插入图片描述
引入局部坐标保证平移不变形!
在这里插入图片描述
在这里插入图片描述
3.问题:密度的影响
在这里插入图片描述
在点数少时,pointnet++与pointnet精度对比xml

4.问题解决:MSG(多尺度)及MRG(多分辨率),多分辨率可大大减小耗时
在这里插入图片描述
5.pointnet的延伸:2D目标检测,根据结果创建三维视锥,最后进行3D检测
在这里插入图片描述blog

7、具体网络介绍:Pointcnn:X(希腊字母,读xi?)变换

1.概述:x变换,相似于卷积操做
在这里插入图片描述
2.平移不变形解决
在这里插入图片描述
3.性能比较
在这里插入图片描述图片

8、当前工做汇总与数据集

在这里插入图片描述