基于深度学习的点云三维目标检测方法综述

论文标题：基于深度学习的点云三维目标检测方法综述

作者：郭毅锋１，２†，吴帝浩１，魏青民１

发表日期： 2023 1

阅读日期 ：2023 11 29

研究背景：点云作为一种三维环境数据因其具有较高的精度一直被广泛关注并应用于多种场景任务之中。近年来，深度学习进入点云领域，让点云数据处理得到快速发展。针对基于深度学习的点云三维目标检测任务，首先分析了点云数据的特性并列举了日常任务中常用的点云数据集；随后通过单模态的三维目标检测与多模态的三维目标检测两个方向进行分类阐述，并通过单模态与多模态方法在数据集上的表现作比对；最后对当前点云三维目标检测研究的发展趋势进行展望与总结。
三维目标检测

方法和性质：
２.１ 单模态数据目标检测方法
２.１.１ 基于体素化的三维目标检测
２.１.２ 基于原始点云的三维目标检测
２.１.３ 基于体素与原始点云混合的点云三维目标检测
２.２ 多模态数据融合

研究结果：
单模态方法中，基于原始点云的检测方法准确率比基于体素的检测方法要高，因为点云经过体素化的下采样之后不可避免地丢失了点云的特征，而原始点云能保留更多目标的边界信息，所以能更准确地预测三维包围框信息。相对而言，基于点云与体素的混合目标检测方法结合了体素化方法具有较高运算效率和原始点云方法中丰富语义信息的优点，拥有不错的运算效率以及单模态方法中最高的准确率。
图像加点云的多模态数据融合方法在三维目标检测任务中的表现暂时不如基于点云的单模态方法，其中有多方面的原因，如没能合理利用信息、特征融合困难、网络设计难度大等。但随着技术的不断发展，多模态的目标检测算法因为拥有比单模态方法更全面的信息而成为重要的发展方向。

创新点：

数据：
１.２.１ 室外数据集
１）ＫＩＴＴＩ数据集
２）Ｗａｙｍｏ数据集
３）ＡｐｏｌｌｏＳｃａｐｅ数据集
４）Ｓｅｍａｎｔｉｃ３Ｄ
５）ＫＡＩＳＴ数据集
６）ｎｕＳｃｅｎｅｓ数据集
１.２.２ 室内数据集
１）ＳＵＮＲＧＢ-Ｄ数据集
２）ＳｈａｐｅＮｅｔＰａｒｔ
３）Ｍｕｌｔｉｓｅｎｓｏｒｉａｌｉｎｄｏｏｒｍａｐｐｉｎｇａｎｄｐｏｓｉｔｉｏｎｉｎｇｄａｔａｓｅｔ
４）ＮＹＵ-Ｄｅｐｔｈ
５）ＳｃａｎＮｅｔ
６）ＳＵＮ３Ｄ

结论：
三维目标检测是点云数据应用中非常重要的研究领域之一，具有巨大的研究价值以及发展前景。近年来，由于深度学习融入点云的研究，让基于点云的三维目标检测算法一直处于快速发展阶段。本文首先介绍了点云的数据特点以及常用于研究的数据集；随后从基于单模态与多模态两个方向阐述了点云融合深度学习在三维目标检测任务中的运用；最后对未来点云在三维目标检测方向的发展研究提出展望。

挑战：
１.１ 三维点云数据特征
１）无序性 点云数据是一组无序的向量集合，其输入的顺序会因设备采集方式、读入数据方式的不同而千差万别。
２）非结构化 与二维图像数据不同，三维点云没有固定的存储结构。
３）稀疏性 现实场景、物体表面形状等方面的差异让点云数据所具有的空间属性不尽相同。
这些手工提取点云特征的方法主要依靠设计者大量实验得到的先验知识，同时缺少了对邻域中点与点之间关系的考虑，因此点云中存在的噪声对分类结果产生较大的影响，鲁棒性并不高。模型过度依赖研究人员手工设计的规则，只能对特定的场景表现出较好的适用性，

研究展望：
ａ）多模态数据融合。
ｂ）充分利用点云。
ｃ）自监督学习

重要性：

写作方法：