2023, Vol. 40 
近些年来，随着三维扫描技术的持续发展，三维扫描仪、深度相机、激光雷达等三维数据获取设备的应用成本不断走低，三维数据的获取日趋低廉、便利，其中三维点云数据类型因为数据结构简单直接、便于处理等优点，获得了大量研究人员的青睐。点云表示形式可视为关于空间物体的连续分布的采样点集，信息表示形式精简，可包含坐标、法线等空间几何信息以及强度、颜色、纹理等属性信息，因而具备细粒度的空间表征能力，在增强现实[1-2]、自动驾驶[3]等领域得到广泛应用。
点云数据类型虽然获取方便，但容易遭受污染，例如物体之间的遮挡问题使得某些空间位置没有被扫描到、现实世界中的反射现象[4-6]使得扫描过程受阻。此外，物体表面的材质、扫描设备的传感器精度、视角等都会影响点云生成，而且在物体的边缘、棱角等曲率明显的特征区域，研究人员观察到该位置处的点云分布往往较为稀疏且容易存在断裂问题。在上述因素的综合作用下，原始点云往往具有缺失、稀疏、不均匀、噪声扰动等缺陷，例如激光雷达生成的点云数据表现为稀疏的扫描线形式。然而上述缺陷中，尤以噪声扰动最为普遍。干净的点云数据对于点云分割[7-8]、点云分类[9-10]、目标检测[11-12]等高阶任务至关重要。以三维重建任务为例，噪声通过扰动点云的空间坐标信息，使得离散点集偏离原始真实分布，大量偏差空间信息的累积使得三维空间形状信息退化。相应地，原始点集不再能够精确表示连续分布，三维重建任务的精度将受到较大影响。因此，研究人员构建点云去噪任务作为前置工作，完成对原始点云的滤波，并在研究过程中，逐渐形成基于优化思想的传统滤波算法以及近些年发展起来的基于深度学习方式的去噪算法。
基于优化思想的传统滤波算法，与三维重建任务密切关联，该类算法往往亦可视为重建工作。经典的空间域滤波类算法[13]，如均值滤波、中值滤波、统计滤波等方法，直接作用于点云坐标空间，完成离群点、噪点的滤除任务。早期的移动最小二乘(moving least squares，MLS)类方法，如Kolluri[14]的IMLS(implict MLS)、Guennebaud和Gorss[15]的APSS(algebraic point set surfaces)、Öztireli等[16]的RIMLS(robust IMLS)，通过构建局部拟合函数，将去噪任务转化为关于能量函数的优化过程。而Lipman等[17]的局部最优投影(locally optimal projection，LOP)算子、Huang等[18-19]的WLOP(weighted LOP)算子、EAR(edge-aware resampling)算子定义关于原始输入分布与目标真实分布之间的优化目标函数，通过迭代步骤完成滤波过程。考虑到点云去噪任务与信号重建工作的相似性，Avron等[20]、Sun等[21]引入稀疏化思想，将去噪过程转化为稀疏化重建任务，Mattei和Castrodad[22]则引入低秩思想，构建关于带噪点云的矩阵分解形式，完成去噪目标。Yadav等[23]、Liu等[24]为去噪过程显式地引入特征检测步骤，基于二维图像领域常用的张量投票理论，通过张量分解完成特征点检测，并依据特征点类型分别施以不同矫正过程。不同于上述直接在点云层面构建点云去噪任务，Schoenenberger等[25]、Gao等[26]引入图信号处理理论，通过将无序点云结构化为图结构，在图层面完成噪声信号的滤除工作。
基于深度学习方式的去噪算法，通过精心设计端到端学习的神经网络框架，在完成损失函数梯度下降的同时，达成去噪目标。不同于分割、分类等深度学习任务，点云去噪任务为低阶任务，其算法粒度更为精细，对准确度要求更高，相应地，挑战也更大。该类算法在发展过程中，形成了监督式学习与无监督式学习两种类型：Roveri等[27]的PointProNets、Rakotosaona等[28]的PointCleanNet、Zhang等[29]的Pointfilter为监督式学习算法的代表，其训练数据为噪声点云与真实点云对，即目标生成数据已知；考虑到现实世界中真实点云数据类型难以获取，Casajus等[30]提出Total Denoising，构建无监督式学习的网络框架与损失函数，完成真实点云生成过程。
本文概括总结近年来的点云去噪技术，首先梳理基于优化思想的传统滤波算法，然后归纳基于深度学习方式的去噪算法，最后分析并探讨点云去噪任务的未来发展趋势。
1 基于优化思想的传统滤波算法基于优化思想的传统滤波算法一般需要首先构建关于原始输入点云的目标函数项及相关约束正则项，之后通过凸优化过程进行多轮次迭代，完成滤波过程，如表 1所示。该类算法按照优化思想的不同，可以进一步细分为空间域滤波、移动最小二乘类、局部最优投影类、稀疏化与低秩类、张量投票类以及图方法类等6个子类别，本部分将对上述各类方法进行细致讲解。
|
表 1 代表性的基于优化思想的传统滤波算法 Table 1 The representative optimization-based traditional filtering algorithm |
空间域滤波[13]作为点云去噪任务中的经典算法，在噪声点滤除、外点滤除等工作中具有重要作用。该类算法主要基于点云空间坐标信息，一般考虑从邻域点数及距离分布角度，设计相应的过滤规则。图像处理领域中经典的均值滤波、中值滤波等算法亦可用于点云处理领域，本部分介绍点云去噪任务中具有代表性的空间域滤波算法。
直通滤波器考虑从维度层面对点云空间信息进行过滤，该类滤波需要首先指定维度及该维度对应的阈值范围，然后对点云中的点进行遍历操作，滤除指定维度阈值范围外的点，滤除操作简单有效。体素滤波器(voxel grid downsampling，VGD)类算法基于体素化思想，首先将无结构点云进行三维体素栅格化，然后针对每一体素栅格，考虑使用重心或者中心对体素内部的点进行替代，其中，相比于使用重心点替代，使用中心点替代计算速度更快，但点云会损失一定的精细度，该方法具有下采样功能，同时能够保留点云本身的几何结构信息。
统计类方法作为一种重要的工具，在外点滤除任务中应用广泛。考虑到外点的局部空间邻域点具有稀疏点云分布的属性，统计滤波器方法考虑距离测度指标对离群点加以检测。具体来说，首先对于点云中的每一点，基于k近邻(k-nearest neighbour, kNN)算法获取其邻近点，然后计算该点到每一邻近点的距离，并求取其平均值作为该点处的距离度量，之后基于全局距离分布满足高斯分布的假设，通过设置均值、标准差两项超参数及阈值区间，对距离度量不在该区间的离群点进行过滤。半径滤波器则考虑从邻域点数角度对离群点加以检测，该算法首先设置半径参数及点数阈值，并统计该球状邻域内的点数，然后对邻域点数低于阈值的外点进行滤除，思路简单直接，运行速度较快。
高斯滤波算法作为一种优秀的平滑滤波方法，适用于消除高斯噪声。该类算法首先指定作用邻域；然后对于点云中每一点，计算其到邻域内每一点的欧式距离；之后基于欧式距离为高斯分布的假设，计算对应权重；最后考虑采用加权平均的方式，修正当前点的位置，达到减噪目的。算法滤波平滑效果较强，但对于边、角等曲率较大的区域亦存在较大平滑效应。针对上述问题，双边滤波考虑为权重计算步骤引入新的参考信息，由于权重表征点对之间的相似程度，双边滤波算法同时考虑空间坐标信息与以法向量、强度信息等为代表的新的维度信息，该算法能够计算出更为精确的权重度量，满足降噪平滑的同时，保持边、角等高频特征。
1.2 移动最小二乘类方法移动最小二乘类方法[44]主要通过构建由系数向量与基函数定义的拟合函数，对无序输入点集所代表的曲线或者曲面进行精确逼近。Levin[45]较早引入MLS投影概念，Alexa等[46]将该类方法引入点云领域中。该方法主要包括两个步骤：首先构建局部参考平面，并求解其参数；然后基于局部参考坐标系，构建局部映射，并定义相应的加权最小平方误差目标函数。同时，基于上述MLS投影方法，分别设计出关于输入点云的下采样、上采样等有效方案，用于生成具有代表性的点集。
隐式建模作为一种有效的重建方法，可以确保生成平滑且闭合的流形表示。Shen等[32]较早定义隐式曲面，并将其应用于多边形无序集合。考虑到点云数据类型同样具有无序性，Kolluri[14]将该类IMLS方法用于点集重建领域，并从理论层面对隐式方法进行了详细的推导证明，该方法基于采样点的法线信息构建隐式函数，并视其零集为曲面的近似。该类方法因每一距离符号函数定义在参考点局部邻域，全局空间信息较为欠缺，重建曲面容易产生膨胀或收缩等现象。
经典MLS方法中存在参考平面拟合步骤在输入点云的高曲率区域稳定性不足，容易产生错误拟合的问题[47]。针对此问题，Guennebaud等[15, 33]提出鲁棒性更高的APSS方法，该方法不再考虑预先设置参考平面拟合步骤，选择直接在输入点集上进行高阶代数曲面拟合。不同于传统基于欧式距离的几何拟合方案，APSS首先在参考点附近构建局部球拟合用于法线方向估计及一致性法线朝向传播，然后进行渐进式投影操作。由于法线表征拟合曲面的一阶分布信息，通过引入相应法线约束，将球拟合邻域限制在较小范围，提升其稳定性，从而有利于生成原始点集的紧致近似。该方法可以很好地解决贴合面分离、稀疏区域重建等较为复杂的问题。
依据定义，MLS作用与低通滤波器类似，主要用于重建平滑曲面，在保持、增强高频特征属性方面较为欠缺。针对该项局限，受Fleishman等[48]启发，Öztireli等[16]引入鲁棒度量思想，提出基于IMLS的RIMLS方法。该方法首先探讨LKR(local kernel regression)与MLS之间的强关联性，然后基于LKR监督方法构建出通用的RLKR(robust LKR)目标函数，该定义式添加非线性鲁棒项，用于减弱空间、法线噪声的影响，同时通过IRLS(iteratively reweighted least squares)方法解决相应非线性问题。鉴于非线性鲁棒项在滤除噪声外点的同时，边界、棱角等高频特征亦容易受到影响，进一步引入关于法线信息的梯度权重项，用于缓解曲面拟合过程特征信息衰减现象，可以很好地保持高频特征。需要注意，作者将上述通用定义式泛化到IMLS方法，最终推导出RIMLS方法。此外，作者提出的LKR与MLS强关联性亦为后续MLS类方法的探索提供了通用的解决框架。
鉴于IMLS等隐式重建方法多数强依赖于输入法线估计的准确程度，Huang等[34]提出基于变分思想的VIPSS(variational implicit point set surfaces)方法，剔除了重建阶段对法线信息的依赖。不同于以往方法针对每一采样点构建局部拟合函数，VIPSS构建全局平滑目标函数。同时，基于埃尔米特径向基函数插值，将全局平滑程度作为构建精确表征重建曲面平滑程度的Duchon能量函数。以往变分方法需要域离散化[49]或数值积分[50]等复杂操作，而VIPSS方法仅包含一项超参，可避免在精调阶段耗费大量时间。如图 1所示，VIPSS方法具备全局视角，更关注点云整体形状，具备较强拟合程度，能够很好地适应缺失、稀疏、非均匀等输入点云分布。
1.3 LOP类方法
Lipman等[17]较早提出用于曲面拟合的LOP算子，不同于传统MLS类方法，LOP算子不再依赖于任何局部参数，无需估计局部法线、拟合局部平面，直接作用于点集。该特性使得LOP能够适应带噪点云输入及局部平面拟合难以处理的复杂几何形状区域。给定输入点集P，LOP算子会将另一分布点集Q通过迭代步骤投影到输入点集P上，从而得到关于拟合曲面的稳定点集，因而该类方法亦称为粒子方法。考虑到LOP算子迭代过程中存在收敛失败、容易震荡且生成点云容易分布不均等问题，Huang等[18]通过构建梯度下降更平稳的函数以及引入进行归一化矫正的局部自适应密度项，构建WLOP算子，用于对原始输入点云进行滤除，减弱投影输出中的集聚现象，使其分布更加均匀，为后续精确法线的计算奠定基础。
考虑到在输入点云的边、棱角等包含锐利特征的区域计算精确法线时难度较大的问题[51-52]，Huang等[19]又提出边缘感知的重采样方法(edge-aware resampling，EAR)，规避在不连续边界处直接计算法线。如图 2所示，EAR方法首先对边界处点云分布进行重采样，鉴于上述LOP、WLOP等重采样算子的权重项仅考虑点坐标，在表征点云空间几何形状信息上较为欠缺，为其引入法线信息，构建各向异性的WLOP算子，通过引入法线信息使得重采样步骤能够感知边界，并通过与双边法线平滑步骤[16, 52]的交互迭代，最终留存缝隙，分离边界侧点云，接着基于边界两侧较为精确的法线信息，做插值上采样处理，用于增强边缘，恢复锐利特征信息。
实时在线重建任务对重建速度、精度等要求较高，而传统LOP类方法计算复杂度与输入点集P、投影点集Q中的离散点数量正相关，在点集Q中点数远远小于输入点集P中点数时，权重项将大量时间耗费在构建到点集P的映射上。针对此问题，Liao等[35]基于核密度估计对点集P进行下采样，提出KLOP(kernel LOP)算子。Preiner等[36]引入高斯混合模型，首先基于点集P及HEM(hierarchical expection maximization)算法，构建关于高斯混合概率密度函数参数的最大似然估计问题，然后将关于输入点集P中离散点的映射转换为关于s个单高斯模型的连续映射，最终形成CWLOP(continuous WLOP)算子，该算子有效地降低了原始LOP的计算复杂度，相比WLOP可提升约7倍重建速度，基本满足实时重建需求。
传统MLS类、LOP类方法大多为各向同性算子，只考虑噪点滤除效果，在锐利特征保存方面较为欠缺，EAR、RIMLS等在增强点云时引入空间几何形状信息，但由于对法线信息的强依赖，对外点等较为敏感。针对此问题，Lu等[37]提出GPF(GMM-inspired feature-preseving)算子，该算子作用原理与CLOP类似，同样基于高斯混合模型(Gaussian mixture model，GMM)[53]，但更加强化点云去噪过程中的特征保存能力。如图 3所示，GPF算子在GPF步骤前，添加双边平滑操作[19]用于法线过滤; 在GPF步骤后，添加边缘感知的上采样操作[19]，两步骤均源于EAR算子，使得GPF在特征增强方面较为突出。
1.4 稀疏化与低秩类方法
给定关于连续时间信号的离散采样点，信号重建任务通过构建关于基函数的线性组合式，重建原始连续时间信号。根据奈奎斯特采样理论，离散采样点数量需要满足相应带宽要求，而在面对具备稀疏表征属性的信号时，针对性更强的稀疏信号重建理论得到不断发展[54-55]。稀疏信号重建算法往往与正则化相关，考虑到L2正则项用于去噪领域时，对噪点、外点等惩罚较重，易导致过渡平滑问题，基于L1正则的稀疏范式在图像去噪、去模糊等领域得到广泛应用，如全变分[55-56]。受此启发，Avron等[20]提出基于L1正则的稀疏重建框架，用于点云去噪。该框架主要包含两个步骤：法线方向重建与点云坐标重建，并在每一步骤中构建全局加权L1惩罚函数，用于优化法线、坐标。同时将原始较难优化的L1正则转化为二阶凸锥问题，并通过log-barrier求解器高效解决，该框架对初始法向量要求不高，鲁棒性较强。
理论上，L1正则可视为L0正则的最优凸近似[16]，更容易优化。然而L0正则可以生成更为稀疏的有效解，Xu等[57]将L0正则引入图像滤波，He和Schaefer[58]则将L0正则迁移至网格处理，二者通过引入辅助变量，并基于交替优化思想，解决了L0正则难以优化的问题。受此启发，Sun等[21]率先将其引入难度更高的无序点云领域，构建基于L0正则的点云去噪方法。鉴于法线信息融合了高阶几何形状信息，首先对法线信息进行基于L0正则的全局优化，然后基于局部平面准则，利用优化后的法线向量对点云坐标进行重新表示，并基于L0正则对点云坐标进行全局优化，完成点云去噪。考虑到上述步骤完成后，点云边界处存在交叉现象，构建投影算子用于点云坐标的重定位，从而恢复边界。基于L0正则的稀疏化方法去噪效果良好，且通过与EAR算子[19]中上采样步骤的结合，使其在保存恢复特征层面较为显著。
考虑到上述稀疏化重建方法，在面对原始输入点云中噪声扰动较大、外点较多等复杂情况时，具有一定局限性的问题，融合稀疏化估计的低秩建模算法[59-60]被引入该领域。该算法对输入点云中的噪点、外点等信息进行显式抽取，不再强依赖于法线信息，形成一类基于主成分分析(principal component analysis，PCA)的点云去噪方法。给定原始输入点云数据，用矩阵M∈
| $ \min \|{\boldsymbol{M}}-{\boldsymbol{L}}\| {\text { s. t. }} {\rm{rank}}({\boldsymbol{L}}) \leqslant k, $ | (1) |
其中，k为L项的秩需要满足的要求。在面对高噪声情况时，Candès等[38]提出RPCA(robust PCA)，首先将矩阵M表示为M=L+O，其中L项为秩数未知的低秩矩阵，O项为稀疏矩阵。不同于上述微小扰动矩阵N项，O项中的元素可以取任意大数值，足以覆盖外点等扰动较大的情况，之后构建PCP(principal component pursuit)完成最终估计。上述RPCA关于矩阵L的秩数未知，Mateos和Giannakis[63]假设其秩数已知，通过引入双线性项，将矩阵L表示为L=US+m1T。其中：U∈
| $ \min \frac{1}{2}\left\|{\boldsymbol{Y}}-\left({\boldsymbol{U S}}+m {\mathit{{\boldsymbol{1}}}}^{\mathrm{T}}\right)-{\boldsymbol{O}}\right\|_F^2+\lambda\|{\boldsymbol{O}}\|_2. $ | (2) |
Mattei和Castrodad[22]则首先对输入点云中每一点的局部邻域应用RPCA方法，进行局部去噪。需要注意，其正则项采用加权形式，不同于上述目标函数中的形式，然后基于各项已去噪局部，再进行全局协同优化，构建MRPCA(moving RPCA)算子，该算子同时考虑输入点云的局部及全局结构信息，在点云精简、去噪方面取得良好效果。
区别于以往去噪方法视点云为一整体，Chen等[39]引入多点云块协同(multi-patch collaborative，MPC)方法，并将点云去噪问题形式化为低秩矩阵恢复模型[64-65]。如图 4所示，MPC算法首先基于包含主成分分析及双边法线滤波的Bi-PCA策略[52]，生成引导法线，然后在点云中每一点的局部构建点云块投影，生成HMP(height-map patch)，并基于相似度对其进行分组，低秩重建作用于这些分组，完成滤波去噪任务，之后通过首步骤的逆向操作，完成点云生成。该算法低秩重建步骤不再直接作用于输入点云数据，而是通过局部投影操作生成的HPM。基于各项HPM，MPC策略的引入使得该算法在取得良好去噪效果的同时，亦能够保存多尺度的空间几何特征。
1.5 张量投票类方法
张量投票作为一种经典的算子，其核心思想是首先构建关于每一数据点局部邻域的张量，然后基于频域分析进行后续投票步骤。该算子早期多用于有序数据类型，例如二维图像去噪、边缘检测等任务[66]，在网格去噪领域中亦可用于生成高质量网格模型[67-68]。近些年来，张量投票理论逐渐在无序点云处理方面发展起来，例如基于点坐标的张量投票[69]、基于法线的张量投票[70]。该理论相比于以往方法，更加关注去噪过程中的点云特征恢复、保存，例如Zhang等[71]较早在点云去噪过程引入特征结构分析预处理，用于识别输入点云特征位置，在为其预估Multi-Normal及滤波后，构建基于法线信息的点云坐标调整框架，通过在点云去噪过程中添加特征点分离步骤使得去噪过程更鲁棒，在特征保存方面具有较大优势。
基于法线张量投票理论，Yadav等[23]提出一种迭代式点云去噪框架，如图 5所示。该框架首先基于输入点云坐标计算法线并进行法线噪声滤波，该步骤中将构建关于顶点法线信息的投票张量，经频域分解得到表征该点邻域空间几何形状的特征值、特征向量信息；之后通过BEO(binary eigenvalues optimization)模块[72]完成顶点法线噪声信息的滤除；然后基于获得的精确法线信息，进行特征检测，该步骤中将构建关于点云坐标信息的投票张量，并依据频域分解后得到的特征值信息，将输入点云中的点分为区域点、边界点、角点3个类别；最后依据类别，对各点施以不同的坐标位置调整策略，这种分类别坐标点位置调整方式避免了之前全局调整导致的特征模糊问题，可以最大限度地恢复、保存特征信息。
如图 6所示，Liu等[24]沿用具备相似处理流程的点云去噪框架：法线滤波、特征检测与坐标调整。但为每一步骤设计了新的解决模块：在法线滤波阶段，基于kNN算子提供的局部连接信息，构建具备各向异性属性的二阶正则化优化目标函数[73]，用于优化法线信息；在特征检测阶段，构建融合法线、坐标两类信息的张量，空间几何信息更为丰富，特征点分离更为精确；在坐标调整阶段，构建基于RANSAC算子的Multi-Normal点坐标更新策略[71, 74]。通过为每一模块引入更为鲁棒的解决思想，削弱边界位置处交叉伪影效应，在点云去噪的同时，得到更好的特征锐化效果。
1.6 Graph类方法
图作为一种经典的数据结构，可以提供关于节点间的连接互通信息，在描述社交网络、知识图谱等非结构数据类型方面优势较大，其定义为
| $ {\boldsymbol{G}}=\{{\boldsymbol{V}}, {\boldsymbol{E}}, {\boldsymbol{W}}\}, $ | (3) |
其中：V为顶点集合(Vertex)，V={vi}i=1, …, N；E为边集合(Edge)，E={(vi, vj)|vi, vj∈V}；W为关于边邻接关系的权重矩阵，W∈
| $ {\boldsymbol{f}}=\left(f\left(v_1\right), \cdots f\left(v_N\right)\right)^{\mathrm{T}}, {\boldsymbol{f}} \in \mathbb{R}^{\mathrm{N}} . $ | (4) |
基于图结构，图信号处理研究得以迅速发展，例如频域图理论、图傅里叶变换等领域。
给定输入噪声点云：X={xi∈
| $ \arg \min\limits _{{\boldsymbol{X}}}\|{\boldsymbol{X}}-{\boldsymbol{f}}\|_2^2+{\boldsymbol{\gamma}}\left\|\nabla_{\mathrm{G}} {\boldsymbol{X}}\right\|_2^2, $ | (5) |
其中：f为全局图信号项；该式左侧项表征相似度，右侧项为由GL构成的二阶Tikhonov正则化项，表征全局平滑程度，用于图信号滤波。需要注意，Schoenenberger等[25]将全局图信号f直接设为输入点云坐标，即f(vi)=xi，将目标函数右侧项替换为一阶Total Variation正则化项，同时将该过程拓展至时序点云信息。
受Hammond等[75]提出的频域图小波变换理论的启发，Deutsch等[40]在图信号滤波阶段引入图傅里叶变换算子，将基于顶点域的去噪操作转化到图傅里叶域，在求解小波变换参数并进行阈值处理后，通过逆变换映射回空间域。相比于以往方法，该算法为非迭代式，选择在频域完成滤波工作，同时其在基于kNN算子的图构建阶段，对超参数k更为鲁棒。不同于上述算法直接选择点云坐标信息作为图信号，Gao等[26]选择点到面的距离作为图信号。首先基于八叉树结构及归一化切割策略，将原始点云切分为较小的点云块，然后拟合关于各点云块的高阶多项式曲面，之后计算相关距离作为图信号，该算法最终通过切分点云块的思想加快了去噪过程的速度。
除上述方法外，一些研究人员尝试构建新型图结构，例如Dinesh等[41]基于kNN算子构建的初始图模型，使用KL散度准则将其重新形式化二部图，然后通过二者之间的交互优化，达到去噪目的。还有一些研究人员为去噪过程引入流形学习概念，例如受Osher等[76]提出的用于二维图像去噪的LDMM模型(low-dimensional manifold model)启发，Zeng等[42]考虑切分点云块，构建关于各点云块的流形表示，然后选择在流形块层面(而不是直接在输入点集上)构建图结构，接着基于图拉普拉斯正则项进行维度离散化，最终完成去噪过程。Deutsch等[77]亦提出类似思路。
输入点云数据除坐标信息外，亦可能存在法线、颜色、透明度信息等，虽然坐标信息多用于表示物体空间集合形状，但颜色信息同样能够体现局部区域连接关系。例如在点云分割任务中，考虑到输入点云中局部曲面或者同一个物体往往共享相同颜色，一些研究人员引入颜色信息，提升分割精度[78-79]。受此启发，Irfan和Magli[80]通过为图构建阶段引入颜色信息，提出联合空间几何信息与颜色信息的图模型，用于点云去噪任务。该模型通过融合颜色信息，得到更完备、更充分的点云特征表示，并使得图信号滤波过程更为有效，缓解了点云去噪完成后存在空洞等分布不均匀的问题。Irfan和Magli[81]后续又对上述方法加以改进，一方面通过分离坐标信息与颜色信息，定义新的权重矩阵，另一方面通过引入频域图小波变换理论[75]，将融合颜色信息的图信号在频率域完成更为鲁棒的滤波去噪过程。
由定义可知，权重矩阵W中的每一项wi, j用于度量2个邻接节点间的相似性，并在关于图拉普拉斯正则项的优化过程中扮演重要角色。给定关联图节点V的输入特征向量：s={si∈
三维点云数据获取方式多种多样，其中比较常用的一类方法是首先通过在多个视点设置深度相机获取关于三维物体的深度图，然后基于多视角重建算法完成点云生成任务。基于此类点云生成场景，Zhang等[82]提出直接作用于二维深度图的点云增强方案，易知该方案不同于前述方法以点云数据类型作为输入，并在点云层面完成去噪任务。该方案显式定义了深度图中的误差源，包括信号依赖的噪声以及数字信号处理引入的量化效应，之后基于Hu等[43]提出的特征度量学习，在像素层面构建关于二维深度图的图内与多视角图间图结构，完成二维深度图的去噪及去量化任务，之后即可通过上述多视角重建过程生成去噪点云。该方案将去噪任务提前至获取二维深度图后、三维点云重建之前，试图在数据获取源头完成降噪目的，因其更接近传感器处理侧，可以方便地为不同传感器建立单独的优化器参数，从而使得去噪过程更精确，点云生成质量更高。
2 基于深度学习的点云去噪算法基于深度学习方式的去噪算法通常需要构建端到端学习的神经网络框架，同时需要精心设计相关损失函数，并选择合适的训练与测试数据集。相比传统算法，可以避免手动构建特征描述算子带来的局限性，如表 2所示。根据网络设计理念的不同，本部分将其分为监督式学习与无监督式学习两个子类别，并分别加以详述。
|
|
表 2 代表性的基于深度学习方式的去噪算法 Table 2 The representative deep learning-based denoising algorithms |
传统点云去噪算法大多强依赖于先验知识或假设，例如高斯形式的噪声分布、满足局部平滑的空间几何属性等。考虑到类似预设先验因与真实情况存在差距，导致特征信息不完备、几何细节信息丢失等问题，Roveri等[27]引入卷积神经网络，最早提出基于端到端学习方式的点云去噪框架PointProNets。需要注意，去噪过程并非直接作用于点云层面，而是投影生成的2D高度图，如图 7所示。该网络首先通过高度图生成网络中的标架估计模块预测图像平面(亦即投影平面)的坐标系参数，并通过投影模块将输入噪声点云映射至图像平面，之后通过重采样步骤完成空间距离信息到图像像素信息的转换，然后通过高度图去噪模块完成二维图像去噪过程，最后将滤波后的高度图反投影回点云坐标空间，间接完成点云去噪任务。该网络构建监督式点云去噪框架，并通过三维点云到二维图像的转换步骤，使得在二维图像领域大放异彩的卷积神经网络能够引入三维点云去噪领域，并取得良好的去噪效果。
如上所述，PointProNets网络并非在原生输入点云上完成去噪任务，其模块结构、损失函数均基于二维图像，然而投影、反投影等维度转换过程中均存在几何信息丢失问题，不利于去噪点云的生成过程。为此，Rakotosaona等[28]提出直接作用于点云空间的去噪框架PointCleanNet，该框架一方面通过分离输入点云数据P′中的噪点P与外点O，将噪声输入点云重定义为真实点与噪声点的加和形式，另一方面，基于此定义，PointCleanNet被设计为先去除外点再去除噪声的二阶段网络，该网络能够充分挖掘点云的局部形状属性，在特征抽取、融合方面优势较为明显。如图 8所示，该框架包含2个结构相似的部分：外点检测与去噪，并且每一部分的流程都被设计为包含特征抽取、聚合与回归3个主要步骤。该框架不同于原始PCPNet，通过引入跳跃连接来防止梯度消失，提升训练表现，同时为得到更精确结果，该框架被设计为迭代模式，并为损失函数同时引入近似度量项、均匀分布项，用于约束生成点云。
与上述PointCleanNet类似，Zhang等[29]提出结构更为精简的Pointfilter框架，如图 9所示。该框架同样选择局部点云块作为输入，且同样对点云块中心点偏移向量进行预测。同时，为使得点云去噪过程能够很好地保存点云特征，摒弃了仅依赖于空间坐标信息的基于L2正则的欧式距离损失函数，通过引入代表高阶空间几何特征的法线信息，设计出基于双边机制的同时考虑邻接点法线相似度、坐标相似度的权重项，进而构建基于加权投影距离的损失函数，避免特征退化问题。
如图模型类去噪方法部分所述，图结构可以为非欧几何空间引入连接互通信息，比较适合处理点云等无结构数据类型。受用于处理规则网格数据的卷积神经网络的启发，一些研究人员提出基于非规则图结构的图神经网络模型，关于该模型的详细分类信息可参考Zhang等[88]、Zhou等[89]发表的研究综述。在点云处理领域，Wang等[9]较早提出适用于点云分类、分割等高阶任务的动态图卷积(dynamic graph CNN，DGCNN)模型，但因其邻域信息聚合算子较为简单，在面对点云去噪等低阶任务时，该模型效果较为一般。针对此问题，Pistilli等[83]以Simonovsky和Komodakis[90]提出的ECC(edge-conditioned convolution)为基础，一方面将固定式信息聚合权重项修改为关于邻接节点特征向量的多层感知器模型，通过参数学习方式做到自适应加权计算，另一方面为图卷积算子引入高斯形式的边注意力权重项，最终构建出GPDNet(graph-convolutional point denoising network)模型。如图 10所示，该模型基于残差网络思想，实现对输入点云中位移向量的预测。需要注意，该模型前期直接在点云层面进行特征抽取，并没有引入图卷积。
基于分布假设，离散点云数据一般被视为关于模型连续表面的采样点，该连续表面也被称为流形，用于表征模型的微分几何性质。之前去噪工作大多预测噪声点到真实流形的位移向量, 并非直接预测关于输入点云数据的流形表示，其去噪效果也因此并非最优。针对此问题，Luo和Hu[84]提出基于Encoder-Decoder架构的微分流形重建框架，直接学习流形相关的参数。如图 11所示，该框架首先构建Encoder层, 该层基于Wang等[9]提出的动态图卷积层理论，构建链式且稠密的层内、层间连接，用于抽取关于输入点云的高阶特征依赖，同时引入关于不同kNN设置的多尺度特征信息；之后构建关键的微分池化算子，该算子实则引入门控机制的评分函数, 并依据预测的外点置信度信息，对原始输入噪声点云进行降采样；然后构建Decoder层, 该层基于上一阶段获得的去噪点云数据，预测嵌入3D空间的2D流形相关参数，完成流形重建；最终通过流形层面的重采样操作，完成最终输出去噪点云的生成工作。该框架将点云去噪任务转化为关于流形参数的学习任务，使得去噪过程最终通过流形的精确重建工作得以完成。
Score Matching[91]最早用于解决概率密度估计中归一化系数(或配分函数)难以求解的问题，即通过对输入点云分布q(x)取对数，消解其分母中的归一化项，并定义如下Score Function：
| $ \nabla_x \log ({\boldsymbol{q}}(x)) . $ | (6) |
相应地，原始概率密度估计转化为对配分函数所形成的梯度场的估计，考虑到输入分布的具体形式往往未知，Score Function的求解则成为非参数化密度估计。Vincent[92]、Song和Ermon[93]较早探索Score Matching与去噪任务的相关性，并详细论证了生成式模型在预测Score Function、完成去噪过程等方面的数学合理性。基于上述理论，Cai等[94]提出点云领域的梯度场学习模型Shape GF，用于点云形状生成任务。受此启发，Luo和Hu[85]提出基于Score Network的点云去噪框架。基于分布假设，带噪点云可视为对模型连续表面S采样获得，不同于先前方法采用的加和形式，作者将带噪点云分布q(x)定义为如下卷积形式
| $ {\boldsymbol{q}}(x):=({\boldsymbol{p}} * {\boldsymbol{n}})(x), $ | (7) |
其中：q(x)项为带噪分布，p项为不含噪声的点云分布，即关于连续表面S的精确点云分布，n项为噪声分布，*号代表卷积操作。之后，定义如下关于带噪点云分布q(x)的Score Function
| $ \nabla_x \log (({\boldsymbol{p}} * {\boldsymbol{n}})(x)). $ | (8) |
在去噪任务中，该Score Function可用于表征噪声点到参考连续表面S的向量场, 在通过神经网络预测出Score值后，通过梯度上升方式，将该向量场叠加回噪声点，迭代多轮后，即可使得点云逼近表面，从而完成点云去噪过程，该过程缓解了先前算法对外点敏感、容易产生Shrinkage效应的缺点，有力地提升了去噪算法的鲁棒性。
边界、棱角等锐利特征蕴涵物体的空间形状信息，能否恢复该类特征信息对后续重建工作意义重大，然而前述去噪工作大多基于点云整体进行滤波，在保存高频特征方面能力较为欠缺。为此，Yu等[86]较早为神经网络引入边缘感知策略，提出专门作用于点云边缘的增强框架EC-Net，如图 12所示。与Yu等[95]的前期工作PU-Net类似，该网络亦采用上采样思想进行增强任务，同时，在进行特征抽取后，一方面在网络结构层面对点云坐标、点到边界的距离均设计回归子模块，另一方面在优化目标函数层面添加边损失及边距损失，最终实现边缘感知及增强的目标。因EC-Net在边缘层面十足的针对性，相比于其他去噪算法，其锐化效果较为明显。
2.2 无监督式学习方法
上述方法均为监督式学习类型，在关于网络参数的梯度下降过程中，需要较大规模地包含针对噪声点云与干净点云的训练数据集，考虑到现实世界中的点云数据往往遭受噪声扰动，同时较难获取关于同一物体的干净点云。Casajus等[30]为点云去噪任务引入无监督式学习思想，即不再构建包含干净点云的逐对训练数据，而是选择直接基于输入噪声点云数据，进行噪声滤除工作。无监督式学习在二维图像去噪领域应用广泛，并在发展过程中，大致形成如下两种类别：配对类型与不成对类型，例如Lehtinen等[96]提出的Noise2Noise为配对类型，Krull等[97]提出的Noise2Void以及Batson和Royer[98]提出的Noise2Self则为不成对类型的代表。不同于结构化图像像素数据中噪声仅分布在Range层面(二维图像中，Range可以认为是某位置处像素)，Casajus等[30]认为点云数据中的噪声同时存在于Range层面与Domain层面(Domain用于表征采样位置), 并定义该噪声类型为Total Noise。此外，考虑到关于同一物体的另一带噪点云数据同干净点云类型一样难以获取，配对类型算法被抛弃，提出基于不成对类型的无监督式学习算法Total Denosing。基于Monte Carlo卷积[99]，构建Encoder-Decoder形式的网络架构，实现流形模式向真实表面的收敛，最终达到矫正噪声点位置，生成干净点云的目标。
基于同样的无监督式学习思想，Regaya等[87]提出用于离群点检测的Point-Denoise模型。不同于上述方法中的深度学习框架，该模型属于集成式机器学习类型，具体来讲，基于单类别分类技术，分别构建并训练孤立森林、椭圆包络两种类型，训练完成后，在推理阶段综合二者的预测结果，进行外点滤除工作。
3 算法对比与分析前述章节详细总结了点云去噪领域中传统算法与深度学习算法，并对各类算法的实现原理进行了简单扼要的阐述。虽然去噪算法种类丰富，分支众多，但在研究发展过程中，在综合评估算法性能及效率后，并非所有类别都能够得到普遍应用。本章节首先对点云去噪算法使用的数据集(主要是深度学习类算法)及评估指标进行总结，然后挑选代表性的算法进行对比与分析。
3.1 数据集如前所述，传统算法大多基于优化思想，算法核心是如何设计迭代性能更好、鲁棒性更高的优化目标函数，在数据集层面要求不高。一般根据空间形状的复杂程度分别挑选代表性的3D模型进行算法测试，覆盖用例的范围、种类都有所限制。不同于传统算法，深度学习算法的核心是训练，数据集的规模、类别分布、平衡性等直接关系到训练模型的预测精度，且针对特定点云任务，往往需要针对性较强的领域相关的数据集。
表 3所示为上述各类深度学习算法在关于神经网络梯度下降过程中所使用的训练集与测试集，可进一步细分为CAD类模型与实际扫描数据两类。容易发现，各类去噪算法大多基于点云块策略，并且因其特点，所使用的数据集类型并不一致，而且目前在点云去噪领域，缺乏针对点云去噪任务的大规模公开数据集，在进行模型训练之前，往往需要使用ShapeNet[100]、ModelNet-40[101]等数据集构建训练点云数据，并预先设置相应噪声类型。
|
|
表 3 数据集 Table 3 DataSets |
在去噪算法框架搭建完成后，需要对其作用进行严格的量化度量。为验证其相比于前人工作的优越性抑或差异性，需要从多个角度验证算法效果，从而完成全方位、多层次、公平公正的评估工作。由此，需要定义多种类型的测量指标。
表 4为测试阶段用于评估算法效果的测量指标，按照测度思想的不同，大致可分为3个子类别。第1类用于度量点云对之间的相似性，包括倒角距离、豪斯多夫距离、推土机距离、均方误差等类型。该类型指标选择计算去噪算法的输出点云分布与真实点云分布的相似程度，一般设置双射函数，完成输出点云到真实点云与真实点云到输出点云两个方向的计算任务。例如：倒角距离被定义为关于点云对之间的对称映射函数；豪斯多夫距离被定义为当前集合到目标集合中最近点的最大距离，一般使用极大极小函数加以表示；推土机距离被定义为当前点云转化为目标点云所需的代价，需要注意，该距离与倒角距离不同，需要保持当前点云的点数与目标点云的点数一致；均方误差项则基于统计思想，对全局点对间的距离分布进行评估。第2类用于度量关于法线层面的角度误差，包括无向法线角误差(unoriented normal angle error, UNAE)[83]等类型，不同于第1类指标中直接在点云坐标层面建立映射关系，考虑到法线在数学上可以作为点云分布的一阶算子，UNAE指标引入法线信息，并被定义为关于法线分布的误差项，用于表征模型表面的特征分布。第3类用于度量点到面的距离，包括P2S等类型，该指标考虑点云与模型表面的空间关系，计算输出点云到真实表面的距离，并利用该距离表示点云与模型表面的贴合程度。
|
|
表 4 效果评估指标 Table 4 The evaluation metrics |
本节挑选点云去噪工作中具有代表性的方法进行对比与分析。具体来讲，对于基于优化思想的传统算法，移动最小二乘类中的APSS[15, 33]、RIMLS[16]等算法，LOP类中的WLOP[18]、EAR[19]等算法，低秩类中的MRPCA[22]等算法，Graph-based类中的GLR[42]等算法均属于经典去噪算法；对于基于深度学习的点云去噪算法，该类别属于近些年才发展起来的领域，基于监督式学习的PointCleanNet[28]、Pointfilter[29]、GPDNet[83]、EC-Net[86]以及基于无监督式学习的Total Denoising[30]等均为典型代表。
如表 5所示(其中Y代表YES，N代表NO，I代表中间状态)[29]，该表从是否依赖法线信息、是否具备噪点滤除功能，是否具备离群点检测功能、是否特征感知、参数化、计算速度等6个方面对相关代表性的算法进行对比。总结如下：多数算法并不强依赖法线信息，即仅依赖于点云坐标信息；滤波过程中，一般将噪点与离群点加以区分，形成噪声过滤、离群点剔除2个独立的任务；特征感知策略已经被许多方法采用；鉴于深度学习算法均基于神经网络实现，参数化思想应用普遍。
|
|
表 5 代表性算法的主要特点对比[29] Table 5 Comparison of the main characteristics among the representative algorithms[29] |
基于ShapeNet[100]数据集，保留包括Airplane、Bench、Car、Chair、Lamp、Pillow、Rifle、Sofa、Speaker、Table在内的10个类别作为测试集，表 6展示了相关代表性算法在chamfer distance(CD)指标[83](该指标定义了点云到点云的测度标准)上的差异，由于测试集符合标准统一原则且类别丰富、全面，可以公平、公正地评估各类算法的去噪效果。同时，为了测量输出点云法线信息的质量，考虑使用UNAE指标[83](如表 7所示)。需要注意，该指标使用的测试集不再是上述ShapeNet[100]数据集，而是选择被普遍接受的包括Armadillo、Bunny、Column、Galera以及Tortuga在内的5组模型作为测量UNAE指标的数据集。
|
|
表 6 CD指标，噪声参数σ=0.02 Table 6 The chamfer distance measure, σ=0.02 |
|
|
表 7 UNAE指标 Table 7 The unoriented normal angle error measure |
点云去噪工作与后续分类、分割、重建等任务强关联，研究、探索有效、鲁棒且普适的去噪算法意义重大。本文系统地归纳了关于点云去噪工作的各类方法，从基于优化思想的传统滤波算法与基于深度学习方式的点云去噪算法2个方面对其进行详细阐述，为读者提供完整的点云去噪工作总结。目前，研究人员在点云去噪领域已经取得丰硕成果，尤其是近些年来，随着深度学习技术在点云领域的渗透，基于学习方式的点云去噪算法得到快速发展，然而由于点云数据本身的无结构性以及点云去噪任务本质上的病态性，现有去噪算法仍然存在不同程度的局限性。本文基于上述分类总结工作，归纳出点云去噪任务有待进一步展开研究的几个方面：
1) 现有算法在阐述点云去噪效果时，大多在CAD模型上进行评估展示，深度学习类方法的训练数据与测试数据亦同样选择该种类型数据集，该方式使得去噪算法缺乏灵活性、普适性，在真实扫描点云数据上效果一般，因而探索能够适应并处理真实场景点云类型的去噪算法具有重要意义。
2) 现有算法在对噪声进行滤除前，往往采用为模型添加预设噪声类型的步骤，例如通过高斯噪声扰动输入点云，产生带噪模型。这种人工模拟噪声的方式使得去噪算法面对的噪声环境较为单一、简单，在面对没有明显数学定义的复合噪声时，算法的有效性降低。由此，构建能够面对复杂噪声环境的点云去噪算法显得突出且重要。
3) 尽管近些年来基于深度学习方式的去噪算法得到了快速发展，相比于较为成熟完善的点云分类、分割领域，点云去噪领域的进步仍然较为迟缓。究其原因是由于点云去噪任务低阶类型，算法粒度较为精细，对精度要求高。考虑到干净的真实点云数据获取较为困难且神经网络的梯度下降过程需要大量训练数据，无监督式学习算法将成为缓解该难题的有效手段，并有可能成为未来点云去噪领域的研究热点。
4) 现有算法在处理点云去噪任务时，表现出理论性较强但应用性较弱的特点，在特定领域层面针对性不强。以自动驾驶方向为例，该领域涉及激光雷达、毫米波雷达、摄像头等多种成像设备，生成的数据类型为二维图像、三维点云混合类型，同时需要面对各种天气、光照条件下的复杂外部环境，影响因素多种多样，探索联合多维度数据类型、针对特定应用领域、能够处理高复杂应用场景的点云去噪算法将是未来的重要发展趋势。
| [1] |
Wang Y, Zhang S S, Wan B L, et al. Point cloud and visual feature-based tracking method for an augmented reality-aided mechanical assembly system[J]. The International Journal of Advanced Manufacturing Technology, 2018, 99(9-12): 2341-2352. Doi:10.1007/s00170-018-2575-8 |
| [2] |
Mahmood B, Han S U, Lee D E. BIM-based registration and localization of 3D point clouds of indoor scenes using geometric features for augmented reality[J]. Remote Sensing, 2020, 12(14): 2302. Doi:10.3390/rs12142302 |
| [3] |
Zermas D, Izzat I, Papanikolopoulos N. Fast segmentation of 3D point clouds: a paradigm on LiDAR data for autonomous vehicle applications[C]//2017 IEEE International Conference on Robotics and Automation. May 29-June 3, 2017, Singapore. IEEE, 2017: 5067-5073. DOI: 10.1109/ICRA.2017.7989591.
|
| [4] |
Yuan W T, Khot T, Held D, et al. PCN: point completion network[C]//2018 International Conference on 3D Vision (3DV). September 5-8, 2018, Verona, Italy. IEEE, 2018: 728-737. DOI: 10.1109/3DV.2018.00088.
|
| [5] |
Wen X, Li T Y, Han Z Z, et al. Point cloud completion by skip-attention network with hierarchical folding[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). June 13-19, 2020, Seattle, WA, USA. IEEE, 2020: 1936-1945. DOI: 10.1109/CVPR42600.2020.00201.
|
| [6] |
Huang Z T, Yu Y K, Xu J W, et al. PF-net: point fractal network for 3D point cloud completion[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). June 13-19, 2020, Seattle, WA, USA. IEEE, 2020: 7659-7667. DOI: 10.1109/CVPR42600.2020.00768.
|
| [7] |
Landrieu L, Simonovsky M. Large-scale point cloud semantic segmentation with superpoint graphs[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18-23, 2018, Salt Lake City, UT, USA. IEEE, 2018: 4558-4567. DOI: 10.1109/CVPR.2018.00479.
|
| [8] |
Hu Q Y, Yang B, Xie L H, et al. RandLA-net: efficient semantic segmentation of large-scale point clouds[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). June 13-19, 2020, Seattle, WA, USA. IEEE, 2020: 11105-11114. DOI: 10.1109/CVPR42600.2020.01112.
|
| [9] |
Wang Y, Sun Y B, Liu Z W, et al. Dynamic graph CNN for learning on point clouds[J]. ACM Transactions on Graphics, 2019, 38(5): 1-12. Doi:10.1145/3326362 |
| [10] |
Chen W K, Han X G, Li G B, et al. Deep RBFNet: point cloud feature learning using radial basis functions[EB/OL]. arXiv: 1812.04302v2(2019-04-06)[2022-03-07]. https://arxiv.org/abs/1812.04302.
|
| [11] |
Shi S S, Wang X G, Li H S. PointRCNN: 3D object proposal generation and detection from point cloud[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). June 15-20, 2019, Long Beach, CA, USA. IEEE, 2019: 770-779. DOI: 10.1109/CVPR.2019.00086.
|
| [12] |
Lang A H, Vora S, Caesar H, et al. PointPillars: fast encoders for object detection from point clouds[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). June 15-20, 2019, Long Beach, CA, USA. IEEE, 2019: 12689-12697. DOI: 10.1109/CVPR.2019.01298.
|
| [13] |
Rusu R B, Cousins S. 3D is here: point cloud library (PCL)[C]//2011 IEEE International Conference on Robotics and Automation. May 9-13, 2011, Shanghai, China. IEEE, 2011: 1-4. DOI: 10.1109/ICRA.2011.5980567.
|
| [14] |
Kolluri R. Provably good moving least squares[J]. ACM Transactions on Algorithms, 2008, 4(2): 1-25. Doi:10.1145/1361192.1361195 |
| [15] |
Guennebaud G, Gross M. Algebraic point set surfaces[J]. ACM Transactions on Graphics, 2007, 26(3): 23-es. Doi:10.1145/1239451.1239474 |
| [16] |
Öztireli A C, Guennebaud G, Gross M. Feature preserving point set surfaces based on non-linear kernel regression[J]. Computer Graphics Forum, 2009, 28(2): 493-501. Doi:10.1111/j.1467-8659.2009.01388.x |
| [17] |
Lipman Y, Cohen-Or D, Levin D, et al. Parameterization-free projection for geometry reconstruction[J]. ACM Transactions on Graphics, 2007, 26(3): 22. Doi:10.1145/1276377.1276405 |
| [18] |
Huang H, Li D, Zhang H, et al. Consolidation of unorganized point clouds for surface reconstruction[J]. ACM Transactions on Graphics, 2009, 28(5): 1-7. Doi:10.1145/1618452.1618522 |
| [19] |
Huang H, Wu S H, Gong M L, et al. Edge-aware point set resampling[J]. ACM Transactions on Graphics, 2013, 32(1): 1-12. Doi:10.1145/2421636.2421645 |
| [20] |
Avron H, Sharf A, Greif C, et al. |
| [21] |
Sun Y J, Schaefer S, Wang W P. Denoising point sets via L0 minimization[J]. Computer Aided Geometric Design, 2015, 35/36: 2-15. Doi:10.1016/j.cagd.2015.03.011 |
| [22] |
Mattei E, Castrodad A. Point cloud denoising via moving RPCA[J]. Computer Graphics Forum, 2017, 36(8): 123-137. Doi:10.1111/cgf.13068 |
| [23] |
Yadav S K, Reitebuch U, Skrodzki M, et al. Constraint-based point set denoising using normal voting tensor and restricted quadratic error metrics[J]. Computers & Graphics, 2018, 74: 234-243. Doi:10.1016/j.cag.2018.05.014 |
| [24] |
Liu Z, Xiao X W, Zhong S S, et al. A feature-preserving framework for point cloud denoising[J]. Computer-Aided Design, 2020, 127: 102857. Doi:10.1016/j.cad.2020.102857 |
| [25] |
Schoenenberger Y, Paratte J, Vandergheynst P. Graph-based denoising for time-varying point clouds[C]//2015 3DTV-Conference: The True Vision-Capture, Transmission and Display of 3D Video (3DTV-CON). July 8-10, 2015, Lisbon, Portugal. IEEE, 2015: 1-4. DOI: 10.1109/3DTV.2015.7169366.
|
| [26] |
Gao X, Hu W, Guo Z M. Graph-based point cloud denoising[C]//2018 IEEE Fourth International Conference on Multimedia Big Data (BigMM). September 13-16, 2018, Xi 'an, China. IEEE, 2018: 1-6. DOI: 10.1109/BigMM.2018.8499090.
|
| [27] |
Roveri R, Öztireli A C, Pandele I, et al. PointProNets: consolidation of point clouds with convolutional neural networks[J]. Computer Graphics Forum, 2018, 37(2): 87-99. Doi:10.1111/cgf.13344 |
| [28] |
Rakotosaona M J, la Barbera V, Guerrero P, et al. PointCleanNet: learning to denoise and remove outliers from dense point clouds[J]. Computer Graphics Forum, 2020, 39(1): 185-203. Doi:10.1111/cgf.13753 |
| [29] |
Zhang D B, Lu X Q, Qin H, et al. Pointfilter: point cloud filtering via encoder-decoder modeling[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(3): 2015-2027. Doi:10.1109/TVCG.2020.3027069 |
| [30] |
Casajus P H, Ritschel T, Ropinski T. Total denoising: unsupervised learning of 3D point cloud cleaning[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). October 27-November 2, 2019, Seoul, Korea (South). IEEE, 2019: 52-60. DOI: 10.1109/ICCV.2019.00014.
|
| [31] |
Shepard D. A two-dimensional interpolation function for irregularly-spaced data[C]//ACM′68: Proceedings of the 1968 23rd ACM national conference. New York, NY: Association for Computing Machinery, 1968: 517-524. DOI: 10.1145/800186.810616.
|
| [32] |
Shen C, O′Brien J F, Shewchuk J R. Interpolating and approximating implicit surfaces from polygon soup[J]. ACM Transactions on Graphics, 2004, 23(3): 896-904. Doi:10.1145/1015706.1015816 |
| [33] |
Guennebaud G, Germann M, Gross M. Dynamic sampling and rendering of algebraic point set surfaces[J]. Computer Graphics Forum, 2008, 27(2): 653-662. Doi:10.1111/j.1467-8659.2008.01163.x |
| [34] |
Huang Z Y, Carr N, Ju T. Variational implicit point set surfaces[J]. ACM Transactions on Graphics, 2019, 38(4): 1-13. Doi:10.1145/3306346.3322994 |
| [35] |
Liao B, Xiao C X, Jin L Q, et al. Efficient feature-preserving local projection operator for geometry reconstruction[J]. Computer-Aided Design, 2013, 45(5): 861-874. Doi:10.1016/j.cad.2013.02.003 |
| [36] |
Preiner R, Mattausch O, Arikan M, et al. Continuous projection for fast L1 reconstruction[J]. ACM Transactions on Graphics, 2014, 33(4): 1-13. Doi:10.1145/2601097.2601172 |
| [37] |
Lu X Q, Wu S H, Chen H H, et al. GPF: GMM-inspired feature-preserving point set filtering[J]. IEEE Transactions on Visualization and Computer Graphics, 2018, 24(8): 2315-2326. Doi:10.1109/TVCG.2017.2725948 |
| [38] |
Candès E J, Li X D, Ma Y, et al. Robust principal component analysis?[J]. Journal of the ACM, 2011, 58(3): 1-37. Doi:10.1145/1970392.1970395 |
| [39] |
Chen H H, Wei M Q, Sun Y X, et al. Multi-patch collaborative point cloud denoising via low-rank recovery with graph constraint[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 26(11): 3255-3270. Doi:10.1109/TVCG.2019.2920817 |
| [40] |
Deutsch S, Ortega A, Medioni G. Manifold denoising based on spectral graph wavelets[C]//2016 IEEE International Conference on Acoustics, Speech and Signal Processing. March 20-25, 2016, Shanghai, China. IEEE, 2016: 4673-4677. DOI: 10.1109/ICASSP.2016.7472563.
|
| [41] |
Dinesh C, Cheung G, Bajic I V, et al. Fast 3D point cloud denoising via bipartite graph approximation & total variation[EB/OL]. arXiv: 1804.10831v1(2018-04-28)[2022-03-07]. https://arxiv.org/abs/1804.10831.
|
| [42] |
Zeng J, Cheung G, Ng M, et al. 3D point cloud denoising using graph Laplacian regularization of a low dimensional manifold model[J]. IEEE Transactions on Image Processing, 2020, 29: 3474-3489. Doi:10.1109/TIP.2019.2961429 |
| [43] |
Hu W, Gao X, Cheung G, et al. Feature graph learning for 3D point cloud denoising[J]. IEEE Transactions on Signal Processing, 2020, 68: 2841-2856. Doi:10.1109/TSP.2020.2978617 |
| [44] |
Levin D. The approximation power of moving least-squares[J]. Mathematics of Computation, 1998, 67(224): 1517-1531. Doi:10.1090/s0025-5718-98-00974-0 |
| [45] |
Levin D. Mesh-independent surface interpolation[C]//Geometric Modeling for Scientific Visualization. Berlin, Germany: Springer-Verlag, 2004: 37-49. DOI: 10.1007/978-3-662-07443-5_3.
|
| [46] |
Alexa M, Behr J, Cohen-Or D, et al. Computing and rendering point set surfaces[J]. IEEE Transactions on Visualization and Computer Graphics, 2003, 9(1): 3-15. Doi:10.1109/TVCG.2003.1175093 |
| [47] |
Amenta N, Kil Y J. The domain of a point set surfaces[C]//SPBG '04: Proceedings of the First Eurographics conference on Point-Based Graphics. Goslar, Germany: Eurographics Association, 2004: 139-147. DOI: 10.2312/SPBG/SPBG04/139-147.
|
| [48] |
Fleishman S, Cohen-Or D, Silva C T. Robust moving least-squares fitting with sharp features[J]. ACM Transactions on Graphics, 2005, 24(3): 544-552. Doi:10.1145/1073204.1073227 |
| [49] |
Alliez P, Cohen-Steiner D, Tong Y, et al. Voronoi-based variational reconstruction of unoriented point sets[C]//SGP′07: Proceedings of the fifth Eurographics symposium on Geometry processing, July 4-6, 2007, Barcelona, Spain. Goslar, Germany: Eurographics Association, 2007: 39-48.
|
| [50] |
Walder C, Chapelle O, Schölkopf B. Implicit surface modelling as an eigenvalue problem[C]//ICML′05: Proceedings of the 22nd international conference on Machine learning. New York, NY: Association for Computing Machinery, 2005: 936-939. DOI: 10.1145/1102351.1102469.
|
| [51] |
Hoppe H, DeRose T, Duchamp T, et al. Surface reconstruction from unorganized points[C]//Proceedings of the 19th annual conference on Computer graphics and interactive techniques-SIGGRAPH′92. Not Known. New York: ACM Press, 1992: 71-78. DOI: 10.1145/133994.134011.
|
| [52] |
Jones T R, Durand F, Zwicker M. Normal improvement for point rendering[J]. IEEE Computer Graphics and Applications, 2004, 24(4): 53-56. Doi:10.1109/MCG.2004.14 |
| [53] |
Myronenko A, Song X B. Point set registration: coherent point drift[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(12): 2262-2275. Doi:10.1109/TPAMI.2010.46 |
| [54] |
Candès E J, Romberg J, Tao T. Robust uncertainty principles: exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on Information Theory, 2006, 52(2): 489-509. Doi:10.1109/TIT.2005.862083 |
| [55] |
Donoho D L, Elad M, Temlyakov V N. Stable recovery of sparse overcomplete representations in the presence of noise[J]. IEEE Transactions on Information Theory, 2006, 52(1): 6-18. Doi:10.1109/TIT.2005.860430 |
| [56] |
Chan T F, Osher S, Shen J. The digital TV filter and nonlinear denoising[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2001, 10(2): 231-241. Doi:10.1109/83.902288 |
| [57] |
Xu L, Lu C W, Xu Y, et al. Image smoothing via L0 gradient minimization[J]. ACM Transactions on Graphics (TOG), 2011, 30(6): 1-12. Doi:10.1145/2070781.2024208 |
| [58] |
He L, Schaefer S. Mesh denoising via L0 minimization[J]. ACM Transactions on Graphics, 2013, 32(4): 1-8. Doi:10.1145/2461912.2461965 |
| [59] |
Candès E J, Recht B. Exact matrix completion via convex optimization[J]. Foundations of Computational Mathematics, 2009, 9(6): 717-772. Doi:10.1007/s10208-009-9045-5 |
| [60] |
Candès E J, Tao T. The power of convex relaxation: Near-optimal matrix completion[J]. IEEE Transactions on Information Theory, 2010, 56(5): 2053-2080. Doi:10.1109/TIT.2010.2044061 |
| [61] |
Hotelling H. Analysis of a complex of statistical variables into principal components[J]. Journal of Educational Psychology, 1933, 24(6): 417-441. Doi:10.1037/h0071325 |
| [62] |
Wold S, Esbensen K, Geladi P. Principal component analysis[J]. Chemometrics and Intelligent Laboratory Systems, 1987, 2(1/2/3): 37-52. Doi:10.1016/0169-7439(87)80084-9 |
| [63] |
Mateos G, Giannakis G B. Robust PCA as bilinear decomposition with outlier-sparsity regularization[J]. IEEE Transactions on Signal Processing, 2012, 60(10): 5176-5190. Doi:10.1109/TSP.2012.2204986 |
| [64] |
Li B, Liu R S, Cao J J, et al. Online low-rank representation learning for joint multi-subspace recovery and clustering[J]. IEEE Transactions on Image Processing, 2018, 27(1): 335-348. Doi:10.1109/TIP.2017.2760510 |
| [65] |
Xie X Y, Wu J L, Liu G C, et al. Matrix recovery with implicitly low-rank data[J]. Neurocomputing, 2019, 334: 219-226. Doi:10.1016/j.neucom.2019.01.030 |
| [66] |
Yan H, Paynabar K, Shi J J. Image-based process monitoring using low-rank tensor decomposition[J]. IEEE Transactions on Automation Science and Engineering, 2015, 12(1): 216-227. Doi:10.1109/TASE.2014.2327029 |
| [67] |
Tsuchie S, Higashi M. Surface mesh denoising with normal tensor framework[J]. Graphical Models, 2012, 74(4): 130-139. Doi:10.1016/j.gmod.2012.03.010 |
| [68] |
Wei M Q, Liang L M, Pang W M, et al. Tensor voting guided mesh denoising[J]. IEEE Transactions on Automation Science and Engineering, 2017, 14(2): 931-945. Doi:10.1109/TASE.2016.2553449 |
| [69] |
Park M K, Lee S J, Lee K H. Multi-scale tensor voting for feature extraction from unstructured point clouds[J]. Graphical Models, 2012, 74(4): 197-208. Doi:10.1016/j.gmod.2012.04.008 |
| [70] |
Zhang J, Cao J J, Liu X P, et al. Point cloud normal estimation via low-rank subspace clustering[J]. Computers & Graphics, 2013, 37(6): 697-706. Doi:10.1016/j.cag.2013.05.008 |
| [71] |
Zhang J, Cao J J, Liu X P, et al. Multi-normal estimation via pair consistency voting[J]. IEEE Transactions on Visualization and Computer Graphics, 2019, 25(4): 1693-1706. Doi:10.1109/TVCG.2018.2827998 |
| [72] |
Yadav S K, Reitebuch U, Polthier K. Mesh denoising based on normal voting tensor and binary optimization[J]. IEEE Transactions on Visualization and Computer Graphics, 2018, 24(8): 2366-2379. Doi:10.1109/TVCG.2017.2740384 |
| [73] |
Liu Z, Zhong S S, Xie Z, et al. A novel anisotropic second order regularization for mesh denoising[J]. Computer Aided Geometric Design, 2019, 71: 190-201. Doi:10.1016/j.cagd.2019.04.013 |
| [74] |
Zheng Y L, Li G Q, Xu X M, et al. Rolling normal filtering for point clouds[J]. Computer Aided Geometric Design, 2018, 62: 16-28. Doi:10.1016/j.cagd.2018.03.004 |
| [75] |
Hammond D K, Vandergheynst P, Gribonval R. Wavelets on graphs via spectral graph theory[J]. Applied and Computational Harmonic Analysis, 2011, 30(2): 129-150. Doi:10.1016/j.acha.2010.04.005 |
| [76] |
Osher S, Shi Z Q, Zhu W. Low dimensional manifold model for image processing[J]. SIAM Journal on Imaging Sciences, 2017, 10(4): 1669-1690. Doi:10.1137/16m1058686 |
| [77] |
Deutsch S, Ortega A, Medioni G. Robust denoising of piece-wise smooth manifolds[C]//2018 IEEE International Conference on Acoustics, Speech and Signal Processing. April 15-20, 2018, Calgary, AB, Canada. IEEE, 2018: 2786-2790. DOI: 10.1109/ICASSP.2018.8462113.
|
| [78] |
Verdoja F, Thomas D, Sugimoto A. Fast 3D point cloud segmentation using supervoxels with geometry and color for 3D scene understanding[C]//2017 IEEE International Conference on Multimedia and Expo. July 10-14, 2017, Hong Kong, China. IEEE, 2017: 1285-1290. DOI: 10.1109/ICME.2017.8019382.
|
| [79] |
dal Mutto C, Zanuttigh P, Cortelazzo G M. Fusion of geometry and color information for scene segmentation[J]. IEEE Journal of Selected Topics in Signal Processing, 2012, 6(5): 505-521. Doi:10.1109/JSTSP.2012.2194474 |
| [80] |
Irfan M A, Magli E. Joint geometry and color point cloud denoising based on graph wavelets[J]. IEEE Access, 2021, 9: 21149-21166. Doi:10.1109/ACCESS.2021.3054171 |
| [81] |
Irfan M A, Magli E. 3D point cloud denoising using a joint geometry and color k-NN graph[C]//2020 28th European Signal Processing Conference (EUSIPCO). January 18-21, 2021, Amsterdam, Netherlands. IEEE, 2021: 585-589. DOI: 10.23919/Eusipco47968.2020.9287341.
|
| [82] |
Zhang X, Cheung G, Pang J H, et al. Graph-based depth denoising & dequantization for point cloud enhancement[EB/OL]. arXiv: 2111.04946v1(2021-11-09)[2022-03-07]. https://arxiv.org/abs/2111.04946.
|
| [83] |
Pistilli F, Fracastoro G, Valsesia D, et al. Learning graph-convolutional representations for point cloud denoising[C]//ECCV 2020: 16th European Conference, August 23-28, 2020, Glasgow, UK. Berlin, Heidelberg: Springer-Verlag, 2020: 103-118. DOI: 10.1007/978-3-030-58565-5_7.
|
| [84] |
Luo S T, Hu W. Differentiable manifold reconstruction for point cloud denoising[C]//MM′20: Proceedings of the 28th ACM International Conference on Multimedia, October 12-16, 2020, Seattle, WA, USA. New York, NY: Association for Computing Machinery, 2020: 1330-1338. DOI: 10.1145/3394171.3413727.
|
| [85] |
Luo S T, Hu W. Score-based point cloud denoising[C]//2021 IEEE/CVF International Conference on Computer Vision (ICCV). October 10-17, 2021, Montreal, QC, Canada. IEEE, 2021: 4563-4572. DOI: 10.1109/ICCV48922.2021.00454.
|
| [86] |
Yu L Q, Li X Z, Fu C W, et al. Ec-net: an edge-aware point set consolidation network[EB/OL]. arXiv: 1807.06010v1(2018-07-16)[2022-03-07]. https://arxiv.org/abs/1807.06010.
|
| [87] |
Regaya Y, Fadli F, Amira A. Point-Denoise: Unsupervised outlier detection for 3D point clouds enhancement[J]. Multimedia Tools and Applications, 2021, 80(18): 28161-28177. Doi:10.1007/s11042-021-10924-x |
| [88] |
Zhang Z W, Cui P, Zhu W W. Deep learning on graphs: a survey[J]. IEEE Transactions on Knowledge and Data Engineering, 2022, 34(1): 249-270. Doi:10.1109/TKDE.2020.2981333 |
| [89] |
Zhou J, Cui G Q, Hu S D, et al. Graph neural networks: a review of methods and applications[J]. AI Open, 2020, 1: 57-81. Doi:10.1016/j.aiopen.2021.01.001 |
| [90] |
Simonovsky M, Komodakis N. Dynamic edge-conditioned filters in convolutional neural networks on graphs[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017: 29-38. DOI: 10.1109/CVPR.2017.11.
|
| [91] |
Hyvärinen A. Estimation of non-normalized statistical models by score matching[J]. Journal of Machine Learning Research, 2005, 6: 695-709. |
| [92] |
Vincent P. A connection between score matching and denoising autoencoders[J]. Neural Computation, 2011, 23(7): 1661-1674. Doi:10.1162/NECO_a_00142 |
| [93] |
Song Y, Ermon S. Generative modeling by estimating gradients of the data distribution[EB/OL]. arXiv: 1907.05600v3(2020-10-10)[2022-03-07]. https://arxiv.org/abs/1907.05600.
|
| [94] |
Cai R J, Yang G D, Averbuch-Elor H, et al. Learning gradient fields for shape generation[EB/OL]. arXiv: 2008.06520v2(2020-08-18)[2022-03-07]. https://arxiv.org/abs/2008.06520.
|
| [95] |
Yu L Q, Li X Z, Fu C W, et al. PU-net: Point cloud upsampling network[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18-23, 2018, Salt Lake City, UT, USA. IEEE, 2018: 2790-2799. DOI: 10.1109/CVPR.2018.00295.
|
| [96] |
Lehtinen J, Munkberg J, Hasselgren J, et al. Noise2Noise: learning image restoration without clean data[EB/OL]. arXiv: 1803.04189v3(2018-10-29)[2022-03-07]. https://arxiv.org/abs/1803.04189.
|
| [97] |
Krull A, Buchholz T O, Jug F. Noise2Void: learning denoising from single noisy images[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). June 15-20, 2019, Long Beach, CA, USA. IEEE, 2019: 2124-2132. DOI: 10.1109/CVPR.2019.00223.
|
| [98] |
Batson J, Royer L. Noise2Self: blind denoising by self-supervision[EB/OL]. arXiv: 1901.11365v2(2019-06-08)[2022-03-07]. https://arxiv.org/abs/1901.11365.
|
| [99] |
Hermosilla P, Ritschel T, Vázquez P P, et al. Monte Carlo convolution for learning on non-uniformly sampled point clouds[J]. ACM Transactions on Graphics, 2018, 37(6): 1-12. Doi:10.1145/3272127.3275110 |
| [100] |
Chang A X, Funkhouser T, Guibas L J, et al. ShapeNet: an information-rich 3D model repository[EB/OL]. arXiv: 1512.03012v1(2015-12-09)[2022-03-07]. https://arxiv.org/abs/1512.03012.
|
| [101] |
Wu Z R, Song S R, Khosla A, et al. 3D ShapeNets: a deep representation for volumetric shapes[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition. June 7-12, 2015, Boston, MA, USA. IEEE, 2015: 1912-1920. DOI: 10.1109/CVPR.2015.7298801.
|