0 引言

随着公路交通建设的快速发展，道路维护与管理问题日趋突出。因此，检测路面破损情况对道路维护来说是一项至关重要的工作，而传统的人工检测早已不能满足道路交通发展的要求。随着图像处理技术的不断发展，基于图像处理的路面破损自动检测方法不断涌现。文献[1]提出了用不变矩特征来识别沥青路面破损图像；文献[2]提出了基于混合密度因子的路面破损图像识别方法；文献[3]使用Beamlet变换提取路面裂缝的线性特征后用神经网络进行分类；文献[4]利用中值滤波和Hessian矩阵的多线性滤波器对路面图像预处理后再自动检测路面裂缝；文献[5]使用小波变换结合神经网络检测路面裂缝类别；文献[6-7]提出了利用连通域的方法来提取裂缝；文献[8]提出了用几何特征来识别水泥刻槽；文献[9-10]提出了利用支持向量机来识别路面裂缝；文献[11]提出了利用双相扫描检测来识别三维裂缝。在多数路面破损图像的自动识别中，通常是采用某种方法提取路面图像的特征，然后用BP (Back Propagation)神经网络、支持向量机(Support Vector Machine，SVM)、K近邻(K-Nearest Neighbor，KNN)和极限学习机(Extreme Learning Machine，ELM)^[12]等方法进行识别。路面破损图像的特征提取对识别至关重要，是自动检测的关键。

目前，用于描述路面破损的特征主要有二值图像的投影、不变矩、纹理、密度因子等^[13]。由于路面破损图像的复杂性、噪声的影响和这些特征的局限性，使用单一特征很难充分描述路面破损图像的全部信息，而且特征的物理意义也不太明显。多种特征的线性组合虽然在一定程度上提高了识别精度，但忽视了非线性的特征信息，丢失了多特征间的内在联系，同时增加了数据的维数，可能会导致维数灾难，这些问题都对分类结果造成了影响。为此引入流形学习对多种特征进行融合^[14-16]，以获取路面破损图像的本质特征。

流形学习的目标是发现隐藏在高维数据中的低维流形，它在图像处理、数据挖掘、机器学习、模式识别等领域得到了广泛应用^[17]。目前，具有代表性的流形学习方法有等距映射法(Isometric Feature Mapping, ISOMAP)^[18]、局部线性嵌入法(Locally Linear Embedding, LLE)^[19]、拉普拉斯特征映射法(Laplacian Eigenmaps, LE)^[20]和局部切空间校正法(Local Tangent Space Alignment，LTSA)^[21]等。在多数流形学习算法中，都需要确定样本的k个近邻，为了利用流形学习获得高维数据的本质特征，选择合适的距离措施来选择邻域是非常重要的，4.2中的试验也说明了这一点。

为了较为充分地描述路面破损图像的信息，发掘多种特征之间的内在联系，避免组合多种特征导致的维数灾难问题，本文提出一种基于流形学习的路面破损图像多特征融合方法，使用不同的分类方法对融合后的特征进行分类，以有效地提高路面破损图像的分类精度，实现高维数据的可视化。

1 路面破损图像特征提取方法

常见的路面破损情况有横向裂缝、纵向裂缝、网状裂缝、块状裂缝和坑槽等。特征提取是实现路面破损图像自动检测的关键。本文使用投影、混合密度因子和二阶不变矩3种特征提取方法，提取8个路面破损图像特征。

1.1 投影理论

路面裂缝的二值图像投影既降低了原始图像的维数，又反映了目标的分布情况。对路面破损图像二值化处理后，分别使用1和0作为破损区域和背景区域的像素值。设路面破损图像的二值图像为G，用g(i, j)表示像素值，大小为M×N，图像G在x轴和y轴上的投影量分别为^[13]：

(1)

(2)

由于横向裂缝和纵向裂缝在x轴与y轴的投影量最大差值相对较大，其他类别裂缝的最大差值较小，所以把二值图像在x轴与y轴的投影量最大差值作为路面破损图像的特征，记为(C₁, C₂)，其计算公式^[13]分别为：

(3)

(4)

1.2 混合破损密度因子

混合破损密度因子^[22]是一种基于路面图像子块的方法，文献[2]中提出了破损密度因子分别为1×3，3×3，5×5的模板算子，如图 1所示。扫描0，1子块化后的路面图像，对于0子块，不做处理；对于1子块，使用模板算子与其进行卷积。利用3个模板算子与二值化图像分别进行卷积后得到S₁，S₃，S₅。设原二值化路面图像中1子块的总和为S₀，并把S₀作为一个路面破损图像特征记为C₃，把S₀与卷积的计算结果作为路面破损图像的特征，记为(C₄, C₅, C₆)，其计算公式如下^[2]：

(5)

(6)

(7)

本文利用破损密度因子与二值化处理后的二值矩阵直接进行卷积运算，得到上述4个特征。

1.3 二阶不变矩

基于二阶矩的不变矩表示二维目标图像的大小和方向，可以较好地区分网状裂缝和块状裂缝^[23]。因此本文选取Hu不变矩的二阶不变矩φ₁和φ₂作为路面破损图像的特征，记为(C₇, C₈)。设f(x, y)为图像的二维函数，大小为M×N，其二阶不变矩定义如下^[23]：

(8)

(9)

式中η_pq为归一化的中心矩，计算公式为：

(10)

式中μ_pq为中心矩。

2 流形学习算法

本文利用流形学习实现多种路面破损图像特征的融合和可视化，下面简要介绍试验中用到的几种流形学习算法。

2.1 ISOMAP算法

ISOMAP算法的主要思想是用测地线距离来代替欧氏距离，其步骤如下^[18]：

(1) 构建邻域图。计算所有样本点之间的距离，选择k个最近邻或某个邻域半径γ内的所有点作为邻域。

(2) 估计测地线距离。若两个样本为近邻，则测地线距离即为输入空间的距离；若样本点为非近邻关系，则测地线距离用邻域图上两点间的最短路径近似。

(3) 应用多维尺度分析法计算d维嵌入。

2.2 LLE算法

LLE算法的基本思想是假设每个样本和它的近邻点在一个线性的或者近似线性的局部区域中，其步骤如下^[19]：

(1) 确定邻域。采用与ISOMAP算法中相同的方法来确定每个样本的邻域。

(2) 计算重构权值矩阵。重构权值矩阵W可以通过在最小二乘意义下最小化每个样本点重构误差计算得到。

(3) 构造低维嵌入。通过极小化损失函数ε(Y)=来得到低维嵌入。

2.3 LE算法

LE算法的主要目标是使得高维空间中距离很近的点在低维空间中也离得很近，其步骤如下^[20]：

(1) 构建邻域图。采用与ISOMAP算法中相同的方法来确定每个样本的邻域。

(2) 计算权值矩阵W。利用热核方程或者简单方法确定权值。

(3) 计算低维坐标。通过求解推广的特征值问题来得到低维坐标。

2.4 LTSA算法

LTSA算法利用局部邻域的切空间表示样本的邻域，构建样本的局部切空间，最后排列切空间来获取全局的低维坐标。LTSA算法的步骤如下^[21]：

(1) 确定邻域。采用与ISOMAP算法中相同的方法来确定每个样本的邻域。

(2) 构建局部切空间。利用奇异值分解中心化后的邻域矩阵，得到局部切空间坐标。

(3) 获取全局低维嵌入坐标。排列局部坐标获得全局最优的低维嵌入坐标。

3 基于流形学习的多特征融合

在路面破损图像自动识别中，通常通过组合多种特征来提高识别精度。组合多种特征一方面增加了特征数据的维数，另一方面丢失了多种特征之间的内在联系。因此，有必要对路面破损图像识别中的多种特征进行内在融合，发现其物理意义，而不是简单地进行线性组合。

多种特征组合后的数据可以看作是嵌入在高维空间中的低维流形，利用流形学习可以发现其内在结构。为此，将特征融合与流形学习相结合，提出了一种基于流形学习的多特征融合方法。该方法利用流形学习将组合后的高维特征数据映射到低维空间中，提取路面破损图像的本质特征，实现多种特征的内在融合，并对融合后的低维特征进行裂缝识别，最后利用低维特征实现路面破损图像的可视化。基于流形学习的多特征融合模型如图 2所示。

为了得到有利于路面破损图像自动检测的特征，在该模型中需要对路面破损图像做下列处理。

(1) 预处理。利用直方图均衡化对图像进行增强，然后使用中值滤波对路面破损图像去噪，再经过二值化处理得到二值化图像。

(2) 特征提取。利用不同的路面破损图像特征提取方法对预处理后的二值化图像提取特征。该模型中分别应用投影理论、混合密度因子、二阶不变矩3种特征提取方法从预处理后的二值图像中提取特征，得到2个投影特征、4个密度因子特征和2个二阶不变矩特征，将这8个特征组成特征向量，记为C=(C₁, C₂, C₃, C₄, C₅, C₆, C₇, C₈)。对待处理的图像提取特征，得到包含N个样本的数据集T={T₁, T₂, …, T_N}，每个T_i都是1个八维的特征向量。

(3) 多特征融合。利用流形学习方法提取路面破损图像的本质特征，将八维的多特征数据映射为二维特征，流形学习方法可以使用ISOMAP、LLE、LE和LTSA等。后面的试验表明用LE算法提取数据的低维特征识别效果最好，同时用相交距离选择邻域比用欧式距离选择邻域更加有效。从直方图相交算法得到相交距离的定义如下：

(11)

式中，T_i, T_j∈T为数据集中的样本点；T_ik和T_jk分别为第i个和第j个样本的第k个属性；m为特征向量中的特征个数，在试验中m=8。

获得低维特征后可以完成下列任务：

(1) 识别路面破损图像的类别。可以利用ELM，KNN，SVM和BP神经网络等分类器以融合后的低维特征作为输入参数，识别破损类别。

(2) 路面破损图像的可视化。将融合后的低维特征映射到低维空间中，实现高维数据的可视化，分析每个特征的物理含义。

(3) 分析路面破损程度。路面破损图像可视化后，根据每个特征的物理含义和其在裂缝类别分布图中的分布情况，可以定性分析路面图像的破损程度。

4 结果与讨论

为了验证所提方法的有效性，在实际采集的路面破损图像数据集上进行测试。数据集中包含360幅路面破损图像，分为4类，分别为横向裂缝、纵向裂缝、网状裂缝和块状裂缝，每类都包含90幅图像。在试验中首先对每幅图像进行预处理，预处理过程包括直方图均衡化、中值滤波和二值化，预处理后得到360幅二值图像作为后续试验数据。

试验包括4部分：多种特征组合对识别精度的影响、不同流形学习方法的比较及参数选择、基于流形学习的多特征融合有效性验证、路面破损图像的可视化分析。在试验中使用三折交叉验证法进行测试，将数据集分成3组，其中1组作为测试集，另外两组作为训练集，轮流进行，取3次测试的平均值作为最终结果。

4.1 多种特征组合对识别精度的影响

为了验证多种特征组合后能否提高分类精度，首先对预处理后的图像分别提取投影特征、混合密度因子特征和二阶不变矩特征，然后用不同分类方法对单一特征进行识别，再对3种特征进行不同方式的组合后分类，分类方法包括ELM，KNN，SVM和BP神经网络，结果如表 1所示。试验中，ELM的隐含层参数h=21；KNN的近邻个数k=5；SVM模型类型采用v-SVC模型，核函数采用径向基核函数(Radial Basis Function，RBF)，参数n=0.4，g=0.008 4；BP神经网络迭代1 000次，学习率η=0.1。

从表 1可以看出，使用ELM，SVM和BP神经网络分类器对单类特征的分类精度低于两两组合的精度，而3种特征组合的精度又高于两两组合的结果；KNN分类器对投影特征和混合密度因子特征分别与不变矩组合的分类精度和单独使用投影特征分类结果相同，但3种特征组合的分类精度要高于其他特征组合方式的结果。由此说明，可以通过组合多种路面破损图像特征来提高分类精度。

4.2 不同流形学习方法的比较及参数选择

流形学习算法中有两个参数需要确定，一个是邻域参数k，另一个是本征维数d。在此，用试验来确定这两个参数，同时比较不同流形学习方法融合多种特征的效果。

首先，比较不同邻域参数k对流形学习方法的影响，并估计本征维数d，以LE算法为例来说明。利用LE算法对组合3种特征得到的八维数据进行融合，选取d=2和d=3，用KNN分类器对二维和三维特征分别进行裂缝类别识别，结果如表 2所示。试验中，KNN分类器的近邻个数为5，执行LE算法时采用相交距离选择邻域，k∈[3, 12]。

从表 2中可以看出，邻域参数k在取值范围内都获得了较好的结果，而且维数d=2和d=3相差不大。因此，k可以在3~12之间选择，d可以选择2。在后面的试验中，LE算法中k=5。同样可得到ISOMAP算法中k=11，LLE算法中k=10，由于LTSA邻域参数小于23时出现奇异矩阵，所以LTSA算法中取k=25。

为了比较不同的流形学习算法融合多特征的效果，采用ISOMAP，LLE，LE和LTSA这4种流形学习算法分别对组合3种特征得到的八维数据进行融合，本征维数d取2和3。同时为了比较采用不同距离措施选择邻域对分类结果的影响，在流形学习方法中分别使用欧氏距离和相交距离选择邻域。用KNN分类器对多种流形学习方法提取的特征进行分类，比较其结果，试验结果如表 3所示。在试验中，KNN分类器的近邻个数为5。

表 3中的试验结果表明，整体上4种流形学习方法中选择相同的维数d，使用相交距离选择邻域比欧氏距离具有更高的识别精度；在距离措施相同的条件下，采用三维特征的识别精度要高于二维的。不管采用哪种距离措施和选择几维数据作为特征，多数情况下利用LE算法融合多种特征的识别精度均高于其他流形学习方法，而且也远高于3种特征组合后直接分类的结果。同时LE算法使用相交距离选择邻域，d=2时，识别精度与三维非常相近。

结合表 2和表 3，在后面的试验中采用LE算法对多特征进行融合，低维维数d选取2，用相交距离选择邻域。

4.3 基于流形学习的多特征融合

为了进一步验证所提方法的有效性，首先利用LE方法从3种特征组合后的八维数据中提取出二维特征，然后使用上述4种分类器识别破损类别，最后计算各个类别的召回率、查准率、F值和总的分类精度。试验中各参数选择与4.1和4.2中相同，结果如表 4~表 7所示。

表 4~表 7中的试验结果表明，与组合3种特征直接分类相比，经过LE算法降维融合后，4种类别的路面裂缝具有更高的召回率、查准率和分类精度，尤其是极大地提高了纵向裂缝和块状裂缝的召回率、横向裂缝和网状裂缝的查准率。经过LE算法融合后得到的二维特征数据具有更强的鲁棒性，采用4种分类器都能得到较高的识别精度。

4.4 路面破损图像的可视化

在试验中，使用LE算法对提取的3种路面破损图像特征组合成的八维特征向量进行融合，得到一个全新的二维特征向量，将此二维特征向量映射到二维空间中，得到如图 3所示的4类路面裂缝分布图。

在图 3中，4个类别的裂缝分别处于不同的区域中。通过对照二维分布图和路面破损图像可以看出，第1维特征(水平方向坐标)可以表示裂缝的破损程度和多向裂缝线条的复杂程度，随着水平方向坐标的增大，裂缝由块状逐渐变成网状，裂缝数越来越多，并且裂缝随着坐标值的增大其破损程度也增大。点D2，D1，C2，C1对应的路面图像为图 4(a)~(d)。第2维特征(垂直方向坐标)表示裂缝方向，随着坐标值的增大，裂缝类别由横向裂缝逐渐向纵向裂缝变化，如点A2，A1，B2，B1，其对应的路面图形为图 4(e)~(h)。从路面破损图像的二维分布图不但可以看出图像所属的破损类别，而且可以看出路面的破损程度，因此可以利用第1维特征来定性分析路面的破损程度，当达到一定的阈值后再具体计算其破损面积、大小等。

5 结论

路面破损情况检测为道路维护工作提供了重要依据。由于路面破损种类多样，图像噪音复杂，很难用单一特征来充分描述路面破损图像的信息。针对路面破损图像识别中特征提取方法的多样性和线性特征组合的高维度问题，提出了一种基于流形学习的路面破损图像多特征融合方法，利用流形学习方法将多种特征融合在一起，实现了路面破损图像的可视化。试验结果表明，利用流形学习方法融合3种特征后提高了各类裂缝的召回率、查准率，尤其是极大地提高了纵向裂缝和块状裂缝的召回率、横向裂缝和网状裂缝的查准率，从而极大地提高了识别精度。以LE算法利用4种流形学习方法融合多种特征，得到了最好的结果。利用LE算法融合后得到的二维特征具有更强的鲁棒性，采用4种分类器都能得到较高的识别精度。利用LE算法融合多种特征时使用相交距离选择邻域比欧氏距离具有更高的识别精度。同时，通过可视化二维特征得到了特征的物理含义，为破损程度的定性分析提供了一个简单的依据。下一步的工作是将所提出的多特征融合方法应用在实际的路面破损图像检测系统中，检测其效果。