据不完全统计，路桥的损坏90%以上是由裂缝引起的，作为路桥初级病害，坑洞、裂缝的检测和处理对于公路养护管理具有非常重要的意义。而在道路管理和养护方面专业技术人员缺乏、养护经费方面投入有限的情况下，道路桥梁的巡检周期通常比较长，不及时进行精细检测会导致路桥破损程度加剧及养护费用进一步增加^[1]。因此，研究路桥病害特性和自动化检测方法，对于快速检测病害、建立起路桥病害预警系统、指导路桥及时检修、降低道路养护成本、延长道路使用寿命具有重要意义。

路桥病害的检测已经从主要依靠人工巡检和目视判断过渡至自动检测和人工辅助相结合，如借助移动测量检测车，通过搭载多镜头和GPS/POS等传感器采集路面信息。但检测车只能获取路面的病害信息，对于道路桥梁侧面或桥墩等结构处的勘测依然需要有经验的检测员目视判断和人工量测，成本高耗时长且安全度小。近空六旋翼无人机能够贴近桥梁飞行，并从人工难以到达的高空视角来观测路桥，轻松拍摄到高精度的路桥侧面和桥墩影像，减少检测员的时间成本并降低检测的危险性^[2]。本文利用传回地面工作站的无人机影像研究先进的路桥影像病害检测方法，实现病害的高效定位和信息提取。

1 研究现状

国内外研究路桥病害检测的方法主要有：① 基于显著性和统计特性：Zou提出了用张量投票建立概率图，从概率图上标记种子点，并通过图模型来代表种子，循环扫描树边缘修剪来定义理想的裂缝^[3]；② 基于模板匹配：Xu将裂缝种子模板用8×8的像素表示，并通过裂缝种子的位置和方向判断是否归属于同一条裂缝^[4]；③ 基于阈值分割：Li提出了一种利用F^* Seed growing方法来自动化提取裂缝线^[5]，Koch基于形状阈值直方图将图像分割为缺失和非缺失区域提取坑洞^[6]；④ 基于小波变换：Sun用多尺度小波变换移除路面不规则背景提取道路裂缝^[7]；⑤ 机器学习方法：钱彬以子块为单位，根据裂缝呈现的稀疏特性，并结合深度学习采用稀疏自编码SAE对局部子块进行学习，识别提取出裂缝子块^[8]。总体来看，目前路桥病害的检测主要是基于阈值或边缘，但无人机拍摄到的影像中可能存在汽车、行人、水渍、阴影等复杂物体，真实复杂场景下的路桥病害检测目前为止并没有很好的解决办法^[9]。检测难度主要体现在：现有方法很难区分裂缝和其他结构性地物或物体的边缘；线状裂缝等病害在无人影像中占比面积非常小，特征不明显且形状不固定。

在充分理解无人机影像特征和病害特征的基础上，本文利用路桥病害的背景信息和结构特性，提出一种基于多部件形变模型的路桥病害检测方法。首先采用基于弱监督分类的多部件形变模型^[10]，通过自动发现训练数据的有效区域来提高清晰度，训练获取常规视觉元素和显著对象，并结合标准全局特征生成具有多尺度的模型，高效地进行无人机路桥病害的检测与识别。

2 路桥病害检测方法

路桥病害的检测主要分为病害多部件模型和病害检测两个步骤，首先利用路桥病害影像数据训练病害模型，然后根据生成的病害模型检测无人机影像数据，检测出路桥病害。

2.1 病害建模

多部件形变模型由覆盖整目标的根滤波器和n个高分辨率的部件滤波器构成。根滤波器定位目标位置描述总体特征，部件滤波器描述目标的细部特征和形状走势。实际使用中，裂缝可以根据弯曲程度和走向分为多个方向的子模型，结合不同子模型之间的空间关系可以很好地描述裂缝的结构，也充分利用了路面背景特征。

2.1.1 特征金字塔

为了提高裂缝模型的泛化能力，在不同尺度实现目标的特征和形状的表达，本文采用改进的多尺度HOG特征金字塔。计算出局部图像的一阶微分图像梯度后，每个像素的梯度方向离散到p=9个方向通道上，将像素级特征聚合来获得基于cell的特征映射C (i, j)，对特征向量C (i, j)用了4种不同的归一化因子，即

每个因子都是对包含(i, j)在内的4个cell组成的block的梯度能量的度量。对基于cell的特征映射C进行归一化并截断，串起来得到HOG特征映射。对特征向量作PCA分析、归一化和限幅，最终获得表达特征向量的三维特征。金字塔的最小单位是cell，分辨率从上到下由低到高，金字塔上层可以大范围捕捉粗糙的梯度直方图和特征，底层捕捉到的主要是精细尺度特征直方图和局部特征。

2.1.2 多部件形变模型

一个有n个部件的目标模型被定义为(n+2) 维向量, 其中F₀表示根滤波，P_i表示第i部件的模板，b为真实偏项。引入b是为了在将多个模型组成混合模型时，使多个模型的得分具有可比性。第i部件的模板定义为(F_i, v_i, d_i)，其中F_i是第i部件的滤波器，v_i是第i部件相对于根位置的二维向量，d_i是与锚位相关的每个可能位置形变损失的四维相关系数。

空间位置的得分是每个部件滤波器的位置得分减去形变损失再加上偏移，形变损失由每个部件滤波器和根滤波器的相对位置关系决定。空间位置得分z的表达式如下

空间位置的得分也可以表示为z=β·ψ(H, z)，即模型参数向量β和向量ψ(H, z)的点积，可以通过训latent SVM框架求取模型的根滤波器和部件滤波器。

2.2 模型参数训练

假定图像为I，预测裂缝区域为B，正样本为P，负样本为N，总样本集D为正负样本之和；假定裂缝结构模型为M，β定义为模型参数；令每个(x, y)∈D均对应一张图像和特征金字塔H (x)。正样本(I, B)∈P意味着目标检测器在B处高于阈值，预测B处存在裂缝；在负样本N上，不存在裂缝区域。在正样本中根滤波器和部件滤波器的位置看作隐藏变量，在训练中学习，训练时允许根滤波器的位置存在不确定性，一定程度上提高了系统的泛化能力和表现。

训练所需要的数据为正样本集P={(I₁, B₁), (I₂, B₂)，…, (I_n, B_n)}、负样本集N={J₁, J₂，…, J_m}和初始模型，训练结果为新模型参数β，训练过程为：

(1) 在指定的迭代次数下(如5000次)，循环训练。

(2) 假设特征向量集F_p=φ，在正样本集P上循环detect-best (β, I_i, B_i)发现I上根滤波值最高的地方并将结果存储在F_p中。

(3) 假设向量集F_n=φ，在负样本集N上循环detect-best(β, I_i, B_i)发现根位置，选择得分高于t的存储在F_n中。

(4) β=gradient-descent (F_p∪F_n)，用训练出的特征向量集F_p和F_n训练模型向量β。

模型训练在构造latent SVM中进行参数学习，用坐标下降法和梯度下降公式作用于缓存的特征向量上。但训练模型时使用坐标下降算法容易受到局部最小值的影响，对初始化很敏感，需要择优选取训练数据。

2.3 病害区域检测

基于无人机影像的检测方法的主要思路为:首先建立无人机影像的全局hog特征金字塔；然后采用滑动窗口法，将病害模板在各个尺度上进行全图搜索；最后将高响应值区域判定为病害。目标总体得分为

用动态规划和广义距离变换来计算部件的最佳位置，每一层根位置的综合响应值可以表示为该层根滤波器响应值加上经过变换和子采样的部件滤波器响应值，在l层的综合响应值得分为

一般将病害模板在全图的综合响应值得分按照从高到低的顺序排列，得分越高表示为病害区域的可能性越大。本试验将检测出的大于给定阈值的高分区域判定为病害区域。

3 试验开展 3.1 试验数据

本试验的数据集由正样本集P、负样本集N和检测影像集H组成，且模型训练数据集D=P∪N。正样本集N为手持相机在北京海淀区道路路面拍摄采集到的99张带有裂缝的影像，通过手工标注出病害目标的外接矩阵；负样本集P为从PASCAL样例集中随机选取出的460张影像；检测影像集H为无人机在试验场地飞行拍摄的无人机拍摄得到100幅道路桥梁数据。注意到D和H完全不同，主要有两方面的原因：一是训练样本要有一定的数量和多样性，而无人机病害影像数据缺乏，需要手持拍摄补充；二是在实际场景检测多部件形变模型的应用效果，通过计算泛化误差来评估泛化特性。

模型训练是在2.8 GB CPU的Ubuntu系统下进行的，平台为Matlab R2014a；病害检测是在VS2013平台下用C++实现，单张影像的检测速度在1 s以内。

3.2 模型训练

准备好模型训练需要的数据后，通过latent SVM模型对正负样本数据进行训练，将标准SVM的最大化样本间距扩展为最大化样本集间距，将正样本集中响应度最高的样本区域用作训练，同样取负样本集中离分界面最近的负样本用作训练。路桥表层主要病害类型为线状裂缝、网状裂缝、坑洞等，本试验中选用部件模型和部件滤波器均为8的情况下训练出病害模型，如图 1所示，从上到下分别为坑洞、线状裂缝、网状裂缝的模板。

模型由覆盖整目标的根滤波器和高分辨率的部件滤波器构成。根滤波器定义了检测窗口，描述整体特征，部件滤波器是根滤波器的2倍分辨率，能够更准确地描述局部特征和特征细部。训练出的模型可以模拟目标的形状特征和纹理特征，在坑洞、线状裂缝和网状裂缝特征非显著的情况下，充分利用病害的背景较规则且纹理统一的特点将病害与结构性边缘及其他复杂地物区分开，并且用多部件模型来模拟病害的形变。下面将对模型的泛化能力进行度量。

3.3 病害区域预测

在检测影像集H上分别对不同类型的病害训练出的模型进行检测，检测结果如图 2所示。从图中可以看出，多部件形变模型对于复杂环境具有更好的普适性，在病害区域上检出率显著，对于非路桥地物的排除效果很好，但也存在一定的误检和漏检，如将坑洞病害检测出来的同时，将某一平整路面处也判定为病害。

在真实场景中检测的试验表明，本算法能够克服光照、阴影、复杂背景地物的影响，在不同尺度和角度下均有较好的泛化特性，在提取病害时具有很好的普适性。算法充分利用了路桥病害特征和道路背景数据，这也是将病害与其他结构边缘区分开的显著特点之一；但算法也存在一定的误判性，需要后续加以排除。

另外，在不同响应度阈值下，检测病害目标的精度和准确度也随之变化。要从大量无人机影像中检测出携带裂缝信息的影像，要求较高的检全率，可以有较低的检准率。经过反复试验，在阈值设定为0.6时，可以达到80%的检全率，以满足实际使用。

3.4 检测结果分析

用精度-召回率曲线(precision-recall)评估模型的泛化能力，如图 3所示，可以看出在同样的召回率下准确率的变化。

总体来说，多部件形变模型在坑洞病害的模型训练上效果最好，特别是对于坑洞、线状裂缝这两类，可以提取出特征；对于网状裂缝的检测效果较差。而由于路桥病害的复杂性，在保证检全率的情况下依然会有漏检，这也是未来需要提高的方向。本文算法在北京路桥集团病害检测中进行了初步应用，取得了良好的应用效果。

4 结语

路桥病害检测在学术界和工业界已经进行了多年的研究，不是一个全新的问题，但检测方法的准确率一直有待提高。本文针对无人机采集的路桥数据，提出了无人机影像检测复杂环境下路桥病害检测的方法，通过建立多层特征金字塔和多部件形变模型来提高病害模型的普适性，在复杂背景下提取不固定形态病害——路桥裂缝和坑洞等。无人机单次飞行获取的影像有成千上万幅，采用本文方法能从中检测出路桥病害，极大地减少了工作量。大量试验结果表明，本文的检测方法相比于其他基于边缘结构等信息的道路病害提取方法更加高效，对于不同环境、光照情况下的路桥病害提取具有更高的鲁棒性。未来的研究中，还将进一步提高病害识别的精度，以及进一步开展病害完整形态的提取和参数的计算。