混凝土结构桥梁的裂缝会破坏桥梁结构整体性^[1]，甚至引发坍塌事故，定期巡检桥梁具有必要性。国内外学者对桥梁裂缝检测做了大量研究，如k-means结合区域生长^[2]、裂缝发展趋势估算的思想^[3]、基于局部纹理的检测算法^[4]、使用支持向量机、自适应提升(Adaboost) 和随机森林的分类模型^[5]、照度补偿模型和裂缝概率图^[6]等。在统计信息网格聚类的思想下，结合区域生长算法，取得了较好的裂缝提取效果^[7]，但其网格聚类环节中，容易选取到背景区域。应用多尺度Hessian矩阵可降低纹理干扰，较好地抑制背景，增强裂缝^[8]。但上述研究都没有考虑算法的实时性，无法应用于嵌入式平台。多尺度的方向滤波器，降低了光照及背景干扰，能在主机端进行较低分辨率实时检测^[9]。Canny边缘和区域生长的思想可实现快速裂缝分割^[10]，但抗干扰能力不足。还有运用U-Net模型^[11]、全连接网络^[12]和卷积神经网络^[13-15]等深度学习的方法，跳过特征描述的过程，实现端到端的识别，其依赖于大量的数据集和图形处理器支持，在移动平台较难实现在线实时检测。

本文提出一种嵌入式平台上高分辨率裂缝图像的实时检测算法。采用移动平均法^[16]粗分割；通过几何特征筛选候选裂缝片段，结合区域生长修复和过滤候选裂缝片段；建立双判别准则的裂缝片段聚合模型，递归合并裂缝片段，并抑制干扰区域。

1 裂缝检测算法

本文提出的裂缝实时检测算法流程如图1所示，图中二值图黑色为前景，白色为背景。

1.1 图像预处理

高斯滤波广泛运用于无人机图像处理、视频图像处理和图像预处理等场景^[17-18]。图像噪声中大部分噪声为白噪声，使用高斯滤波器可有效降低噪声对检测的影响^[19]。对输入图像进行高斯模糊，记 $ I\left(x,y\right) $ 为高斯滤波后的灰度图像。

桥梁裂缝图像受复杂光照环境影响，其亮度分布不均匀。受Shi等^[16]的移动平均分析的启发，本文采取移动平均的分割方法，阈值由式(1) 确定。

$ T\left(x,y\right) ={\mu }_{I}\left(x,y\right) +\alpha $

(1)

式中： $ {\mu }_{I}\left(x,y\right) $ 为图像 $ I\left(x,y\right) $ 中尺寸为 $ \varepsilon \times \varepsilon $ 的滑动窗口的灰度均值， $ \alpha $ 为偏移系数。

获取二值图像 $ B\left(x,y\right) $ 的分割过程如式(2) 所示，前景目标区域设为1，背景区域设为0。

$ B\left(x,y\right) =\left\{\begin{array}{cc}1,& I\left(x,y\right) > T\left(x,y\right) \\ 0,& \text{others}\end{array}\right. $

(2)

1.2 候选裂缝片段提取

候选裂缝片段提取模块如图2所示。图2(a) 为裂缝阈值分割图，通过第一次几何轮廓筛选得到图2(b) 所示的种子区域,采用八方向区域生长算法获得图2(c)，再进行一次几何轮廓筛选得到如图2(d) 所示的候选裂缝片段，其连通域集合记为 $ Q=\left\{{Q}_{1}, {Q}_{2},\cdots , {Q}_{m}\right\} $ 。

1.2.1 几何轮廓筛选

裂缝片段和背景噪声具有较明显的几何特征差异，如图3所示，图3(a) 为背景噪声，其轮廓无明显几何规则；图3 (b) 为裂缝片段区域，具有明显的细长几何特征。

本文采用连通域面积 $ A $ 和连通域轮廓的惯性率 $ {\eta }_{\text{IR}} $ 来描述连通域的几何特征。二值图像的连通域面积为图像的零阶矩，图像的二维 $ \left(i+j\right) $ 阶矩 $ {M}_{ij} $ 的定义如式(3) 所示，则连通域面积 $ A\text{=}{M}_{00} $ 。

$ {M}_{ij}={\sum }_{\left(x,y\right) \in {r}_{x,y}}{x}^{i}{y}^{j}B\left(x,y\right) $

(3)

式中： $ i=\mathrm{0,1},2,\cdots $ ， $ j=\mathrm{0,1},2,\cdots $ ， $ {r}_{x,y} $ 为连通域内所包围的点。

惯性率可用于描述目标的伸长程度，惯性率越接近1，则越相似于圆形。惯性率可由图像中心矩得到，图像的二维 $ \left(i+j\right) $ 阶中心矩定义如式(4) 所示。

$ {\omega }_{ij}={\sum }_{\left(x,y\right) \in {r}_{x,y}}{\left(x-\hat{x}\right) }^{i}{\left(y-\hat{y}\right) }^{j}B\left(x,y\right) $

(4)

式中： $ i=\mathrm{0,1},2,\cdots $ ， $ j=\mathrm{0,1},2,\cdots $ ，连通域的质心 $ \left(\hat{x},\hat{y}\right) = \left(\dfrac{{M}_{10}}{{M}_{00}}\dfrac{{M}_{01}}{{M}_{00}}\right) $ 。

惯性率定义如式(5) 所示。

$ {\eta }_{\text{IR}}\text=\frac{{\eta }_{a}-{\eta }_{b}}{{\eta }_{a}+{\eta }_{b}} $

(5)

式中： $ {\eta }_{\mathrm{a}}\text{=}{\omega }_{20}+{\omega }_{02} $ ， $ {\eta }_{\mathrm{b}}\text{=}\sqrt{4{\omega }_{11}^{2}+{\left({\omega }_{20}-{\omega }_{02}\right) }^{2}} $ 。

为过滤背景干扰，定义轮廓筛选准则如式(6) ，满足式(6) 的连通域保留，否则被滤除。

$ A\in \left({T}_{\text{A}\text{min}},{T}_{\text{A}\text{max}}\right) \mathrm{且}{\eta }_{\text{IR}} < {T}_{\text{IR}} $

(6)

式中： $ \left({T}_{\text{A}\text{min}},{T}_{\text{A}\text{max}}\right) $ 为轮廓面积阈值范围， $ {T}_{\text{IR}} $ 为轮廓惯性率阈值。

1.2.2 区域生长

区域生长是依据预设的生长规则，将图像像素或者子区域合并的过程。从一组种子点开始遍历相邻像素，寻找满足预设生长规则的像素，并将其添加到种子中而形成生长区域，常用于图像分割^[7,10]。

计算连通域的面积和惯性率，依据式(6) 选择具有显著裂缝几何特征的连通域，将其轮廓像素作为区域生长的初始种子集合 $ S\text{=}\left\{\left\{{S}_{1}\right\},\left\{{S}_{2}\right\},\cdots ,\left\{{S}_{p}\right\}\right\} $ ，以连通域的灰度均值作为全部种子灰度值 $ {G}_{\text{sv}} $ 。种子像素集合 $ S $ 在二值图像 $ B\left(x,y\right) $ 中进行八邻域区域生长，步骤如下：

1) 从 $ S $ 中取出一个种子像素坐标 $ \left({x}_{\text{s}},{y}_{\text{s}}\right) $ ，将其从 $ S $ 中删除；

2) 遍历坐标 $ \left({x}_{\text{s}},{y}_{\text{s}}\right) $ 的八邻域像素 $ \left({x}_{\text{sr}},{y}_{\text{sr}}\right) $ ，若 $ B\left({x}_{\text{sr}},{y}_{\text{sr}}\right) $ 为0，且灰度图 $ I\left(x,y\right) $ 中对应像素满足式(7) 所示的生长条件，则将 $ B\left({x}_{\text{sr}},{y}_{\text{sr}}\right) $ 设为1，并将坐标 $ \left({x}_{\text{sr}},{y}_{\text{sr}}\right) $ 加入 $ S $ 中；

$ \left|{G}_{\text{sv}}-I\left({x}_{\text{sr}},{y}_{\text{sr}}\right) \right| < {T}_{\text{s}} $

(7)

式中： $ {T}_{\text{s}} $ 为区域生长灰度阈值。

3) 重复步骤1) 和2) ，直到 $ S $ 为空集，输出区域生长完成的二值图像 $ {B}'\left(x,y\right) $ 。

1.3 裂缝聚合

如图4所示，提取的候选裂缝不连续，且与背景干扰的形态相似。本文提出双判别准则的裂缝聚合模型，模拟裂缝延伸趋势，依据位置和方向信息构造聚合准则，递归聚合细长裂缝，并抑制背景干扰。

1.3.1 聚合准则

以裂缝片段轮廓的最大距离点对 $ \left({P}_{\text{b}},{P}_{\text{f}}\right) $ 作为裂缝片段的端点，联合裂缝片段最小外接矩形倾角 $ V $ ，构建裂缝片段的特征向量 $ \boldsymbol{H}\text{=}\left({P}_{\text{b}},{P}_{\text{f}},V\right) $ ，其中，本文通过轮廓的上下左右4个边界点的快速枚举来近似替代 $ {P}_{\text{b}} $ 和 $ {P}_{\text{f}} $ ；使用Sklansky^[20]的方法检测裂缝片段的凸包后，运用旋转卡壳法^[21]处理凸包而得到的矩形，即为裂缝片段的最小外接矩形。记聚合裂缝集合为 $ X=\left\{{X}_{1},{X}_{2},\cdot \cdot \cdot ,{X}_{n}\right\} $ ，其中每个裂缝元素由多个裂缝片段构成。记裂缝片段最小外接矩形的长边为 $ {l}_{\mathrm{w}} $ 。

定义两裂缝片段 $ {Q}_{1} $ 和 $ {Q}_{2} $ 的距离 $ D\left({Q}_{1},{Q}_{2}\right) $ 为两裂缝片段的端点间的最短距离，裂缝片段的聚合准则1定义如式(8) 所示。

$ \left\{\begin{array}{l}D\left({Q}_{1},{Q}_{2}\right) < {T}_{\mathrm{d}\mathrm{m}\mathrm{i}\mathrm{n}}\times {\rm{min}}\left({l}_{\mathrm{w}1},{l}_{\mathrm{w}2}\right) \\ \left|{\boldsymbol{e}}_{1}\cdot {\boldsymbol{e}}_{2}\right| > \dfrac{1}{2}\end{array}\right. $

(8)

式中： $ {T}_{\mathrm{d}\mathrm{m}\mathrm{i}\mathrm{n}} $ 为短距离阈值， $ {\boldsymbol{e}}_{1} $ 和 $ {\boldsymbol{e}}_{2} $ 分别为 $ {Q}_{1} $ 和 $ {Q}_{2} $ 倾角方向的单位向量。

假设 $ {Q}_{1} $ 和 $ {Q}_{2} $ 间的最短距离点对为 $ \left({P}_{\text{f1}},{P}_{\text{b2}}\right) $ ，则有方向向量 $ \overrightarrow{{P}_{\text{f1}}{P}_{\text{b2}}} $ 、 $ \overrightarrow{{P}_{\text{f1}}{P}_{\text{b1}}} $ 和 $ \overrightarrow{{P}_{\text{b2}}{P}_{\text{f2}}} $ ，定义裂缝片段的聚合准则2如式(9) 所示。

$ \left\{\begin{array}{l}D\left({Q}_{1},{Q}_{2}\right) < {T}_{\mathrm{d}\mathrm{m}\mathrm{a}\mathrm{x}}\times {\rm{min}}\left({l}_{\mathrm{w}1},{l}_{\mathrm{w}2}\right) \\ \overrightarrow{{P}_{\text{f1}}{P}_{\text{b2}}}\cdot \overrightarrow{{P}_{\text{f1}}{P}_{\text{b1}}} > 0 且 \overrightarrow{{P}_{\text{f1}}{P}_{\text{b2}}}\cdot \overrightarrow{{P}_{\text{b2}}{P}_{\text{f2}}} > 0\end{array}\right. $

(9)

式中： $ {T}_{\mathrm{d}\mathrm{m}\mathrm{a}\mathrm{x}} $ 为长距离阈值。

定义裂缝过滤准则，如式(10) 所示。若 $ {\delta }_{k}=0 $ ，则将裂缝 $ {X}_{k} $ 剔除，否则保留该裂缝。

$ {\delta }_{k}=\left\{\begin{array}{cc}1,& {\displaystyle\sum }_{i\in {X}_{k}}{{l}_{\text{w}}}_{i} > {T}_{\mathrm{C}\mathrm{R}\mathrm{L}}\\ 0,& \text{others}\end{array}\right.\text{，}k=\mathrm{1,2},\cdots ,n $

(10)

式中： $ {T}_{\mathrm{C}\mathrm{R}\mathrm{L}} $ 为裂缝长度阈值。

裂缝片段聚合算法流程如下：

1) 计算候选裂缝片段连通域集合 $ Q $ 中元素的特征向量 $ \boldsymbol{H} $ ；

2) 按 $ \mathrm{max}\left({P}_{{\rm{b}}}.y,{P}_{{\rm{f}}}.y\right) $ 降序和 $ \mathrm{min}\left({P}_{{\rm{b}}}.x,{P}_{{\rm{f}}}.x\right) $ 升序对 $ Q $ 排序；

3) 对 $ Q $ 中满足式(8) 或(9) 的元素进行聚合，输出聚合裂缝集合 $X$ ；

4) 将集合 $ X $ 作为输入，重复步骤3) ，直到集合 $ X $ 和 $ Q $ 的元素个数相等；

5) 依据式(10) 过滤裂缝。

其中步骤3) 为算法的核心步骤，其流程如表1所示。

1.3.2 裂缝聚合示例

裂缝片段聚合示例如图5所示，图5 (a) 为初始裂缝片段；图5(b) 为第一次递归后的聚合结果，产生4个子集，分别为 $ \left\{{Q}_{1},{Q}_{4},{Q}_{6}\right\} $ 、 $ \left\{{Q}_{2}\right\} $ 、 $ \left\{{Q}_{3},{Q}_{5},{Q}_{7}\right\} $ 和 $ \left\{{Q}_{8},{Q}_{9}\right\} $ ；将每个子集作为一个裂缝片段，重新初始化其指标向量 $ \boldsymbol{H} $ ，如图5(c) 所示；图5(d) 为第二次递归后的聚合结果，将图5(b) 中的 $ \left\{{Q}_{1},{Q}_{4},{Q}_{6}\right\} $ 和 $ \left\{{Q}_{8},{Q}_{9}\right\} $ 聚合为 $ \left\{{Q}_{1\_1}~{Q}_{1\_5}\right\} $ 。依据式(10) 过滤裂缝，最终得到 $ \left\{{Q}_{1\_1}~{Q}_{1\_5}\right\} $ 和 $ \left\{{Q}_{3\_1}~{Q}_{3\_3}\right\} $ 两条裂缝。

2 实验结果分析

本文选取若干代表性桥梁裂缝实拍图像进行测试，图像分辨率为4608×3456，将本文算法与文献[7-8,10]方法比较。测试平台为arm开发板：Raspberry Pi 4 Model B Rev，处理器：ArmCortex-A72@1.5 GHz，内存：4GBLPDDR4 SDRAM，操作系统：Linux raspberrypi 4.19.57-v7l+，软件编程语言：C++。采用精确度(Precision) 、召回率(Recall) 和综合指标F值(F-measure) 3个指标进行评估，在图像分割中，其定义分别为 ${\gamma }_{\text{P}}\text{=}\dfrac{{N}_{\mathrm{g}\mathrm{d}}}{{N}_{\mathrm{d}}}$ ， ${\gamma }_{\text{R}}=\dfrac{{N}_{\mathrm{g}\mathrm{d}}}{{N}_{\mathrm{g}}}$ ， ${\gamma }_{\text{F}}=\dfrac{2{\gamma }_{\text{P}}{\gamma }_{\mathrm{R}}}{{\gamma }_{\text{P}}+{\gamma }_{\text{R}}}$ ，其中 $ {N}_{\mathrm{g}\mathrm{d}} $ 为正确分割的裂缝像素个数， $ {N}_{\mathrm{d}} $ 为分割结果中的裂缝像素个数， $ {N}_{\mathrm{g}} $ 为人工标注的裂缝像素个数。F值越大，表明检测性能越好。

2.1 灵敏性分析及参数确定

所研究裂缝图像的裂缝像素宽度范围为[2,14]，本文设滑动窗口尺寸 $ \varepsilon $ 为裂缝最大宽度的5倍，并取奇数值。针对所研究的图像数据集，统计发现单条裂缝的像素个数占图像总像素比例小于0.2%，同时为了排除小干扰区域，本文设轮廓面积阈值范围 $ \left({T}_{\text{A}\text{min}}, {T}_{\text{A}\text{max}}\right) $ 为 $ \left({10}^{2},3\times {10}^{4}\right) $ 。

本文算法待确定的核心参数有：轮廓惯性率阈值 $ {T}_{\text{IR}} $ 、区域生长灰度阈值 $ {T}_{\text{s}} $ 、短距离阈值 $ {T}_{\mathrm{d}\mathrm{m}\mathrm{i}\mathrm{n}} $ 和长距离阈值 $ {T}_{\mathrm{d}\mathrm{m}\mathrm{a}\mathrm{x}} $ 。设参数初始值为： $ {T}_{\text{IR}}= 0.1 $ ， $ {T}_{\text{s}}=10 $ ， $ {T}_{\mathrm{d}\mathrm{m}\mathrm{i}\mathrm{n}}= 0.1 $ ， $ {T}_{\mathrm{d}\mathrm{m}\mathrm{a}\mathrm{x}}=0.8 $ ，分别独立改变参数值，对数据集全部图像进行测试。分别统计准确率、召回率和F值3个指标的均值，如图6所示。图6(a) 表明， $ {T}_{\text{IR}} $ 在区间[0.05,0.12]范围内都有较好效果，选取F值开始下降的前一个数值0.11；图6 (b) 中， $ {T}_{\text{s}}=8 $ 时，F值表现最佳；图6(c) 和图6(d) 中， $ {T}_{\mathrm{d}\mathrm{m}\mathrm{i}\mathrm{n}} $ 和 $ {T}_{\mathrm{d}\mathrm{m}\mathrm{a}\mathrm{x}} $ 的趋势一致，当参数值较小时，其精确度高，但召回率低，说明此时漏检严重，当 $ {T}_{\mathrm{d}\mathrm{m}\mathrm{i}\mathrm{n}}=0.35 $ 时，精确度和召回率达到均衡，而 $ {T}_{\mathrm{d}\mathrm{m}\mathrm{a}\mathrm{x}} $ 的均衡点为0.6。故本文选取参数值为 $ {T}_{\text{IR}}= 0.11 $ ， $ {T}_{\text{s}}=8 $ ， $ {T}_{\mathrm{d}\mathrm{m}\mathrm{i}\mathrm{n}}=0.35 $ ， $ {T}_{\mathrm{d}\mathrm{m}\mathrm{a}\mathrm{x}}=0.6 $ 。

文献[7]算法使用默认参数；文献[8]算法中多尺度参数 $ \mathrm{\sigma } $ 取值为(3,4,5,6,7) ；使用文献[10]算法时，在算法原基础上，将面积大于 $ 3\times {10}^{4} $ 的轮廓滤除。

2.2 性能评估

考虑细小裂缝、复杂背景、污渍污染和光照不均匀等情况，本文算法、文献[7]、[8]和[10]算法的部分实验结果分别如图7的3~6列所示，图7中第1列为原图像，第2列为手动标注结果。其他3种算法无法检测特别细的裂缝，在图像背景干扰较多时，无法滤除干扰目标，且分割裂缝的连续性较差，而本文算法能完整检测细小裂缝，且降低复杂背景及不均匀光照干扰，保留裂缝区域。

分别统计4种算法的性能指标平均值如表2所示，本文算法的精确率、召回率和综合评价指标F值均大幅度领先于其余3种算法，F值分别提升115%、148%和238%。在单线程运行速度上，本文算法处理每张图像的平均耗时仅为1.73 s，接近文献[10]算法，远快于文献[7]和文献[8]算法。

3 结论

本文提出一种嵌入式平台上高分辨率裂缝图像的实时检测算法，所建立的裂缝聚合模型在一定程度上模拟了裂缝的延伸趋势，仅将延伸趋势一致的连通域聚合，抑制了大量灰度表现与裂缝相似的背景干扰。对比实验表明，本文算法大幅度领先于数种现有算法，有效提高了桥梁裂缝检测算法的可靠性和实时性，可应用于嵌入式平台上实时检测桥梁裂缝。但本文算法仅处理灰度图像，对彩色线状干扰的抑制能力不足，后期考虑引入彩色信息，进一步提高算法的可靠性。