公路交通科技  2020, Vol. 37 Issue (11): 63−70

扩展功能

文章信息

段明义, 卢印举, 李祖照, 苏玉
DUAN Ming-yi, LU Yin-ju, LI Zu-zhao, SU Yu
一种改进的桥梁裂缝图像分割方法
An Improved Bridge Crack Image Segmentation Method
公路交通科技, 2020, 37(11): 63-70
Journal of Highway and Transportation Research and Denelopment, 2020, 37(11): 63-70
10.3969/j.issn.1002-0268.2020.11.009

文章历史

收稿日期: 2019-10-16
一种改进的桥梁裂缝图像分割方法
段明义1 , 卢印举1 , 李祖照2 , 苏玉1     
1. 郑州工程技术学院 信息工程学院, 河南 郑州 450044;
2. 广西交科集团有限公司, 广西 南宁 530007
摘要: 裂缝是桥梁最常见的缺陷,裂缝检测是后期桥梁维护和维修的前提。准确高效地对采集到的桥梁裂缝图像进行分割识别,具有重要的实际意义。传统图像分割方法具有运行速度慢、效率低下、鲁棒性低及稳定性低等缺点,针对这些问题,以裂缝图像为研究对象,在深入分析经典K-means聚类算法以及高斯混合模型(Gaussian Mixture Model,GMM)的基础上,运用数据挖掘的方法,提出一个K-means与高斯混合模型相结合的桥梁裂缝图像分割方法。首先,该方法在传统K-means算法聚类中心计算过程中引入合并阶段,在对各个聚类中心两两之间距离进行排序后,根据各个聚类中心点的距离来判断是否进行聚类的合并,对于合并后的聚类,重新计算其聚类中心,以提高K-means算法执行的速度。其次,将传统GMM的每一个概率分布进一步再细分成单个的概率成分,进行分层混合,以此来进一步提高高斯模型对裂缝图像特征数据模拟的效果。最后,在辅助变量计算过程中采用EM算法,通过计算期望和最大化两个步骤来最终获得变量的最优解。结果表明:该方法可得到比使用传统K-means算法和普通GMM的分割方法精度更高、稳定性更好的分割结果;在误分率、信噪比以及用时方面,该算法都有良好的表现,能够满足桥梁裂缝检测实时性、准确性以及鲁棒性等方面的要求,具有一定的应用价值。
关键词: 桥梁工程     图像分割     K-means     高斯混合模型     EM算法    
An Improved Bridge Crack Image Segmentation Method
DUAN Ming-yi1, LU Yin-ju1, LI Zu-zhao2, SU Yu1    
1. School of Information Engineering, Zhengzhou Institute of Technology, Zhengzhou Henan 450044, China;
2. Guangxi Transportation Science & Technology Group Co., Ltd., Nanning Guangxi 530007, China
Abstract: Cracks are the most common defects in bridges, and crack detection is the prerequisite for bridge later maintenance and repair. It is of great practical significance to segment and recognize the collected bridge crack images accurately and efficiently. Traditional image segmentation methods have the disadvantages of slow running speed, low efficiency, low robustness and low stability. In view of these problems, taking crack images as the research object, based on in-depth analysis of the classic K-means clustering algorithm and GMM, a bridge crack image segmentation method combining K-means and GMM is proposed by using data mining method. First, the method introduces the merge phase in the clustering center calculation process of traditional K-means algorithm. After sorting the distances between each 2 cluster centers, it determines whether to merge clusters according to these distances. For the merged clusters, it recalculates the cluster centers to improve the execution speed of the K-means algorithm. Second, the method further subdivides each probability distribution of traditional GMM into individual probability components for layered mixing, so as to further improve the simulation effect of the Gaussian model on the crack image characteristic data. Finally, the EM algorithm is used in the calculation of the auxiliary variables, and the optimal solution of the variables is finally obtained through calculating expectation and maximizing. The result shows that (1) this method can obtain the segmentation result with higher accuracy and better stability than the segmentation method using traditional K-means algorithm and ordinary GMM; (2) in terms of misclassification rate, signal-to-noise ratio and time consuming, the proposed method has good performance, which can meet the requirements of real-time, accuracy and robustness of bridge crack detection, and has certain application value.
Key words: bridge engineering     image segmentation     K-means     Gaussian mixture model (GMM)     EM algorithm    
0 引言

交通运输是经济发展的基本需要和先决条件,关系着国家经济的发展,承载着社会进步的命脉[1-2]。随着交通运输业的发展,我国每年都有新建道路投入使用,道路的养护工作变得十分重要。桥梁作为当今社会交通枢纽的重要组成部分,其投入使用后,随着时间的推移难免产生各种各样的损坏,裂缝是桥梁最常见的缺陷。裂缝检测是后续维护和修理的前提,是必不可少的工作。在实际工程中裂缝分布呈现无规律状态,同时,一般裂缝都比较细小,小于0.2 mm,容易被周围的障碍物等干扰从而形成漏检的安全隐患,因此对裂缝的检测要重点兼顾到细小裂缝。

图像分割是一种重要的图像处理技术。在对输入图像进行预处理之后[3-4],将预处理的结果进行划分,对每个划分后的子图像抽取它们各自的特征提取其中有价值的部分,从而完成识别和分析[5]。将图像分割技术应用到桥梁裂缝检测中[6]并与后续的其他方法相结合,从而迅速识别出裂缝以判定其危害程度,这对道路的安全保障及正常运行有十分重要的作用。长期以来,国内外学术界将图像分割方法运用到裂缝图像处理并取得了一些优秀的研究成果。迭代的阈值分割算法是在普通阈值分割算法的基础上进行了改进,该改进提高了性能,但阈值的手工设置是其一个突出的问题[7]。基于自适应阈值Canny裂缝检测算法不需要人工设置阈值,但对含有不均匀光照和噪声的图像其鲁棒性、稳定性较低。孙亮等[8]与多重滤波结合的Otsu算法虽然考虑到了不均匀光照,但其采用的阈值是单一的,限制了算法的适用性[9]

裂缝图像特征数据分布不是高斯分布但可利用高斯函数近似拟合,因而高斯混合模型(Gaussian Mixture Model, GMM)[10]能够描述整幅图像的分布。K-means是目前在图像分割领域已经广泛应用的一种聚类划分方法[11],该方法通过对定义的目标函数进行迭代逼近,最终得到结果。其缺点主要在于需要事先人工设置、确定一系列的参数值,比如初始聚类数目,同时图像中的噪声也能大大地影响结果[12]。基于GMM模型的聚类算法是一种改进的聚类方法,其基本思想是在利用GMM模型对图像拟合后,基于每个高斯混合概率将相应标签分配给每个观测值。然而由于初始点的选取具有随机性,其迭代过程的复杂度通常具有不确定性。

因此,根据上述分析,在本研究中为了分割桥梁裂缝图像,将裂缝图像像素点集架构为多层次高斯混合模型(Multi-Level Gaussian Mixture Model, ML_GMM),并在K-means算法聚类中心计算过程中引入合并阶段从而改进算法性能;同时,根据混合模型多重分解的思想[13-14]提出多级混合模型方法,将传统混合模型的每一个概率分布进一步再细分成单个概率成分;最后,利用期望最大化(Expectation Maximization, EM)算法[10]估算出未知参数的值,在得到感兴趣样本的混合模型分布后,根据最大后验准则确定像素所属的分类以完成裂缝图像分割。

1 方法 1.1 K-means聚类算法

S={x1, …, xN}为裂缝图像像素点集,N为像素点数。算法主要步骤如下:

(1)   设k=kinit,从S中随机抽样k个点{xμ1, …, xμk},分别将其作为聚类初始中心{μ1, μ2, …, μk}。初始时,kinit可以设为4。

(2)   根据每个点到聚类中心的距离不同,将其分配到最近的聚类中心。

Sj是距离μj最近的像素点集合(SjS),对于∀ij(1≤i, jk),∀xS,如果‖x-μj‖≤‖x-μi‖,有xSjnjSj中点数。

(3)   如果nj < δ(δ为预定义聚类中点数阈值),则删除Sj。同时调整k的值,并用S1, …, Sk重新标记其余聚类。

(4)   利用公式计算得到μj,同时对μj进行分析处理。在j-1个μ1, μ2, …, μj-1中历遍聚类中心,如果存在相同的μj则删除本步骤所得到的μj并返回步骤(2)重新计算新的μj

(5)   计算各聚类中心{μ1, μ2, …, μk}两两间的距离dij=|μi-μj| (≤ijk)。

(6)   对步骤(5)中计算出的dij进行排序,对于聚类对(Si, Sj),如果dij < δd(δd为预定义类间距阈值),ni < δ, nj < δ(δ为预定义聚类中点数阈值)且SiSj在本次迭代中尚未参与合并,则合并聚类Si, Sj并用Sij=SiSj替代它们,其加权平均值(niμi+njμj)/(ni+nj)作为合并后的聚类中心μij,重新标记其余聚类并相应地减少k值。

(7)   如果迭代次数I < Imax(Imax为预定义阈值)且代价函数继续降低时,则转到步骤(2)。

1.2 高斯混合模型GMM

在桥梁裂缝的检测过程中,为实现裂缝图像的分割构建的高斯模型描述如下[10]

(1)

式中,期望矩阵μd维向量,方差-协方差矩阵∑是一个d×d的矩阵,det(·)为行列式。

如果在不同的聚类中都存在同一个类中的模式,这种情况下是不适合利用单个高斯模型去近似条件分布的。近似此类条件分布用高斯混合模型更适合,其定义为:

(2)

式中,N(x; μ, ∑)为一个期望为μ和方差协方差矩阵为∑的高斯模型:

(3)

高斯混合模型由m个高斯模型根据{wl}l=1m加权线性组合而成,其参数θ为:

(4)

{wl}l=1m需要满足:w1, …, wm≥0且

本研究在普通高斯混合模型的基础上将m个概率分布中的每个分布再进一步细分为n个概率成分,由n个成分拟合每个分布。表示如下:

(5)

对于高斯模型:

(6)

式中,θj, r=(μj, r, ∑j, r),参数集θ=(μ1, 1, …, μj, r, ∑1, 1, …, ∑j, r);vj为属于第j个类别成分的权重;wj, r为属于第j个类别中第r个分布的权重。

在此,已经获得了采集到的样本数据的概率密度表达形式,对其中的未知参数θ的求解可以借助于EM算法,方法如下,从而最终得到感兴趣样本的混合分布模型。

1.3 EM算法

EM算法是当输入x仅部分可观察的情况下,为了获得极大似然估计解而发展出来的。高斯混合模型的极大似然估计实际上也能被视为从不完全的数据中学习而来,并且EM算法能给出一种有效的方式来得到1个局部最优解。

该方法由E步和M步组成,基于必要条件来更新解并且交替计算辅助变量。具体步骤如下:

(1)   初始化参数

(2)   E步骤:从当前的参数计算

(3)   M步骤:根据当前值,更新

(4) 重复步骤(2)~(3)直到收敛。

1.4 后验概率

感兴趣样本的混合分布模型得到后,接着可以计算每一个像素的后验概率。

(7)

利用最大后验准则[15],在每个像素的后验概率计算出来之后即可确定该像素xi所属的类别从而完成图像分割。

1.5 算法流程图

算法整体流程如图 1所示。

图 1 算法流程图 Fig. 1 Flowchart of algorithm

2 试验结果与分析 2.1 分割效果评价准则

试验部分主要验证本研究所提出算法的运行性能,从两方面来衡量,即式(8)所定义的误分率和式(9)所定义的信噪比。

(8)

式中,Ne为误分像素数;N为像素总数。从式(8)可以看出MCR的取值范围为[0, 1],其值越小表示分割结果越好,该指标主要表征图像错误分割部分所占的比例。

(9)

式中,n为图像中像素比特数,一般取值8。对于图像XY,若一个为另一个的噪声近似,则MSEX, Y表示两者间的灰度均方误差。该指标用于评价图像分割结果抗噪能力的大小,其值越大表示分割结果抗噪能力越强。

2.2 试验结果与分析

试验主要在仿真图像和实际采集到的裂缝图像上进行,本研究方法为多层次高斯混合模型法(ML_GMM),对比算法包括传统高斯混合模型法(GMM)、阈值高斯模型法(T_GMM)[16]、密度峰值高斯混合算法(DP_GMM)[17]以及最小化协方差矩阵法(MCD_GMM)[18]

为了验证本研究所提出的分割算法,在试验部分,构建以Matlab 2012b为基础的测试环境。硬件平台主要指标为:8 GB内存以及英特尔酷睿3.2 GHz CPU。

2.2.1 仿真图像

通过绘图软件Photoshop来完成仿真图像的生成,如图 2(a)3(a)所示。

图 2 椒盐噪声分割结果 Fig. 2 Salt and pepper noise segmentation result

图 3 高斯噪声分割结果 Fig. 3 Gaussian noise segmentation result

(1)   本次试验主要验证椒盐噪声对各算法的影响。椒盐噪声通过函数生成(密度为0.02)并添加在图 2(a)中形成图 2(b)。各算法的运行结果分别如图 2(c)~2(g)所示。

图 2可以得出,与传统高斯混合模型相比阈值高斯模型法(T_GMM)与最小化协方差矩阵法(MCD_GMM)在抗噪方面提高很多,但阈值高斯模型法(T_GMM)分割出的图像不如最小化协方差矩阵法(MCD_GMM)分割出的图像清晰,而密度峰值高斯混合算法(DP_GMM)分割出的图像更清晰,但其抗噪能力不如阈值高斯模型法(T_GMM)与最小化协方差矩阵法(MCD_GMM)。而本研究所提出的多层次高斯混合模型法(ML_GMM)无论是在抗噪方面还是图像清晰度方面,都优于其他几种算法。

表 1给出了各方法的定量评估结果。分析表 1可知,本研究算法的两项指标均优于其他几种算法。由于后4种算法都是在传统高斯混合模型法(GMM)的基础上进行了改进,这4种算法因为其含有更加复杂的运行步骤,故而运行所消耗的时间比传统高斯混合模型法(GMM)要多。

表 1 椒盐噪声定量评估结果 Tab. 1 Salt and pepper noise quantitative evaluation result
方法 误分率/% 信噪比/dB 用时/s
GMM 28.32 11.583 2 48.456 1
T_GMM 19.56 15.234 6 190.569 3
DP_GMM 24.89 14.042 1 301.327 1
MCD_GMM 10.02 22.085 1 421.678 4
ML_GMM 2.07 28.990 3 112.654 8

(2)   本次试验主要验证高斯噪声对各算法的影响。高斯噪声通过函数生成(均值为0,方差为0.02)并添加在图 3(a)中,形成图 3(b)。各算法的运行结果分别如图 3(c)~3(g)所示。

图 3可以得出,与传统高斯混合模型相比阈值高斯模型法(T_GMM)、密度峰值高斯混合算法(DP_GMM)以及最小化协方差矩阵法(MCD_GMM)都能够分割出更加清晰的图像。在抗噪方面,密度峰值高斯混合算法(DP_GMM)比阈值高斯模型法(T_GMM)以及最小化协方差矩阵法(MCD_GMM)表现更好一些。最小化协方差矩阵法(MCD_GMM)虽然能分割出更加清晰的图像,但其抗噪性能不如阈值高斯模型法(T_GMM)以及密度峰值高斯混合算法(DP_GMM)。而本研究所提出的多层次高斯混合模型法(ML_GMM)不仅能分割出清晰的图像而且能够有效抑制噪音。

表 2给出了各方法的定量评估结果。分析表 2可知,本研究算法的两项指标均优于其他几种算法。由于后4种算法都是在传统高斯混合模型法(GMM)的基础上进行了改进,这4种算法因为其含有更加复杂的运行步骤,故而运行所消耗的时间比传统高斯混合模型法(GMM)要多。最小化协方差矩阵法(MCD_GMM)在误分率方面更接近本研究算法,阈值高斯模型法(T_GMM)在耗时方面更接近本研究算法。

表 2 高斯噪声定量评估结果 Tab. 2 Gaussian noise quantitative evaluation resultx
方法 误分率/% 信噪比/dB 用时/s
GMM 30.01 12.007 8 53.008 9
T_GMM 20.04 18.009 6 181.115 5
DP_GMM 26.06 15.012 0 270.125 8
MCD_GMM 10.09 21.007 8 411.342 1
ML_GMM 2.64 29.013 4 105.213 5

2.2.2 裂缝图像

本研究试验用到的裂缝图像是通过桥梁检测车在实际桥梁路段采集得到,如图 4(a)所示。运行各个算法得到图 4(b)~4(f)所示的结果。

图 4 裂缝图像分割结果 Fig. 4 Crack image segmentation result

从分类结果(图 4(b)~4(f)可知,阈值高斯模型法(T_GMM)比传统高斯混合模型法(GMM)在抗噪方面提升了很多,但还有噪声残留;密度峰值高斯混合算法(DP_GMM)能够抑制一定的噪声;最小化协方差矩阵法(MCD_GMM)的抗噪能力非常强,但在一些明显部位的去躁效果不佳,比如中间上方部位的噪音;本研究提出的多层次高斯混合模型法(ML_GMM)的分割效果(图 4(f))相比于其他几种算法,在抗噪方面有明显的提升,能够分割出清晰的裂缝图像,同时能够把噪声最大化地去除。

定量对比结果如表 3所示。

表 3 实际裂缝图像定量对比 Tab. 3 Quantitative comparison of real crack images
方法 误分率/% 信噪比/dB 用时/s
GMM 28.32 11.623 4 78.323 3
T_GMM 23.42 13.448 7 69.373 4
DP_GMM 26.78 11.778 3 378.434 9
MCD_GMM 17.78 20.445 3 603.323 2
ML_GMM 2.34 28.334 3 101.234 7

分析表 3可得出,本研究算法ML_GMM的两项评价指标误分率和信噪比都优于其他方法,但其在耗时方面不是最优的,这主要是因为该方法相对于传统高斯混合模型法(GMM)以及阈值高斯模型法(T_GMM)来说较复杂,为了达到良好的分割效果多消耗了运行时间。

试验表明,本研究方法可以取得更好的图像分割结果并且抗噪能力更强。

3 结论

本研究针对桥梁裂缝检测问题提出了一种新的裂缝图像分割方法。该方法在采用期望最大化算法的基础上从两方面进行改进:针对裂缝图像分割的特点改进了传统的K-means算法,在聚类中心计算过程中引入合并阶段从而改进算法性能;提出多级混合模型方法,将传统GMM的每一个概率分布进一步再细分成单个的概率成分从而提高图像分割的效果。通过以上两个方面的改进,本研究得到了比使用传统K-means算法和普通GMM的分割方法抗噪能力更强、精度更高、效果更好的分割结果。

参考文献
[1]
王武勤. 桥梁工程技术发展与展望[J]. 施工技术, 2018, 47(6): 103-108.
WANG Wu-qin. Development and Expectation of Bridge Engineering Technology[J]. Construction Technology, 2018, 47(6): 103-108.
[2]
刘浩学, 李华强. 中国多式联运节能减排效应测算研究[J]. 公路交通科技, 2018, 35(11): 153-158.
LIU Hao-xue, LI Hua-qiang. Study on Energy Saving and Emission Reduction Effects of Multimodal Transport in China[J]. Journal of Highway and Transportation Research and Development, 2018, 35(11): 153-158.
[3]
章毓晋. 图像工程[M]. 北京: 清华大学出版社, 2013: 73-74.
ZHANG Yu-jin. Image Engineering[M]. Beijing: Tsinghua University Press, 2013: 73-74.
[4]
耿超. 基于图像处理的集料形态特征定量评价[J]. 公路交通科技, 2018, 35(12): 42-47.
GENG Chao. Quantitative Evaluation of Morphological Feature of Aggregate Based on Image Processing[J]. Journal of Highway and Transportation Research and Development, 2018, 35(12): 42-47.
[5]
聂方彦, 高潮, 郭永彩. 基于新模糊准则与DE算法的红外人体图像分割[J]. 计算机应用研究, 2010, 27(4): 1594-1597.
NIE Fang-yan, GAO Chao, GUO Yong-cai. Infrared Human Image Segmentation Based on New Fuzzy Criterion and DE Algorithm[J]. Application Research of Computers, 2010, 27(4): 1594-1597.
[6]
孙波成, 邱延峻. 路面裂缝图像处理算法研究[J]. 公路交通科技, 2008, 25(2): 64-68.
SUN Bo-cheng, QIU Yan-jun. Pavement Crack Diseases Recognition Based on Image Processing Algorithm[J]. Journal of Highway and Transportation Research and Development, 2008, 25(2): 64-68.
[7]
OH H, GARRICK N W, ACHENIE L. Segmentation Algorithm Using Iterative Clipping for Processing Noisy Pavement Images[C]//Imaging Technologies: Techniques and Applications in Civil Engineering. Second International Conference. Washington, D.C.: TRB Publications, 1998: 138-147.
[8]
孙亮, 邢建春, 谢立强, 等. 基于自适应阈值Canny算法的裂缝检测方法研究[J]. 微型机与应用, 2017, 36(5): 35-37, 41.
SUN Liang, XING Jian-chun, XIE Li-qiang, et al. An Adaptive Threshold-based Canny Algorithm for Crack Detection[J]. Microcomputer & Its Applications, 2017, 36(5): 35-37, 41.
[9]
TALAB A M A, HUANG Z C, XI F, et al. Detection Crack in Image Using Otsu Method and Multiple Filtering in Image Processing Techniques[J]. Optik, 2016, 127(3): 1030-1033.
[10]
杉山将S. 统计机器学习导论[M]. 北京: 机械工业出版社, 2017.
MASASHI S. Introduction to Statistical Machine Learning[M]. Beijing: China Machine Press, 2017.
[11]
黄宇, 付琨, 吴一戎. 基于Markov随机场K-means图像分割算法[J]. 电子学报, 2009, 37(12): 2700-2704.
HUANG Yu, FU Kun, WU Yi-rong. Image Segmentation Method Using K-means Based on Markov Random Field[J]. Acta Electronica Sinica, 2009, 37(12): 2700-2704.
[12]
FENG Y C, ZHAO H Y, LI X F, et al. A Multiscale 3D Otsu Thresholding Algorithm for Medical Image Segmentation[J]. Digital Signal Processing, 2016, 60: 186-199.
[13]
VEGAS-SANCHEZ-FERRERO G, SEABRA J, RODRIGUEZ-LEOR O, et al. Gamma Mixture Classifier for Plaque Detection in Intravascular Ultrasonic Images[J]. IEEE Transactions on Ultrasonics Ferroelectrics and Frequency Control, 2014, 61(1): 44-61.
[14]
COPSEY K, WEBB A. Bayesian Gamma Mixture Model Approach to Radar Target Recognition[J]. IEEE Transactions on Aerospace and Electronic Systems, 2003, 39(4): 1201-1217.
[15]
LI Y, TAN R T, GUO X J, et al. Rain Streak Removal Using Layer Priors[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016.
[16]
杨帆, 赵增鹏, 张磊. 基于高斯混合模型的遥感影像云检测技术[J]. 南京林业大学学报:自然科学版, 2018, 42(4): 134-140.
YANG Fan, ZHAO Zeng-peng, ZHANG Lei. Cloud Detection Technology Based on Gaussian Mixture Model for High-resolution Remote Sensing Imagery[J]. Journal of Nanjing Forestry University:Natural Sciences Edition, 2018, 42(4): 134-140.
[17]
陶志勇, 刘晓芳, 王和章. 融合密度峰值的高斯混合模型聚类算法[J]. 计算机应用, 2018, 38(12): 3433-3437, 3443.
TAO Zhi-yong, LIU Xiao-fang, WANG He-zhang. Clustering Algorithm of Gaussian Mixture Model Based on Density Peaks[J]. Journal of Computer Applications, 2018, 38(12): 3433-3437, 3443.
[18]
胡庆辉, 阮晓霞. 基于MCD初始化的高斯混合模型聚类[J]. 桂林航天工业学院学报, 2016, 21(1): 1-6.
HUO Qing-hui, RUAN Xiao-xia. Gaussian Mixture Model Clustering Based on MCD Initialization[J]. Journal of Guilin University of Aerospace Technology, 2016, 21(1): 1-6.