管道普遍应用在排水、天然气输送等工业领域,经过一段时间使用后,容易被腐蚀产生裂缝等损伤问题,因此需要定期检测。由于人工检测方法效率低、劳动强度大,所以运用管道机器人实现管道内缺陷的检测成为目前主流方法,由管道机器人携带的摄像头采集管道内损伤部位的图像,运用图像处理技术对管道图像实现后续的分析和识别。国内外学者先后对此展开了研究工作,Motamedi M等[1]对管道图像进行灰度化、滤波和形态学等操作,实现了城市排水管道缺陷的无损检测;Kirstein S等[2]结合Canny边缘检测、霍夫直线变换和最短路径算法,也实现了排水管道的缺陷检测;孙文雅等[3]先对管道图像采用灰度变换、中值滤波去除噪声,然后利用形态学梯度算法进行边缘检测,再通过阈值分割和形态学处理提取了裂缝特征;Khalifa I等[4]先对排水管道图像进行灰度变换,然后求取最优阈值分割图像,再采用开运算增强图像,最后对其进行Laplace边缘检测,提取裂缝特征值;Alam M A等[5]先对管道图像进行灰度化处理,然后使用Sobel梯度法对其进行边缘检测,再去除图像上不需要的细小物体,最后对处理后的图像进行特征提取,识别管道缺陷;Huynh P等[6]采用DEE算法实现了管道细小裂缝的自动检测;Mashford J等[7]采用哈尔小波变换对管道图像进行边缘检测;李波锋[8]通过改进的低通滤波求差法分割图像,对处理后的图像进行特征提取,并通过改进的BP神经网络算法识别管道缺陷类型,利用三维激光扫描技术对排水管道的缺陷进行快速、准确定位。
本文设计开发了一个界面友好、操作简单的管道裂缝图像处理系统,提出了一种新的管道裂缝检测方法,实现了管道裂缝的识别。运用本文提出的图像处理算法获得的检测效果明显优于文献[6]检测算法的结果。
1 系统组成在Microsoft Visual Studio 2010编译环境下,采用MFC(microsoft foundation classes)技术和调用OpenCV(open source computer vision library)计算机视觉库开发了一个管道裂缝图像处理系统[9],该系统由文件处理、点的处理、图像滤波、边缘检测、阈值分割、裂缝识别、裂缝特征参数提取等模块组成,文件处理模块包含打开图像、原始图像、保存图像、关闭图像等,点的处理模块包含灰度化、图像反相、直方图均衡化、灰阶直方图等,图像滤波模块包含均值滤波、高斯滤波、中值滤波等,边缘检测模块包含Roberts算子、Sobel算子、Laplace算子、Canny算子、Kirsch算子、Prewitt算子、形态学梯度等,阈值分割模块包含手动阈值、自适应阈值、最大熵阈值、全局阈值、迭代阈值、Otsu阈值等,系统的界面如图 1所示。该系统操作简单、界面友好、通用性强、方便用户自主选择图像处理方法[10]。
Download:
|
|
管道图像处理方法的流程如图 2所示。
Download:
|
|
首先需要去除灰度图像的噪声,使其更适合计算机进行分析和处理;然后对滤波后的图像进行边缘检测;选择合适的阈值分割图像得到二值图像。
2.1 图像滤波由于管道内复杂的环境和采集工具的影响,获得的管道图像含有大量噪声,噪声会使图像质量下降、图像特征模糊。为了改善管道图像的质量,增强图像信息,就必须去除由某些因素产生的图像噪声[11]。图像滤波方法主要有均值滤波、高斯滤波和中值滤波等,经试验结果观测,中值滤波去噪效果明显、平滑效果好、对边缘模糊影响最小。中值滤波[12]把以某点为中心的小窗口内的全部像素的灰度值按从大到小的顺序排列,如果窗口中的像素个数是奇数,则用中间值代替该点的灰度值;如果窗口中的像素个数是偶数,则用两个中间值的平均值替换该点的灰度值。本文采用中值滤波法进行管道裂缝图像的去噪处理,结果如图 3所示。
Download:
|
|
边缘检测方法的好坏会影响到管道裂缝检测和识别的精度和效果。常用的边缘检测方法有Roberts算子、Sobel算子、Laplace算子、Canny算子和形态学梯度等边缘检测法。经试验结果观测,基于形态学梯度的边缘检测算法可以得到较为理想的边缘信息。
数学形态学是以形态结构元素为基础的算法,广泛应用于图像处理与模式识别领域[13]。数学形态学的两个基本运算:腐蚀、膨胀。设A和B是n维欧式空间中的点集,通常A为图像集合,B为结构元素。数学形态学运算就是使用结构元素B对图像集合A进行运算[14]。
腐蚀的运算符为Θ,A用B来腐蚀写作AΘB,其定义为
$ A\Theta B = \left\{ {{\rm{x|}}\left[{{{\left( B \right)}_x} \cap A} \right] \subseteq A} \right\} $ | (1) |
式(1)表明A用B腐蚀的结果是所有x的集合,把B平移x后还在A中。
膨胀的运算符为⊕,A用B来膨胀写作A⊕B,其定义为
$ A \oplus B = \left\{ {{\rm{x|}}\left[ {\left( {{{\mathop {{\rm{ }}\left( B \right)}\limits^ \gg }_x} \cap A} \right)} \right] \ne \emptyset } \right\} $ | (2) |
式(2)表明A用B膨胀的过程是首先对B做关于原点的映射,再将映射得到的结果平移x。这里A和B映像的交集不是空集。
对形态学的两个基本运算进行不同的组合,可以推导出多种形态学实用的算法:开运算、闭运算、形态学梯度等。形态学梯度为膨胀后的图像与腐蚀后的图像之差,对图像进行形态学梯度运算会增大灰度图像中的灰度级,突出高亮区域的外围,检测物体的边缘轮廓。本文采用形态学梯度对图像进行边缘检测,结果如图 4所示。
Download:
|
|
阈值分割法的原理[15]是通过某种算法对待处理的图像进行操作获取阈值Τ,设待处理图像的灰度值为x,阈值分割后图像的灰度值为f(x),当x < T时,该点灰度值赋予0(255);当x≥T时,该点灰度值赋予255(0)。阈值分割能让一幅图像变成黑白二值图,其数学表达式为
$ f\left( x \right)=\left\{ \begin{array}{l} 0 或 255, x < T\\ 255 或 0, x \ge T \end{array} \right. $ |
常用的自动获取阈值的方法有自适应阈值、最大熵阈值、迭代法、Otsu算法等。经试验结果观测,Otsu算法相比其他阈值方法分割管道图像的效果好。
Otsu算法[16]的基本思想是:将图像直方图用某一灰度值分割成2组,当被分割成的2组间方差最大时,该灰度值就是图像二值化所需要的阈值。该算法公式推导:对于一幅图像,其像素个数为W,记Τ为目标与背景的分割阈值。图像中灰度值为x对应的像素个数为n(x),图像的平均灰度值为u,类间方差记为σ2。当x≥T时,目标像素个数W0占图像的比例为w0,目标像素的平均灰度为u0;当x < T时,背景像素个数W1占图像的比例为w1,背景像素的平均灰度为u1。
1) 列出求解最佳阈值Τ的相关变量
$ \begin{array}{c} {w_0} = {W_0}/W\\ {u_0} = \sum xn\left( x \right)/{W_0}, x \ge T\\ {w_1} = {W_1}/W\\ {u_1} = \sum xn\left( x \right)/{W_1}, x < T \end{array} $ |
2) 计算图像的平均灰度u
$ u = {w_0}{u_0} + {w_1}{u_1} $ |
3) 求解最佳阈值Τ前景和背景图象的方差为
$ {\sigma ^2} = {w_0}{\left( {{u_0}-u} \right)^2} + {w_1}{\left( {{u_1}-u} \right)^2} $ |
等价于
$ {\sigma ^2} = {w_0}{w_1}{\left( {{u_0}-{u_1}} \right)^2} $ |
当σ2取最大值时,所对应的Τ为最佳阈值。
本文采用Otsu算法自适应获取阈值分割管道图像,结果如图 5所示。
Download:
|
|
为验证本文所提出算法的有效性,分别对两幅管道裂缝图像图 6(a)和(b)进行检测,结果如图 6(c)和(d)所示。实验结果表明本文提出的算法可行有效。
Download:
|
|
为验证本文所提出算法的优劣性,分别运用文献[6]提出的DEE(dou-edge evaluation)算法和本文算法对同一图像进行了图像处理效果对比实验。
DEE算法的步骤如下:首先通过Sobel算子对灰度图像进行边缘检测得到二值图像,然后采用形态学方法填充裂缝图像中的细小空洞并去除噪声,根据裂缝的长度和方向去除噪声提取特征骨架,再通过评估裂缝在水平和垂直方向上的宽度来产生矩阵,进一步去除图像中不是裂缝的对象,最后通过阈值分割去除随机噪声。
分别采用DEE算法与本文提出的方法对文献[6]给出的2幅管道裂缝图像7(a)和(b)进行检测,对比结果如图 7所示,7(c)和(d)是DEE算法检测结果,7(e)和(f)是本文方法检测结果。实验结果表明本文提供的方法检测效果优于DEE算法,具有一定的适应性。
Download:
|
|
管道裂缝图像处理系统是基于OpenCV进行设计与实现的,该系统操作简单,界面友好,交互性强,涵盖了图像处理的大量算法,可以满足对图像的基本处理要求,具有较强的可移植性和可扩展性。采用了中值滤波、形态学梯度、Otsu算法等图像处理算法,实现了管道裂缝的检测。与文献[6]的DEE算法比较的实验结果表明,本文提供的方法对管道裂缝的检测效果良好,具有较强的适应性。进一步的研究将基于机器视觉的管道三维重建技术,获得更加直观的管道裂缝的实际尺寸。
[1] | MOTAMEDI M, FARAMARZI F, DURAN O. New concept for corrosion inspection of urban pipeline networks by digital image processing[C]//Proceedings of the 38th Annual Conference on IEEE Industrial Electronics Society. Montreal, QC, Canada, 2012: 1551-1556. http://ieeexplore.ieee.org/document/6388510/ (0) |
[2] | KIRSTEIN S, MVLLER K, WALECKI-MINGERS M, et al. Robust adaptive flow line detection in sewer pipes[J]. Automation in construction, 2012, 21: 24-31. DOI:10.1016/j.autcon.2011.05.009 (0) |
[3] | 孙文雅, 李天剑, 黄民, 等. 基于图像处理的管道裂缝检测[J]. 制造业自动化, 2012, 34(1): 36-39. (0) |
[4] | KHALIFA I, ABOUTABL A E, BARAKAT G S A A. A new image-based model for predicting cracks in sewer pipes[J]. International journal of advanced computer science and applications, 2013, 4(12): 65-71. (0) |
[5] | ALAM M A, NAUSHAD ALI M M, SYED M A A A, et al. An algorithm to detect and identify defects of industrial pipes using image processing[C]//Proceedings of the 8th International Conference on Software, Knowledge, Information Management and Applications. Dhaka, Bangladesh, 2014: 1-6. http://ieeexplore.ieee.org/document/7083567/ (0) |
[6] | HUYNH P, ROSS R, MARTCHENKO A, et al. Dou-edge evaluation algorithm for automatic thin crack detection in pipelines[C]//Proceedings of 2015 IEEE International Conference on Signal and Image Processing Applications. Kuala Lumpur, Malaysia, 2015: 191-196. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=7412188 (0) |
[7] | MASHFORD J, RAHILLY M, LANE B, et al. Edge detection in pipe images using classification of Haar wavelet transforms[J]. Applied artificial intelligence, 2014, 28(7): 675-689. DOI:10.1080/08839514.2014.927689 (0) |
[8] | 李波锋. 基于机器视觉的排水管道缺陷检测算法研究[D]. 广州: 广东工业大学, 2015. http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=Y2795848 (0) |
[9] | 徐自越. 基于OpenCV焊缝视觉跟踪图像处理的研究[D]. 兰州: 兰州理工大学, 2012. http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=Y2110464 (0) |
[10] | 马新明, 赵晓莉, 时雷, 等. 基于OpenCV的图像处理系统设计与实现[J]. 河南农业大学学报, 2014, 48(1): 87-90. (0) |
[11] | 刘小燕. 基于数字图像处理的混凝土桥梁底面裂缝的检测[D]. 武汉: 武汉理工大学, 2014. http://cdmd.cnki.com.cn/Article/CDMD-10497-1015001237.htm (0) |
[12] | 田流芳. 基于中值滤波和小波变换的图像去噪算法研究[D]. 保定: 河北大学, 2014. http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=D531523 (0) |
[13] | 曹宇, 应保胜. 基于CCD图像的表面裂纹检测[J]. 现代制造工程, 2014(12): 78-81. DOI:10.3969/j.issn.1671-3133.2014.12.017 (0) |
[14] | 殷宇殿. 基于数学形态学的管道缺陷特征提取方法研究[D]. 沈阳: 东北大学, 2012. http://cdmd.cnki.com.cn/Article/CDMD-10145-1015556626.htm (0) |
[15] | 胡皙. 基于图像处理的地铁隧道裂缝检测技术研究[D]. 北京: 北京交通大学, 2014. http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=Y2733922 (0) |
[16] | 齐丽娜, 张博, 王战凯. 最大类间方差法在图像处理中的应用[J]. 无线电工程, 2006, 36(7): 25-26, 44. (0) |