2023, Vol. 55
2. 成都圭目机器人有限公司 四川 成都 610310
2. Chengdu Guimu Robot Co., Ltd, Chengdu 610310, China
地下管线的精准探测是机场道面地下管线网的设计与规划关键技术，需要一种快速有效的地下管线定位方法[1]来解决这一问题。目前，地下管线识别仍采用以人工检查为主的检测方法，该方法耗时费力、主观性强且成本较高，并且后续还需要辅以专家进行判断与定位，无法满足机场快速发展的需求。因此，地下管线自动化检测与定位对实际应用是很有必要的。
管线定位工作是智慧交通研究的热点问题。为了从图像中快速、准确地检测并定位管线, 廉飞宇等[2]使用SVM识别方法确定地下管径的尺寸，由于该方法的分类结果取决于特征的质量，在实际工程应用中很难获得，故随着数据量的增加，这项工作越来越困难；胡浩帮等[3]采用Faster R-CNN[4-5]识别B-scan图像[6-8]中的双曲线特征[9-12]，但缺乏管线的定位工作，未能应用到实际工程中；吴勤伟[13]使用三维探地雷达进行金属管线定位与检测，但成像效果不清晰，并且对非金属管线的定位效果不太理想。
上述研究都是针对探地雷达(ground penetrating radar，GPR)[14-15]的B-scan图像展开基础的识别，有关管线定位的研究工作较少，并且在复杂的机场道面下没有进行相应的实践。本文在已有研究的基础上，提出面向机场道面的地下管线三维定位算法。首先，对用GPR采集的机场道面地下雷达数据进行去噪、滤波等预处理工作，并利用Faster-RCNN网络进行双曲线目标识别，接着融入双曲线顶点获取算法来确定管线顶点的精确坐标，最后自主设计了三维空间直线拟合(three-dimensional space line fitting，TDSLF)算法来实现三维空间管线[16-17]拟合的重构，实验结果验证了所提算法的实用性与有效性。
1 机场道面地下管线定位算法本文提出的机场道面地下管线三维定位算法主要由三部分组成：B-scan图像预处理与管线目标识别；采用双曲线顶点获取算法确定管线顶点；设计TDSLF算法来重构地下管线位置。
1.1 B-scan图像预处理与管线目标识别在采集数据时，随着GPR的移动，不断获取的雷达波数据经过数据预处理后生成可视化图像。当GPR探测到异常物体例如地下管线等，由于介电常数的改变，GPR接收的雷达波会产生较大的波动，将这些雷达波数据转化为图片信息后成为B-scan图。并且随着GPR的移动，地下管线信息在图像中表现出不明显的黑白区域，黑白区域则对应的是地下管线目标。B-scan预处理前后对比如图 1所示。
|
图 1 B-scan预处理前后对比 Fig. 1 Comparison before and after B-scan preprocessing |
利用Faster-RCNN网络对具有地下管线形态特征的双曲线进行精确识别，将得到的雷达B-scan图像裁剪为448*448，送入神经网络，在RPN网络层获得区域建议框及建议框得分，保留得分高的建议框，送入ROI池化层，在全连接层输出目标的定位得分以及分类得分。地下管线目标检测网络如图 2所示。
|
图 2 地下管线目标检测网络 Fig. 2 Underground pipeline target detection network |
由于双曲线顶点处蕴藏着管线的位置信息，为了对检测目标进行精确定位，采用OSTU算法[18]对双曲线顶点和尖头进行检测。OSTU算法为最大类间方差法，是按照灰度特性将图像分为背景和目标两个部分。背景和目标之间的类间方差越大, 说明构成图像的两个部分的差别也越大。当部分目标错分为背景或部分背景错分为目标时，都会导致两个部分的差别变小。
本文将第一阶段识别所得地下管线的双曲线目标灰度图像作为输入源，通过自适应的OSTU算法得到符合预期的二值化图像。在二值化图像中，将左上角的像素点作为原点起始位置，向下作为图片坐标系的y轴方向，向右作为图片坐标系的x轴方向。然后对于二值图的每个像素点，统计x轴与y轴方向白色像素点的个数，y轴方向取白色像素点个数最少的y值作为备选顶点坐标，x轴方向将得到白色像素点个数最少的x1与x2的平均值作为备选顶点坐标，即将((x1+x2)/2, y)作为得到的双曲线顶点坐标。记录顶点坐标，还原到识别好的B-scan原图上，将获得顶点坐标的B-scan图作为下一阶段三维重构的输入源。获取双曲线顶点的流程如图 3所示。
|
图 3 获取双曲线顶点的流程 Fig. 3 Flow chart for obtaining hyperbolic vertices |
OSTU算法与二值化图顶点获取方法构成了双曲线顶点获取算法，通过该算法可以实现对双曲线目标顶点的有效提取。
1.3 TDSLF算法与地下管线重构设计对于一组连续的B-scan图，在通过前两个阶段的操作后，获得了已知双曲线顶点的B-scan图。将连续图片的第一幅图作为起始三维图像的输入源，依次判断下一张图片上所有管线的顶点坐标与上一张图片顶点坐标的位置关系，为此设计了TDSLF算法。
B-scan图的连续性质是实现管线重构的重要线索，将前一张B-scan图的双曲线顶点坐标所在的感受域与后一张B-scan图的所有双曲线顶点坐标的感受域进行比较。若在图像坐标系中，连续图片的x轴与y轴方向的坐标绝对值误差在2个像素点之间，可以认为二者的感受域相同，则认为顶点坐标前后连贯并一致，此时可将该点与感受域相同的点连接起来，形成第三个维度方向，前后承接。按照这种方式，最终在空间坐标系中实现了管线的三维呈现。
将得到的同一管线的双曲线顶点坐标进行记录并连接，在Python平台上实现三维重构，并用不同颜色标记不同的管线，从而获得管线的三维空间位置。
2 实验结果与分析本文算法是由基于深度学习的开源框架TensorFlow实现，程序的运行环境是主频为3.2 GHz的i7-8700 CPU，64 G的运行内存，GPU为GeForce GTX 1080ti，11 G显存，操作系统为Ubuntu 18.04。
2.1 数据集数据集中的图像均来自真实机场道面环境，数据采集平台为成都圭目机器人有限公司的机场道面安全检测机器人，如图 4所示。
|
图 4 机场道面安全检测机器人 Fig. 4 Airport pavement safety inspection robot |
数据集的采集过程是将一个等距的十四通道的GPR固定在机器人上，机器人带有900 MHz的天线，将GPR设置为距离触发器模式。其中，多通道GPR的覆盖宽度为0.7 m，并使用镜像辅助方法进行传感器校准。该机器人通过机载GPS-RTK接收器和IMU来进行自定位。
在执行数据采集时，首先离线规划扫描轨迹，以确保完全覆盖整个调查区域，并通过遥控将机器人引导至起点。然后，机器人对计划的规则网格轨迹进行自动扫描，以收集多个并行的B-scan。扫描任务完成后，B-scan生成被调查区域的C-scan。将C-scan数据传输到具有4 G/Wi-Fi连接的数据分析服务器，在服务器上运行本文算法来处理GPR数据。
机场地下病害(airport underground disease，AUD)图像数据集是由GPR采集的来自国内三个机场的真实数据，将采集所得图像进行预处理操作，并进行人工标注双曲线目标，标注为Pascal Voc数据集格式，包含JPEGImages与Annotations两个文件夹，分别存放地下管线的B-scan图像及与其对应的标注信息，数量为1 270张。
2.2 B-scan预处理过程与Faster-RCNN实验结果由于未经预处理的B-scan图模糊不清，双曲线目标不明显，需要对图片进行预处理操作。预处理过程包括：首先对图像矫正零偏，地平线调节零点，呈现图片真实位置情况；接着进行背景消除，滤波器去噪，去除图片的噪声部分；最后进行细节增益放大，得到清晰的B-scan图。对经过预处理并人工标注后的AUD数据集，搭建Faster-RCNN网络，设置相关的网络参数，进行模型训练，记录每一轮迭代的结果，不同训练次数的检测结果对比如表 1所示。
|
表 1 不同训练次数的检测结果对比 Tab. 1 Comparison of detection results of different training times |
可以看出，当训练次数为50 000时，模型的正确率约为91%，召回率超过99%，F1值超过95%，识别后的B-scan图可作为下一步算法的输入源。
地下管线检测可视化结果如图 5所示，连续型与单独型双曲线目标都能够在图像中准确识别出来，体现了该模型良好的鲁棒性。并且，不同于传统的图像分割算法，该模型可以有效识别复杂交叉的目标特征，结果准确可靠。
|
图 5 地下管线检测可视化结果 Fig. 5 Visualized results of underground pipeline inspection |
将第一阶段识别框内得到的双曲线样本，通过第二阶段的算法得到相应的双曲线顶点坐标，并将其还原在B-scan原图上，记录每张B-scan图所得双曲线顶点坐标，算法结果如图 6所示。可以看出，通过该图像处理算法，得到的双曲线顶点坐标与实际双曲线位置是几乎一致的，符合预期效果。
|
图 6 双曲线顶点获取算法结果 Fig. 6 Hyperbolic vertex acquisition algorithm result |
将得到的双曲线顶点还原到原图上，对所得的原图的管线分布进行初步判断，可以直观地看到顶点位置，如图 7所示。为了获得管线的精确位置，将图像坐标系与管线的真实坐标系进行转化，记录空间双曲线顶点坐标，进行三维空间双曲线顶点可视化。基于管线顶点的真实坐标，利用TDSLF算法得到管线的三维分布情况。
|
图 7 还原到原图上的双曲线顶点可视化图 Fig. 7 Visualization of hyperbolic vertex restored to the original image |
地下管线空间可视化侧视图如图 8所示，部分连接的管线出现独立的突出点，这是由于在图片处理过程中仍存在一些单个噪点。最终实验所得管线的总体形态位置与机场提供的实际管线信息的深度位置的误差不超过4 cm。
|
图 8 地下管线空间可视化侧视图 Fig. 8 Side view of underground pipeline space visualization |
针对复杂的机场道面地下管线GPR成像中管线定位效率低、精度不准的问题，本文提出一种基于深度学习并融合图像处理的三维定位算法。该算法通过各阶段的识别与定位配合，实现地下管线的自动化检测与定位。在采集的AUD数据集上进行了实验，结果表明，本文算法可以实现地下管线的三维定位，适用于地下管线自动化检测任务。下一步的工作将集中于生成图像以扩大样本和继续优化网络模型，并将GPR管线目标智能识别与参数拟合相结合，以确定地下管线的真实位置及管径等各项信息，最终达到全面识别地下管线的效果。
| [1] |
陈思静, 胡祥云, 彭荣华. 城市地下管线探测研究进展与发展趋势[J]. 地球物理学进展, 2021, 36(3): 1236-1247. CHEN S J, HU X Y, PENG R H. Review of urban underground pipeline detection[J]. Progress in geophysics, 2021, 36(3): 1236-1247. (  0) |
| [2] |
廉飞宇, 李青. 探地雷达图中地下管径尺寸的SVM识别方法[J]. 信息与电子工程, 2011, 9(4): 403-408. LIAN F Y, LI Q. Recognition method based on SVM for underground pipe diameter size in GPR map[J]. Information and electronic engineering, 2011, 9(4): 403-408. DOI:10.3969/j.issn.1672-2892.2011.04.002 ( 0) |
| [3] |
胡浩帮, 方宏远, 王复明, 等. 基于Faster R-CNN算法的探地雷达管线目标智能识别[J]. 城市勘测, 2020(3): 203-208. HU H B, FANG H Y, WANG F M, et al. Intelligent recognition of pipeline target based on Faster R-CNN algorithm for ground penetrating radar[J]. Urban geotechnical investigation & surveying, 2020(3): 203-208. DOI:10.3969/j.issn.1672-8262.2020.03.047 ( 0) |
| [4] |
REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137-1149. DOI:10.1109/TPAMI.2016.2577031 ( 0) |
| [5] |
GIRSHICK R. Fast R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision. Piscataway: IEEE Press, 2015: 1440-1448.
( 0) |
| [6] |
LEI W T, HOU F F, XI J C, et al. Automatic hyperbola detection and fitting in GPR B-scan image[J]. Automation in construction, 2019, 106: 102839. DOI:10.1016/j.autcon.2019.102839 ( 0) |
| [7] |
LIU Z W, ZHANG Z Y, GAO Y Y, et al. Using adaptive cross approximation to accelerate simulation of B-scan GPR for detecting underground pipes[EB/OL]. [2021-09-12]. https://www.researchgate.net/publication/310456507.
( 0) |
| [8] |
DINH K, GUCUNSKI N, DUONG T H. An algorithm for automatic localization and detection of rebars from GPR data of concrete bridge decks[J]. Automation in construction, 2018, 89: 292-298. DOI:10.1016/j.autcon.2018.02.017 ( 0) |
| [9] |
侯斐斐, 施荣华, 雷文太, 等. 面向探地雷达B-scan图像的目标检测算法综述[J]. 电子与信息学报, 2020, 42(1): 191-200. HOU F F, SHI R H, LEI W T, et al. A review of target detection algorithm for GPR B-scan processing[J]. Journal of electronics & information technology, 2020, 42(1): 191-200. ( 0) |
| [10] |
钟羽中, 吴仁彪, 刘家学. 基于GPR的机场跑道钢筋回波检测与抑制[J]. 信号处理, 2011, 27(10): 1509-1514. ZHONG Y Z, WU R B, LIU J X. Rebar echo detection and suppression in runway using GPR[J]. Signal processing, 2011, 27(10): 1509-1514. DOI:10.3969/j.issn.1003-0530.2011.10.009 ( 0) |
| [11] |
马雷, 田中旭, 邸义. 地下管线检测中的曲线重构算法[J]. 机床与液压, 2006, 34(11): 13-15. MA L, TIAN Z X, DI Y. An algorithm for curve reconstruction on underground pipeline detection[J]. Machine tool & hydraulics, 2006, 34(11): 13-15. DOI:10.3969/j.issn.1001-3881.2006.11.005 ( 0) |
| [12] |
夏锋, 黄廷磊, 刘邵华. 地下管线探测回波中目标双曲线的快速拟合方法[J]. 计算机系统应用, 2013, 22(5): 85-89. XIA F, HUANG T L, LIU S H. A rapid method of fitting out targets hyperbola of underground pipeline prospecting image[J]. Computer systems & applications, 2013, 22(5): 85-89. ( 0) |
| [13] |
吴勤伟. 三维探地雷达在地下金属管线定位探测中的应用研究[J]. 世界有色金属, 2020(15): 215-216. WU Q W. Application of 3D ground penetrating radar in location detection of underground metal pipelines[J]. World nonferrous metals, 2020(15): 215-216. ( 0) |
| [14] |
杨军, 张华, 冯德山, 等. GPR探测中管线异常自动提取与识别[J]. 地球物理学进展, 2021, 36(3): 1333-1340. YANG J, ZHANG H, FENG D S, et al. Automatic extraction and recognition of anomalies in GPR pipeline detection[J]. Progress in geophysics, 2021, 36(3): 1333-1340. ( 0) |
| [15] |
李策, 徐频捷, 徐昕军, 等. 基于深度卷积神经网络的雷达信号铁路路基病害检测方法: CN107621626A[P]. 2018-01-23. LI C, XU P J, XU X J, et al. Radar signal railway roadbed disease detection method based on radar signal of deep convolution neural network: CN107621626A[P]. 2018-01-23. ( 0) |
| [16] |
PARK J, YUN J, KIM N, et al. Fully automated lung lobe segmentation in volumetric chest CT with 3D U-net: validation with intra- and extra-datasets[J]. Journal of digital imaging, 2020, 33(1): 221-230. ( 0) |
| [17] |
POLAT H, DANAEI M H. Classification of pulmonary CT images by using hybrid 3D-deep convolutional neural network architecture[J]. Applied sciences, 2019, 9(5): 940. ( 0) |
| [18] |
张丽, 李潇, 吴皓天, 等. 基于最大类间方差的图像分割算法研究[J]. 科技创新与应用, 2021(8): 39-41. ZHANG L, LI X, WU H T, et al. Research on image segmentation algorithm based on maximum between-class variance[J]. Technology innovation and application, 2021(8): 39-41. ( 0) |