公路交通科技  2018, Vol. 35 Issue (8): 89−93, 105

扩展功能

文章信息

马晔, 邹露鹏, 张理轻
MA Ye, ZOU Lu-peng, ZHANG Li-qing
无人机加载光学摄像及红外成像系统对海上特大桥塔索质量检测的运用技术
Application Technology of UAV Equipped with Optical Camera and Digital Infrared Imagery in Inspecting Quality of Pylon and Stay Cable of Sea-crossing Bridge
公路交通科技, 2018, 35(8): 89-93, 105
Journal of Highway and Transportation Research and Denelopment, 2018, 35(8): 89-93, 105
10.3969/j.issn.1002-0268.2018.08.013

文章历史

收稿日期: 2017-12-28
无人机加载光学摄像及红外成像系统对海上特大桥塔索质量检测的运用技术
马晔1,2 , 邹露鹏1,3 , 张理轻1,2     
1. 交通运输部公路科学研究所, 北京 100088;
2. 桥梁结构安全技术国家工程实验室, 北京 100088;
3. 杭州公科路桥技术有限公司, 浙江 杭州 310053
摘要: 现有检测索塔和斜拉索质量状况的方法存在效率低、成本高等特点,结合港珠澳大桥工程的江海直达船航道桥和九洲航道桥,运用无人机搭载高分辨率的数字红外成像系统和光学摄像机首次对海上环境的桥塔和拉索的施工质量进行检测。考虑到无人机搭载光学摄像及红外成像的飞行检测系统在国内尚未形成商用产品,且该技术首先要求无人机在海上五六级大风的环境下能稳定地飞行,检测过程中实时观察、保存测试图像,后期分析时需对现场测试的海量图像进行有效处理与分析。通过集成现有技术开发了飞行检测系统,利用光学相机和红外成像仪的成像技术及图像分割、识别技术,完成了2座斜拉桥的索塔和斜拉索质量的现场检测,并基于LabVIEW对现场测试的海量光学图像和红外图像进行智能识别和分析,实现了对缺陷的识别与定位。检测结果表明,未见索塔和斜拉索的明显表观病害和内部缺陷。仅搭载光学摄像机的无人机应用于索塔、斜拉索的质量检测,不能满足检测的全面性要求。搭载红外仪和光学相机的无人机检测系统检测范围全面、效率高和费用低,同时光学图像+红外图像的综合性检测结果能识别拉索表观及其内部隐含缺陷,该技术为塔索检测提供了一种高效的检测方式,对提高塔索的养护技术水平具有重要的意义。
关键词: 桥梁工程     质量检测     无人机     红外成像     塔索     图像识别    
Application Technology of UAV Equipped with Optical Camera and Digital Infrared Imagery in Inspecting Quality of Pylon and Stay Cable of Sea-crossing Bridge
MA Ye1,2, ZOU Lu-peng1,3, ZHANG Li-qing1,2    
1. Research Institute of Highway, Ministry of Transport, Beijing 100088, China;
2. National Engineering Laboratory for Safety Technology of Bridge Structure, Beijing 100088, China;
3. Hangzhou Gongke Road & Bridge Technology Co., Ltd., Hangzhou Zhejiang 310053, China
Abstract: Existing methods for inspecting the quality of pylons and stay cables are low efficiency and high cost. Based on the river-to-sea ship channel bridge and Jiuzhou ship channel bridge of Hong Kong-Zhuhai-Macau Bridge project, the construction quality of pylons and stay cables in offshore environment is inspected for the first time by using a UAV equipped with high-resolution digital infrared imager and optical camera. Considering the UAV equipped with optical imaging and infrared imaging flight inspection systems have not yet formed commercial products in China, this technology requires UAV stable flying on the sea in level five or level six winds, real-time observation and preservation of the images during inspection, and effective processing and analysis of the massive images tested in the field in post-analysis. The flight inspection system is developed by integrating the existing technologies. By using the imaging technology of optical cameras and infrared imagers, the image segmentation and recognition technology, the on-site inspection of the quality of pylons and stay cables of 2 cable-stayed bridges is finished. Based on LabVIEW, the intelligent identification and analysis on the massive optical images and infrared images enabled the identification and positioning of the defects. The inspection result shows that (1) no obvious apparent disease and internal defect found in the pylons and stay cables; (2) the UAV only equipped with optical camera cannot satisfy the comprehensive requirements of the inspection of the quality of pylons and stay cables; (3) the UAV equipped with infrared camera and optical camera has the advantages of comprehensive inspection range, high efficiency and low cost, and the comprehensive inspection result can identify the apparent and its internal defects of the cable. This technology provided an efficient method for pylon and stay cable inspection, which is of great significance to improve the maintenance level of pylons and stay cables.
Key words: bridge engineering     quality inspection     unmanned aerial vehicle (UAV)     infrared imaging     pylon and stay cable     image identification    
0 引言

斜拉桥是由索塔、拉索和主梁组成的缆索支承结构体系桥梁,因其跨越能力大、受力明确、造型美观等优点,已成为我国大跨度桥梁的主要桥型,在跨越大江河、深谷、海湾和连岛的桥梁工程中,得到了广泛的应用[1]。拉索将主梁多点吊起,并将恒载和活载传至索塔,再由索塔传至基础,拉索和索塔的性能直接影响全桥的安全[2]。然而拉索在自然环境侵蚀和长期交变荷载作用下,极易导致腐蚀退化和振动疲劳衰减,病害主要表现为护套开裂、钢丝锈断、锚固系统锈蚀、拉索松弛等,统计国内已换索的斜拉桥,拉索实际使用寿命平均不足15 a,其耐久性成为斜拉桥发展和运营中面临的突出问题之一,需在运营期间加强检查与维护,确保桥梁结构安全[3-5]

拉索的一端锚固在高耸的索塔上,对位于高空的塔索近距离进行检查往往难以实现,现有的检查手段主要有望远镜观察,借助吊篮或搭设支架抵近检查[6],这些方式只能对距离桥面一定高度的塔索进行检查,不能覆盖全部塔索范围,且检查期间需占用车道进行交通维护组织,影响桥梁的正常通行。为突破检查高度的限制,国外波兰以及国内的上海交通大学、东南大学、重庆交通大学和中铁大桥科学研究院先后研制出自动爬升缆索检测机器人,将机器人固定在桥面位置的一根拉索上,自动爬升到桥塔一端对整根拉索进行检查[7-11]。现有的手段均存在检查效率低、时间长、费用高等特点。

本研究结合港珠澳大桥工程的2座典型斜拉桥,运用无人机搭载高分辨率的数字红外成像仪和光学摄像机首次对海上环境的桥塔和拉索的施工质量进行了检测。

1 工程概况 1.1 江海直达船航道桥

江海直达船航道桥采用中央单索面三塔钢箱梁斜拉桥,跨径组合为(110+129+258+258+129+110) m,全长994 m。总体布置见图 1

图 1 江海直达船航道桥总体布置图(单位:cm) Fig. 1 General arrangement of river-to-sea ship channel bridge (unit:cm)

索塔为全钢结构,海豚造型,塔身高约110 m,由主、副塔柱和联系杆3部分组成,主塔柱包括受力直塔柱和造型曲塔柱2部分,主塔柱受力部分基本采用矩形断面。

斜拉索为中央平行单索面,平行钢丝斜拉索,钢丝抗拉强度1 860 MPa。全桥共7×2×3=42根斜拉索,最长约135 m,规格均为PES7-511,单根最大重量(不计锚具)约为22 t。斜拉索顺桥向间距为15 m,立面呈竖琴形平行索布置。

1.2 九洲航道桥

九洲航道桥通航孔桥为双塔单索面钢混组合梁斜拉桥,主跨设单孔双向通航,桥跨布置为(85+127.5+268+127.5+85)m,全长693 m,总体布置见图 2

图 2 九洲航道桥总体布置图(单位:cm) Fig. 2 General arrangement of Jiuzhou ship channel bridge(unit:cm)

索塔采用钢-混组合结构,由竖直的塔柱和弯曲的曲臂组成,塔高114.7 m,塔柱和曲臂在主梁位置设置纵向连杆,塔柱、曲臂和连杆形成稳定的三角形结构,在索锚区沿拉索方向在塔柱和曲臂之间设置连杆。

斜拉索采用单索面中央双排索竖琴形布置,两排索面横向间距为1.0 m,全桥一共有64根斜拉索。斜拉索采用直径7 mm高强度镀锌平行钢丝拉索,全桥均采用一种规格,即PESC7-451。钢丝标准强度fpk=1 770 MPa,弹性模量E=2.0×105 MPa。斜拉索护套采用双层PE护套防护,内层为黑色,外层为彩色。

2 无人机和搭载设备组成

无人机选配目前国内外最新、最先进的行业用机MATRICEM210 RTK,它由飞行器、遥控器以及配套使用的DJIAPP组成,配备新型三轴稳定云台相机;集成DJI先进的飞控系统、下视及前视视觉系统、红外感知系统和FPV摄像头,可稳定悬停、飞行,并具备障碍物感知功能和指点飞行、智能跟随等最先进飞行功能。无人机搭载光学摄像机X5S和数字红外成像系统,见图 3

图 3 DJiM210 RTK无人机 Fig. 3 DJiM210 RTK unmanned aerial vehicle

其中光学摄像机X5S配备增稳系统,可通过高速处理器控制电机精准运转,补偿飞行过程中相机的细微移动,平滑调整相机的拍摄角度。同时,云台可与飞行器的航向配合移动,轻松实现360°转动,在高速飞行航拍视频时,依旧能够获得稳定、清晰画面。

无人机搭载的数字红外成像系统由红外成像仪、采集系统、图像分析系统组成;是一款基于FLIR公司Tau2长波红外热成像机芯自研完成的集成开发。采集的数字图像数据以raw格式保存到TF卡中;飞行时实时图传输红外热成像模拟视频进行初步现场分析。飞行结束后对存储的红外热成像数字图像(raw格式序列)进行分析、识别。

3 索塔、斜拉索现场图像采集 3.1 光学摄像采集

江海直达船航道桥塔身高约110 m,全桥共42根斜拉索;九洲航道桥索塔高114.7 m,共有64根斜拉索。

首先对塔身进行采集,无人机起飞后我们在垂直于桥梁方向两侧由下向上、由上向下及环绕法对大桥的索塔塔身进行图像采集;采集过程要保证目测高清屏上图像清晰可辨。

索塔为钢塔,其优势在于避免了混凝土索塔存在的十塔九裂,从光学摄像也基本可以判定索塔外观质量优良。

然后是斜拉索的图像采集,无人机顺斜拉索方向飞行,每次采集1~3根拉索,要求图像采集清晰可辨。

3.2 红外热成像采集

红外成像可利用红外辐射原理对桥塔、斜拉索表面进行检测。它可以灵敏地探测表面热辐射,当材料结构存在某种缺陷时,受到太阳辐射或气温升降时由于缺陷类型形态及分布不同造成材料导热系数、质量热容性能的局部变化而影响红外辐射量[12-14],直接导致表面温度发生变化,使热像图上出现温差等异样;在采集光学图像的同时,采集红外图像。

4 图像智能分析与识别

本次港珠澳大桥索塔、斜拉索采集形成了52.6 GB的25 038个文件,如果用肉眼人工识别,工作量巨大耗时长而且容易误判或漏判。现在许多行业中已经采用智能的图像采集和识别来进行判断、控制。

4.1 光学图像的分析与识别

我们采用了LabVIEW进行智能图像识别,它提供的驱动和函数连接到不同相机上采集图像,也能够从连接在PC,PXI系统或笔记本计算机上标准端口和千兆位以太网视觉相机采集图像;其视觉开发模块作为强大的机器视觉处理库,配有各类函数,其中包括:边缘检测、颗粒分析、光学字符识别和验证,可与C++,Microsoft Visual,OpenCV相互调用。

我们把它分为图像预处理和定位缺陷检测。

图像预处理:图像灰度化、边缘检测;

定位缺陷检测:焊缝缺陷检测、裂缝检测、斜拉索破损检测。

图像预处理:边缘检测是图像处理中特征提取的一个重要研究领域[15]。我们对比几种边缘检测算子,最终采用Canny算子提取索塔及斜拉索像的边缘图像[16]。Canny算法通常处理的图像为灰度图像,首先对采集的彩色图像进行灰度化处理,并使用OpenCV库的转换函数可实现快速准确的转换,见图 4~图 5

图 4 大桥索塔图像灰度化处理 Fig. 4 Gray-scale processing of pylon image

图 5 Canny算子提取索塔的边缘图像 Fig. 5 Extraction of pylon edge image by Canny operator

定位缺陷检测,我们比较几种常用方法后,选择了Harris角点检测;角点检测的具体描述可以有如下4种:

一阶导数(灰度的梯度)局部最大所对应的像素点; 2条及2条以上边缘的交点; 图像中梯度值和梯度方向的变化速率都很高的点; 角点处的一阶导数最大,二阶导数为零,它指示了物体边缘变化不连续的方向;角点检测算子可以不断地改变我们需要或感兴趣的点,以达到检测缺陷的效果,由于港珠澳大桥没有发现结构缺陷,我们扩大其兴趣点,图 6的表达正是我们提取了部分感兴趣点的结果图。

图 6 角点检测算子提取索塔的检测图像 Fig. 6 Extraction of pylon inspection image by corner inspection operator

4.2 红外图像的分析与识别

斜拉索点坑、保温层破裂等缺陷是常见缺陷, 发现和识别这类缺陷可确保桥梁运行安全。由于有缺陷和无缺陷斜拉索表面热阻和发射率不同, 可依据表面温度分布异常实施检测。但辐射成像不可避免地存在着背景热噪声、边缘模糊现象[17-18]。使用LabVIEW开发用于红外无损检测的缺陷识别和定位系统,通过热影响区温度分布数据进行分析处理,实现缺陷识别和定位。

采用第一象限像素坐标,选取斜拉索的轴向长度方向为特征方向,得到特征方向上斜拉索的温度分布,采用最小二乘法拟合巴特沃斯滤波,提高了平滑后的细节清晰度,在发现缺陷细节方面效果很好。

5 讨论

可以看出,无人机运用于大桥索塔、斜拉索的外观检测,如果仅仅靠光学摄像是不能满足其检测的可信性及高效性。图像的分析、识别,目前可用MATLAB,VS+OpenCV及LabVIEW等软件进行,本研究采用LabVIEW软件,它的特点是便于程序相互调用,为用户提供了相当便利的操作。用户可通过视觉开发模块的同步功能,实现与运动或数据采集测量的同步;在图像预处理和缺陷检测上,如何选用适合的滤波方法,边缘检测的恰当算子,图像分割修复及特征检测等需要不断探讨。

6 结论

本研究运用无人机搭载高分辨率的数字红外成像仪和光学摄像机首次对港珠澳大桥工程的2座典型斜拉桥的索塔和斜拉索的施工质量进行了检测,对2座大桥采集的光学图像及红外图像进行了较为详细的分析、识别,未见索塔和斜拉索的表观病害。检测结果还表明,搭载红外仪和光学相机的无人机检测系统检测范围全面、效率高和费用低,同时光学图像+红外图像的综合性检测结果能识别拉索表观及其内部隐含缺陷,为塔索检测提供了一种高效的检测方式,对提升塔索的养护技术水平具有重要的社会及经济意义。

参考文献
[1]
李忠三, 雷俊卿, 林道锦. 多塔斜拉桥力学特性分析[J]. 世界桥梁, 2014, 42(1): 40-44.
LI Zhong-san, LEI Jun-qing, LIN Dao-jin. Mechanical Performance Analysis of CableStayed Bridge with Multiple Pylons[J]. World Bridges, 2014, 42(1): 40-44.
[2]
徐海虹, 朱从明. 斜拉桥运营期的斜拉索检查方法的比较分析及建议[J]. 现代交通技术, 2012, 9(2): 37-40, 69.
XU Hai-hong, ZHU Cong-ming. Contrast Research and Suggestions on Inspection Methods for Stayed Cables of Cable Stayed Bridge in Service[J]. Modern Transportation Technology, 2012, 9(2): 37-40, 69.
[3]
李宏江. PC斜拉桥拉索使用现状及其养护技术进展[J]. 公路工程, 2014, 39(5): 165-169.
LI Hong-jiang. The Current Service Status and Maintenance Advances of Stay Cables in Prestressed Concrete Cable-Stayed Bridges[J]. Highway Engineering, 2014, 39(5): 165-169.
[4]
吴育苗, 蒋湘成, 朱利明. 斜拉桥斜拉索体系病害分析与处理方案[J]. 世界桥梁, 2013, 41(3): 77-80, 84.
WU Yu-miao, JIANG Xiang-cheng, ZHU Li-ming. Deterioration Analysis of Stay Cable System of Cable-stayed Bridge and the Dealing Scheme[J]. World Bridges, 2013, 41(3): 77-80, 84.
[5]
舒林, 许红胜, 曾毅杰, 等. 影响斜拉索运营寿命的各种因素分析[J]. 中外公路, 2017(1): 84-88.
SHU Lin, XU Hong-sheng, ZENG Yi-jie, et al. Analysis of Various Factors that Affect Operating Life of Stay Cables[J]. Journal of China & Foreign Highway, 2017(1): 84-88.
[6]
吴中鑫, 盛海军, 郑敏, 等. 斜拉桥旧索试验检测及残余寿命评估[J]. 中外公路, 2015(1): 103-108.
WU Zhong-xin, SHENG Hai-jun, ZHENG Min, et al. Test and Residual Life Assessment of Old Cables of Cable-stayed Bridges[J]. Journal of China & Foreign Highway, 2015(1): 103-108.
[7]
宋金博. 索承桥上部结构新型全视角检测装备研究[J]. 筑路机械与施工机械化, 2017(2): 122-126.
SONG Jin-bo. Research on New All-round Detection Equipment for Upper Structure of Cable Bridge[J]. Road Machinery & Construction Mechanization, 2017(2): 122-126.
[8]
张家梁, 吕恬生, 罗均. 大倾斜度缆索机器人的研制[J]. 高技术通讯, 2001, 11(1): 87-90.
ZHANG Jia-liang, LV Tian-sheng, LUO Jun. Development of Arbitrary-gradient Cable Robot[J]. High Technology Letters, 2001, 11(1): 87-90.
[9]
吴中鑫, 王蔚, 盛海军. 检索机器人在斜拉桥拉索外观检测中的应用[J]. 公路, 2013(1): 252-255.
WU Zhong-xin, WANG Wei, SHENG Hai-jun. Application of Retrieval Robot in Appearance Inspection of Cable-stayed Bridge[J]. Highway, 2013(1): 252-255.
[10]
杜子学, 向中富, 武维, 等. 一种桥梁缆索健康检测机器人: 中国, 200920127012. 5[P]. 2010-12-10.
DU Zi-xue, XIANG Zhong-fu, WU Wei, et al. A Bridge Cable Health Testing Robot: China, 200920127012. 5[P]. 2010-12-10.
[11]
李鸥, 侍刚, 王波, 等. 运营期桥梁斜拉索的技术状况检测[J]. 世界桥梁, 2017, 45(4): 79-83.
LI Ou, SHI Gang, WANG Bo, et al. Inspection of Technical Condition of Bridge Stay Cables in Operation Period[J]. World Bridges, 2017, 45(4): 79-83.
[12]
马晔. 混凝土结构缺陷的红外热成像检测识别技术[J]. 公路交通科技, 2017, 34(12): 59-65.
MA Ye. Infrared Thermal Imaging Detection and Recognition Technology for Defects in Concrete Structure[J]. Journal of Highway and Transportation Research and Development, 2017, 34(12): 59-65.
[13]
邹露鹏, 范钟倩. 微型无人机在公路桥梁养护检测工程中的应用[J]. 公路, 2017(7): 172-175.
ZOU Lu-peng, FAN Zhong-qian. Application of Micro-UAV in Highway Bridge Maintenance Inspection Engineering[J]. Highway, 2017(7): 172-175.
[14]
陈伟, 丁沙, 陈波, 等. 基于红外热成像与温度场有限元模拟的混凝土无损检测研究[J]. 混凝土, 2011(8): 140-145.
CHEN Wei, DING Sha, CHEN Bo, et al. Study on Concrete Using Non-destructive Testing Methods Based on Infrared Thermal Imaging and Finite Element Simulation of Temperature Field[J]. Concrete, 2011(8): 140-145.
[15]
黄剑玲, 邹辉. 一种基于形态学的多结构元素多尺度图像边缘检测方法[J]. 微电子学与计算机, 2009, 26(8): 76-79.
HUANG Jian-ling, ZOU Hui. An Image Edge Detection Method of Multi-structure Elements and Multi-scale Based on Morphology[J]. Microelectronics & Computer, 2009, 26(8): 76-79.
[16]
黄亮, 左小清, 冯冲, 等. 基于Canny算法的面向对象影像分割[J]. 国土资源遥感, 2011, 91(4): 26-30.
HUANG Liang, ZUO Xiao-qing, FENG Chong, et al. Object-oriented Image Segmentation Based on Canny Algorithm[J]. Remote Sensing for Land & Resources, 2011, 91(4): 26-30.
[17]
李大鹏, 赵元松, 杨元任. 红外无损检测的缺陷识别与定位系统的开发[J]. 中国舰船研究, 2006, 1(2): 53-56.
LI Da-peng, ZHAO Yuan-song, YANG Yuan-ren. Development of Infrared Nondestructive Testing System for Defects Identification and Positioning[J]. Chinese Journal of Ship Research, 2006, 1(2): 53-56.
[18]
李宏贵, 罗正发, 李国帧, 等. 基于分形理论的红外图像边缘检测[J]. 红外技术, 1999, 21(1): 18-20.
LI Hong-gui, LUO Zheng-fa, LI Guo-zhen, et al. Edge Detection of IR Images Based on the Fractal Theory[J]. Infrared Technology, 1999, 21(1): 18-20.