文章快速检索  
  高级检索
输电线路巡检图像智能诊断系统
傅博1, 姜勇1, 王洪光1, 姜文东2, 宋屹峰1, 王灿灿3, 初金良3, 赵彦平4
1. 中国科学院沈阳自动化研究所机器人学国家重点实验室, 辽宁沈阳 110016;
2. 国家电网浙江省电力公司, 浙江杭州 310007;
3. 国网浙江省电力公司丽水供电公司, 浙江丽水 323000;
4. 国网山西省电力公司检修分公司, 山西太原 030000
    
摘要:随着电网系统对安全性的要求不断提高,机器人等自动化设备越来越多地应用到电力巡检中,人工手段对设备采集的图像进行缺陷检测存在效率低、检测结果不稳定的缺点。为此提出并开发了一种输电线路巡检图像智能诊断系统。在系统中构建了分层软件结构,基于Visual Studio 2010开发环境,开发了图像导入、数据库访问、文本输出等功能模块,使用了多种检测算法,且利用ADO技术以实现对数据库的访问和修改。软件测试的结果表明该系统具有工作效率高、错误率低、界面友好等优点,适用于输电线路巡检图像的检测工作。
关键词机器人     输电线路巡检     智能诊断     图像处理     批量检测     数据库     分层软件结构    
Intelligent diagnosis system for patrol check images of power transmission lines
FU Bo1 , JIANG Yong1, WANG Hongguang1, JIANG Wendong2, SONG Yifeng1, WANG Cancan3, CHU Jinliang3, ZHAO Yanping4
1. State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China;
2. State Grid Zhejiang Electric Power Company, Hangzhou 310007, China;
3. Lishui Power Supply Company, Lishui 323000, China;
4. State Grid Shanxi Electric Power Maintenance Company, Taiyuan 030000, China
Abstract: With the growing demand for safety in power systems, more automatic equipment is being used for power inspection. The manual detection of defects from equipment-collected images has a number of drawbacks, including low efficiency and unreliable detection results. In this study, we propose an intelligent diagnosis system for patrol check images of power transmission lines. In the proposed system, we constructed a layered software structure, and using the Visual Studio 2010 development environment, we developed an image importing module, a database access module, and a text output module. We also applied various diagnostic algorithms in the system. Based on Microsoft's ADO technology, we entered access and modification operations into the database. The software test results show that the system has a number of advantages, including high efficiency, a low error rate, and a user-friendly interface. It is readily applicable for detection of defects in patrol check images of power transmission lines.
Key words: robot     patrol check for power transmission line     intelligent diagnosis     image processing     batch detection     database     layered software structure    

在电力行业,机器人在对输电线路进行巡检的过程中,会拍摄下沿线的照片作为缺陷诊断的依据。但是大量的巡检照片目前仍是通过人工检查,不仅需要花费较多的时间精力,也不能保障检测结果的稳定性和准确率。

目前国内外在电力图像检测领域的研究主要是针对常见的线路缺陷类型或特定问题进行检测、识别,例如输电线断股、螺丝脱落、绝缘子破损、防振锤破损、线夹破损、间隔棒的定位等[1, 2, 3, 4]。国外方面Wai Ho Li博士研究的算法能够通过对导线的定位以及对导线间断点的分析,判断出间隔棒的位置[5]。国内方面刘国海等通过简单的区域几何特性分析,并结合遗传径向基网络实现绝缘瓷瓶的识别[6]。魏振中等通过霍夫变换结合投影统计实现导线检测与缺陷识别,并在阈值法图像分割的基础上,使用查询模板与置信度分析相结合的方法实现绝缘子与障碍物的判别[7]。王晓鹏等对输电设备积冰的图像分析方法进行了研究,提出了基于小波变换以及浮动阈值的釉积冰检测以及基于优化阈值与图像形态学操作的不透明雾凇积冰识别算法[8]

总的来说,该方向的研究工作仍处于理论研究与仿真测试阶段。根据所查,目前尚无整合多种算法,对图像进行批量检测,并对缺陷检测的整个流程进行管理的系统应用。本文提出了一种输电线路巡检图像检测系统,该系统使用多种智能缺陷诊断算法,用于巡检图片的批量检测工作,并能够对图像信息进行集中管理,最终可以将分析结果输出为标准格式的检测报告。减少了人力工作量,提高了工作效率,也保证了缺陷检测的准确率。

1 算法介绍 1.1 算法总体概述

出于实际需要,系统集成了 “线上悬挂异物”、“线路断股”、“间隔棒断裂”、“玻璃绝缘子自爆”、“导线磨损”等几种缺陷检测算法。

“线上悬挂异物”和“线路断股”两种算法均利用LSD对导线进行定位并计算沿线矩阵的迹,设定不同的阈值,来判断导线上是存在异物还是存在断股现象。

“玻璃绝缘子自爆算法”在Lab特征空间中,采用Ostu法定位绝缘子,再通过计算绝缘子各部件间的相似性并搜索相似度最小值,从而估计绝缘子缺陷所处的位置。

“间隔棒断裂”算法将图像进行二值化处理后,计算连通域的个数,如果个数大于1,则认为存在间隔棒断裂情况。

算法均被封装为动态链接库的形式,被主程序调用,方便日后的升级维护。

1.2 “导线磨损”检测算法分析

本节主要以“导线磨损检测”为例,对算法的检测原理进行介绍。

“导线磨损”检测算法针对导线上的磨损缺陷进行检测。检测流程可以分为4步,如图 1所示。

图 1 “导线磨损”检测算法流程图 Fig. 1 Flow diagram of “conductor abrasion” detection algorithm

图 2(a)为一张有磨损缺陷的原始图像。

图 2 灰度化、降噪处理 Fig. 2 Gray and noise reduction processing

1)第1步为图像预处理阶段,主要完成图像的灰度图转化、降噪。

在RGB模型中,如果R=G=B时,则彩色表示一种灰度颜色,其中R=G=B的值叫灰度值。因此灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值),灰度范围为0~255。这里采用平均值法进行处理。处理后,图像的灰度值是彩色图像三分量的平均值。

经灰度化处理后的图像如图 2(b)。为了抑制噪声、改善图像质量,采用中值平滑滤波器对图像进行平滑处理。降噪后的结果如图 2(c)所示。

2)第2步为获取感兴趣区域,通过图像边缘检测的手段,得到输电线路[9]

图像的边缘有方向和幅度2个属性,沿边缘方向像素变化平缓,垂直于边缘方向像素变化剧烈,如图 3(a)所示。边缘上的这种变化可以用微分算子检测出来,通常用一阶或二阶导数来检测边缘。

图 3 边缘检测 Fig. 3 Edge detection

采用Hough变换提取图像中的直线信息,输电线边缘直线 L1L2在图像坐标系uv中的表达分别为ucosβ1+vsin β11ucosβ2+vsin β2=ρ2,满足如下条件:

式中:β=${{{\beta _1} + {\beta _2}} \over 2}$为线路边缘直线方向; Δu ΔvT为从输电线边缘直线L1上一点到直线L2上一点的矢量;ωd与βd分别为线路宽度对应的像素数与线路角度;ζ1ζ2 为设定的阈值。

以获取的线路边缘作为基准,对线路图像进行裁剪,得到输电线路对象。如图 3(b)所示。

3)第3步为图像特征提取。

首先对输电线路范围进行二值化处理,而后将图像旋转τ(τ为线股与线路边缘的夹角),使输电线路线股处于水平方向,如图 4所示。

图 4 旋转后的二值化图像 Fig. 4 Binary image after rotation

沿竖直方向计算每一列中灰度值为1的像素个数,可以得到二值化图像的分布直方图,如图 5

图 5 二值化图像的分布直方图 Fig. 5 英文Distribution histogram of binary image标题

4)第4步为特征假设判别,通过对二值化图像分布直方图进行周期性分析,来完成缺陷的检测。

图 5所示的直方图中,未磨伤线路呈现出规律的周期性,线股与线股间隙交替出现,出现在竖直方向的距离分别为线股宽度与线股间隙宽度。而磨伤缺陷将导致磨伤区域线股间隙不明显,是否存在周期性规律,可以作为磨伤的判别标准,最后将对应区域进行定位,智能化地将缺陷标注出来,得到分析结果如图 6所示。

图 6 诊断结果 Fig. 6 Diagnosis result

以上就是“导线磨损检测”算法的实现原理。

2 软件设计 2.1 软件总体结构

为了便于软件的开发和维护,提高系统的工作效率,提出了分层式架构,软件系统由底层至顶层分别是:数据层、数据访问层、算法层、应用层和用户层,如图 7所示。

图 7 分层式软件结构 Fig. 7 Stratified software structure

数据层是基于SQL Server平台开发的整个软件架构的主体,可根据用户权限对数据进行访问、更新、添加或删除等操作;数据库中的表单数据方便后期归档信息的统计、整理、保存、更新及输出。

数据访问层是数据层与算法层、应用层和用户层进行数据交互的桥梁,为各类型数据的写入和读取提供统一的标准接口,同时提供访问授权、密码验证等功能。考虑到本次项目的具体情况和安全问题,不采用web访问形式[10],而采用本地访问模式。利用NET提供的ADO技术实现对数据库的访问[11]。创建了DbOperation类,用于实现ADO数据模型的具体操作。

算法层是系统软件架构的核心,是由专门针对输电线路巡检图像智能诊断任务研究设计的各种图像处理和模式识别算法组成的,包括图像预处理算法[12]、匹配算法和缺陷识别算法等。算法的软件开发使用C语言,是在OpenCV和MATLAB的跨平台环境下实现的。算法以动态链接库的形式给出,便于程序的封装、移植、调用以及后续的算法升级工作。

应用层是系统软件架构的任务管理层,负责将整个系统架构组织协调成有机的整体,包括:任务调度管理、缺陷诊断、数据统计分析、系统信息管理和文档处理等。该层采用多线程设计思路,通过前后台的并行处理来提高系统软件的运行效率。

用户层是系统软件的人机接口层,分为人机界面和数据接口两个部分,人机界面部分包括:状态显示界面、指令参数界面、图像界面和分析显示界面。状态显示界面主要用于实时监视系统的运行状态,便于用户在必要时采取适当的干预措施;指令参数界面为用户提供相应的指令输入和参数调整窗口,以便用户在图像分析过程中进行控制和调整;图像界面和分析显示界面分别用于显示当前图像的预览图和详细信息。数据接口通过与数据库的通信将底层数据和人机界面连通起来。

这种设计结构层次清晰,将缺陷检测算法、数据库表访问功能、界面管理等模块单独封装,高内聚低耦合,易于多种算法的集成与维护。

2.2 功能模块

通过对人工检测的工作进行总结,系统开发了用户登录、图像导入、数据库检索、系统维护管理、图像处理缺陷识别、结果查询、文本输出7个功能模块,这些功能模块都和数据库操作紧密关联,能确保数据库信息的实时性,方便图像信息的跟踪管理。模块化的设计利于系统管理和后续维护工作。

系统的工作流程如图 8所示。用户在登录系统时,需要输入自己的帐户名和密码,以便系统根据用户权限开放对应的功能。登陆界面如图 9(a)所示。

图 8 系统工作流程 Fig. 8 System flow diagram

图 9 各功能界面 Fig. 9 Functions interfaces

登录成功后,即可进入系统的主界面。为了方便对图像进行管理,在导入巡检图像时,需要先输入相应的信息,如线路名称、杆塔号、巡线员等,并确定目标路径,方可进行图像的批量导入工作。图像的导入工作由系统的子线程实现,确保图像的导入工作不会对主线程造成拥塞,并且方便用户随时中止导入线程。导入功能界面如图 9(b)。在导入过程中,图像的所有信息均被保存到本地数据库。

系统能够通过关键字对这些图像进行检索,搜索结果以可视化的方式把搜索结果反馈出来。数据检索界面如图 9(c)

若用户具有管理员权限,则可以选择“系统维护”功能,对图像信息进行批量修改或删除操作。如图 9(d)所示。此外图像的总数会被实时反馈。

由于输电线路存在不同类型的缺陷,系统集成了多种算法,在对特定类型的图像进行检测时,算法会对指定路径内的原始图像进行遍历,并调用对应算法检测。界面如图 9(e)所示。

算法基于OpenCV视觉库进行图像的分析工作。对于被诊断出有缺陷的图像,算法会将缺陷所在的位置标注出来,随后系统会将这张处理后的图像和它的信息保存在数据库内,供用户对诊断结果进行查询或进行其他后续工作。

处理后的图像信息可以通过关键字或选择路径进行查询,如图 9(f)所示,检测结果可以生成Word格式的检测报告 [13]

系统的各个功能模块高内聚低耦合,完成对巡检图像的缺陷定位和信息管理。

3 软件测试

分别针对算法的性能和系统的稳定性两方面内容进行了测试。

3.1 算法有效性测试

针对每种系统集成的算法,各导入500张符合检测条件的输电线路巡检图像,对其进行批量检测,记录下了每种算法的单张图像检测时间、诊断结果的误检率。

测试结果见表 1,样本数量为500张,“玻璃绝缘子自爆”检测算法的单张平均耗时为1.43 s,误报率为10.2%;“线上悬挂异物” 检测算法的单张平均耗时为1.56 s,误报率为6.5%;“线路断股”检测算法的单张平均耗时为1.62 s,误报率为7.4%;“间隔棒断裂”检测算法的单张平均耗时为1.67 s,误报率为16%;“导线磨损”检测算法的单张平均耗时为1.72 s,误报率为18%。

3.2 系统稳定性测试

针对系统的各项功能模块,开展了稳定性测试。每个功能模块都进行了500次的重复性操作,并观察程序是否发生异常。经检测,各个功能模块表现良好,没有发生程序崩溃等异常情况,符合使用要求。

表 1 算法有效性测试结果 Tab. 1 Test result of algorithm validity
序号测试项 本系统同类研究[2, 14, 15, 16]
单张图像耗时/s误报率/%单张图像耗时/s误报率/%
1玻璃绝缘子自爆1.4310.20.31 23.1
2线上悬挂异物1.566.50\\9.33
3线路断股1.627.40\\ \\
4间隔棒断裂1.6716.0\\ \\
5导线磨损1.7218.0\\ \\
3.3 同类工作对比

将算法的有效性与同类研究进行了对比[2, 14, 15, 16]。相比之下,本系统“玻璃绝缘子自爆”算法的分析时间稍长,但是误报率有大幅降低;“线上悬挂异物”算法的误报率也有所降低;“线路断股”、“间隔棒断裂”和“导线磨损”算法的其他相关研究没有查到具体的实验数据。

4 结论

根据电力巡检图像检测的流程,本系统利用多平台协同协作的方式,采用多种检测算法,开发了输电线路巡检图像智能诊断系统。

平台实现了如下功能:

1)以SQL Server为依托,构建了输电线路巡检图像数据库;

2)采用多种基于OpenCV视觉库设计的先进算法实现了对巡检图像的缺陷检测功能;

3)支持多平台的协同工作,在整个流程的工作中,实现了数据信息的无缝链接;

4)对检测出缺陷的图像进行存档,并能生成标准格式的检测报告;

5)能够对输电线路的图像进行自动化批量检测,规范了工作流程,大大提升了工作效率。并提供了便捷、可追踪的图像检测方式。

测试结果表明软件采用的算法具有较高性能,各功能模块均能保证正常工作,提高了图像检测的工作效率。系统不仅实现了对巡检图像进行检测、数据检索等基本功能,还具有界面友好、操作简便、升级方便等优点。

参考文献
[1] 王专忠, 胡晓光, 耿鑫. 一种基于图像处理的输电线路覆冰监测方法[J]. 中国测试, 2011, 37(2):1-4. WANG Zhuanzhong, HU Xiaoguang, GENG Xin. Method of monitoring icing for transmission line based on image processing[J]. China measurement & test, 2011, 37(2):1-4.
[2] 蒋兴良, 夏云峰, 张志劲, 等. 基于优化Gabor滤波器的输电导线断股图像检测[J]. 电力系统自动化, 2011, 35(15):78-83. JIANG Xingliang, XIA Yunfeng, ZHANG Zhijin, et al. Image detection for broken strand faults of transmission conductor based on optimized gabor filter[J]. Automation of electric power systems, 2011, 35(15):78-83.
[3] 单成, 吴洪潭, 石成龙, 等. 图像处理中的绝缘子缺陷检测方法[J]. 中国计量学院学报, 2010, 21(4):297-300, 304. SHAN Cheng, WU Hongtan, SHI Chenglong, et al. Defect detection method on insulators by image processing[J]. Journal of China University of metrology, 2010, 21(4):297-300, 304.
[4] PAN Lizhi, XIAO Xiaohui. Image recognition for on-line vibration monitoring system of transmission line[C]//Proceedings of the 9th International Conference on Electronic Measurement & Instruments. Beijing, China, 2009:3-1078-3-1081.
[5] LI W H, TAJBAKHSH A, RATHBONE C, et al. Image processing to automate condition assessment of overhead line components[C]//Proceedings of the 1st International Conference on Applied Robotics for the Power Industry. Montreal, QC, Canada, 2010:1-6.
[6] 刘国海, 朱珠. 图像处理技术在超高压巡检机器人视觉系统中的应用研究[J]. 计算机工程与设计, 2009, 30(1):136-140. LIU Guohai, ZHU Zhu. Application study of image processing technology applied in vision system of inspection robot on power transmission lines[J]. Computer engineering and design, 2009, 30(1):136-140.
[7] 魏振中. 超高压输电线路智能巡检机器人的视觉监控系统研究[D]. 沈阳:沈阳工业大学, 2004:60-68. WEI Zhenzhong. A visual inspection system of patrol robot for EHV power line[D]. Shenyang, China:Shenyang University of Technology, 2004:60-68.
[8] 王小朋, 胡建林, 吴彬. 输电线路覆冰图像边缘提取方法研究[J]. 高电压技术, 2008, 34(12):2687-2693. WANG Xiaopeng, HU Jianlin, WU Bin, et al. Study on edge extraction methods for image-based icing on-line monitoring on overhead transmission lines[J]. High voltage engineering, 2008, 34(12):2687-2693.
[9] 宋屹峰, 王洪光, 李贞辉, 等. 基于视觉方法的输电线断股检测与机器人行为规划[J]. 机器人, 2015, 37(2):204-211, 223. SONG Yifeng, WANG Hongguang, LI Zhenhui, et al. Vision based transmission line broken strand detection and robot behaviour planning[J]. Robot, 2015, 37(2):204-211, 223.
[10] 夏志昌, 张伟, 王吉如. 珊溪水电厂巡检数据库系统的设计与实现[J]. 制冷空调与电力机械, 2009, 30(3):85-87. XIA Zhichang, ZHANG Wei, WANG Jiru. Design and implementation of tour inspection database system for Shanxi hydropower plant[J]. Refrigeration air conditioning & electric power machinery, 2009, 30(3):85-87.
[11] 王宝祥. 基于ADO.NET的数据库访问技术研究[J]. 计算机应用与软件, 2004, 21(2):120-122. WANG Baoxiang. Study of database access technology using ADO.NET method[J]. Computer applications and software, 2004, 21(2):120-122.
[12] SUN Fengjie, LI Yuanyuan, FAN Jieqing. Monitoring method of transmission line based on video image recognition technique[C]//Proceedings of International Conference on Business Management and Electronic Information. Guangzhou, China, 2011:136-139.
[13] 李萍. 一种图像数据库管理系统的实现方法[C]//图像、仿真、信息技术第二届联合学术会议论文集. 南昌, 中国, 2002:4.
[14] 张少平, 杨忠, 黄宵宁, 等. 航拍图像中玻璃绝缘子自爆缺陷的检测及定位[J]. 太赫兹科学与电子信息学报, 2013, 11(4):609-613. ZHANG Shaoping, YANG Zhong, HUANG Xiaoning, et al. Defects detection and positioning for glass insulator from aerial images[J]. Journal of terahertz science and electronic information technology, 2013, 11(4):609-613.
[15] 金立军, 姚春羽, 闫书佳, 等. 基于航拍图像的输电线路异物识别[J]. 同济大学学报:自然科学版, 2013, 41(2):277-281. JIN Lijun, YAO Chunyu, YAN Shujia, et al. Recognition of extra matters on transmission lines based on aerial images[J]. Journal of Tongji University:natural science, 2013, 41(2):277-281.
[16] 金立军, 胡娟, 闫书佳. 基于图像的高压输电线间隔棒故障诊断方法[J]. 高电压技术, 2013, 39(5):1040-1045. JIN Lijun, HU Juan, YAN Shujia. Method of spacer fault diagnose on transmission line based on image procession[J]. High voltage engineering, 2013, 39(5):1040-1045.
DOI: 10.11992/tis.201503043
中国人工智能学会和哈尔滨工程大学联合主办。
0

文章信息

傅博, 姜勇, 王洪光, 姜文东, 宋屹峰, 王灿灿, 初金良, 赵彦平
FU Bo, JIANG Yong, WANG Hongguang, JIANG Wendong, SONG Yifeng, WANG Cancan, CHU Jinliang, ZHAO Yanping
输电线路巡检图像智能诊断系统
Intelligent diagnosis system for patrol check images of power transmission lines
智能系统学报, 2016, 11(01): 70-77
CAAI Transactions on Intelligent Systems, 2016, 11(01): 70-77.
DOI: 10.11992/tis.201503043

文章历史

收稿日期:2015-03-27
网络出版日期:2015-12-19

相关文章

工作空间