测绘地理信息   2022, Vol. 47 Issue (4): 61-66
0
无人机图像配电导线断股检测的深度学习方法[PDF全文]
史建勋1, 金昊1, 常明1, 姜振卫1, 李俊1, 刘争1, 俞渊1    
1. 国家电网浙江嘉善县供电有限公司, 浙江 嘉善, 314100
摘要: 配电导线的断股易导致断线事故, 给用电需要和用电安全带来了极大的负面影响。传统人工检视方法费时费力, 而基于无人机(unmanned aerial vehicle, UAV)获取导线影像, 利用全卷积网络(fully convolutional network, FCN)深度学习的方法进行配电导线断股快速准确检测可以事半功倍。首先, 顾及断股图像空间低占比特点, 利用卷积层代替池化层以减少细节损失, 实现改进FCN网络架构构建; 其次, 通过图像变换方法增强原始数据集, 提升网络泛化能力; 然后, 选用BReLU(bilateral rectified linear unit)激活函数, 弥补常用激活函数存在的梯度弥散缺陷, 提高准确识别率; 最后以某电力配电导线巡检项目为例, 训练、优化网络, 并对UAV获取的图像进行检测, 取得了93% 的正确率。同时, 对比分析了该方法与传统方法的检测效果, 结果表明了在配电导线断股智能识别中该方法的鲁棒性和准确性显著占优。
关键词: 深度学习    无人机    导线断股    全卷积网络    
Deep Learning Method of Distribution Broken Strands Intelligent Detection via Unmanned Aerial Vehicle Images
SHI Jianxun1, JIN Hao1, CHANG Ming1, JIANG Zhenwei1, LI Jun1, LIU Zheng1, YU Yuan1    
1. State Grid Zhejiang Jiashan Power Supply, Jiashan 314100, China
Abstract: The strand breaking of the transmission lines is likely to cause wire breakage accidents, which has a great negative impact on electricity demand and safety.The traditional manual inspection method is time-consuming and laborious. Therefore, this paper proposes a method uses UAV(unmanned aerial vehicle)to obtain wire images, and using FCN (fully convolutional network)deep learning method to quickly and accurately identify the broken strands of the distribution wire.Firstly, we take into account the low bit-occupancy of the broken strand image space, and use the convolutional layer instead of the pooling layer to reduce the loss of details. Secondly, the original data set is enhanced by the image transformation method to improve the network generalization ability; then, the BReLU(Bilateral Rectified Linear Unit)activation function is used to make up for the defect of gradient dispersion and improve the accuracy of recognition.Finally, the network of an electric power distribution conductor inspection project is trained and optimized as an example, and the images acquired by the UAV are detected, and a 93% correct detection rate is obtained.At the same time, this paper comparatively analyzes the detection effect of this method and the traditional method.The results show that the robustness and accuracy of this method is significantly superior in the intelligent identification of distribution conductor broken strands.
Key words: deep learning    UAV(unmanned aerial vehicle)    broken strand    FCN(fully convolutional network)    

电力系统在国民经济生活中的方方面面发挥着不可或缺的重要作用, 输电线路担负着电力的输送和分配, 在电力系统中起着桥梁和纽带的作用[1-3]。然而外界自然环境如雷电、冰雪、风振及部分地质灾害等常常造成输电线路导线断股, 严重危害电力系统的正常运行, 给国民经济生活造成巨大损失。因此, 及时精确快速查找识别输电线断股就显得尤为重要。

传统的输电线路异常检查可分两类: 一类是人工检测法, 主要依靠人力沿输电线路目视检测, 此方法费事费力, 效率低下, 且在山区丘陵等地形复杂区域难以开展工作; 另一类是直升机检测法, 在直升机上搭载光学仪器, 以红外成像仪和三维激光扫描为主, 通过人眼查找红外图像或者三维模型异常来检测断股故障, 此方法依然离不开人工干预, 且仪器设备昂贵, 维修养护价格不菲, 不利于大范围推广应用。

无人机(unmanned aerial vehicle, UAV)技术的快速发展为电力线路异常故障检测带来了一种新颖的解决方案[4-6]。无人机搭载相机沿电力线路巡检逐渐取代传统的人工检测法和直升机检测法, 此方法降低了作业成本、提高了工作效率, 改变了电力线路巡检的作业模式。无人机可采集海量的电力线路图像资料, 若采用人工判读检测导线断股缺陷, 则会耗费大量时间, 且判读结果具有一定的主观性, 不利于快速准确检测断股缺陷, 不利于发挥无人机电力线路巡检的技术优势。

传统基于图像的输电线断股检测技术主要分为3类: ①基于目标物边缘的检测技术; ②基于目标物阈值的检测技术; ③基于目标物区域的检测技术。在基于上述传统图像处理技术的断股检测方面, 国内学者进行了相关研究。仝卫国等[7]采用Canny算子, 基于Freeman连码和纹理分析相结合的方法实现了断股识别; 杨烁等[8]通过对图像进行去噪、阈值分割来获取电线边缘特征, 基于边缘异常实现断股检测; 齐国顺等[9]采用已设定模板与目标图像进行对比, 利用相似度测量函数检测断股缺陷位置; 李泊等[10]通过导线轮廓信息实现断股检测, 利用形变体检测算法提高了断股检测的准确度。尽管如此, 上述断股检测算法在实际应用中还存在一些不足之处: ①没有顾及图像的空间信息, 仅考虑某单一信息, 因此合适的阈值选取困难; ②对噪音较为敏感, 容易出现边界不连续及双边界的现象; ③存在过度分割的问题。

近年来深度学习(deep learing)技术在计算机图像处理领域发展迅速, 取得了突破性进展, 国内学者也将其引进电力系统图像处理领域, 进行了一些探索性研究。王万国等[11]利用RCNN(region convolutional neural network)深度学习算法实现了电力小部件的识别, 分析了多种算法的性能与效果, 验证了基于深度学习的电力小部件识别的可行性; 付晶等[12]利用层次模型"与或图"对目标进行分解表达, 建立部件间的约束机制, 构建多向判别的路径方法, 实现了电力线路设备缺陷的检测; 刘云鹏等[13]利用区域建议网络的Faster RCCN深度学习算法实现了输变电设备红外图像发热故障的识别与定位。上述这些研究实现了深度学习算法在电力设备缺陷检测中的实际应用, 尽管部分算法有其一定的局限性, 但其为高效快速、精准智能地检测电力设备缺陷提供了一种可行的解决思路与研究方向。

为此本文提出了一种基于深度学习的无人机巡检图像导线断股检测方法, 收集整理无人机巡检图像数据样本, 采用深度学习理论体系中的全卷积网络(fully convolution networks, FCN)算法, 对模型进行训练、优化及验证, 最终实现导线断股智能检测。

1 深度学习方法 1.1 基本深度学习原理

深度学习概念是由Hiton[14]在2006年提出, 作为机器学习的一个分支, 近十多年来一直是该领域的研究热点和前沿。深度学习本质是上一种将隐含在多层神经网络结构中的高层次信息进行建模的方法[15]

基于深度学习的图像识别与分类技术的主要特点是仅需要向网络输入大量的原始图像, 而不需要人为设定图像特征, 即不需要或者仅需少量的图像进行预处理, 而由已设计好的深度网络算法对图像进行处理, 提取高层次的图像抽象信息, 从而输出带有像素类别或其他标签的且与原始图像同分辨率的结果图像。

1.2 全卷积网络

全卷积网络(FCN)算法是由Long等[16]在2017年提出, 其核心思想是利用全卷积层代替卷积神经网络(convolutional neural network, CNN)中的全连接层。FCN网络由下采样和上采样两部分组成, 下采样包括卷积层和池化层, 上采样包括反卷积层和softmax分类层。CNN的局限性在于其全连接层只能接受固定大小的输入图像, 而FCN可以接受任意大小的输入图像。FCN在最后一个卷积层利用反卷积对特征图像进行上采样, 在保留原始输入图像细节信息的同时, 对输入图像的每一个像素做出一个预测, 即每一个像素对应一个训练样本, 从而使得输出图像的大小与输入图像保持一致, 实现了语义级别的图像检测分割[17]

2 网络搭建及训练 2.1 网络架构

由于断股部分占整个原始图像的比例相对较低, 经过FCN网络多次池化之后会造成断股信息细节损失, 不利于提高识别精度。针对上述问题, 本文提出了改进方法, 即在FCN网络下采样中利用部分卷积层代替池化层, 如此可保留更多的断股细节信息, 从而提高FCN网络对断股的是识别精度, 本文采用的FCN网络构架如图 1所示。

图 1 导线断股检测FCN构架 Fig.1 FCN Framework for Strand Broken Detection

2.2 网络训练 2.2.1 数据集增强

为了提高网络的泛化能力, 同时避免过度拟合问题, 本文采用剪切、翻转、旋转操作对图像进行增强处理, 获得尽可能多的图像, 以提高强网络的旋转不变性特性。其中剪切操作以导线断股位置为中心, 保留尽可能多的断股细节信息。图 2为经过增强处理后的图像数据集。

图 2 数据集增强处理后的部分数据 Fig.2 A Part of Image Data After Data Set Enhancement Processing

2.2.2 网络激活函数

当前神经网络模型多选用修正线性单位(rectified linear unit, ReLU)作为激活函数, 其数学表达式为:

$ y(x)=\max (0, x) $ (1)

式中, 若x ≤ 0, 则有y(x)=0;若x>0, 则y(x)=x。其函数图像如图 3所示。在实际应用中, 经过卷积操作后的输出值往往会产生大量的负值, 以零值取代负值就会造成大量输入信息的丢失, 不利于网络对特征信息的提取, 最终导致网络识别准确率的下降。因此上述激活函数适用性有限。

图 3 ReLU激活函数 Fig.3 ReLU Activation Function

双边修正线性单元(bilateral rectified linear unit, BReLU)有效地解决了ReLU函数由于梯度弥散而导致的信息丢失缺陷问题, 其函数图像如图 4所示, 其数学表达式如下:

图 4 BReLU激活函数 Fig.4 BReLU Activation Function

$ f(y)=\min \left(t_{\max } \max \left(t_{\min } y\right)\right) $ (2)

式中, y代表图像输入; f(y)代表输出; tmintmax为BReLU激活函数的边缘常量值, 其中tmin < 0, tmax> 1, 当tmin=0并且tmax不存在时, BReLU激活函数退化成ReLU激活函数, 本文选用BReLU作为网络激活函数。

2.2.3 网络损失函数

损失函数的值越小, 则网络的预测准确度越高, 网络训练的目的就是最小化损失函数。本文利用softmax函数对特征图层中的每一个像素点进行深度方向上的计算, 再和输入的真实标签进行交叉熵计算, 作为网络的损失函数。softmax函数的表达式为:

$ \operatorname{Softmax}_j(x)=\frac{e^j}{\sum\limits_{i=1}^N e^{x_i}} $ (3)

式中, softmaxj(x)为输出结果中输入类别为j的概率; xi为各种输入; N为总类别数。交叉熵函数表达式为:

$ H(p, q)=-\sum\limits_x p(x) \lg q(x) $ (4)

式中, H(p, q)为交叉熵; p为期望输出的概率分布; q为实际输出的概率分布, 两个概率分布程度越接近, 则交叉熵值越小。

2.2.4 网络训练环境

操作系统选用64位Ubuntu16.04, Python选用Anaconda3 Python3.6, 深度学习库选用Tensor Flow1.12.0, 处理器选用Intel i5-6500 3.20Ghz, GPU选用NVIDIA GeForce GTX 1080Ti。

2.2.5 网络训练结果

图 5为网络训练曲线变化, 其中红色标记为精度曲线, 绿色标记为损失曲线, 经过400次迭代训练之后, 两种曲线后期表现平滑, 准确率趋近于1, 损失函数值趋近于0, 此时网络趋近于收敛状态。

图 5 网络精度曲线与损失曲线 Fig.5 Network Accuracy Curve and Loss Curve

3 实验结果与分析 3.1 实验数据

实验数据来自于某电网支路精细化巡检工程, 该工程采用无人机空中作业方式对电网支路导线进行断股检测。无人机型号为大疆精灵4 Pro V2.0, 如图 6所示, 自带云台相机, 其主要技术参数如表 1所示, 采集的原始图像数据大小为5 472×3 078像素。

图 6 大疆精灵4 Pro V2.0 Fig.6 DJI Wizard 4 Pro V2.0

表 1 大疆精灵4 Pro V2.0技术指标 Tab.1 DJI Genie 4 Pro V2.0 Technical Indicators

对原始图像集数据进行数据集增强处理后, 获得新数据集共计1 000张图像, 每张图像大小为150×150像素。实验将数据集分为两部分, 其中训练集800张图像, 测试集200张图像。考虑到在较小尺寸图像上训练出的网络能够扫描大于设计尺寸的图像, 故本文选取了较小的裁剪尺寸。数据集中包含了不同断股程度的导线图像, 部分导线断股现象非常明显, 呈分叉状; 部分导线断股现象不明显, 仅其中一两根断开。多样式的断股特征保证训练的网络高鲁棒性和稳健性, 降低误判和错判。数据样本集示例如图 7所示。

图 7 数据集样本 Fig.7 Sample Data Set

3.2 实验与分析

首先利用训练集样本对网络进行训练, 测试网络的鲁棒性和稳健性; 其次使用训练过后的网络对测试集样本进行预测及标记, 同时对导线断股图像进行分割, 将其从背景图像中分离出来, 为后续的断股程度分析提供依据。具体实验流程图如8所示。

图 8 基于FCN模型的断股检测识别流程图 Fig.8 Flow Chart of Intelligent Strand Detection Based on FCN Model

3.3 结果与分析

图 9为基于FCN模型的断股检测分割结果, 从中可以看出针对每一种不同程度的断股现象, FCN模型都实现了断股准确检测, 并将断股与背景环境分割开来, 这表明FCN模型具有较强的鲁棒性和稳健性, 不仅能够检测识别非常明显的断股现象, 而且一些细微的断股也能够识别, 进一步验证了FCN模型在导线断股检测分割应用中的可行性和可操作性。

图 9 基于FCN模型的断股检测分割结果 Fig.9 Segmentation Results of Broken Strands Detection Based on FCN Model

为了进一步验证了FCN模型在实际应用中的有效性和可行性, 本文将FCN模型算法的检测分割效果与传统的检测分割效果进行了对比分析, 结果如图 10所示。从图 10中可以看出, 基于阈值的检测分割算法和基于区域生长的检测分割算法效果欠佳, 存在大量的误分割现象; 粒子群算法实现了断股检测, 但仍残存部分背景噪音; 遗传算法较好地实现了断股检测分割, 但依然有少数背景噪音无法剔除; 基于FCN算法的检测分割效果最优, 得到了最精确的分割结果, 几乎完全去除了背景, 为后续的断股程度检测分析提供了可靠依据。综上分析, 基于FCN模型在导线断股检测分割方面, 相较于传统的检测分割算法, 具有更高的检测分割精度, 在复杂背景噪声下具有更好的适用性。

图 10 FCN算法与传统算法的检测分割效果对比 Fig.10 Comparison of Detection Segmentation Performances Between FCN Algorithm and Traditional Algorithms

同时本文将FCN算法与常用的机器学习算法进行了比较, 重点分析了不同算法在导线断股识别中的准确率。表 2为不同网络算法识别准确率统计结果, 从中可以看出BP(black propagation)算法和SVM(support vector machine)算法识别准确率相对较低, CNN算法和FCN算法识别准确率相对较高, 其中FCN算法识别准确率达93.00%, 远远高于其他算法, 充分验证了本文提出的基于FCN算法的导线断股智能识别方法的鲁棒性和准确性。

表 2 不同网络算法检测准确率 Tab.2 Detection Accuracy of Different Network Algorithms

尽管实验表明, 基于本文的算法识别率最高, 但仍不可避免地出现了极少数误判, 分析认为其原因可能与天气及作业环境有关, 如强烈的光照、与配电线色度接近的背景环境等; 另外一个可能的原因为用于模型训练的样本数量不是特别充足, 对模型的稳定性有一定程度的影响。

最后本文将原FCN算法与本文改进后的FCN算法进行比较, 实验结果如表 3所示, 其中FCN-1为利用卷积层代替池化层后的FCN算法, FCN-2为采用BReLU激活函数的FCN算法。从表 3可以看出, 改进后的FCN-1和FCN-2算法较原FCN算法识别准确率有了大幅提高, 分别为91.50% 和92.05%, 本文改进后的FCN算法识别准确率最高, 达96.00%, 这表明采用卷积层和BReLU函数在一定程度上保留了更多的特征信息, 极大地提高了原FCN算法的识别准确率。

表 3 不同网络算法检测准确率 Tab.3 Detection Accuracy of Different Improvement Algorithms

4 结束语

利用无人机进行配电导线路巡检, 具有快速、高效等优点, 降低了作业对人工的依赖程度, 节省了作业成本, 同时提升了工作效率, 逐步取代了传统的人工力电力线路巡检和直升机电力巡检, 为电力配电导线的日常巡检提供了一种全新的可操作性强的作业模式。在此无人机获取的图像数据基础上, 本文采用深度学习FCN网络, 实现了配电导线断股智能化检测, 改变了传统的依靠人工肉眼判读识别模式, 大大提升了工作效率。最后以某电力配电导线巡检项目的实测数据验证了所提出的算法, 验证结果表明本文提出的算法具有较强的鲁棒性和稳健性, 准确识别率达93%, 在实际应用中取得了理想的效果, 为配电导线断股智能识别提供了一种全新的技术解决方案, 具有重要的推广应用价值。

参考文献
[1]
麻金碧, 贾燕冰, 李玉博. 基于概率潮流的电力系统关键线路辨识方法[J]. 计算机仿真, 2019, 26(8): 96-102. DOI:10.3969/j.issn.1006-9348.2019.08.020
[2]
高强, 刘齐, 韩月, 等. 基于鲁棒背景检测的显著性电力线路故障识别[J]. 科学技术与工程, 2019, 19(5): 154-161. DOI:10.3969/j.issn.1671-1815.2019.05.023
[3]
彭向阳, 王柯, 肖祥. 大型无人直升机电力线路智能巡检宽带卫星通信系统[J]. 高压电技术, 2019, 45(2): 38-46.
[4]
付红安, 王学平, 田帅, 等. 基于无人机激光雷达技术的输电线路走廊清理方法[J]. 电测与仪表, 2019, 56(23): 146-152.
[5]
薛瑾, 姚金杭, 袁鹏. 无人机电力线路安全巡检系统及关键技术[J]. 化工管理, 2019, 514(7): 87-88. DOI:10.3969/j.issn.1008-4800.2019.07.058
[6]
繆希仁, 刘志颖, 鄢齐晨. 无人机输电线智能巡检技术综述[J]. 福州大学学报: 自然科学版, 2020(2): 198-209.
[7]
仝卫国, 刘士波, 孙艺萌. 基于链码和纹理分析的输电线断股检测[J]. 计算机技术与发展, 2016, 26(11): 139-143.
[8]
杨烁, 熊典. 基于图像处理的在线监测输电线断股垂落高度研究[J]. 电子设计工程, 2013, 21(17): 131-133.
[9]
齐国顺, 尚方, 韩冰, 等. 基于图像处理技术的飞机巡线导线断股缺陷检测方法[J]. 黑龙江电力, 2017, 39(6): 522-526.
[10]
李泊, 陈诚. 面向航拍图像的农村配电网导线断股检测[J]. 中国电力, 2019, 52(1): 82-87.
[11]
王万国, 张晶晶, 韩军, 等. 基于无人机图像的输电线断股与异物缺陷检测方法[J]. 计算机应用, 2015, 25(8): 2 404-2 408.
[12]
付晶, 邵瑰玮, 吴亮, 等. 利用层次模型进行训练学习的线路设备缺陷检测方法[J]. 高电压技术, 2017, 43(1): 266-274.
[13]
刘云鹏, 裴少通, 武建华, 等. 基于深度学习的输变电设备异常发热点红外图片目标检测方法[J]. 南方电网技术, 2019, 13(2): 27-33.
[14]
Hinton G E, Salakhutdinov R R. Reducing the Dimensionality of Data with Neural Networks[J]. Science, 2006, 313(5786): 504-507.
[15]
张晓东, 张力飞, 陈关州, 等. 基于深度学习的遥感影像地物目标检测和轮廓提取一体化模型[J]. 测绘地理信息, 2019, 44(6): 1-5.
[16]
Long J, Shelhamer E, Darrell T. Fully Convolutional Networks for Semantic Segmentation[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Puerto Rico, USA, 2017
[17]
石斌斌, 何海清, 游琦. 一种多尺度全卷积神经网络驱动的遥感影像修复方法[J]. 测绘地理信息, 2018, 43(3): 124-126.