2. 云南电网有限责任公司 电力科学研究院,云南 昆明 650011
2. Yunnan Electric Power Research Institute, Yunnan Power Grid Co., Ltd, Kunming 650011, China
输电线路中的绝缘子用于支撑导线、增加爬地距离和防止电流回地,是输电线路中的重要部分[1]。爆裂缺陷是绝缘子常见的故障之一,指因高温、雷击、劣化等因素导致绝缘子缺失的情况。绝缘子缺陷会严重影响线路的稳定运行[2],因此,有必要高效地对绝缘子串进行检测,以及时发现绝缘子爆裂缺陷。
传统的人工检测方式往往要求工作人员实地进行检测[3],然而,这种方式费时费力且难以保障工作人员的人身安全。近年来,无人机因维护成本低、易于部署等优点,被逐渐运用到绝缘子缺陷检测领域中[4]。操作人员通过无人机拍摄输电线路图像后将图像输入到检测模型中进行检测[5]。因此,一个精度高且具有一定抗背景干扰能力的绝缘子检测算法是成功检测到缺陷的关键。目前,常见的检测算法主要分为传统检测算法和深度学习检测算法。
传统检测算法需要研究人员手动提取目标特征,并根据统计理论和相关经验判断是否存在爆裂缺陷[6-8]。比如,王银立等[9]利用颜色特征和最大类间方差法定位绝缘子,再通过计算有效像素点的比例来判断是否存在缺陷。姜云土等[10]通过提取绝缘子的颜色、形状和纹理等多种特征实现绝缘子的定位,并通过计算绝缘子中片对片的距离来判断缺陷。Zhai等[11]结合使用颜色和梯度特征,通过显著性检测来定位绝缘子,并使用自适应形态学方法完成缺陷检测。这类方法的检测效果依赖于特征提取的效果,泛化能力较差且检测精度不高。
深度学习检测算法是近年来的研究热点,相比于传统检测算法具有更高的精度[12]。目前已经有研究人员尝试将深度学习运用于绝缘子检测中[13-16]。如Zheng等[17]通过选择性搜索实现绝缘子的定位,并将得到的绝缘子输入到R-FCN中完成爆裂缺陷检测。Liao等[18]采用改进的Faster R-CNN进行绝缘子缺陷检测,将主干网络替换成ResNet-101以提高特征提取效果,并采用Soft-NMS技术解决绝缘子的遮挡问题。唐小煜等[19]提出一种基于U-Net和YOLOv4的检测方法,通过U-Net分割出绝缘子,再将绝缘子输入到YOLOv4中进行缺陷检测。党宏社等[20]提出一种基于YOLOv4的绝缘子爆裂缺陷检测方法,通过将主干网络更换成MobileNetv2,以及在颈部网络中使用可分离卷积,有效减少了运算参数。然而,上述方法未能有效平衡检测精度和速度,且抗背景干扰能力不强,在实际检测中容易受到输电线路复杂背景的干扰。
针对上述问题,本文选择综合表现最佳的YOLOv4作为基础方法进行改进。由于YOLOv4在检测绝缘子爆裂缺陷时容易受到背景干扰,且特征提取和多尺度特征融合的效果不佳,因此本文针对YOLOv4存在的不足进行改进并提出YOLOv4-MP算法。实验结果表明,原YOLOv4的mAP为87.23%,YOLOv4-MP的mAP为93.60%。与原YOLOv4相比,YOLOv4-MP的检测精度更高,更适用于绝缘子爆裂缺陷检测。
1 YOLOv4算法YOLOv4算法是基于YOLOv3改进而来,在YOLOv3的基础上,采用CSPDarknet53作为主干网络,使用空间金字塔池化(Spatial Pyramid Pooling, SPP) 和路径聚合网络(Path Aggregation Network, PANet) 对多尺度特征进行融合,并引入了Mosaic数据增强技术、标签平滑、余弦退火学习率衰减策略等检测技巧。与YOLOv3相比,YOLOv4的AP(Average Precision) 和FPS(Frames Per Second) 分别提升了10%和12%,是当前综合表现最好的检测算法之一。YOLOv4网络结构如图1所示。
![]() |
图 1 YOLOv4网络结构 Figure 1 The structure of the YOLOv4 network |
虽然YOLOv4相比其他检测算法具有一定优势,但它在检测绝缘子爆裂缺陷时仍存在以下问题:
(1) 绝缘子图像的背景复杂多样,YOLOv4的主干网络CSPDarknet53在提取图像特征时容易受到干扰。
(2) 绝缘子图像中绝缘子与其爆裂缺陷的尺度差异较大,因此特征融合效果对检测结果的影响举足轻重。然而,YOLOv4中SPP无法将局部特征和全局特征充分融合,导致特征图的表达能力不强。
(3) 爆裂缺陷目标较小,直接使用YOLOv4进行检测的精度不高,且随着网络不断加深,YOLOv4中的PANet需要对特征进行反复提取,容易丢失低层信息。
2 改进的检测算法YOLOv4-MP针对YOLOv4在绝缘子爆裂缺陷检测中存在的问题,本文根据绝缘子数据集的特点,对YOLOv4进行如下改进以提高检测效果:
(1) 为增强CSPDarknet53提取图像特征的效果,在CSPDarknet53中嵌入一种轻量级的注意力模块。
(2) 为使SPP融合后的特征图具有更丰富的特征信息,本文借鉴ASPP的思想,在SPP中引入一种带空洞的池化层。
(3) 为进一步提升精度和提高特征信息的传输效率,将Mish函数引入PANet中作为激活函数。
改进后的算法YOLOv4-MP整体结构如图2所示。
![]() |
图 2 YOLOv4-MP网络结构 Figure 2 The structure of the YOLOv4-MP network |
CSPDarknet53在提取绝缘子爆裂缺陷特征时容易受到背景干扰,在目标检测中,注意力机制能使模型更专注于特征图中与检测目标相关的有效信息,从而减少背景干扰并提高网络精度。Shuffle Attention(SA) 模块[21]是一种新型的注意力模块,整体结构如图3所示。首先,将输入进来的特征图在通道上划分成多个子分组。接着,将每个子分组在通道上进一步切分成两个分支。这两个分支将被并行处理,其中一个用于生成通道注意力图,另一个用于生成空间注意力图,生成这两个注意力图之后,把它们堆叠得到该子分组的输出结果。最后,将各个子分组的输出结果堆叠起来,并通过“Channel Shuffle”[22]操作将不同分组的特征信息融合起来,得到最终的输出结果。
通过在CSPDarknet53的每个输出分支处嵌入SA模块,能够增强特征提取效果并减少复杂背景带来的影响。
2.2 引入空洞池化层的SPPASPP由Chen等[23]基于SPP改进而来,通过采用不同卷积核大小的空洞卷积,有效提升了特征融合的效果,如图4(b) 所示为ASPP的结构。通常来说,卷积核的大小越大,则感受野越大、提取到的特征信息更加丰富。然而,大尺寸的卷积核会带来大量的计算。因此,ASPP采用空洞卷积替换普通的卷积,通过往卷积核中注入空洞,不仅降低了需要引入的参数量,而且能够增大感受野。
![]() |
图 4 SPP、ASPP和改进的SPP Figure 4 SPP, ASPP and the improved SPP |
然而,如果直接在SPP中使用空洞卷积层,仍会给整个模型带来大量的训练参数。因此,本文在SPP中引入一种空洞最大池化层,通过在池化层相邻两点之间填进值为0的“空洞”,形成空洞最大池化层,如图5所示。
![]() |
图 5 最大池化层和空洞最大池化层 Figure 5 Max-pooling layer and dilated max-pooling layer |
空洞最大池化层能够在不增加训练参数的情况下有效增大感受野,从而提取到更加丰富的特征信息,感受野的计算公式如式(1) 所示。
$ {r_m} = {r_{m - 1}} + d\left( {{k_m} - 1} \right) \mathop \prod \limits_{i = 1}^{m - 1} {s_i} $ | (1) |
式中:rm为第m层的感受野;d为扩张率,表示为池化层窗口相邻两点之间添加d-1个空洞,默认为1;km为第m层的池化层窗口大小;si为第i层的步数。
此外,为便于特征信息的融合,对池化后的特征图进行上采样操作以保证特征图的大小一致。最后,将上采样后的特征层进行堆叠,实现多尺度特征信息的融合。改进后的SPP如图4(c) 所示。
2.3 改进的路径增强网络(PANet)PANet通过上采样和下采样将不同尺寸的特征图融合在一起并进行卷积运算,使得特征图中的信息更加丰富。然而,由于绝缘子爆裂缺陷目标较小,在反复提取特征的过程中容易造成低层信息的丢失,从而影响检测精度。
YOLOv4在PANet中使用Leaky ReLU函数作为激活函数。然而,与Leaky ReLU相比,Mish函数更加光滑,这使得信息能够更好地传递到深层网络中,并使模型获得更好的准确性和泛化性。式(2) 、(3) 为Leaky ReLU和Mish函数,图6为对应的函数图像。因此,本文使用Mish对融合后的特征进行激活,以保留更多有效的特征信息。
![]() |
图 6 Leaky ReLU和Mish函数 Figure 6 Leaky ReLU and Mish |
$ {\rm{LeakyReLU}}\left(x\right) =\left\{ {\begin{array}{*{20}{c}} x,&x\ge 0\\ ax,&x \lt 0\end{array}} \right. x\in {\bf{R}} $ | (2) |
$ {\rm{Mish}} = x\tanh \left( {\ln \left( {1 + {{\rm{e}}^x}} \right) } \right) $ | (3) |
实验数据集由600张含有完整绝缘子的图像和256张含有爆裂缺陷绝缘子的图像组成。针对缺陷绝缘子图像较少的情况,采用Photoshop对含有完整绝缘子的图像进行处理,以生成模拟的缺陷绝缘子图像。最后,采用旋转、翻转、高斯模糊、随机加入噪声、色彩抖动等数据增强技术对数据集进行扩充,得到共计2028张绝缘子图像。在数据集中随机选取80%的图像,即1622张图像作为训练集,其余图像作为测试集。数据集中的部分图像样本如图7所示。
![]() |
图 7 绝缘子图像样本 Figure 7 The sample image of the insulator |
操作系统为Windows 10(64位) ,CPU为Intel(R) Core i9-10900K@3.70 GHz,显卡为NVIDIA RTX3080Ti(10 GB) ,内存64 GB。采用Python3.7语言、Pytorch框架实现编码。实验中主要的超参数设置如下:冻结训练的epoch为50、learning rate为1×10−3、batch size为8;解冻训练的epoch为200、learning rate为1×10−4、batch size为2。
3.3 评价指标为了对本文提出的YOLOv4-MP模型进行客观评价,实验选取平均精度均值(mAP)和每秒帧数(FPS)作为评价指标,如式(4)~(8) 所示。
$ {\rm{mAP}} = \frac{{\displaystyle\sum\nolimits _{i = 1}^N {\rm{A}}{{\rm{P}}_i}}}{N} $ | (4) |
$ {\rm{FPS}} = \frac{1}{{{t_a}}} $ | (5) |
$ {\rm{AP}} = \displaystyle\int\nolimits_0^1 P{\rm{d}}R $ | (6) |
$ P = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FP}}}} $ | (7) |
$ R = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}} $ | (8) |
式中:APi为第i个类别的平均精确率;N为检测目标的总类别数;ta为模型检测一张图像的平均用时;P为精确率;R为召回率;TP为检测正确的绝缘子数量;FP为将其他物体误检为绝缘子的数量;FN为未能检测出来的绝缘子数量。
通常来说,认为mAP越高,模型的精度越好;FPS越高,则模型的检测速度越快。
3.4 实验结果为验证YOLOv4-MP的有效性,按照本文所提出的3个改进策略进行消融实验,实验结果如表1所示。
![]() |
表 1 消融实验 Table 1 The ablation experiment |
从实验结果可以看出,本文提出的3种改进策略均能有效提高模型的检测精度。在添加了注意力模块之后,虽然模型的FPS有轻微下降,但仍能保持较快的检测速度。从表中结果可看出,同时进行3个改进后模型的效果最好,其mAP达到了93.60%,比原始模型高了6.37%。检测结果如图8所示。
![]() |
图 8 YOLOv4-MP检测结果 Figure 8 The detection results of the YOLOv4-MP |
图8展示了YOLOv4-MP在不同背景、不同绝缘子种类情况下的检测结果,4张图像的背景分别对应输电线路图像中常见的4种背景:民宅、湖泊、草地、山林;此外,图像中的绝缘子种类也各不相同,图8(a)和(b)中为陶瓷绝缘子,图8(c)和图8(d)中分别是玻璃绝缘子和复合绝缘子。从上述检测情况来看,YOLOv4-MP检测的精度较高,且具有一定的抗背景干扰能力,即使面对不同背景和不同绝缘子种类,仍能准确地检测出绝缘子及其爆裂缺陷。
3.5 与其他模型对比为进一步验证YOLOv4-MP的性能,在同一实验环境、同个数据集上对另外3个常用的目标检测模型进行训练与测试,并比较4个模型之间的性能,实验结果如表2所示。
![]() |
表 2 不同模型的测试结果 Table 2 The experiment results of different networks |
由表2可知,未进行任何改进的目标检测算法中,YOLOv4的检测精度最高,其平均精度均值(mAP) 达到了87.23%;在速度方面,SSD的FPS比其他两个算法更具优势,然而,其检测精度远远不如YOLOv4,因此难以应用于实际的绝缘子爆裂缺陷检测中。运用本文提出的改进策略进行改进之后,YOLOv4-MP模型的总体性能优于原YOLOv4,虽然其FPS与原YOLOv4相比略有下降,但仍然保持较快速度;而在精度方面,其mAP从87.23%提升到了93.60%,共提升了6.37%,与其他对比算法相比,具有明显优势。
4 结论为解决绝缘子爆裂缺陷检测中检测精度低的问题,本文提出了一种基于YOLOv4改进的检测算法YOLOv4-MP。首先,为减少图像背景干扰,对特征提取网络进行改进;此外,为提高特征融合效果并减少低层特征信息的丢失,分别对空间金字塔池化部分和路径增强网络进行改进。实验结果表明,与原YOLOv4、Faster R-CNN、SSD相比,YOLOv4-MP的平均精度均值(mAP) 最高。由此可见,所提模型对于输电线路航拍图像绝缘子爆裂缺陷具有更好的性能,在高压输电线路在线检测中具有实际应用潜力。
[1] |
SANYAL S, ASLAM F, KIM T, et al. Deterioration of porcelain insulators utilized in overhead transmission lines: a review[J].
Transactions on Electrical and Electronic Materials, 2020, 21(1): 16-21.
DOI: 10.1007/s42341-019-00143-5. |
[2] |
MIAO X, LIU X, CHEN J, et al. Insulator detection in aerial images for transmission line inspection using single shot multibox detector[J].
IEEE Access, 2019, 7: 9945-9956.
DOI: 10.1109/ACCESS.2019.2891123. |
[3] |
CHEN M H, TIAN Y N, XING S Y, et al. Environment perception technologies for power transmission line inspection robots[J].
Journal of Sensors, 2021, 2021(2): 1-16.
|
[4] |
杨罡, 孙昌雯, 王大伟, 等. 基于无人机前端和SSD算法的输电线路部件检测模型对比研究[J].
太原理工大学学报, 2020, 51(2): 212-219.
YANG G, SUN C W, WANG D W, et al. Comparative study of transmission line component detection models based on UAV front end and SSD algorithm[J]. Journal of Taiyuan University of Technology, 2020, 51(2): 212-219. DOI: 10.16355/j.cnki.issn1007-9432tyut.2020.02.009. |
[5] |
LIU X, MIAO X, JIANG H, et al. Data analysis in visual power line inspection: an in-depth review of deep learning for component detection and fault diagnosis[J].
Annual Reviews in Control, 2020, 50: 253-277.
DOI: 10.1016/j.arcontrol.2020.09.002. |
[6] |
TAN P, LI X F, XU J M, et al. Catenary insulator defect detection based on contour features and gray similarity matching[J].
Journal of Zhejiang University - Science A:Applied Physics & Engineering, 2020, 21(1): 64-73.
|
[7] |
闫丽梅, 刘永强, 徐建军, 等. 基于Grabcut分割和填充物面积判别的复合绝缘子断串诊断[J].
电力系统保护与控制, 2021, 49(22): 114-119.
YAN L M, LIU Y Q, XU J J, et al. Broken string diagnosis of composite insulator based on Grabcut segmentation and filler area discrimination[J]. Power System Protection and Control, 2021, 49(22): 114-119. DOI: 10.19783/j.cnki.pspc.201657. |
[8] |
ZHAI Y, CHEN R, YANG Q, et al. Insulator fault detection based on spatial morphological features of aerial images[J].
IEEE Access, 2018, 6: 35316-35326.
DOI: 10.1109/ACCESS.2018.2846293. |
[9] |
王银立, 闫斌. 基于视觉的绝缘子“掉串”缺陷的检测与定位[J].
计算机工程与设计, 2014, 35(2): 583-587.
WANG Y L, YAN B. Vision based detection and location for cracked insulator[J]. Computer Engineering and Design, 2014, 35(2): 583-587. DOI: 10.3969/j.issn.1000-7024.2014.02.043. |
[10] |
姜云土, 韩军, 丁建, 等. 基于多特征融合的玻璃绝缘子识别及自爆缺陷的诊断[J].
中国电力, 2017, 50(5): 52-58.
JIANG Y T, HAN J, DING J, et al. The identification and diagnosis of self-blast defects of glass insulators based on multi-feature fusion[J]. Electric Power, 2017, 50(5): 52-58. DOI: 10.11930/j.issn.1004-9649.2017.05.052.07. |
[11] |
ZHAI Y, WANG D, ZHANG M, et al. Fault detection of insulator based on saliency and adaptive morphology[J].
Multimedia Tools and Applications, 2017, 76(9): 12051-12064.
DOI: 10.1007/s11042-016-3981-2. |
[12] |
黄剑航, 王振友. 基于特征融合的深度学习目标检测算法研究[J].
广东工业大学学报, 2021, 38(4): 52-58.
HUANG J H, WANG Z Y. A Research on deep learning object detection algorithm based on feature fusion[J]. Journal of Guangdong University of Technology, 2021, 38(4): 52-58. DOI: 10.12052/gdutxb.200147. |
[13] |
ZHAO W, XU M, CHENG X, et al. An insulator in transmission lines recognition and fault detection model based on improved faster RCNN[J].
IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-8.
DOI: 10.1109/TIM.2021.3112227. |
[14] |
李鑫, 刘帅男, 杨桢, 等. 基于改进Cascade R-CNN的输电线路多目标检测[J].
电子测量与仪器学报, 2021, 35(10): 24-32.
LI X, LIU S N, YANG Z, et al. Multi-target detection of transmission lines based on improved cascade R-CNN[J]. Journal of Electronic Measurement and Instrumentation, 2021, 35(10): 24-32. |
[15] |
赵文清, 张海明, 徐敏夫. 面向改进尺度缩放网络的绝缘子识别[J]. 中国图象图形学报, 2021, 26(11) : 2561-2570.
ZHAO W Q, ZHANG H M, XU M F. Insulator recognition based on an improved scale-transferrable network[J] Journal of Image and Graphics, 2021, 26(11) : 2561-2570. |
[16] |
LIU J, LIU C, WU Y, et al. An improved method based on deep learning for insulator fault detection in diverse aerial images[J].
Energies, 2021, 14(14): 4365.
DOI: 10.3390/en14144365. |
[17] |
ZHENG R, ZHU L, HU T, et al. Detection of fault insulator of power transmission line based on region-CNN[C]//2020 35th Youth Academic Annual Conference of Chinese Association of Automation (YAC) . Zhanjiang: IEEE, 2020: 73-76.
|
[18] |
LIAO G P, YANG G J, TONG W T, et al. Study on power line insulator defect detection via improved faster region-based convolutional neural network[C]//2019 IEEE 7th International Conference on Computer Science and Network Technology (ICCSNT) . Dalian: IEEE, 2019: 262-266.
|
[19] |
唐小煜, 黄进波, 冯洁文, 等. 基于 U-net 和 YOLOv4 的绝缘子图像分割与缺陷检测[J].
华南师范大学学报 (自然科学版), 2020, 52(6): 15-21.
TANG X Y, HUANG J B, FENG J W, et al. Image segmentation and defect detection of insulators based on U-net and YOLOv4[J]. Journal of South China Normal University (Natural Science Edition), 2020, 52(6): 15-21. |
[20] |
党宏社, 薛萌, 郭琴. 基于改进的YOLOv4绝缘子掉片故障检测方法[J].
电瓷避雷器, 2022, 65(1): 211-218.
DANG H S, XUE M, GUO Q. Insulator dropout fault detection method based on improved YOLOv4[J]. Insulators and Surge Arrester, 2022, 65(1): 211-218. DOI: 10.16188/j.isa.1003-8337.2022.01.032. |
[21] |
ZHANG Q L, YANG Y B. Sa-net: Shuffle attention for deep convolutional neural networks[C]//ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) . [S. l. ]: IEEE, 2021: 2235-2239.
|
[22] |
MA N, ZHANG X, ZHENG H T, et al. Shufflenet v2: Practical guidelines for efficient cnn architecture design[C]//Proceedings of the European Conference on Computer Vision (ECCV) . Munich: [s. n. ], 2018: 116-131.
|
[23] |
CHEN L C, PAPANDREOU G, KOKKINOS I, et al. Deeplab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs[J].
IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 40(4): 834-848.
|