Rust detection in transmission line fittings via fusion of edge perception and statistical texture knowledge
-
摘要: 针对输电线路金具目标小、背景环境复杂和锈蚀区域不规则等问题，提出了一种融合边缘感知与统计纹理知识的输电线路金具锈蚀检测算法。首先通过改进YOLOv7模型检测金具，然后利用改进Res-UNet模型对检测的金具进行锈蚀分割，加入SE(squeeze-excitation)注意力提高模型的稳定性，引入统计纹理知识模块(statistical texture knowledge module, STM)和边缘感知模块(edge-aware module, EAM)，提出一种知识融合模块对边缘感知和统计纹理知识进行融合，提高对锈蚀分割精度。实验结果表明，检测和分割模型mAP分别提高了2.8百分点和7.7百分点。Abstract: To address issues such as small target sizes, complex background environments, and irregular rust areas, a new rust detection algorithm combining edge sensing and statistical texture knowledge is proposed. First, the YOLOv7 model is improved for detecting fittings. Furthermore, the enhanced Res-UNet model is used for corrosion segmentation on the detected fittings. Additionally, squeeze excitation is incorporated to improve the stability of the model. The statistical texture knowledge module and edge-aware module are introduced, and a knowledge fusion module is proposed to integrate edge perception with statistical texture knowledge to enhance the precision of rust segmentation. Experimental results show that the detection and segmentation models increased by 2.8 percentage points and 7.7 percentage points, respectively.
-
随着社会的快速发展，社会用电需求逐年上涨。输电线路稳定对于电力传输安全稳定至关重要。输电线路金具起到防护、固定、支持和维持输电线路稳定的作用。在长期运转的过程中，不可避免会出现锈蚀问题，作为基础部件的输电线路金具一旦出现锈蚀问题，可能导致输电线路故障，带来难以预计的损失[1]。这就需要进行输电线路定期巡检和维护，有效减少恶劣性故障，保障电网安全稳定运行。现阶段，金具锈蚀检测一般可以分为2种方法，第1种是基于传统图像处理来解决金具锈蚀问题，首先依靠特征提取器定位，结合机器学习算法进行锈蚀分类。其中宋伟等[2]结合直方图均衡化、形态学处理以及RGB彩色模型对正常与锈蚀进行对比判断，通过颜色模型对锈蚀区域作有效的分割。戴玉静等[3]根据锈蚀图像的纹理特征与颜色特征，采用HSI颜色模型和灰度共生矩阵来识别锈蚀区域。Huang等[4]对图像进行灰度化，通过局部差分处理和基于各向异性高斯核方向导数的边缘强度映射，完成对锈蚀区域的特征增强。第2种方法是结合深度学习方法，其具有较强的鲁棒性和泛化性，能更好地应对复杂的输电线路环境。王红星等[5]提出了一种新型半监督极限学习机，通过半监督的方法有效地缓解了输电线路数据集难采集的问题，极大减少了对运算资源的依赖程度。刘军等[6]提出了一种基于U-Net (U-shaped convolutional neural network)[7]网络和度量学习的高压输电线防震锤的锈蚀检测方法，此网络的参数量较少，在小样本下具有较优性能。李辉等[8]提出基于深度学习的Faster R-CNN(faster region-based convolutional neural network)[9]目标检测模型与锈蚀HSI颜色特征相结合的锈蚀检测方法。汤踊等[10]通过调整卷积核大小和图像旋转变换实现锈蚀检测。Atha等[11]通过调整颜色模型和图像增强实现锈蚀检测，对锈蚀特征进行有效收集，有效提升了锈蚀区域分割精度。Chen等[12]介绍了基于卷积神经网络的金属表面腐蚀评估的不同方法，讨论了不同颜色空间、滑动窗口大小和卷积神经网络结构的影响。Song等[13]采用无锚和解耦的思想，提出了一种金具锈蚀等级评估的预警算法。
上述文章对锈蚀检测提出有效的解决方法，但是以下问题还未解决：大部分金具是小目标，并且背景复杂严重影响检测锈蚀缺陷；锈蚀区域不规则严重影响对锈蚀区域的分割。针对上述问题，本文提出了一种融合边缘感知与统计纹理知识的输电线路金具锈蚀检测算法。本文在目标检测部分通过对YOLOv7[14]进行改进，创新主要针对于小目标检测能力的提升和模型整体精度的提升，通过SimAM[15](simple parameter-free attention module)和Wise-IoU[16](weighted interpolation of sequential evidence for intersection over union)提高模型整体的检测精度，加入了SPD(space-to-depth)模块[17]，增加对小目标的检测精度。分割部分通过改进Res-UNet[18]模型，创新主要针对锈蚀区域的精准分割，加入SE(squeeze-excitation) [19]注意力，提高模型稳定性。统计纹理知识模块(statistical texture knowledge module, STM) [20]和边缘感知模块(edge-aware module, EAM) [21]能够对边缘和纹理进行感知与统计，本文提出一种知识融合模块(knowledge fusion module, KFM)对边缘感知和统计纹理知识进行融合提高对不规则锈蚀区域识别的准确度。
1. 总体框架
本文模型总体框架如图1所示，所提出的输电线路金具锈蚀检测模型基于YOLOv7和Res-UNet 2个深度学习模型。
图 1 本文模型总体框架Fig. 1 General framework of our model
下载:
全尺寸图片
检测模型的第1部分是改进的YOLOv7模型，第2部分是改进的Res-UNet模型，在所提出的模型框架中，这2个网络是集成的。改进YOLOv7模型针对输电线路金具小目标检测效果差的问题，通过添加SimAM和Wise-IoU损失函数减少背景干扰，加入SPD模块提高对小目标金具的检测效果。改进Res-UNet模型通过EAM和STM提取边缘感知特征和统计纹理知识，然后通过KFM对其进行融合，提高模型对锈蚀边缘和纹理的识别。整体模型首先将输电线路图像输入到改进的YOLOv7模型中，输出检测到的金具边界框，得到边界框之后，将边界框内的金具进行裁剪，然后将这些裁剪的图像输入到改进的Res-UNet网络中，以确认金具是否锈蚀并检测锈蚀区域的精确位置。
2. 改进YOLOv7的输电线路金具检测
YOLOv7在5~160 f/s范围内的检测速度和精度均在当前主流目标检测器中处于领先地位，其用于特征提取的主干网络中加入了可扩展的高效层聚合网络(efficient layer aggregation networks, E-ELAN)，这种结构可以使深度神经网络通过控制梯度路径从而加速模型收敛。为更有效地检测金具，本文基于YOLOv7模型作出了改进。
2.1 SimAM
本文在YOLOv7模型中引入了SimAM[22]对主干网络提取的特征进行优化，通过端到端的方式有效地减少了输电线路复杂背景的干扰，使模型更有鲁棒性。
SimAM通过线性可分性的能量函数对网络中的每个神经元进行评估，公式表示为
$$ e_t^* = \frac{{4({\sigma ^2} + \lambda )}}{{{{(t - \mu )}^2} + 2{\sigma ^2} + 2\lambda }} $$ (1) $$ \mu = \frac{1}{M}\sum\limits_{i = 1}^M {x_i} $$ (2) $$ {\sigma }^{2}=\frac{1}{M}{\displaystyle \sum _{i=1}^{M}(x_i-\mu )} $$ (3) 式(1)中
$ {\sigma ^2} $ 由式(3)定义，$ \lambda $ 为超参数，t为目标神经元，式(1)中$ \mu $ 由式(2)定义，x为相邻神经元，能量越低表明神经元与相邻神经元的区分度越高，神经元的重要程度也越高。与SE注意力通过池化、全连接层设计注意力模块有所不同，依据神经科学理论中的能量函数评估各处特征重要性提出的SimAM更具有可解释性，无需引入可学习参数。SimAM直接评估各个独立神经元的重要性，在保持高效运算的同时能够更加全面地评估各神经元的重要性。在本文检测模型中SimAM模块通过能量函数来高效评估模型主干提取特征的重要性，高效地抑制其它无关特征的干扰，对具有更多输电线路金具特征信息的神经元输出进行增强，使网络具有高效的特征表示能力，在降低输电线路复杂背景的负面影响下，提高了对各金具的定位能力。SimAM作为一种无参数注意力机制，并不会对模型添加额外的计算量和参数量，因此对检测速度影响较小。SimAM如图2所示，其中C为通道数，H为空间高度，W为空间宽度。
图 2 SimAMFig. 2 SimAM下载:
全尺寸图片
2.2 Wise-IoU损失函数
损失函数对于目标检测模型的检测效果非常重要，边界框损失函数是YOLOv7模型重要组成部分，设计良好的损失函数对于模型性能有显著提升。近年来的大多数研究都致力于强化边界框的拟合能力，一味地强化边界框对低质量示例的回归，会降低目标检测模型检测性能。Wise-IoU提出了动态非单调的聚焦机制，使用“离群度”替代 IoU对锚框进行质量评估，并提供了有效的梯度增益分配策略，使损失函数可以聚焦于普通质量的锚框，提高了检测器的整体性能。本文所采用的Wise-IoU损失函数公式为
$$ L_{{\mathrm{WIoU}}} = R_{{\mathrm{WIoU}}} \times L_{{\mathrm{IoU}}} $$ $$ R_{{\mathrm{WIoU}}} = \exp \left(\frac{{{{(x - x_{{\mathrm{gt}}})}^2} + {{(y - y_{{\mathrm{gt}}})}^2}}}{{{{(W_{\mathrm{g}}^2 + H_{\mathrm{g}}^2)}^*}}}\right) $$ 式中：
$ L_{\mathrm{IoU}} $ 为锚框之间的交并比，x、y、xgt和ygt分别代表2个锚框的中心点坐标，Wg和Hg分别代表最小锚框的长和宽。WIoU在每个时刻都能作出符合当前情况的梯度增益分配策略。在训练的中后期，会将小梯度增益尽量分配给低质量的锚框以达到减少有害梯度的效果。2.3 SPD模块
在图像分辨率较低或物体较小的情况下，检测性能会迅速下降。在本文输电线路金具检测中，大部分金具是小目标。SPD卷积构建首先将金属表面锈蚀等低分辨小物体的原始图像拆分为子特征图，随后将子特征图拼接成中间特征图，然后对提取的特征信息进行过滤及学习，上述工作使检测头部对小目标的检测更准确，引入SPD有效提升算法对表面锈蚀等低分辨率和小物体的检测性能。传统CNN模型会导致细粒度信息的丢失，并且对低效特征进行学习。SPD模块很好地提高了对细粒度特征的检测效果，SPD模块如图3所示，其中C为通道数，H为空间高度，W为空间宽度。
图 3 SPD模块Fig. 3 SPD module下载:
全尺寸图片
3. 改进Res-UNet的金具锈蚀分割
经过检测模型检测并裁剪后的金具表面锈蚀图片的语义信息较为简单，背景的复杂度低，但锈蚀的边缘细节信息很难捕捉，所以图像的高级语义和低级特征都很重要。本文选择Res-UNet完成金具锈蚀分割任务。Res-UNet将UNet网络和ResNet结合，提出了跨层连接的残差块，在提取特征的同时尽量避免了梯度消失和网络退化。Res-UNet综合了二者的优点，充分提取和利用金具锈蚀的特征，避免梯度消失，大大缩短了训练时间。
3.1 边缘感知模块
裁剪过后的裁剪金具表面锈蚀图片的语义信息较为简单，背景的复杂度低，但锈蚀的边缘细节信息很难捕捉，所以图像的高级语义和低级特征都很重要。良好的边缘先验有利于精确分割，低级特征中包含丰富的边缘细节特征，本文引入了EAM，提高了模型对边缘语义信息的感知。该模块结合了低级特征和高级特征来对与对象相关的边缘信息进行建模。如图4所示，f2和f4表示从骨干网络中提取的特征，fe为输出的边缘特征。EAM是一个简单而有效的提取特定边缘特征的模块，充分学习了边缘相关的语义信息，对模型整体检测效果有较大的提升。
图 4 边缘感知模块Fig. 4 Edge-aware module下载:
全尺寸图片
3.2 统计纹理知识模块
从骨干网络的浅层提取的低层次特征往往质量较低，尤其是对比度较低，导致纹理细节模糊不清，这对低层次信息的提取和利用产生了较大负面影响。因此，加入了STM来增强低级特征的纹理细节，以便模型捕获纹理相关信息。此纹理增强的方法受到直方图量化的启发，直方图量化是一种经典的图像质量增强方法。具体来说，该方法首先生成直方图，其横轴和纵轴分别表示每个灰度级及其计数值，然后将这2个轴表示为2个特征向量。
在STM中，将输入通过一维QCO(quantization and counting operator)，得到量化编码图和统计特征。一维QCO如图5所示，H和W为特征图高度和宽度，C为通道数，N为量化总级别，S为特征向量。量化级别Ln的计算公式为
图 5 一维QCOFig. 5 One-dimensional QCO下载:
全尺寸图片
$$ L_n = \frac{{\max ({\boldsymbol{S}}) - \min ({\boldsymbol{S}})}}{N} \cdot n + \min ({\boldsymbol{S}}) $$ 式中：S为特征向量，N为量化总级别，每个新级别都来源于所有原始级别的统计信息，这些信息可以被视为一个图。为此，构建了一个图来传播来自各个级别的信息。每个量化级别的统计特征被定义为一个节点。在传统直方图量化算法中，相邻矩阵是一个手动定义的对角矩阵，在STM中将其扩展为学习矩阵，图6为STM的模块结构。
图 6 统计纹理知识模块Fig. 6 Statistical texture knowledge module下载:
全尺寸图片
3.3 知识融合模块
金具锈蚀区域不规则，是否锈蚀不好判别，EAM提取的边缘感知特征帮助模型解决锈蚀区域不规则问题，STM提取的统计纹理知识可以提升锈蚀分割性能[23]。
获得的边缘感知和统计纹理知识包含丰富锈蚀特征，这可能有助于捕获重要的特征。因此，将边缘感知特征与统计纹理知识相融合，以更好地学习统一的特征表示。
传统的方法只对2个不同的特征进行简单的串接操作，而不考虑它们之间的交互作用，因此提出了KFM有效地实现了边缘感知和统计纹理知识的融合。首先通过投影函数对向量进行降维，然后通过傅里叶变换将知识在频域融合。KFM模块结构如图7所示，其中投影函数为计数草图(count sketch)算法，FFT表示快速傅里叶变换，FFT−1表示快速傅里叶反变换。
图 7 知识融合模块Fig. 7 Knowledge fusion module下载:
全尺寸图片
3.4 SE注意力机制
为提高主干网络ResNet50对特征的提取能力。本文在主干中加入了SE注意力机制。SE注意力机制如图8所示，X为原始输入，H'为原始输入的空间高度，W'为原始输入的空间宽度，C'为原始输入的通道数，U为卷积后的特征图，H为卷积后的空间高度，W为卷积后的空间宽度，C为卷积后特征的通道数，经挤压操作进行特征图的压缩，激励操作进行特征图的激励，
$ \widetilde {\boldsymbol{X}} $ 为特征重新校准结果。SE注意力机制中首先进行压缩操作，起到了减少计算量和参数量的作用，SE模块通过自适应学习和调整通道权重，提高模型的特征提取能力，并不会对模型产生较大的负担，因此对检测速度影响较小。
图 8 SE注意力机制Fig. 8 SE attention mechanism下载:
全尺寸图片
SE注意力中挤压操作的公式为
$$ {\boldsymbol{Z}}_{\mathrm{c}} = {\boldsymbol{F}}_{\mathrm{sq}} = \frac{1}{{H \times W}}\sum\limits_{i = 1}^H {\sum\limits_{j = 1}^W {{\boldsymbol{u}}_{\mathrm{c}}} } (i,j) $$ 式中：H为空间高度，W为空间宽度。激励操作的公式为
$$ {\boldsymbol{s}} = {{F}}_{\mathrm{ex}}({\boldsymbol{z}},{\boldsymbol{M}}) = \sigma (g({\boldsymbol{z}},{\boldsymbol{M}})) = \sigma ({{\boldsymbol{M}}_2}\delta ({{\boldsymbol{M}}_{1{\boldsymbol{z}}}})) $$ 式中：M为权重信息，M1和M2分别为第1次和第2次经过全连接层操作后的权重，z为向量。特征图
$ \widetilde {\boldsymbol{X}} $ 的计算公式为$$ \widetilde {\boldsymbol{X}} = {{F}}_{\mathrm{scale}}({\boldsymbol{u}}_{\mathrm{c}},{\boldsymbol{s}}_{\mathrm{c}}) = {\boldsymbol{s}}_{\mathrm{c}}{\boldsymbol{u}}_{\mathrm{c}} $$ 式中uc和sc分别通过挤压和激励操作得到权重向量。SE注意力机制对卷积后得到的特征图进行压缩操作，获得各个通道的全局特征，然后对全局特征进行激励操作，获得各个通道的关系，也获得不同通道间的权重，再与最初特征图相乘得到最终特征，让模型可以更加关注信息量更大的通道特征，使得到的特征更加接近预期结果。
4. 实验结果及分析
4.1 实验环境及参数设置
本实验使用的操作系统为Windows11，GPU为NVDIA RTX3070Ti，CPU为Intel酷睿i7-12700F，深度学习框架为PyTorch1.11.0。目标检测模型训练时，训练轮次为100个epoch，动量大小设置为0.937，batchsize设置为8，初始学习率设置为0.01。语义分割模型训练时，训练轮次为100个epoch，动量大小参数设置为0.9，batchsize设置为4，初始学习率设置为0.000 1。
4.2 数据集及评价指标
输电线路金具和锈蚀检测数据集划分如表1所示。本文所用的数据均来自某巡检部门近几年对500 kV输电线路的巡检视频，输电线路金具检测数据集包含1 446张照片，金具锈蚀数据集包含504张照片，按照4∶1∶1的比例划分训练集、验证集和测试集。其中训练集中分别包含964张和336张图片，验证集和测试集中都分别包含241张和84张图片。
表 1 输电线路金具检测和锈蚀数据集划分表Table 1 Transmission line fixture inspection and rust data set division table输电线路金具名称(类型) 金具数量 锈蚀数量 均压环 891 32 预绞式悬垂线夹 158 8 防震锤 1 122 150 提包式悬垂线夹 1 848 122 联板 551 38 U型挂环 1 594 165 挂板 1 169 121 调整板 446 11 重锤 363 52 屏蔽环 109 7 间隔棒 277 9 压缩型耐张线夹 394 21 并沟线夹 108 6 锲型耐张线夹 71 5 本文中采用所有均值的平均准确率(mean average rrecision, mAP)作为目标检测模型精度评价指标，每秒10亿次的浮点运算次数(giga floating point operations per second, GFLOPs)和(parameter quantity, params)作为模型大小评价指标。每秒处理图像帧数作为模型检测速度评价指标，交并比(intersection over union, IoU)作为语义分割模型精度评价指标，backbone为模型采用的骨干网络。
4.3 实验结果分析
4.3.1 目标检测模型结果分析
通过改进YOLOv7模型，本文在输电线路14类金具数据集上进行了消融实验，消融实验结果如表2所示。由消融实验检测结果可知，模型较基线模型提升了2.8百分点。从表2中可以看出，YOLOv7网络检测精度为88.2%，而本文算法在经过SPD模块、损失函数优化、引入注意力机制3个方面的改进后，检测精度相比原YOLOv7网络提升2.8百分点，达到了91%。由表2可知，本文检测模型的改进方法中，在加入SPD小目标检测增强模块后，在悬垂线夹、防振锤、耐张线夹、并沟线夹等小目标金具上的检测精度比基线模型获得了较大的提升，在加入SimAM和Wise-IoU损失函数改进后，模型整体检测精度获得较大的提升。
表 2 改进YOLOv7消融实验Table 2 Improved YOLOv7 ablation experiment% 输电线路金具 YOLOv7 YOLOv7+SPD YOLOv7+SimAM YOLOv7+Wise-IoU YOLOv7+SimAM+
Wise-IoU+SPD均压环 97.9 97.6 97.9 97.6 98.2 预绞式悬垂线夹 98.5 99.3 99.1 99.3 99.5 防震锤 95.7 96.8 97.2 96.8 97.4 提包式悬垂线夹 97.8 98.6 98.8 98.6 98.3 联板 87.2 87.9 88.8 87.9 88.9 U型挂环 85.4 88.0 86.5 87.9 88.6 挂板 77.3 78.7 79.2 78.8 81.1 调整板 84.8 86.2 89.8 87.2 87.2 重锤 96.5 95.3 96.5 95.3 96.6 屏蔽环 92.0 98.3 96.0 98.3 94.4 间隔棒 94.1 96.7 96.3 96.7 97.4 压缩型耐张线夹 75.1 76.0 77.6 75.0 75.9 并沟线夹 73.6 74.8 75.4 74.5 75.8 锲型耐张线夹 80.6 81.8 85.8 81.8 95.5 mAP 88.2 89.5 90.4 89.7 91.0 将本文改进模型与其他主流目标检测算法在输电线路金具数据集上进行对比，实验结果如表3所示。由表3可知，本文改进算法相较于两阶段Faster R-CNN[9]，mAP和检测速度均有大幅度提升，较单阶段目标检测算法SSD[24]、YOLOv3[25]、YOLOv4[26]、YOLOv5s、YOLOv5l、YOLOv8s、YOLOv8l，mAP获得了较大的提升，在保持高的检测精度同时，维持了较快的检测速度，表明了此目标检测模型的优越性。
表 3 目标检测模型对比实验Table 3 Target detection model comparison experiment算法 mAP/% GFLOPs/109 params/106 检测速度/(f/s) SSD 70.4 62.8 26.3 22.2 Faster R-CNN 73.7 370.4 130.0 0.4 YOLOv3 74.7 154.7 61.5 43.2 YOLOv4 76.6 119.1 52.5 44.5 YOLOv5s 82.3 15.9 7.1 87.2 YOLOv5l 86.5 109.1 46.5 54.3 YOLOv8s 84.5 28.7 11.1 68.1 YOLOv8l 89.6 165.4 43.6 52.5 YOLOv7 88.2 103.3 36.5 57.3 HSI+Faster R-CNN 77.9 370.4 130.0 0.4 ResNet101 76.4 269.1 60.4 0.5 Sparse R-CNN 82.1 144.2 106.0 22.0 Deformable-DETR 87.0 173.0 40.0 19.0 DAB-DETR 87.7 97.4 43.7 21.0 本文模型 91.0 103.4 36.6 57.1 本文同时与近2年在目标检测任务上表现优异的Sparse R-CNN[27]、Deformable-DETR[28]、DAB-DETR[29]模型和在输电线路金具缺陷检测任务表现优异的4种先进模型[7-10]进行对比，本文模型在输电线路金具检测任务上总体精度和检测速度要明显高于上述算法，表明了本文目标检测部分模型的优越性和先进性。本文对输电线路金具数据集进行了可视化展示，如图9所示。
图 9 改进YOLOV7模型可视化结果Fig. 9 Improved YOLOV7 model visualization results下载:
全尺寸图片
从可视化结果中可以看出，结果1中突破上方存在屏蔽环漏检的情况，结果2中图片上方存在联板、U型挂环和调整版的漏检，结果3中存在挂板误检和遮挡条件下U型挂环漏检的情况。本文改进模型解决了基线模型中存在的漏检和误检问题，对小目标金具检测得更加精准，检测框与待检测目标贴合的更加紧密，进而提升了对输电线路金具的检测精度。
4.3.2 语义分割模型结果分析
通过改进Res-UNet模型，本文在输电线路锈蚀数据集上进行了消融实验，锈蚀分割消融实验结果如表4所示。
表 4 改进Res-UNet消融实验Table 4 Improved Res-UNet ablation experiment模型 params/106 GFLOPs/109 IoU/% 检测
速度/(f/s)Base 43.9 184.6 69.8 30.6 Base+SE 46.4 184.7 71.2 30.5 Base+EAM 44.6 205.1 72.4 30.6 Base+STM 46.3 186.4 73.2 30.3 Base+STM+EAM 47.0 206.8 75.2 30.2 本文模型 49.5 207.2 77.5 30.4 由消融实验分割结果可知，模型较基线模型提升了7.7百分点。从表4中可以看出，Base模型Res-UNet网络分割精度为69.8%，而本文算法在经过STM、EAM、在骨干网络中加入SE注意力机制3个方面的改进后，模型分割精度相比原网络提升7.7百分点，达到了77.5%。
将本文改进模型与其他主流目标检测算法在输电线路金具锈蚀数据集上进行对比，实验结果如表5所示。由表5可知，本文改进算法与UNet、PSPNet[30]、Deeplabv3+[31]等模型对比，在保证模型参数量改变不大的情况下锈蚀区域IoU获得了较大的提升，表明了此目标检测模型的优越性。本文与近几年在语义分割任务上表现优异的ISANet[32]、BiSeNetV2[33]、SegFormer[34]模型进行对比，本文模型在检测精度上均有明显的优势，表现了本文算法的优越性。
表 5 语义分割模型对比实验Table 5 Semantic segmentation model comparison experiment模型 backbone params/106 GFLOPs/109 IoU/% UNet VGG16 24.9 452.6 63.6 PSPNet ResNet50 46.7 118.1 67.2 Deeplabv3+ Xception 54.7 166.3 70.2 Res-UNet ResNet50 43.9 184.6 69.8 ISANet ResNet50 25.2 38.6 70.3 BiSeNetv2 ResNet50 49.7 85.9 71.8 SegFormer ResNet50 64.1 95.7 72.1 本文模型 ResNet50 49.5 207.2 77.5 本文对输电线路金具锈蚀数据集进行了可视化展示，如图10所示。从可视化结果中可以看出，本文改进的Res-UNet模型对锈蚀区域的边缘感知更加敏感，充分获得了边界语义信息，并且增强对锈蚀区域的纹理的感知力，对于锈蚀边界分割更加精准，准确提升了对锈蚀检测的精度。
图 10 改进Res-UNet可视化结果Fig. 10 Improved Res-UNet visualization results下载:
全尺寸图片
5. 结束语
输电线路金具锈蚀检测是小目标检测，并且金具锈蚀区域不规则会严重影响对锈蚀区域的分割。针对上述问题，本文提出了一种融合边缘感知与统计纹理知识的输电线路金具锈蚀检测算法。首先，通过改进的YOLOv7模型对14类金具检测，通过加入了SimAM和Wise-IoU损失函数对主干网络提取出的特征进行优化，减少复杂背景干扰，提高模型的整体检测精度，加入了SPD模块，增加小目标检测精度。其次，通过改进的Res-UNet模型对检测到的金具锈蚀区域进行分割，在Res-UNet模型骨干中加入SE注意力，提高了模型的稳定性。最后通过向Res-UNet模型中引入STM和EAM，然后提出KFM对边缘感知和统计纹理知识进行融合，提高对不规则锈蚀区域分割的准确度。经过实验对比，在较快检测速度和较高精度情况下，本文检测算法和分割算法相比于基线模型分别提升了2.8百分点和7.7百分点，由此表明本文提出的两阶段算法在输电线路金具锈蚀检测的有效性。输电线路金具锈蚀检测对于维持输电线路安全平稳运行有很大意义，未来将继续探索高速度和高精度算法在本领域应用，为电力安全保驾护航。
-
图 1 本文模型总体框架
Fig. 1 General framework of our model
下载:
全尺寸图片
图 2 SimAM
Fig. 2 SimAM
下载:
全尺寸图片
图 3 SPD模块
Fig. 3 SPD module
下载:
全尺寸图片
图 4 边缘感知模块
Fig. 4 Edge-aware module
下载:
全尺寸图片
图 5 一维QCO
Fig. 5 One-dimensional QCO
下载:
全尺寸图片
图 6 统计纹理知识模块
Fig. 6 Statistical texture knowledge module
下载:
全尺寸图片
图 7 知识融合模块
Fig. 7 Knowledge fusion module
下载:
全尺寸图片
图 8 SE注意力机制
Fig. 8 SE attention mechanism
下载:
全尺寸图片
图 9 改进YOLOV7模型可视化结果
Fig. 9 Improved YOLOV7 model visualization results
下载:
全尺寸图片
图 10 改进Res-UNet可视化结果
Fig. 10 Improved Res-UNet visualization results
下载:
全尺寸图片
表 1 输电线路金具检测和锈蚀数据集划分表
Table 1 Transmission line fixture inspection and rust data set division table
输电线路金具名称(类型) 金具数量 锈蚀数量 均压环 891 32 预绞式悬垂线夹 158 8 防震锤 1 122 150 提包式悬垂线夹 1 848 122 联板 551 38 U型挂环 1 594 165 挂板 1 169 121 调整板 446 11 重锤 363 52 屏蔽环 109 7 间隔棒 277 9 压缩型耐张线夹 394 21 并沟线夹 108 6 锲型耐张线夹 71 5 表 2 改进YOLOv7消融实验
Table 2 Improved YOLOv7 ablation experiment
% 输电线路金具 YOLOv7 YOLOv7+SPD YOLOv7+SimAM YOLOv7+Wise-IoU YOLOv7+SimAM+
Wise-IoU+SPD均压环 97.9 97.6 97.9 97.6 98.2 预绞式悬垂线夹 98.5 99.3 99.1 99.3 99.5 防震锤 95.7 96.8 97.2 96.8 97.4 提包式悬垂线夹 97.8 98.6 98.8 98.6 98.3 联板 87.2 87.9 88.8 87.9 88.9 U型挂环 85.4 88.0 86.5 87.9 88.6 挂板 77.3 78.7 79.2 78.8 81.1 调整板 84.8 86.2 89.8 87.2 87.2 重锤 96.5 95.3 96.5 95.3 96.6 屏蔽环 92.0 98.3 96.0 98.3 94.4 间隔棒 94.1 96.7 96.3 96.7 97.4 压缩型耐张线夹 75.1 76.0 77.6 75.0 75.9 并沟线夹 73.6 74.8 75.4 74.5 75.8 锲型耐张线夹 80.6 81.8 85.8 81.8 95.5 mAP 88.2 89.5 90.4 89.7 91.0 表 3 目标检测模型对比实验
Table 3 Target detection model comparison experiment
算法 mAP/% GFLOPs/109 params/106 检测速度/(f/s) SSD 70.4 62.8 26.3 22.2 Faster R-CNN 73.7 370.4 130.0 0.4 YOLOv3 74.7 154.7 61.5 43.2 YOLOv4 76.6 119.1 52.5 44.5 YOLOv5s 82.3 15.9 7.1 87.2 YOLOv5l 86.5 109.1 46.5 54.3 YOLOv8s 84.5 28.7 11.1 68.1 YOLOv8l 89.6 165.4 43.6 52.5 YOLOv7 88.2 103.3 36.5 57.3 HSI+Faster R-CNN 77.9 370.4 130.0 0.4 ResNet101 76.4 269.1 60.4 0.5 Sparse R-CNN 82.1 144.2 106.0 22.0 Deformable-DETR 87.0 173.0 40.0 19.0 DAB-DETR 87.7 97.4 43.7 21.0 本文模型 91.0 103.4 36.6 57.1 表 4 改进Res-UNet消融实验
Table 4 Improved Res-UNet ablation experiment
模型 params/106 GFLOPs/109 IoU/% 检测
速度/(f/s)Base 43.9 184.6 69.8 30.6 Base+SE 46.4 184.7 71.2 30.5 Base+EAM 44.6 205.1 72.4 30.6 Base+STM 46.3 186.4 73.2 30.3 Base+STM+EAM 47.0 206.8 75.2 30.2 本文模型 49.5 207.2 77.5 30.4 表 5 语义分割模型对比实验
Table 5 Semantic segmentation model comparison experiment
模型 backbone params/106 GFLOPs/109 IoU/% UNet VGG16 24.9 452.6 63.6 PSPNet ResNet50 46.7 118.1 67.2 Deeplabv3+ Xception 54.7 166.3 70.2 Res-UNet ResNet50 43.9 184.6 69.8 ISANet ResNet50 25.2 38.6 70.3 BiSeNetv2 ResNet50 49.7 85.9 71.8 SegFormer ResNet50 64.1 95.7 72.1 本文模型 ResNet50 49.5 207.2 77.5 -
[1] 赵振兵, 蒋志钢, 李延旭, 等. 输电线路部件视觉缺陷检测综述[J]. 中国图象图形学报, 2021, 26(11): 2545−2560. doi: 10.11834/jig.200689 ZHAO Zhenbing, JIANG Zhigang, LI Yanxu, et al. Overview of visual defect detection of transmission line components[J]. Journal of image and graphics, 2021, 26(11): 2545−2560. doi: 10.11834/jig.200689 [2] 宋伟, 左丹, 邓邦飞, 等. 高压输电线防震锤锈蚀缺陷检测[J]. 仪器仪表学报, 2016, 37(S1): 113−117. SONG Wei, ZUO Dan, DENG Bangfei, et al. Corrosion defect detection of earthquake hammer for high voltage transmission line[J]. Chinese journal of scientific instrument, 2016, 37(S1): 113−117. [3] 戴玉静, 吕东辉, 郭松鸽. 基于颜色和纹理特征的输电线路锈蚀区域检测[J]. 工业控制计算机, 2018, 31(9): 39−40,43. doi: 10.3969/j.issn.1001-182X.2018.09.017 DAI Yujing, LYU Donghui, GUO Songge. Transmission line rusted area detection scheme based on color and texture features[J]. Industrial control computer, 2018, 31(9): 39−40,43. doi: 10.3969/j.issn.1001-182X.2018.09.017 [4] HUANG Xinbo, ZHANG Xiaoling, ZHANG Ye, et al. A method of identifying rust status of dampers based on image processing[J]. IEEE transactions on instrumentation and measurement, 2020, 69(8): 5407−5417. doi: 10.1109/TIM.2019.2963732 [5] 王红星, 陈玉权, 沈杰, 等. 一种新型半监督极限学习机及其在防震锤锈蚀检测中的应用[J]. 计算机科学, 2020, 47(12): 262−266. doi: 10.11896/jsjkx.200500085 WANG Hongxing, CHEN Yuquan, SHEN Jie, et al. Novel Semi-supervised extreme learning machine and its application in Anti-vibration hammer corrosion detection[J]. Computer science, 2020, 47(12): 262−266. doi: 10.11896/jsjkx.200500085 [6] 刘军, 孙庆, 刘玮, 等. 基于U-Net网络和椭圆度量学习的防震锤锈蚀识别[J]. 计算机技术与发展, 2020, 30(11): 163−167. doi: 10.3969/j.issn.1673-629X.2020.11.030 LIU Jun, SUN Qing, LIU Wei, et al. Identification of Anti-vibration hammer corrosion of high-voltage transmission lines based on U-Net network and elliptic metric learning[J]. Computer technology and development, 2020, 30(11): 163−167. doi: 10.3969/j.issn.1673-629X.2020.11.030 [7] RONNEBERGER O, FISCHER P, BROX T. U-net: convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer, 2015: 234−241. [8] 李辉, 钟平, 戴玉静, 等. 基于深度学习的输电线路锈蚀检测方法的研究[J]. 电子测量技术, 2018, 41(22): 54−59. LI Hui, ZHONG Ping, DAI Yujing, et al. Study on detection method of transmission line rusty based on deep learning[J]. Electronic measurement technology, 2018, 41(22): 54−59. [9] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137−1149. doi: 10.1109/TPAMI.2016.2577031 [10] 汤踊, 韩军, 魏文力, 等. 深度学习在输电线路中部件识别与缺陷检测的研究[J]. 电子测量技术, 2018, 41(6): 60−65. TANG Yong, HAN Jun, WEI Wenli, et al. Research on part recognition and defect detection of trainsmission line in deep learning[J]. Electronic measurement technology, 2018, 41(6): 60−65. [11] ATHA D J, JAHANSHAHI M R. Evaluation of deep learning approaches based on convolutional neural networks for corrosion detection[J]. Structural health monitoring, 2018, 17(5): 1110−1128. doi: 10.1177/1475921717737051 [12] CHEN Fuchen, JAHANSHAHI M R. NB-CNN: deep learning-based crack detection using convolutional neural network and Naïve Bayes data fusion[J]. IEEE transactions on industrial electronics, 2018, 65(5): 4392−4400. doi: 10.1109/TIE.2017.2764844 [13] SONG Zhiwei, HUANG Xinbo, JI Chao, et al. Deformable YOLOX: detection and rust warning method of transmission line connection fittings based on image processing technology[J]. IEEE transactions on instrumentation and measurement, 2023, 72: 1−21. [14] WANG C Y, BOCHKOVSKIY A, LIAO H Y M. YOLOv7: trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver: IEEE, 2023: 7464−7475. [15] YANG Lingxiao, ZHANG Ruyuan , LI Lida, et al. SimAM: a simple, parameter-free attention module for convolutional neural networks[C]//International conference on machine learning. New York: PMLR, 2021: 11863−11874. [16] TONG Zanjia, CHEN Yuhang, XU Zewei, et al. Wise-IoU: bounding box regression loss with dynamic focusing mechanism[EB/OL]. (2023−01−24)[2023−06−06]. http://arxiv.org/abs/2301.10051. [17] SUNKARA R, LUO Tie. No more strided convolutions or pooling: a new CNN building block for low-resolution images and small objects[C]//Machine Learning and Knowledge Discovery in Databases. Cham: Springer, 2023: 443−459. [18] XIAO Xiao, LIAN Shen, LUO Zhiming, et al. Weighted res-UNet for high-quality retina vessel segmentation[C]// 2018 9th International Conference on Information Technology in Medicine and Education. Hangzhou: IEEE, 2018: 327−331. [19] HU Jie, SHEN Li, SUN Gang. Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 7132−7141. [20] ZHU Lanyun, JI Deyi, ZHU Shiping, et al. Learning statistical texture for semantic segmentation[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville: IEEE, 2021: 12532−12541. [21] SUN Yujia, WANG Shuo, CHEN C, et al. Boundary- guided camouflaged object detection[EB/OL]. (2022−07−02)[2023−06−06]. http://arxiv.org/abs/2207.00794. [22] 赵文清, 程幸福, 赵振兵, 等. 注意力机制和Faster RCNN相结合的绝缘子识别[J]. 智能系统学报, 2020, 15(1): 92−98. ZHAO Wenqing, CHENG Xingfu, ZHAO Zhenbing, et al. Insulator recognition based on attention mechanism and Faster RCNN[J]. CAAI transactions on intelligent systems, 2020, 15(1): 92−98. [23] FUKUI A, PARK D H, YANG D, et al. Multimodal compact bilinear pooling for visual question answering and visual grounding[EB/OL]. (2016−06−06)[2023−06−06]. http://arxiv.org/abs/1606.01847. [24] LIU Wei, ANGUELOV D, ERHAN D, et al. SSD: single shot MultiBox detector[C]//European Conference on Computer Vision. Cham: Springer, 2016: 21−37. [25] FARHADI A, REDMON J. YOLOv3: an incremental improvement[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 1804−2767. [26] BOCHKOVSKIY A, WANG C Y, LIAO H M, et al. YOLOv4: optimal speed and accuracy of object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 2−7. [27] SUN Peize, ZHANG Rufeng, JIANG Yi, et al. Sparse R-CNN: end-to-end object detection with learnable proposals[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville: IEEE, 2021: 14449−14458. [28] ZHU Xizhou, SU Weijie, LU Lewei, et al. Deformable DETR: deformable transformers for end-to-end object detection[EB/OL]. (2020−10−08)[2023−06−06]. http://arxiv.org/abs/2010.04159. [29] LIU Shilong, LI Feng, ZHANG Hao, et al. DAB-DETR: dynamic anchor boxes are better queries for DETR[EB/OL]. (2022−01−28)[2023−06−06]. http://arxiv.org/abs/2201.12329. [30] ZHAO Hengshuang, SHI Jianping, QI Xiaojuan, et al. Pyramid scene parsing network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 6230−6239. [31] CHEN L C, ZHU Yukun, PAPANDREOU G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[C]//European Conference on Computer Vision. Cham: Springer, 2018: 833−851. [32] HUANG Lang, YUAN Yuhui, GUO Jianyuan, et al. Interlaced sparse self-attention for semantic segmentation[EB/OL]. (2019−07−29)[2023−06−06]. http://arxiv.org/abs/1907.12273. [33] YU Changqian, GAO Changxin, WANG Jingbo, et al. BiSeNet V2: bilateral network with guided aggregation for real-time semantic segmentation[J]. International journal of computer vision, 2021, 129(11): 3051−3068. doi: 10.1007/s11263-021-01515-2 [34] XIE Enze, WANG Wenhai, YU Zhiding, et al. SegFormer: simple and efficient design for semantic segmentation with transformers[J]. Advances in neural information processing systems, 2021, 34: 12077−12090.
