绝缘子是输电线路中常见的核心部件，被广泛应用于高压输电线路中，在电气绝缘和支撑导线中起着重要的作用，其运行状态直接影响着整个输电线路的正常运行^[1]。由于绝缘子长期受到室外环境的侵蚀，时常会发生掉串、破损等故障^[2]，为更好地从图像中检测出绝缘子的各种缺陷，需要提前对绝缘子进行准确识别。

传统的绝缘子识别方法有利用目标颜色特征进行阈值分割的识别法^[3]、基于轮廓特征的定位方法^[4]等。然而，这些方法需要人工设计目标特征，并且针对不同的目标场景需要设计不同的特征，无法避免人为主观因素导致的漏检或误检，识别准确率低。与传统方法相比，卷积神经网络(convolutional neural network，CNN)能够从图像中自动提取表达能力更强的特征^[5]，减少识别时间，提高分类和识别的准确率。文献[6]使用CNN实现绝缘子的自动定位。文献[7]在R-FCN模型的基础上引入ASDN层，将绝缘子识别的平均准确率由77.27%提升至84.29%；文献[8]利用Faster RCNN框架对绝缘子进行识别，取得了较好的识别效果。但在Faster RCNN识别过程中，由RPN得到的目标建议框定位不够精确，影响后续精确定位结果，导致识别准确率不够理想。

针对以上问题，本文提出注意力机制与Faster RCNN相结合的绝缘子识别算法。首先在Faster RCNN网络的特征提取阶段引入Hu等^[9]提出的基于注意力机制的SENet结构，使网络能够自动学习到每个特征通道的重要程度，关注与目标相关的特征通道而抑制与目标不相关的特征通道，提升网络性能；然后，在RPN生成anchor阶段，根据绝缘子特点，改进基础anchor比例和尺度；最后，结合注意力机制计算建议框之间相互依赖关系的权重，融合周围建议框的特征向量来更新每一个目标建议框的特征向量，使目标建议框的特征向量包含更准确的位置信息，促进识别准确率的提升，进一步提高绝缘子识别精度。

1 相关技术介绍 1.1 SENet结构

SENet是一种简单而有效的基于注意力机制的网络，能够嵌入到当前主流的CNN结构中，增强特征提取层的感受野，提升卷积神经网络的性能。

在SENet结构中，注意力机制的两大核心操作是挤压(squeeze)和激励(excitation)。首先，对输入的特征图进行全局平均池化(global average pooling，GAP)，将M个 $W \times H$ 大小的特征图提取成长度为M的 $1 \times 1$ 的实数列。目的是使每个特征图都能利用其他特征图的上下文信息，从而具有全局的感受野，感受野尺寸较小的低层网络也能够利用全局信息^[10]。然后将实数列送入两个全连接层，先降维,得到 $1 \times 1 \times (M/r)$ 的向量，使用ReLU激活函数^[11]，再升维，得到 ${\rm{1}} \times {\rm{1}} \times M$ 的向量，使用Sigmoid激活函数，得到每个通道对应的权重。最终，每个通道与对应权重相乘，进行通道加权，得到更新后的通道。SENet结构如图1所示。X表示输入特征图，Y表示经过SENet更新后输出的特征图。

1.2 Faster RCNN模型

Faster RCNN对目标的定位和识别主要分为以下5个步骤：

1) 输入原始图像，首先需要对图片大小进行限制，限制短边不超过600，长边不超过1 000，对于输入图像优先考虑长边的限制，当原始图像有一边超过限制时，对长边和短边进行同比例放缩。

2) 使用卷积神经网络提取图像中目标的特征，生成的特征图由RPN和检测网络共享，本文采用的是VGG16^[12]特征提取网络，得到VGG16最后一个卷积层输出的特征图，用于接下来的分类和预测步骤。

3) 将步骤2)中得到的特征图输入RPN，经过卷积、池化等操作生成的特征图与输入图像在尺寸上有一定的映射关系，特征图上的每个点在输入图像中都有对应的位置，在输入图像上为每一个位置生成9个大小、形状不同的anchor^[13]，然后采用滑动窗口策略生成大量anchor。对每个anchor分类为背景或前景，接着对前景anchor利用边界框回归来修正，得到建议框。使用非极大值抑制算法(non-maximum suppression,NMS)^[14]根据分类的得分对这些建议框进行排序，去除冗余的建议框，并选择其中得分较高的建议框作为感兴趣区域(regions of interest,RoIs)输出。训练时，RPN的损失函数定义如式(1)所示：

$\begin{array}{c} L(\{ {p_i}\} ,\{ {t_i}\} ) = \dfrac{1}{{{N_{{\rm{cls}}}}}}\displaystyle\sum\limits_i {{L_{{\rm{cls}}}}} ({p_i},p_i^*) + \\ \lambda \dfrac{1}{{{N_{{\rm{reg}}}}}}\displaystyle\sum\limits_i {p_i^*} {L_{{\rm{reg}}}}({{{t}}_i},{{t}}_i^*) \\ \end{array} $

(1)

式中： $i$ 表示小批量数据中anchor对应的索引； ${p_i}$ 表示anchor预测为目标的概率；当anchor为正样本时，为1，反之为0； $\lambda $ 为平衡参数。 ${L_{{\rm{cls}}}}$ 表示二值分类损失， ${L_{{\rm{reg}}}}$ 表示位置回归损失，分别由 ${N_{{\rm{cls}}}}$ 和 ${N_{{\rm{reg}}}}$ 进行归一化， ${N_{{\rm{cls}}}}$ 为mini-batch大小， ${N_{{\rm{reg}}}}$ 等于anchor数量； ${{t}}_i$ 表示预测的anchor的4个参数化坐标向量； ${{t}}_i^*$ 表示前景anchor对应的真实框(ground truth，GT)的坐标向量。

4) ROI池化。步骤3)中提取的目标建议框形状差异较大，对应在特征图上的区域同样有较大差异，因此将每一个区域特征图划分为均等的 $7 \times 7$ 块，对每一块执行最大池化，由此将所有区域特征图大小固定为 $7 \times 7$ ，便于固定全连接层参数。

5) 输入步骤4)中固定大小的特征图，通过全连接层与Softmax分类器计算每个目标建议框识别为目标的概率；同时利用边界框回归对目标建议框进行精确微调，输出识别结果。

2 改进Faster RCNN的绝缘子识别

图2为本文所提出的注意力机制和Faster RCNN相结合的绝缘子识别模型，主要由特征提取网络，RPN区域建议网络和检测网络3部分组成。首先，在特征提取阶段引入SENet结构；其次，对RPN生成基础anchor的长宽比例和尺度进行调整；最后，在全连接层1上对目标建议框的特征向量与周围建议框的特征向量融合更新。

2.1 尺寸放缩

首先，向注意力机制和Faster RCNN相结合的绝缘子识别模型输入原始图像；然后，按照1.2节的步骤1)对原始图像进行尺寸放缩，限制图像长边不超过1 000，短边不超过600；最后，将尺寸放缩后的绝缘子图像输出到特征提取网络。

2.2 引入SENet结构的特征提取网络

使用VGG16特征提取网络，对经过尺寸放缩后的原始绝缘子图像提取特征。

为使特征提取网络能够利用全局信息，而不受限于局部感受野，本文在特征提取网络VGG16的每个卷积模块(共5个卷积模块)之后引入SENet结构。在特征通道维度进行特征压缩，生成权重并加权更新通道，得到表达能力更强的特征图。实验结果表明，引入该结构后，网络识别性能得到提升。SENet包含以下3个步骤：

1) 输入卷积之后的特征图，对每一个特征图使用全局平均池化，得到长度等于通道数M的实数列 ${Z_{{\rm{gap}}}}$ 。压缩率r设置为16。特征图 ${{X}} = [{{{x}}_1},$ ${{{x}}_2}, \cdots ,{{{x}}_c}]$ 通过全局平均池化 ${F_{{\rm{gap}}}}$ 计算如式(2)和式(3)所示：

${Z_{{\rm{gap}}}} = {F_{{\rm{gap}}}}({{{x}}_c}) = \frac{1}{{H \times W}}\sum\limits_{m = 1}^H {\sum\limits_{n = 1}^W {{{{x}}_c}} } (m,n)$

(2)

${F_1} \in {{\rm{R}}^{\frac{\scriptstyle{M}}{\scriptstyle{r}} \times M}},{F_2} \in {{\rm{R}}^{M \times {\frac{\scriptstyle{M}}{\scriptstyle{r}}}}}$

(3)

式中：c为特征图索引； ${F_1}$ 表示进行降维的全连接层参数； ${F_2}$ 表示进行升维的全连接层参数。

2) 分别经过两个全连接层输出特征，对特征使用Sigmoid函数激活，生成每个通道对应的权重信息 $S = [{s_1},{s_2}, \cdots ,{s_c}]$ ，如式(4)所示：

$S = {\rm{Sigmoid}}({F_2}({\rm{ReLU}}({F_1} \times {Z_{{\rm{gap}}}})))$

(4)

3) 根据权值对输入的特征图加权更新，得到更新后的通道特征 ${{Y}} = [{{{y}}_1},{{{y}}_2}, \cdots ,{{{y}}_c}]$ ，如式(5)所示：

${{{Y}}_c} = {s_c} \cdot {{{x}}_c}$

(5)

最终得到第5层SENet输出的特征图，并将该特征图输入到RPN区域建议网络中。

2.3 改进区域建议网络

首先，将2.2节得到的特征图输入到RPN中，在特征图上滑动窗口遍历每个点，每个点上生成不同长宽比例和尺度的anchor。

在传统Faster RCNN算法中，为识别公共数据集中的大多数目标，将生成基础anchor的长宽比例设置为(1:2、1:1、2:1)，但这种比例设置并不适用于识别绝缘子这类特殊的电力设备，需要对生成基础anchor的长宽比进行改进。本文从RPN生成基础anchor的原理出发，对绝缘子图像数据中绝缘子长宽比进行的统计，统计结果如图3所示，其中绝缘子的长宽比范围按数量依次排序为(4:1、5:1、6:1、2:1)，在此基础之上，将生成基础anchor的比例调整为(2:1、4:1、5:1、6:1)，同时，为更好地识别出尺寸较小的绝缘子，调整尺度为( ${64^2}$ 、 ${128^2}$ 、 ${256^2}$ )，特征图上每个点生成12种anchor，总共生成 $W \times H \times 12$ 个anchor。

然后，对每个anchor进行二分类，将与某个真实框的交并比值(IoU，两个建议框交集与它们并集的比值)最大或者与任一真实框的IoU值大于0.7的anchor分类为前景(正样本)；将与所有真实框的IoU值都小于0.3的anchor分类为背景(负样本)，再使用Softmax分类器计算得到分类为前景anchor的置信度分数。同时，对前景anchor使用边界框回归进行位置的初步修正。

最后，使用NMS算法筛选出置信度分数较高的建议框作为目标建议框输入后续的精确分类和定位，本文设定NMS阈值参数为0.7。

2.4 基于注意力机制的建议框融合

首先，将2.3节RPN得到的目标建议框映射到2.2节得到的特征图上；然后，按照1.2节步骤4)的ROI池化操作，将每个目标建议框对应在特征图上的区域大小固定为 $7 \times 7$ ，接着输入到全连接层1中。

考虑到由RPN得到的目标建议框定位不够精确，对后续的精确分类和定位造成影响；同时，与目标建议框交并比值较大的周围建议框包含较多有用的位置信息，能够帮助修正目标建议框，但不同的周围建议框对修正绝缘子目标建议框的重要性不同，本文使用注意力机制，选取与目标建议框IoU值不小于阈值T的周围建议框，自动学习每个周围建议框的重要程度(即权值 ${\alpha _{ij}}$ )，再将周围建议框以加权求和的方式进行融合并更新绝缘子目标建议框在全连接层1上的特征向量 ${{FV}} = [{{f}}{{{v}}_1},{{f}}{{{v}}_2}, \cdots ,{{f}}{{{v}}_i}]$ ，更新后的特征向量位置信息更加准确，有利于后续目标建议框的精确分类和位置回归，提升模型识别的精度。基于注意力机制的建议框融合算法详细步骤如下：

1) 输入RPN选取的i个目标建议框 ${{P}} = [{p_1},{p_2}, \cdots ,{p_i}]$ 对应在全连接层1上的4 096维特征向量。

2) 对步骤1)中每个目标建议框P和j个周围建议框求IoU值，并记录IoU值不小于阈值T的周围建议框，用这些建议框对应的特征向量来更新目标建议框P对应的特征向量。其中阈值T需要根据实验来选取最合适的取值。

3) 使用注意力机制。计算目标建议框P与步骤2)中记录的建议框两两对应的特征向量之间的权重关系，首先将两个特征向量连接成8 192维，然后传递给多层感知机^[15]，如式（6）所示，再经过Softmax分类器输出权值 ${\alpha _{ij}}$ ，如式（7）所示， ${{{W}}^{\rm{T}}}$ 和 ${{{W}}_\alpha }$ 为多层感知机需要学习的参数， ${{f}}{{{v}}_i}$ 和 ${{f}}{{{v}}_j}$ 分别表示与目标建议框向量的第i个和第j个周围建议框对应在全连接层1上的特征向量, $[ \cdot , \cdot ]$ 表示两个特征向量的连接操作。

${e_{ij}} = {{{W}}^{\rm{T}}}\sigma ({{{W}}_\alpha }\left[ {{{f}}{{{v}}_i},{{f}}{{{v}}_j}} \right])$

(6)

${\alpha _{ij}} = {\rm{Softmax}} ({e_{ij}})$

(7)

4) 融合周围建议框对应的特征向量来更新目标建议框P对应的特征向量 ${{FV}}$ ，如式(8)：

${{F}}{{{V}}_i} = {\alpha _{i1}} \cdot {{F}}{{{V}}_1} + {\alpha _{i2}} \cdot {{F}}{{{V}}_2} + \cdots + {\alpha _{ij}} \cdot {{F}}{{{V}}_j}$

(8)

5) 将更新后的目标建议框对应的4 096维特征向量输入全连接层2，进行后续的精确分类和定位任务。

2.5 输出识别结果

对全连接层2输出的特征向量再次利用Softmax分类器计算每个目标建议框分类为绝缘子的置信度分数，同时对每个目标建议框进行边界框回归，得到每个目标建议框相对真实框的偏移量预测值，用于对目标建议框进行修正，得到定位更精确的目标建议框，输出置信度分数较高的目标建议框作为最终识别结果。

3 实验及结果分析

本文实验使用的操作系统为Ubuntu 16.04LTS，GPU选用NVIDIA GeForce GTX 1080Ti，深度学习框架为TensorFlow 1.3.0。

3.1 数据集及实验参数

本文实验采用TAO X^[16]提供的绝缘子图像数据。该数据为无人机采集的复合绝缘子图像，共有840张，每幅图像为1 152像素×864像素像素，通过图像旋转、放缩的方式将绝缘子数据扩充为2 000张。实验过程中对绝缘子数据按照VOC2007数据集格式进行标注，并随机划分训练集为1 500张，测试集为500张。

RPN训练过程中，在mini-batch的一幅图像上，随机采样256个目标建议框，其中正样本与负样本数量比为1:1，当正样本数量不足时补充负样本。Fast RCNN训练过程中，由于全连接层更新特征向量是在一幅图像中学习建议框之间的权重关系，因此每个mini-batch包含1张图像。动量参数设为0.9，防止模型过拟合的权重衰减参数设为0.000 5，先将学习率设置为0.001,训练30 000次，再设置学习率为0.000 1，训练10 000次。模型训练40 000次得到的总体损失变化，如图4所示，当迭代40 000次时模型达到稳定。

3.2 实验结果

本文实验采用平均准确率(average precision，AP)和召回率(average recall，AR)作为评价指标，以传统Faster RCNN算法作为基准方法，对模型各部分改进前后的效果进行比较和分析。

3.2.1 RPN建议框比例对识别结果的影响

在传统Faster RCNN算法基础上，对绝缘子数据集中绝缘子长宽比分布统计，并采用2.3节调整后的基础anchor长宽比例和尺度，得到如表1所示的对比实验结果，模型的基础anchor改进为12种后，平均准确率提升了2.57%，召回率提升了3.16%。因此，针对绝缘子数据特点，合理地调整基础anchor长宽比例和尺度可以有效提高绝缘子识别的准确率。

3.2.2 基于注意力机制的绝缘子识别结果

实验过程中，对2.4节建议框融合的阈值T进行调整，当T过大时，可用于融合的周围建议框数目减少，进行融合的信息不够充分；当T过小时，可用于融合的周围建议框数目增多，融合了过多负相关的信息，增大噪声、影响识别结果，当T取0.7时识别准确率最高。

为验证本文提出的算法的有效性，对原始Faster RCNN和改进的Faster RCNN在500张测试图像上的识别结果进行统计，如表2所示。统计结果表明，本文提出的算法，遗漏和识别错误的绝缘子数量明显下降，能够有效识别出绝缘子。

为了更好地比较在传统Faster RCNN基础上改进前后的识别效果，统一采用改进后的12种基础anchor进行实验。2.2节、2.4节以及整体改进后的识别结果如表3所示。表中，AT表示2.4节中，基于注意力机制的建议框融合的改进方法。

由表3测试集的对比结果可以看出，在改进基础anchor长宽比例和尺度后的Faster RCNN模型中引入SENet结构，绝缘子识别准确率达到91.66%，运用注意力机制对建议框进行融合后，准确率达到93.85%，在同时引入SENet结构和融合建议框后，识别效果得到明显提升，识别准确率达到94.30%，召回率达到98.42%，说明提出的结合SENet提升特征表达能力和融合周围建议框的特征向量使目标建议框位置信息更加准确的改进算法是有效的。

不同方法对比结果见表4，可以看出，相比较文献[6-8]针对复合绝缘子的识别，本文方法具有较好的准确率。

通过图5和图6的对比识别结果可以看出，注意力机制与Faster RCNN相结合的算法识别出绝缘子的置信度更高，定位更加准确，并且能够识别出绝缘子图像中不易被人眼察觉而未进行标注的绝缘子，特别是对背景复杂、遮挡、绝缘子尺寸较小等因素造成的漏检，有显著改善。

4 结束语

针对Faster RCNN识别绝缘子图像不够准确，难以满足输电线路智能巡检的要求，本文提出了一种注意力机制和Faster RCNN相结合的绝缘子识别方法。在特征提取阶段，引入基于注意力机制的SENet结构，使特征提取网络关注与目标相关的通道，提升网络性能。在RPN生成基础anchor阶段，根据数据集中绝缘子的特点，改进anchor长宽比和尺度，提升对较小尺寸绝缘子的识别能力。在精确分类和回归阶段，运用注意力机制融合周围建议框信息对目标建议框在全连接层上的特征向量进行更新，得到位置信息更加准确的目标建议框。经过实验对比，本文方法相对于传统Faster RCNN算法具有较好的定位和识别准确度,能够为后续输电线路绝缘子缺陷检测的进一步研究提供准确可靠的信息。