输电线路故障是造成电网大面积停电事故的重要原因之一，线路运维是保证电力系统安全的重要环节。金具是输电线路中起到固定、防护、接续等作用的电力部件^[1]，其长期处于野外恶劣环境中，极易发生锈蚀、变形、破损等缺陷，从而影响输电线路正常运行。目前图像识别技术已应用于电力线路巡检工作中^[2]，但拍摄角度和视距的多变性以及输电线路背景复杂性，增加了图像识别输电线路运行状态任务的难度，必须利用适用性强的图像处理算法来解决该问题。通过对巡检图像的处理可得到输电线路的基本状况，发现设备缺陷和故障隐患，将极大地提高输电线路巡检的自动化水平。

输电线路巡检图像检测算法在过去的几十年研究历程中，主要有3类算法：基于传统特征描述子的算法、基于经典机器学习的算法和基于深度学习的算法。利用目标的纹理^[3]、形态学特征^[4]、图形基元^[5]和多特征融合^[6]进行输电线路部件检测的基于传统特征描述子的算法主要针对单一类别金具识别，方法的有效性和可靠性表现一般，不具有扩展性。基于经典机器学习算法主要思路是通过人工特征描述子和线性分类器的结合完成部件检测任务^[7-9]，不适用于复杂背景下输电线路部件检测，没有很好地利用无人机巡线采集到的大规模巡检数据，检测结果不会随着样本增加而有进一步提升，且无法适应跨巡线导致背景和目标形态变化的巡检图像处理。在深度学习浪潮的推进下，采用在通用目标检测领域表现良好的目标检测模型用于高压线缆目标检测^[10]和输电线路部件检测方法研究成为热点，后者主要在均压环^[11]、绝缘子^[12-14]、防震锤^[15]等在巡检图像中占比大且目标形态单一的金具检测中取得一定的效果，输电线路航拍图像背景复杂，目标多尺度，直接使用以上算法检测效果不佳。输电线路遍布着种类繁多且形态各异的金具，因此能够综合检测多类金具和细小金具算法的研究具有极高价值。

单次多框检测器(single shot multibox detector, SSD)^[16-17]是深度学习目标检测模型中的经典模型，SSD模型输出离散化的多尺度^[18]、多比例的提取框，采用多尺度的特征图和在多个特征图上同时进行分类和回归任务，实现了速度和准确度的综合提升。

本文关注深度学习目标检测算法在输电线路巡检图像金具检测应用的问题，选取综合图像处理速度和精度平衡的SSD模型，主要针对在巡检图像中金具目标广泛存在遮挡的问题，提出了目标间遮挡关系的描述方法，设计了遮挡关系模块，并将其嵌入SSD模型中，实现了输电线路巡检图像中金具的检测。

1 研究方法

计算机视觉领域，普遍认为上下文信息或物体间的关系信息有助于更好地实现目标精确检测定位^[19-21]。现有通用目标检测模型由于场景的复杂性、多类目标共有的上下文信息少、难以实现规则性描述上下文信息，大多数模型还是针对每个物体单独地进行检测，没有很好地利用到场景中的上下文信息。区别于通用目标检测场景，输电线路金具具有所处背景较为单一、组装具有一定规则性等特点，故结合金具上下文信息可以有助于更好实现金具检测。

在输电线路中金具的组装具有一定的规则性，比如重锤作为增加绝缘子串垂直荷重或防止导线振动的防护金具，通常通过3个及以上的提包式悬垂线夹与导线连接，现有金具检测数据集中大部分的重锤目标的标注框中都包含了部分提包式悬垂线夹目标。在对金具数据集的分析中发现，金具目标标注框间不可避免地存在广泛的相交，金具数据集中部分目标标注框相交区域具有一定的相似性。图1给出了在金具数据集中部分目标标注框相交区域的相似性，其中图1(a)是提包式悬垂线夹与重锤标注框的相交区域，图1(b)是提包式悬垂线夹与联板标注框的相交区域。可以看出两两相交的标注框具有一定的相似性，相交区域往往包含两类目标的部分特征信息。

为了实现以相交区域的相似性作为金具目标的上下文信息指导深度模型训练，首先需要完成对金具目标间关于遮挡的上下文信息表达，其次需要解决上下文信息与深度模型结合的相关问题。本文受文献[22]中位置关系模块启发，提出了金具目标间遮挡关系的描述方法，设计了描述目标标注框间遮挡信息的关系模块，使用关系模块提取目标间遮挡关系并嵌入SSD模型中，实现了融合金具目标间遮挡关系的深度目标检测。

1.1 遮挡关系描述

由图1可知，金具标注框相交区域与金具的连接关系相关，为了完成遮挡关系模块的设计，需要对多类金具目标遮挡关系进行描述。

单张图片中标注框m相对于标注框n的遮挡关系描述为

${\left[\dfrac{{2{x_{mn}}}}{{{x_m} + {x_n}}}\; \dfrac{{2{y_{mn}}}}{{{y_m} + {y_n}}}\; \dfrac{{{w_{mn}}}}{{{w_m}}}\; \dfrac{{{h_{mn}}}}{{{h_m}}}\right]^{\rm{T}}}$

(1)

式中： $({x_m},{y_m},{w_m},{h_m})$ 和 $({x_n},{y_n},{w_n},{h_n})$ 为两个目标m和n的几何特征向量； $({x_{mn}},{y_{mn}},{w_{mn}},{h_{mn}})$ 为目标m和n的相交区域矩形坐标。为了使其特征具有平移旋转不变性特征，对相交区域矩形坐标进行变换，产生了一个如式(1)所示的4维关联几何空间特征。为了筛选与目标n有遮挡的目标，并得到相交区域坐标，目标遮挡区域算法主要包含3个步骤：

1)输入为目标m和n坐标 $({x_m},{y_m},{w_m},{h_m})$ 、 $({x_n},{y_n}, {w_n},{h_n})$ ，计算目标m和n的中心点坐标 $({x_{mo}},{y_{mo}})$ 、 $({x_{no}},{y_{no}})$ 。

2)判断目标m和n存在相互遮挡的条件为

$ \begin{array}{l} \left| {{x_{mo}} - {x_{no}}} \right| \leqslant {\dfrac{1}{2}}({w_m} + {w_n})\\ \left| {{y_{mo}} - {y_{no}}} \right| \leqslant {\dfrac{1}{2}}({h_m} + {h_n}) \end{array} $

(2)

若同时满足式(2)、(3)，则目标m和n存在相互遮挡。

3)输出相交区域坐标 $({x_{mn}},{y_{mn}},{w_{mn}},{h_{mn}})$ 。当目标m和n未遮挡时，相交区域坐标为(0,0,0,0)；当两目标存在相互遮挡时，通过式（3）计算相交区域坐标：

$ \begin{array}{c} {x_{mn}} = \max ({x_m},{x_n})\\ {y_{mn}} = \max ({y_m},{y_n})\\ {w_{mn}} = \min ({w_m} + {x_m},{w_n} + {x_n}) - {x_{mn}}\\ {h_{mn}} = \min ({h_m} + {y_m},{h_n} + {y_n}) + {y_{mn}} \end{array} $

(3)

1.2 遮挡关系模块设计

本文通过设计遮挡关系模块提取图像中不同标注框的相对遮挡程度，并通过升维操作将提取到的遮挡信息转换为可以与全连接层提取到的特征图进行融合的遮挡关系模块层。接下来将阐述遮挡关系模块的具体设计方法。

假设SSD模型输入中有N个目标框，那么N个目标框有2种特征集合 ${f_A}$ 和 ${f_G}$ ， ${f_A}$ 是常规的图像特征，即图片经过卷积提取到的目标框的外观特征。 ${f_G}$ 是几何特征，即在数据集标注中得到的目标框的位置特征(标注框的左上角顶点坐标和长宽，是一个4维的向量，在模型训练过程中4个向量大小随着图片相对于卷积层大小改变进行缩放)。这两种特征是后续算法的基础，通过模型中卷积层的输出可得到一组目标框的这两种特征的集合，通过这两种特征的相互作用同时处理一组目标物体，从而描述这组目标物体之间的遮挡关系。

借鉴基本注意力模块scaled dot-product attention^[23]的思想，设计遮挡关系模块描述第n个目标和其他目标的遮挡关系特征 ${f_R}(n)$ 为

${f_R}(n) = \displaystyle \sum\limits_m {{\omega ^{mn}} \cdot ({W_V} \cdot f_A^m)} $

(4)

式中： $f_A^m$ 为第m个目标框的图像特征； ${W_V}$ 是一个线性变换操作，在代码中用1×1的卷积层实现； ${\omega ^{mn}}$ 是用来描述不同目标之间的遮挡关系权重，该变量通过式(5)~(8)可以得到，在模型中通过softmax实现。

其中遮挡关系权重通过式(5)实现：

${\omega ^{mn}} = \frac{{\omega _G^{mn} \cdot \exp (\omega _A^{mn})}} {{ \displaystyle \sum\nolimits_k {\omega _G^{kn} \cdot \exp (\omega _A^{kn})} }}$

(5)

式中主要通过几何特征权重 ${\omega _G}$ 和图像特征权重 ${\omega _A}$ 计算遮挡关系权重 ${\omega ^{mn}}$ ，其中分式的分母为集合中所有目标相对第n个目标关系权重的和，目的是实现对第n个目标的遮挡关系权重的归一化。其中 $\omega _A^{mn}$ 为第m个目标相对于第n个目标的图像特征权重， $\omega _G^{mn}$ 为第m个目标相对于第n个目标的几何特征权重，这两个特征权重的计算分别通过式(6)和式(7)得到：

$\omega _A^{mn} = \dfrac{{{\rm{dot}}({W_K}f_A^m,{W_P}f_A^n)}}{{\displaystyle \sqrt {{d_k}} }}$

(6)

式中 ${W_K}$ 和 ${W_P}$ 分别表示将目标m和目标n映射到低维空间，然后通过向量的内积来衡量两个目标框图像特征的相似性，分母 ${d_k}$ 表示降维之后的维度；dot代表点乘。

$\omega _G^{mn} = \max \{ 0,{W_G} \cdot {\displaystyle \varepsilon _G}(f_G^m,f_G^n)\} $

(7)

式中 $\omega _G^{mn}$ 表示为该目标集合的几何关系权重 ${\omega _G}$ 与第m个目标相对于第n个目标的几何特征权重的升维后向量的乘积。其中 ${\varepsilon _G}$ 函数用来将4维的第m个目标框和第n个目标框之间的遮挡关系向量映射到高维空间。 ${\varepsilon _G}$ 将低维数据映射到了高维，映射后的维数为 ${d_G}$ ，本文选取了 ${d_k} = {d_G} = 64$ 。

在文献[22]中， ${\varepsilon _G}$ 函数中关于目标间的关系描述为

${\left[\lg \Bigg(\dfrac{{\left|{x_m} - {x_n}\right|}}{{{w_m}}}\Bigg)\;\;\; \lg \Bigg(\dfrac{{\left|{y_m} - {y_n}\right|}}{{{h_m}}}\Bigg)\;\;\; \lg \Bigg(\dfrac{{{w_n}}}{{{w_m}}}\Bigg)\;\;\; \lg \Bigg(\dfrac{{{h_n}}}{{{h_m}}}\Bigg)\right]^{\rm{T}}}$

(8)

该方式仅仅描述了目标m相对于n的距离，仅能体现简单的距离关系描述，不具有目标的相对方位等信息，且对一张图像中的所有目标都计算了几何关系，而在输电线路巡检图像中，由于无人机巡检拍摄位置环境的不确定，金具间的相对位置关系容易受拍摄角度影响，远距离的金具目标间往往不存在连接关系，原始关系模块不适用于金具目标检测任务。相对于金具间的固定位置关系，金具标注框的相互遮挡信息更具代表性且其遮挡区域具有一定的结构化特点。在本文设计的遮挡关系模块中，将原有关系模块中描述距离关系的式(8)改进为描述具有相互遮挡的两个目标框间的遮挡关系，计算方法见式(1)。

根据式(1)~(8)即可得到第n个目标的关系特征 ${f_R}(n)$ ，根据这个集合中目标数量N，使用N个遮挡关系模块分别提取该模块中不同目标的关系特征，最后级联起来，如式(9)：

$\hat f_A^n = f_A^n + {\rm{Contact}}[f_R^1(n),f_R^{\rm{2}}(n),\cdots,f_R^N(n)]$

(9)

遮挡关系模块结构如图2^[22]，图中 ${W_K}$ 、 ${W_P}$ 、 ${W_G}$ 都起到了一定的变换维度的作用。首先单个遮挡关系模块的输入为图像特征 $f_A^n$ 和两个目标的几何特征 $f_G^m$ 、 $f_G^n$ ，通过1×1卷积得到 ${W_V} \cdot f_A^m$ 、 ${W_K} \cdot f_A^m$ 和 ${W_P} \cdot f_A^n$ ，然后对三者进行求和并将其输入到scaled dot模块中实现点乘操作并映射到64维。输入的两个目标的几何特征先通过 ${\varepsilon _G}$ 函数映射到高维空间，与 ${W_G}$ 做内积后经过relu激活函数得到 ${\omega ^{mn}}$ 。然后将该目标几何中所有相对于第n个目标的 ${\omega ^{mn}}$ 与 ${W_V} \cdot f_A^m$ 相乘并求和，得到第n个目标的关系特征 ${f_R}(n)$ 。最后将N个目标的遮挡关系模块提取的关系特征级联后，与图像特征 $f_A^n$ 相加后，得到融合遮挡关系特征的目标特征 $\hat f_A^n$ 。

1.3 嵌入遮挡关系模块的SSD模型

已设计的遮挡关系模块能够遍历目标集合中其他目标与该目标的遮挡关系，通过一系列维度变换等操作，可以得到基于目标检测遮挡关系特征。图3给出了遮挡关系模块提取的关系特征层嵌入两层全连接层中间的示意图，在遮挡关系模块设计中，可以选取合适的矩阵变换使得生成的关系特征层与两个全连接层(FC)大小相同，因而可以作为附加特征与前一层全连接层输出图像特征相加作为最终用于目标分类和回归的特征图层。

SSD模型以VGG16网络^[24]为基础模型，并且在基础模型后新增了卷积层以获得丰富的特征图用于目标检测，最后基于模型的Conv4_3、Conv6(FC6)、Conv7(FC7)、Conv8_2、Conv9_2、Conv10_2、Conv11_2这7个层提取的特征图分别做分类和回归，其中Conv6(FC6)和Conv7(FC7)两个卷积层大小维度相同。基于此，将遮挡关系模块灵活地嵌入这两个层之间，完成遮挡关系模块的嵌入，最终SSD模型可以在融合遮挡关系模块的Conv7层进行分类和回归，其示意如图4。

2 实验结果及分析

实验选取金具检测数据集中均压环、调整板、联板、重锤、U型挂环、挂板、提包式悬垂线夹、防震锤8类金具作为实验对象。实验使用的金具训练集和测试集样本数分别为1 167和288张，分别包含了6 271和1 713个金具目标。

本文中运行环境是基于Python3.5的tensorflow1.8.0框架，硬件环境为Ubuntu16.04以及8 GB内存，显卡为NVIDIA GeForce TITAN Xp。为了验证遮挡关系模块的有效性，在SSD300的基础上加入关系模块。本文采用主流的目标检测模型的评价指标平均精度均值(mean average precision, mAP)对模型进行评估，其中平均精度 (average precision, AP)是通过度量模型输出与Ground truth的距离来计算单类目标的检测准确率，mAP是多目标检测模型中的通用评价指标，即对检测任务中所有类目标的AP计算平均值。表1给出了加入遮挡关系模块前后的SSD模型的金具AP的结果。表中所有的实验结果都是在同一台机器上进行，并且使用相同的网络优化超参数，学习率设为0.001，最大迭代次数为12万次，批样本处理数为16。

从表1中可以看到，遮挡关系模块的嵌入对实验选用的8类金具的AP都有了2%~9%的提升。其中在输电线路中起到连接作用的挂板、U型挂环均达到了9%左右的提升。在输电线路中起到防止导线震动的防护金具防震锤，由于其在巡检图像中成群出现，数据集中防震锤标注框存在同类别相互遮挡，使用本文方法检测的AP值有了6.58%的提升。重锤和均压环作为巡检图像中相对较大的金具，使用本文方法其AP值虽然没有明显提升，但与之存在广泛遮挡连接关系的提包式悬垂线夹、挂板、U型挂环等金具的准确率都有了明显的提升。

为了更好地评估本文方法，在相同的网络优化参数设置、相同的骨干网络VGG16的基础上，对比了SSD、DSSD（deconvolutional single shot detector）^[25]和本文方法的模型性能，实验中使用的训练超参数相同，且输入均为300×300，实验结果见表2。

表2分别比较了模型的mAP、召回率和时长，其中第3列是模型的召回率recall，即正确检测出样本的概率，第4列是模型在检测速度上的比较，以模型在检测一张图片中所需的时长为标准。可以看出，与原始SSD和DSSD相比，本文具有更高的mAP，而DSSD模型由于使用了对称的反卷积结构，模型在小目标检测中表现更好，具有更高的召回率，但模型的检测速度也随之降低。

图5给出了基于遮挡关系模块的SSD模型的检测结果，为了便于观察，在图中标示了白色圆角矩形框为误检目标，黑色圆角矩形框为漏检目标。可以看出，在原始SSD模型检测结果中，图5(a)中将塔材误检为联板，图5(c)中漏检了与左侧均压环上球头挂环连接的U型挂环，图5(e)中右下角被重锤遮挡的提包式悬垂线夹也没被原始SSD模型检测出来，而在图5(b)、(d)、(f)中，这些图像在嵌入了遮挡关系模块的SSD模型进行测试的结果均有了很好的改善，验证了遮挡关系模块的有效性。

3 结束语

针对由于金具在输电线路中组装具有一定规则性导致的输电线路巡检图像中金具目标存在普遍遮挡、巡检图像金具检测数据集中目标标注框相交且相交区域存在相似性的问题，本文提出了金具检测数据集中目标标注框间遮挡信息的描述方法，设计了基于遮挡关系描述的遮挡关系模块，并将该模块嵌入SSD模型中。通过在包含8类金具的数据集上进行实验，嵌入遮挡关系模块的SSD的检测平均准确率较原始SSD模型有了4.46%的提升，单类目标的AP提升最多达到9.77%。实验表明，结合金具目标中广泛存在的遮挡问题，提升模型在遮挡情况下的检测能力是实现金具检测效果进一步提升的有效思路。此外，在金具标注框的重叠区域分析中，发现大部分的重叠区域包含螺栓组件的部分信息，这为进一步研究金具上的螺栓及其缺陷奠定了坚实的基础。