近年来，随着电网高速发展与全面覆盖，输电线路作为电力传输中的核心系统，其稳定运行对电网的安全有着至关重要的影响^[1-2]。其中，金具作为输电线路的重要附件，起到了固定、防护与接续以及维持整个线路稳定运行的作用^[3-4]。由于金具的工作环境往往处在复杂恶劣的野外环境，极易发生锈蚀、变形、破损等缺陷，因此对输电线路进行定期巡检将大大减少输电线路故障的发生^[5]。

随着数字图像处理与无人机监控技术的发展，基于航拍图像处理的输电线路金具巡检技术已成功应用^[3]。目前常用的方法可以分为3类：基于特征描述的算法、基于经典机器学习的算法和基于深度学习的算法。其中，基于特征描述的算法主要利用形状^[6-7]、边缘^[8]、轮廓^[9-10]等形态学特征，或图形基元^[11]、共生纹理^[12]等手工特征实现对防振锤、绝缘子、间隔棒等输电线路部件的特征提取与识别，在实际应用中往往会受到成像条件、外界环境等因素变化的影响，导致金具的识别可靠性不高，难以满足工业应用要求。基于经典机器学习算法的金具识别往往通过传统特征提取方法与经典线性分类器相结合的方法^[13-15]完成金具识别任务。相比于最初的特征描述方法，机器学习算法在一定程度上提高了可靠性，但模型受到人工构建的限制难以无法深度挖掘样本特征，在识别的准确率上仍有很大的提升空间。随着深度学习在公开数据集中的流行与发展^[16]，基于深度学习目标检测算法的金具定位与检测研究得到了国内外研究学者的广泛关注，如文献[17]结合多显著性目标检测技术与逻辑判断对输电线路金具航拍图像实现目标检测；文献[18]结合输电线路金具的特征，使用深度可分离卷积与多尺度特征融合方法实现绝缘子、悬垂线夹、防震锤三类部件的识别与检测；文献[19]结合RFB模型与Focal-loss损失函数一定程度上缓解了绝缘子样本不平衡问题，提高了检测速度与准确率；文献[20]采用ResNet网络对SSD目标检测算法进行改进，完成了较高检测精度与置信度的绝缘子任务。然而，上述工作仅是针对输电线路金具本身特性对目标检测模型进行适用性应用与改进，未能将模型与电力领域业务知识有效融合。同时，受限于金具工作环境的特殊性，金具数据集往往存在严重的样本不平衡问题，对于某些样本较少的金具，单一的深度检测模型不能准确地对关键部件进行检测。

为促进深度学习模型与电力领域业务知识有机融合，缓解金具样本间样本不平衡问题，本文深入研究输电线路金具结构化组合规则，结合输电线路航拍图像构建多种金具间的共现矩阵，以Faster R-CNN模型作为目标检测基础框架，利用表达金具组合规则的共现矩阵作为先验指导，设计共现推理模块并嵌入目标检测模型中，进一步提高了模型检测的准确性，为输电线路金具运行状态的智能检测提供新的思路。

1 研究背景

在输电线路中多种金具的组合结构具有一定的规则性^[21]，如悬垂绝缘子串系统中，从低压侧到高压侧间金具排列结构由绝缘子与均压环和U型挂环与挂板、联板依次连接，最终通过悬垂线夹与高压侧导线相连；而用于避免导线舞动幅度过大导致线路跳闸的重锤，也上接均压环、下连悬垂线夹，通过这样的连接方式保证重锤安全、有效地增加绝缘子串垂直荷重。输电线路常见金具组合结构如图1所示，其中图1(a)和图1(b)分别展示了输电线路悬垂绝缘子结构与防舞动结构的部分示例。由图可知，目前输电线路中金具的组装结构较为固定，具有丰富经验的巡检工人只需要通过组装结构就可以判断出被遮挡金具的大致位置。然而，当前的深度检测算法仅对图像中的物体进行独立检测，没有有效利用目标之间的相互关系。

同时，由于输电线路工作环境的复杂多变，常用金具种类繁多，可分为线夹、连接金具、接续金具、防护金具、拉线金具、接触金具、母线金具等多个粗粒度类别，每一大类下还有众多细粒度类别。由于多种金具的运行环境与作用各不相同，因此在输电线路中多个金具的组合结构所需数量也往往各有不同，如提包式悬垂线夹常用于多个组合结构中连接金具与导线，使用数量与频率都比较高；而用于非直线杆塔跳线的并沟线夹，因其承担任务的特殊性，所以应用数量与频率较少。因此，在输电线路航拍图像金具数据集中，会出现数据不平衡和长尾分布的问题。图2展示出本文所用金具检测数据集中各个金具的标注框在整个数据集的分布情况，其中数据集共含金具14种，标注框9101个。可以看出，各个金具标注框数量依次降低，且前5种金具标注框数量占整体标注框数量70%以上，呈现出非常严重的长尾分布问题。然而当前深度学习算法往往是基于数据驱动的，面对缺乏大量样本的混淆类别与长尾数据，性能会有很大下降。

物体之间的关系可以帮助提高物体识别能力，这在人类常识上已经得到了很好的认识^[22-24]。现有通用目标检测模型由于多类目标检测缺乏共性的结构性描述，因此大多还是针对每个物体单独进行检测，这种相对独立的检测模型仅仅利用了待检测物体本身的特征，每种物体的数据集数量和质量对检测结果具有很大的影响。而在输电线路金具目标检测场景中，输电线路金具具有较高规则性的组装结构特点，通过对金具组装结构特点进行分析，挖掘相应关系信息为目标检测进行辅助判断以解决数据长尾问题。

为了有效利用金具间固有的连接结构，将输电领域业务知识与深度学习目标检测模型相融合。本文提出采用共现矩阵^[24-27]作为金具目标结构性信息的表达方法，设计了描述多类金具间共现关系的推理模块并嵌入Faster R-CNN模型中，实现了融合金具目标结构关系的深度目标检测模型。

2 Faster R-CNN模型

Faster R-CNN算法^[28]自2015年由Ren等提出后受到了目标检测领域的广泛应用。相比于单阶段的SSD(Single Shot MultiBox Detector)^[29]，YOLO(You Only Look Once)^[30]算法，二阶段算法结合大规模数据集与深度检测框架的优势，得到的检测结果具备较高的检测精度与泛化性能。Faster R-CNN算法创新性提出区域建议网络(Region Proposal Network, RPN)，通过端到端的方式解决了R-CNN^[31]、Fast R-CNN^[32]检测算法中候选框生成耗时问题，极大提高了双阶段检测算法的效率。

Faster R-CNN算法的基本框架如图3所示，主要由卷积神经网络、RPN网络、感兴趣区域池化单元(region of interest pooling, RoI Pooling)以及结果输出单元4部分组成。

1)卷积神经网络：利用一系列卷积、池化、非线性模块的组合，从浅至深提取输入图像的多通道特征并形成图像特征图(feature map)。

2) RPN网络：通过预设尺寸与比例的多种锚框进行特征图滑动并生成多个候选框，采用非极大值抑制(non-maximum suppression, NMS)分析并筛选出 ${{{N}}_{{r}}}$ 个目标候选区域。

3) RoI Pooling：将每个目标候选区域均匀分成n×n个图块并进行最大值池化计算，得到固定尺度的特征图候选区域向量。

4)结果输出单元：将步骤3)得到的特征向量输入全连接层，判断特征图候选区域的类别以及准确位置。

3 融合共现推理的Faster R-CNN 3.1 共现概率矩阵构建

由图1可知，输电线路金具的组装连接呈现出结构化、固定化的特点，因此属于同一连接结构的金具往往会在同一幅航拍图像中共同出现。在大多数应用中，相关关系是预先定义的^{[22-23, 27]}。本文通过数据驱动的方式构建共现概率矩阵，即通过挖掘标签在数据集中的共现模式来定义标签之间的相关性。

本文以条件概率 ${{P}}(\left. {{{{L}}_{{y}}}} \right|{{{L}}_{{x}}})$ 的形式对标签相关性进行建模，其中 ${{P}}(\left. {{{{L}}_{{y}}}} \right|{{{L}}_{{x}}})$ 表示当标签 ${{{L}}_{{x}}}$ 出现时标签 ${{{L}}_{{y}}}$ 出现的概率。如图4所示， ${{P}}(\left. {{{{L}}_{{y}}}} \right|{{{L}}_{{x}}})$ 与 ${{P}}(\left. {{{{L}}_{{x}}}} \right|{{{L}}_{{y}}})$ 并不相等，因此共现矩阵是非对称的。

为了构建金具检测数据集的共现矩阵，本文首先计算了训练集中每一图像中金具标签成对出现的次数，得到共现次数统计矩阵 ${{H}} \in {{\bf{R}}^{{{C}} \times {{C}}}}$ ，其中 $C$ 表示金具类别数， ${{{H}}_{{xy}}}$ 表示标签 ${{{L}}_{{x}}}$ 与标签 ${{{L}}_{{y}}}$ 在同一张图像中出现的次数， ${{{H}}_{{xx}}}$ 即对角线元素数值表示所在金具种类在训练集图像中出现的次数。然后通过行归一化得到共现概率矩阵 ${{P}} \in {{\bf{R}}^{{{C}} \times {{C}}}}$ ，如式(1)所示：

${{{P}}_{{xy}}} = {{{{{H}}_{{xy}}}} / {{{{H}}_{{xx}}}}}$

(1)

其中 ${{{P}}_{{xy}}} = {{P}}(\left. {{{{L}}_{{y}}}} \right|{{{L}}_{{x}}})$ 表示当标签 ${{{L}}_{{x}}}$ 出现时标签 ${{{L}}_{{y}}}$ 的概率。

根据式(1)在金具检测数据集中计算得到的共现如图5所示，其中每一行金具类别为前文所述标签 ${{{L}}_{{x}}}$ ，每一列金具类别为前文所述标签 ${{{L}}_{{y}}}$ 。可以看出，当联板在一张图像中出现时，U型挂环、挂板、提包式悬垂线夹等金具出现的概率相应增大；同样的，与重锤共现概率较大的金具分别是提包式悬垂线夹与均压环。该结论与金具组合结构一致，可知共现概率矩阵能够有效表达标签间的共现关系，有利于进一步将输电线路金具组装结构与深度学习模型进行合理融合。

3.2 共现推理模块

为融合输电领域业务知识与深度学习模型，通过共现概率矩阵形成共现推理模块嵌入Faster R-CNN算法，本文结合图学习方法，通过学习共现概率矩阵中各个种类金具间的相关关系并映射计算共现概率关联作为共现图的邻接矩阵，通过Faster R-CNN算法提取的 ${{{N}}_{{r}}}$ 个候选区域特征向量作为共现图的输入特征，通过自学习的变换权重矩阵作为共现图传播的权重，完成共现图信息传播并得到增强知识特征，与原有候选区域特征级联后送入边界框回归层与分类层，计算类别与位置的最终结果，算法流程图如图6所示。

3.2.1 共现图邻接矩阵

参照图推理技术，本文所设计的共现推理模块通过候选区域特征与共现关联等概念实现共现图信息传播与深度模型融合。首先本文通过Faster R-CNN算法所提取的 ${{{N}}_{{r}}}$ 个具有固定特征维度的特征图候选区域向量 ${{f}} = \left\{ {{{{f}}_{{i}}}} \right\}_{{{i}} = 1}^{{{{N}}_{{r}}}}{\kern 1pt} {\kern 1pt} {\kern 1pt} ,{\kern 1pt} {\kern 1pt} {\kern 1pt} {{{f}}_{{i}}} \in {{\bf{R}}^{{D}}}$ 对共现图 ${{G}}:{{G}} = < {{N}},{\kern 1pt} {\kern 1pt} {\kern 1pt} \varepsilon ,{\kern 1pt} {\kern 1pt} {\kern 1pt} {{X}},{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {{W}} > $ 中结点 ${{N}}$ 与输入特征 ${{X}}$ 进行定义，其中 ${{{N}}_{{r}}}$ 为Faster R-CNN算法提取候选目标数量， ${{D}}$ 为每个候选目标区域的特征维度， $\varepsilon $ 和 ${{W}}$ 分别为图的邻接矩阵与传播权重。根据特征图候选区域向量 ${{f}}$ 的维度，本文使用 ${{{N}}_{{r}}}$ 个视觉特征作为图传播结点的输入特征 ${{X}}$ ，即可得到 ${{{N}}_{{r}}}$ 个图传播结点 ${{{N}}_{{i}}},{\kern 1pt} {\kern 1pt} {\kern 1pt} {{i}} \in (1,{{{N}}_{{r}}})$ 。

对于共现图邻接矩阵，本文采用有监督的方式将金具结构性特征通过共现概率矩阵与目标检测模型进行融合。计算过程如下所述：

1)为保证能够有效利用预训练的共现概率矩阵 ${{P}} $ 中的信息并嵌入目标检测模型形成端对端网络，本文定义共现候选图 ${{Q}}:{{Q}} = < {{{N}}_{{r}}},\bar \varepsilon >$ 表示C类目标种类到 ${{{N}}_{{r}}}$ 个目标结点及其先验边权 $\bar \varepsilon \in {{\bf{R}}^{{{{N}}_{{r}}} \times {{{N}}_{{r}}}}}$ 的共现关系映射矩阵。在训练过程中，当我们知道每个区域的真实类别时，两个区域节点的边权 ${{V}}$ 是按照 ${{P}}$ 中对应真实类别的共现概率映射的，即 ${\bar \varepsilon _{{ij}}} = {{{P}}_{{{{L}}_{{i}}},{{{L}}_{{j}}}}}$ 。这种利用区域结点真实样本的显式映射将确保可靠的共现信息提取，为后续共现图邻接矩阵的有监督学习提供有力保证。

2)定义 ${\hat {{e}}_{{ij}}} \in \hat \varepsilon $ ，其中 ${{{e}}_{{ij}}}$ 表示共现图中第i个结点与第j个结点间的关联关系， $\hat \varepsilon $ 表示模型学习的共现图邻接矩阵。为保证在给定任何外部知识形式的情况下，模型可以通过不同区域候选特征的上下文信息相应地更新不同的边缘连接 $\hat \varepsilon $ ，通过堆叠的多层感知机(multi-layer perceptron, MLP)对每个结点间的邻接关系进行学习，如式（2）所示：

${\hat {{e}}_{{ij}}} = {{\rm{MLP}}_{\rm{Q}}}(\alpha ({{{f}}_{{i}}},{{{f}}_{{j}}}))$

(2)

式中： ${{\rm{MLP}}_{\rm{Q}}}$ 表示给定共现候选图 ${{Q}}$ 情况下通过MLP学习的矩阵参数； $\alpha ( \cdot )$ 表示对于两两结点的输入特征 $({{{f}}_{{i}}},{{{f}}_{{j}}})$ 进行L₁范式计算的结果。对于给定不同的共现候选图 ${{Q}}$ ， ${{\rm{MLP}}_{\rm{Q}}}$ 通过可学习参数利用两两视觉特征的差异形成不同结点间的不同边缘关系连接，从而实现个性化知识推理。

3)为了训练合适的 ${{\rm{MLP}}_{\rm{Q}}}$ 矩阵参数，可以对测试样本应用显示共现关联进行编码，本文采用有监督方式对 ${{\rm{MLP}}_{\rm{Q}}}$ 参数进行学习，以共现候选图边权参数 $\bar \varepsilon $ 作为真值，以视觉特征与 ${{\rm{MLP}}_{\rm{Q}}}$ 学习的关系权重 $\hat \varepsilon $ 作为训练值，对 ${{\rm{MLP}}_{\rm{Q}}}$ 进行参数更新。在训练阶段，对于 ${{{N}}_{{r}}}$ 个候选区域的可学习边权 $\left\{ {{{\hat {{e}}}_{{ij}}}} \right\}$ 的损失函数如下式所示：

${\cal{L}}\left( {{{f}},{{\rm{MLP}}_{\rm{Q}}},{{Q}}} \right) = \sum\limits_{{{i}} = 1}^{{{{N}}_{{r}}}} {\sum\limits_{{{j}} = 1}^{{{{N}}_{{r}}}} {{{{{\left( {{{\hat {{e}}}_{{ij}}} - {{\tilde {{e}}}_{{ij}}}} \right)}^2}} / 2}} } $

(3)

3.2.2 基于图推理的特征挖掘

在对所学习的共现图邻接矩阵 $\hat \varepsilon = \left\{ {{{\hat {{e}}}_{{ij}}}} \right\}$ 进行行归一化后，我们通过结点关系加权的方式对候选区域的视觉特征进行信息传播并得到增强特征 ${{f}}'$ ，如式(4)所示：

${{f}}' = \hat {{\varepsilon}} {{f}}{\kern 1pt} {{{W}}_{{e}}}$

(4)

式中： $\hat {{\varepsilon}}$ 为候选区域结点间的归一化邻接矩阵； ${{f}}$ 为输入的视觉特征； ${\kern 1pt} {{{W}}_{{e}}} \in {{\bf{R}}^{{{D}} \times {{E}}}}$ 为变换权重矩阵； ${{f}}' \in {{\bf{R}}^{{E}}}$ 是通过图推理得到的增强特征； ${{E}}$ 是增强特征维度，本文中所用维度为256。

最后，将原始视觉特征 ${{f}}$ 与增强特征 ${{f}}'$ 级联，得到融合共现推理模块的联合特征，输入到Faster R-CNN算法的结果输出单元，完成类别分类与位置框回归，得到最终结果。联合特征计算流程图如图7所示。

4 实验结果及分析

本文选用金具检测数据集包含预绞式悬垂线夹、提包式悬垂线夹、压缩型耐张线夹、锲型耐张线夹、挂板、U型挂环、联板、并沟线夹、防震锤、间隔棒、均压环、屏蔽环、重锤、调整板等14种金具，其中训练集与测试集样本图像分别为1092和363张，数量比例为3∶1，共包含金具目标数9101个。

本文所述模型采用NVIDIA 1080Ti专业加速卡进行训练与测试；采用的操作系统为Ubuntu16.04.6 LTS，利用CUDA10.0加速训练；使用的计算机语言为Python3.6，网络开发框架为Pytorch。为了验证共现推理模块的有效性，以Faster R-CNN作为基础框架进行改进。本文采用目前目标检测模型中常用的评价指标平均精度均值(mean average precision, mAP)对模型进行评估，通过度量目标检测框与真值框间的交并比(intersection over union, IoU)计算各类目标平均精度(average precision, AP)，以所有类目标的AP平均值作为目标检测模型的最终评价指标。

表1给出了融合共现推理模块前后的金具检测的AP值结果，所用模型的batchsize为1，学习率为0.002，学习率衰减为9，最大迭代次数为20。可视化结果如图8所示，其中x轴为各个金具的类别，y轴为每一类金具检测的AP值，蓝色柱为Faster R-CNN模型检测结果，红色柱为融合共现推理模块后检测模型结果，色柱上方数字为融合推理模块后检测AP值的提升情况，金具种类按照AP提升数值从左至右降序排列。

由图8可以看出，融合共现推理模块对绝大多数金具都具有较高的提升，比较图4可知，锲型耐张线夹、压缩性耐张线夹、并沟线夹、预绞式悬垂线夹等AP值提升较大的金具与其他金具间共现关系较为密切，且该4类金具的目标样本数量仅占数据集内总样本数量的8.03%。然而，均压环、提包式悬垂线夹等金具的AP值并没有提高，甚至有所下降，其原因在于：这些金具往往在多种结构中都有应用，因此共现概率差别较小。综上可知，融合共现推理模块的目标检测模型可以有效利用金具间的固定结构关系，通过共现关系将输电领域业务知识嵌入到目标检测模型之中，降低了对数据集样本的数量要求，能够有效缓解输电线路航拍数据集的样本不平衡与长尾分布问题。

为全面评估融合共现推理的目标检测模型性能，本文在保证超参数相同的情况下比较了SSD512^[29]、Faster R-CNN^[28]、RetinaNet^[33]以及本文算法的模型性能，如表2所示。

由表2可知，融合共现推理模块后的Faster R-CNN模型相比于基线模型检测性能mAP提升了6.56个百分点，与其他算法相比，对于采用VGG16作为骨干网络的SSD算法或ResNet101作为骨干网络的RetinaNet算法仍有较高提升。

图9给出了融合共现推理模块前后的Faster R-CNN模型的定性可视化结果。可以看出，图9(a)中基线模型虽然检测出防震锤，但漏检了U型挂环与提包式悬垂线夹，同样的，图9(b)中基线模型漏检了重锤上侧与绝缘子相连的均压环，在图9(c)中基线模型误将远处背景的棚架检测为屏蔽环。而在图9(d)、(e)、(f)中，融合共现推理模块的Faster R-CNN模型检测结果对这些问题均有了很好的改善。结合图4可知，当防震锤出现时，U型挂环与提包式悬垂线夹出现频率往往较高，并且防舞动结构中重锤与均压环存在着较为固定的结构性连接，在共现模型辅助信息的判断下，这些漏检问题都得到了改善。同样的，用于引导避雷器外泄电流的屏蔽环与压缩型耐张线夹、挂板、U型挂环等金具连接，与图9(c)中重锤、提包式悬垂线夹等金具关联不大，因此融合共现推理模块能够有效利用金具间共现关联关系，有效避免此类非结构化金具的误检问题，同时促进固定连接结构的金具检测性能，验证了共现推理模块的有效性。

为了更好理解共现矩阵和增强特征维度在算法中的作用，本文修改部分超参数进行了消融实验，首先采用全1矩阵替换所提取的共现概率矩阵 ${{P}} $ ，然后采用不同参数对增强特征维度 ${{E}}$ 进行超参数对比实验，结果如表3所示。

可以看出，当利用全1矩阵替换共现概率矩阵后，增强特征仅能利用基线模型输入的视觉特征进行加权并输出，无法对金具间的共现关联进行有效学习，其检测结果低于本文所述算法结果3.87个百分点。因此，本文所用的共现概率矩阵可以对金具间结构性关联进行有效表征，有利于融合输电线路业务知识提高金具检测准确性。另外，通过对增强特征维度 ${{E}}$ 的超参数实验可以看出，适宜的增强特征维度可以有效提升算法性能0.35~0.71个百分点，维度过高或过低会产生特征欠拟合或特征冗余等问题，导致检测性能的下降。

5 结束语

由于输电线路金具的结构性连接与组装结构往往具有规则性，且该特点具有缓解样本数量不均衡这一优势，本文结合输电线路航拍图像构建了多种金具间的共现矩阵，基于Faster R-CNN模型作为目标检测基础框架，利用表达金具组合规则的共现矩阵作为先验指导，设计共现推理模块并嵌入目标检测模型中，提出了融合共现推理的Faster R-CNN模型。通过在包含14类金具的数据集上进行实验，融合共现推理模块的目标检测模型较基线模型有了6.56%的检测准确率提升，单类目标的AP提升最多达到21.9%，对于一些样本数量较少的金具检测提升尤其显著。实验表明，结合金具目标间的结构化组合，提升模型在先验指导下的检测能力是实现金具检测效果进一步提升的有效思路，为促进深度学习模型与电力领域业务知识有机融合，缓解金具样本间样本不平衡问题奠定了坚实的基础。