Bolt defect recognition method for transmission line based on joint structure-semantic relationship graph knowledge reasoning
-
摘要: 针对输电线路螺栓缺陷识别任务中存在的视觉不可分与语义歧义问题，提出联合结构−语义关系图知识推理的输电线路螺栓缺陷识别方法。通过语义关系图提取螺栓各属性有判别力的特征类映射，经结构关系图捕获螺栓上下文信息并建立跨不同尺度的空间关系，采用图卷积神经网络经协作学习，利用螺栓各属性之间的结构知识与语义知识实现语义关系图节点的更新，通过螺栓训练数据集统计的标签共现信息辅助图知识推理网络提高螺栓缺陷识别的准确率。在实验阶段，选取3类典型金具上的13类螺栓属性作为研究对象。对比实验结果表明，本文方法对螺栓缺陷的识别效果优于其他方法，较基线模型提升了8.12%的准确率。Abstract: To tackle the issues of visual inseparability and semantic ambiguity in identifying transmission line bolt defects, a new method using joint structure–semantic relationship graph knowledge reasoning is proposed. Initially, a semantic expression module extracts feature class mappings that highlight the discriminative attributes of each bolt. Subsequently, the structural relationship graph captures contextual bolt information and establishes spatial relationships across different scales. Utilizing a graph convolutional neural network and cooperative learning, the semantic relation graph nodes are updated with structural and semantic knowledge derived from the bolt attributes. Finally, the network employs label co-occurrence information from the bolt training data set to improve the accuracy of defect recognition. In the experimental stage, 13 types of bolt properties across 3 types of typical fittings were examined. Comparative experiments show that the method proposed in this study outperforms other methods in identifying bolt defects, boosting accuracy by 8.12% over the baseline model.
-
电网承担着电力保障供给、提供安全支撑等重要使命[1]。在输电线路中，螺栓通过光孔进行可拆卸连接。然而，由于螺栓预紧力不足或受风力等环境因素影响，螺栓子部件产生的交应变力或动态载荷可能会高于螺栓的承受极限，导致螺栓因疲劳而失效，进而造成子部件松动甚至缺失，从而引发螺栓缺陷。螺栓缺陷会使自身及相邻螺栓与被紧固金具的夹紧力减弱，加大振动载荷，进而影响结构稳定，严重的话会引发线路接触不良甚至输电中断，影响电网安全有序运行[2-3]。无人机航拍代替手工记录加入输电线路巡检，在降低人工攀爬危险度的同时提高了工作效率[4]。
在计算机视觉领域，语义歧义指由于目标物体之间的相互关系、背景信息等因素导致对目标对象的识别和理解产生混淆或错误。视觉不可分指图像的细节信息不足以被清晰地解析和处理。在输电线路航拍图像中，螺栓中各子部件利用摩擦力机械连接金具与导线，来承担紧固过程中产生的轴向及径向受力，从而导致视觉特征相同的螺栓在不同安装位置存在正常与缺陷两种可能性，即螺栓缺陷识别任务中存在的视觉不可分和语义歧义问题。同时由于螺栓及其子部件受占比小及拍摄角度影响，相较于金具及缺陷识别，螺栓缺陷识别难度较大。
当前研究主要着眼于螺栓在航拍图像中背景复杂且占比极小的特性，增强螺栓表面视觉特征以提高模型对螺栓缺陷的识别精度。文献[5]将特征提取后的高层语义信息与高分辨率特征融合实现螺栓缺销特征的表达优化，并利用聚类算法进行误检甄别。文献[6]从视觉特征角度构建了学习视觉形状差异的检测模型，经特征增强、融合与区域特征提取优化特征后，经回归与分类得到螺栓缺陷检测结果。文献[7]利用高分辨率特征融合对感兴趣区域进行双线性插值放大后补充几何细节，同时利用注意力来提升螺栓分类精度。文献[8]针对螺栓图像中特征少的开口销远小于其他子部件的特点，提出三级开口销缺失检测方法，但由于数据集的样本，横向开口销识别精度较低。针对样本不平衡问题，文献[9]对样本进行数据扩增后，在残差网络中增加通道注意力，提高螺栓缺陷识别的精度。对于螺栓缺陷识别中存在视觉不可分问题，文献[10]采用可变形卷积提升对不规则轮廓的处理能力，同时利用通道注意力改善螺栓缺陷识别准确度。上述工作大多以提高对螺栓细粒度特征的表达与提取为主要目的。关于语义歧义问题，文献[11]首次提出联合螺栓图像中的语义知识与位置知识，通过学习螺栓缺陷之间的关系引导模型提高分类精度。文献[12]首次利用输电线路领域知识，构建缺销螺栓信息，提出基于图知识推理的输电线路缺销螺栓识别方法，但该方法仅针对螺栓缺销问题，对螺栓缺陷识别具有一定的局限性。
本文在计算机视觉基础上将输电线路领域知识进行充分地表达与利用，以辅助识别仅依赖视觉特征无法判定的螺栓缺陷。首先在所选金具范围内利用螺栓所属金具、朝向与子部件组成之间固定的安装规则，提取出螺栓缺陷的规则化信息，作为图知识推理的指导知识；然后以残差网络(residual network, Resnet)[13]为基线模型提取螺栓各属性表面视觉特征；之后分别通过语义关系图与结构关系图完成螺栓属性间知识的表达与推理；最后利用图网络进行知识传递，提高螺栓缺陷识别的准确性。
1. 研究背景
在螺栓缺陷识别任务中，螺栓子部件(开口销、螺母和垫片)存在与否直接关乎电力是否安全，但螺栓缺陷识别中存在视觉不可分与语义歧义问题，其具体表现为部分子部件组成无法仅依据视觉特征判定是否属于螺栓缺陷。针对该问题，在螺栓表面视觉特征的基础上挖掘属性间的互补信息并结合螺栓的安装方式，经领域知识引导使模型学习属性间的相关性与相关程度，最终实现螺栓缺陷识别。
在输电线路中，螺栓子部件安装与其朝向及金具间具有一定的规则性[14]。针对仅包含螺母与垫片的螺栓，安装位置为重锤或联板时，属于螺栓缺销；安装位置为提包式悬垂线夹且螺栓朝向为水平时，属于螺栓缺销，朝向为垂直时，属于正常螺栓。仅包含开口销与螺母的螺栓属于正负两种样本。作为承受机械载荷的连接金具，提包线夹与联板的安装依靠U型挂环代替垫片紧固连接，在该位置上，仅包含开口销与螺母的螺栓为正常螺栓，而重锤上用于紧固重锤片的螺栓承压较大，需使用垫片来降低压应力，以保证螺栓连接有效，在该位置上，仅包含开口销与螺母的螺栓为螺栓缺陷。如图1所示，选择典型金具上螺栓作为实验目标，当螺栓子部件组成为开口销、螺母及垫片，除去上述螺母与垫片、开口销与螺母的组成情况，均属于螺栓缺陷。
图 1 典型金具Fig. 1 Examples of typical fittings
下载:
全尺寸图片
螺栓缺陷信息如图2所示，分析螺栓所属金具、空间布局与部件组合间的规律化关联，提炼出螺栓缺陷的标志性信息，作为知识推理的默认规则。将螺栓的所属金具作为上下文信息与属性建模后引入图知识推理网络实现螺栓缺陷识别，因此利用联合结构−语义关系的动态图知识推理网络(graph knowledge reasoning network for dynamic joint structure-semantic relations, DJSSRnet)，在螺栓图像提取特征后，分别经结构关系图(structure relations graph, STRG)捕获上下文信息并建立跨不同尺度的空间关系，语义关系图(semantic relations graph, SERG)获得具有感知结构向量的共现依赖关系，之后经协作学习得到联合结构和语义关系的图知识推理网络(graph knowledge reasoning network for joint structure-semantic relations, JSSRnet)，最后利用图网络动态完成螺栓缺陷识别。
图 2 螺栓缺陷信息示意Fig. 2 Schematic diagram of bolt defect information下载:
全尺寸图片
2. 相关工作
2.1 知识表达
以特定任务如何提取模型中的规则化知识，并将其以最优方式实现具体场景的应用为当前的研究方向。文献[15]提出根据LSTM (long short-term memory) 模型预测得到的标签进行动态排序，经知识表达将无序损失与CNN-RNN (convolution neural network, recurrent neural network) 架构相结合，在减少重复预测的同时最小化损失。文献[16]采用迭代平滑处理和最大后验概率赋值方法增强属性标签与像素之间的相关性，得到最终的属性识别结果。文献[17]通过标签、语义和视觉空间之间的字典学习，实现各空间特征的充分利用。文献[18]为了捕获和探索标签依赖关系，在对象标签上构建有向图对各个标签节点的语义特征进行知识表达，经图卷积神经网络将标签图映射到相互依赖的对象分类器，通过端到端的网络训练来保留知识丰富的语义拓扑图。为减少全局图像与局部区域间的差距，文献[19]通过语义知识表示，保证了区域注意力的多样性，实现多标签识别。
2.2 知识推理
计算机视觉领域出现了将对象间关系作为内在知识经推理提高分类结果的研究，文献[20]提出利用知识表达模块提取语义信息和拓扑信息，与卷积神经网络识别图像中的视觉标签相互作用后经图知识推理提高分类性能。文献[21]利用图像中物体间存在空间布局或语义关系的特性，首先基于初始区域特征对图像中稀疏语义关系进行表示，然后经空间布局模块对图像中的稀疏空间布局关系的位置和形状信息进行表示，最后经上下文知识推理模块整合对象及其关系的上下文信息完成目标检测。文献[22]提出利用对偶关系进行知识推理学习，提出显式语义感知约束，动态建模图像对象中的语义知识，通过长期相关性建模图像中上下文结构知识，通过联合关系图知识推理实现鲁棒表示。文献[23]为消除由训练数据标签共现性对偶尔共现目标的偏见，利用注意力驱动的动态图卷积网络进行知识推理增强学习特征鲁棒性。文献[24]将图像中结构化信息作为目标检测的认知知识，将给定图像目标建模为图节点，对象间关系建模为图边，将图结构知识推理目标状态的模型整合到传统检测框架。在输电线路研究方向，文献[25]利用金具结构化安装规则，将结构化共现矩阵经图知识推理[26]与目标检测模型相结合，为金具状态检测提供新思路。
3. 研究方法
本文提出的联合结构−语义关系图知识推理的螺栓缺陷识别方法如图3所示。将螺栓输入卷积神经网络，得到包含丰富信息的不同属性螺栓的特征表示；然后将属性特征信息通过结构关系图(STRG)捕获将螺栓所属金具作为长期上下文关系并在不同属性之间建立结构交互；同时将属性特征信息输入到语义关系图(SERG)得到螺栓各类属性对应的属性表示后，利用各属性之间结构知识与语义知识的联合传递实现语义关系图节点更新，得到联合结构和语义关系的图知识推理网络(JSSRnet)；最后引入图知识推理模块利用基于数据集的静态相关概率矩阵经图卷积神经网络优化联合结构−语义图间的动态依赖关系，得到联合结构−语义关系的动态图知识推理网络(DJSSRnet)通过更新节点信息增强螺栓各属性的语义表示。
图 3 联合结构−语义关系的动态图知识推理网络Fig. 3 A dynamic graph knowledge reasoning network that combines structure-semantic relationships下载:
全尺寸图片
3.1 结构关系图
螺栓缺陷识别的关键问题是捕获长期上下文关系并在不同属性之间建立结构交互。考虑到卷积神经网络(convolutional neural network, CNN)感受野缺陷和Transformer的数据依赖性，将Transformer嵌入到CNN主干网络中，以捕获螺栓长期上下文信息并从全局角度建立空间位置关系。
如图4所示，将输入图像I经Resnet-101提取特征
${\boldsymbol{X}}$ 后，经1×1与3×3卷积降低通道数得到多尺度特征${\varPhi }_{S}({\boldsymbol{I}})=\{{{\boldsymbol{X}}}_{1},{\boldsymbol{X}}_2,\cdot \cdot \cdot , {{\boldsymbol{X}}}_{s}\}$ 。将${\varPhi _S}({\boldsymbol{I}})$ 分别经过Transformer单元$ {{{g}}^{{\text{trans}}}} $ 与跨尺度注意力模块$ {{\psi (}} \cdot {\text{)}} $ ，在捕捉上下文信息同时建立不同螺栓属性间的位置关系，其中位置知识作为节点，用于结构关系图的构建。
图 4 结构关系Fig. 4 Structural relation graph下载:
全尺寸图片
考虑到开口销与垫片在螺栓图像中占比较小，利用下采样操作容易导致提取的小目标位置信息不足，使用高分辨率特征容易增加计算负担。为解决该问题，引入跨尺度注意力模块，实现螺栓属性识别性能与模型计算成本之间的平衡。
鉴于螺栓子部件开口销和垫片的中心常出现在图像边角的独有特征，采用双线性插值方法进行上采样操作，在保证信息不丢失的情况下放大图像的细节，有利于进一步的特征提取工作。
为增强低层特征中螺栓小目标结构信息，降低高分辨率噪声影响，引入交叉注意力特征融合策略
$ {{\psi (}} \cdot {\text{)}} $ 。首先将螺栓图像中不同尺度的上采样特征按位相乘，通过对目标位置与噪声位置训练得到相应的权值特征，提取不同尺度间目标公共位置特征后，进行下采样与按位相加操作，实现特征向量融合以增强位置信息，将增强位置信息的特征输入到权重共享的Transformer单元中，计算得到不同尺度的结构特征$ {\boldsymbol{T}}_i $ ：$$ {\boldsymbol{T}}_i = {\text{g}}_i^{{\text{trans}}}\left({\text{D}}\left(\prod\limits_i^s {{\text{U}}({{\boldsymbol{X}}_i})} \right) + {{\boldsymbol{X}}_i}\right) $$ (1) 式中：
$ {\text{U(}} \cdot {\text{)}} $ 和$ {\text{D(}} \cdot {\text{)}} $ 分别表示上采样与下采样操作，${\boldsymbol{T}}_i$ 表示第$ i $ 阶尺度特征。经上述学习获得了螺栓属性间位置知识，将各尺度结构特征
$ {\boldsymbol{T}}_i $ 拼接，得到融合螺栓图像中各属性位置知识的结构关系图节点$ {\boldsymbol{T}} $ ：$$ {\boldsymbol{T}} = \mathop {{\text{concat}}}\limits_{i = 1}^s ({\text{g}}_i^{{\text{trans}}}({\Psi _i}({{\boldsymbol{X}}_i};\{ {\boldsymbol{X}}\} _{k = 1}^s))) \in {\bf{R}}^{{{N_T}} \times {{C_T}}} $$ (2) 式中
$ {{{N}}_{{T}}} $ 和$ {{{C}}_{{T}}} $ 分别表示结构关系图节点$ {{T}} $ 的个数和维度数。3.2 联合结构−语义关系图知识推理网络
由于输电线路中螺栓类间差距小，不同的金具场景共用表面视觉特征相同的螺栓，从而导致螺栓属性之间存在的语义歧义问题，当同一属性螺栓属性差距越大时，该问题越显著。为了充分挖掘属性间关系，实现语义消歧，将结构关系与高层语义信息相结合，作为语义关系图节点
$ {\boldsymbol{G}} $ ，可学习的相关矩阵$ {{\boldsymbol{A}}^S} $ 作为图卷积神经网络的边，输入到联合结构−语义关系的图知识推理网络$ {{{g}}^{{\text{sem}}}} $ 为螺栓缺陷识别提供上下文信息的同时进行属性间信息传播与增强：$$ {\boldsymbol{G}} = {{{g}}^{{\text{sem}}}}(({\boldsymbol{C}}({\boldsymbol{X}}),{\boldsymbol{T}});{\boldsymbol{A}}({\boldsymbol{T}},{\boldsymbol{C}}({\boldsymbol{X}}))) \in {\bf{R}}^{{{N_{{\mathrm{cls}}}} \times {{(C_G + C_T)}}}} $$ (3) 式中：
$ {{{g}}^{{\text{sem}}}} $ 表示语义图神经网络，$ C( \cdot ) $ 表示关系向量，$ A( \cdot ) $ 表示$ {{{g}}^{{\text{sem}}}} $ 、$ {{{N}}_{{{{\mathrm{cls}}}}}} $ 和$ {{{C}}_{{G}}} $ 的联合关系相关矩阵，$ {{{N}}_{{{{\mathrm{cls}}}}}} $ 表示属性数，$ {{{C}}_{{G}}} $ 为语义向量的维数。3.2.1 语义关系图
联合结构−语义关系如图5所示，首先将Resnet-101提取到的特征图
$ {\boldsymbol{X}} $ 经一维卷积运算对特征分类得到类映射${\boldsymbol{M}} = \phi _m({\boldsymbol{X}}) \in {\bf{R}}^{{{N_{{\mathrm{cls}}}}} \times {{H}} \times {{W }}}$ ，然后将类映射$ {\boldsymbol{M}} $ 与特征$ {\boldsymbol{X}} $ 经进行高阶融合得到语义感知特征$ {{\boldsymbol{V}}_G} $ 。
图 5 联合结构−语义关系Fig. 5 Joint structure-semantic expression module下载:
全尺寸图片
$$ {\boldsymbol{V}}_G = {\text{R}}({\boldsymbol{M}})\phi _g({\text{R}}{({\boldsymbol{X}})}) \in {\bf{R}}^{{{N_{{\mathrm{cls}}}} \times {{C_G}}}} $$ (4) 式中：
$ {\phi _g}\left( \cdot \right) $ 表示从$ {{C}} $ 到$ {{{C}}_G} $ 的降维操作；$ {\text{R(}} \cdot {\text{)}} $ 表示矩阵重构操作，将空间维度压缩为一维。其中，为了尽可能减少特征提取误差，保证语义感知向量对螺栓各属性特征的表示质量，对类映射$ {\boldsymbol{M}} $ 进行全局最大池化以保留原始螺栓属性特征值之间的相对顺序，利用该顺序表征的部分位置信息减少噪声，从而得到对螺栓各属性特征更有判别力的类映射。3.2.2 联合结构−语义关系图
为了将Transformer单元提取的螺栓全局上下文信息和跨尺度注意力模块学习的位置知识充分利用，在语义感知特征引入的同时，从结构关系图中引入螺栓属性间结构感知特征：
$$ {\boldsymbol{V}}_T = {\text{R}}({\text{GAP}}({\boldsymbol{T}})) \in {\bf{R}}^{{{N_{{\mathrm{cls}}}} \times {{C_T}}}} $$ (5) 其中
$ {\text{GAP(}} \cdot {\text{)}} $ 表示全局平均池化操作。螺栓属性间信息的传递依赖于相关矩阵在相邻节点之间传播消息。将结构关系图得到的结构感知特征
$ {\boldsymbol{V}}_T $ 经过变换后，经展平处理与语义感知特征$ {{\boldsymbol{V}}_G} $ 拼接得到联合特征$ {\boldsymbol{V}} $ ，将$ {\boldsymbol{V}} $ 通过1×1卷积层后经Sigmoid得到联合相关矩阵$ {{\boldsymbol{A}}^s} $ ：$$ {{\boldsymbol{A}}^s} = {\text{Sigmoid}}({\varphi _c}({\text{concat}}({\varphi _t}({{\boldsymbol{V}}_T}),{{\boldsymbol{V}}_G}))) \in {\bf{R}}^{{{N_{{\mathrm{cls}}}} \times {{N_{{\mathrm{cls}}}}}}} $$ (6) 式中
$ {\varphi _{\left\{ {c,t} \right\}}} $ 表示利用1×1卷积层进行降维操作。使用图卷积神经网络进行图知识推理，通过螺栓各属性之间结构知识与语义知识的联合传递实现语义关系图节点更新：
$$ {\boldsymbol{G}} = {\text{δ }}({{\boldsymbol{A}}^s}{\boldsymbol{V}}{{\boldsymbol{W}}_G}) + {\boldsymbol{V}} \in {\bf{R}}^{{{N_{{\mathrm{cls}}}} \times {{(C_G + C_T)}}}} $$ (7) 式中：
$ {\boldsymbol{G}} $ 表示更新后的语义关系图，$ {\boldsymbol{W}}_G $ 表示图知识推理学习到的权重，$ {\text{δ }}( \cdot ) $ 表示LeakyReLU。3.2.3 图知识推理模块
图6给出了基于数据集的标签共现相关概率矩阵，将DJSSRnet的输出特征
$ {\boldsymbol{G}} $ 与联合结构−语义权重更新矩阵$ {\boldsymbol{V}} $ 依次拼接得到$ {{\boldsymbol{G}}^{l + 1}} $ ，即${{\boldsymbol{G}}^{l + 1}} = [{{\boldsymbol{g}}_1}|{{\boldsymbol{v}}_t}\;\;\;{{\boldsymbol{g}}_2}|{{\boldsymbol{v}}_t}\;\;\; \cdot \cdot \cdot \;\;\;{{\boldsymbol{g}}_{N_{cls}}}|{{\boldsymbol{v}}_t}]$ 。以$ {{\boldsymbol{G}}^{l + 1}} $ 为输入节点，相关概率矩阵$ {{\boldsymbol{A}}^{\mathrm{d}}} $ 为边，
图 6 标签共现相关概率矩阵Fig. 6 Label co-occurrence correlation probability matrix下载:
全尺寸图片
$$ {\boldsymbol{D}} = {\rm{f}}\left( {{{\boldsymbol{A}}^d}{{\boldsymbol{G}}^{l + 1}}{{\boldsymbol{W}}^d}} \right) $$ (8) 经式(8)得到特征表示
${\boldsymbol{D}} = [{{\boldsymbol{d}}_1}\;\;\; {{\boldsymbol{d}}_2}\;\;\; \cdot \cdot \cdot \;\;\;{\boldsymbol{d}}_{N_{cls}}]$ 。式中：
$ {\text{f}}( \cdot ) $ 表示LeakyReLU，${{\boldsymbol{W}}^d}$ 表示状态更新权重。3.3 整体识别框架
如图3所示，为了提高图知识推理网络对螺栓缺陷识别的准确率，将结构关系图、更新后语义关系图与图知识推理模块通过协作学习的方式在螺栓多属性数据集上进行同步训练，将预测结果通过加权融合得到最终螺栓属性识别结果
$ \hat {\boldsymbol{y}} $ ：$$ \hat {\boldsymbol{y}} = {{{\psi }}_t}({\text{GMP}}({\boldsymbol{T}})) \lus {{{\psi }}_g}({\boldsymbol{G}}) \lus {{{\psi }}_d}({\boldsymbol{D}}) \in {\bf{R}}^{{{N_{{\mathrm{cls}}}}}} $$ (9) 式中：
$ {{{\psi }}_{\left\{ {t,g,d} \right\}}} $ 分别表示结构关系图、语义关系图和图知识推理模块的属性分类器，$ {\text{GMP}}\left( \cdot \right) $ 表示全局最大池化操作，$ \lus $ 表示两个关系图的加权融合操作。对于实际螺栓属性标签
$ {\boldsymbol{y}} \in {\bf{R}}^{{{N_{{\mathrm{cls}}}}}} $ ，其中$ {y_i} \in \left\{ {0,1} \right\} $ ，若$ {y_i} = 1 $ ，表示螺栓图像中存在该属性标签，$ {y_i} = 0 $ 则不存在。在螺栓多属性数据集上训练整个网络的损失函数计算：$$ L_{\mathrm{loss}} = - \frac{1}{{{{{N}}_{{\text{cls}}}}}}\sum\limits_{j = 1}^{{{{N}}_{{\text{cls}}}}} {y_i^j\log (\sigma (\hat y_i^j))} + (1 - y_i^j)\log (1 - \sigma (\hat y_i^j)) $$ (10) 式中：
$ y_i^j $ 表示第j类属性预测值；$ \hat y_i^j $ 表示第j类属性真值；$ {{{N}}_{{\text{cls}}}} $ 表示螺栓属性数，本文中$ {{{N}}_{{\text{cls}}}} = 13 $ 。使用
$L_{{\mathrm{cls}}} $ 评估该网络最终性能：$$L_{{\mathrm{cls}}} =L_{{\mathrm{sat}}} +L_{{\mathrm{gcn}}} +L_{{\mathrm{trans}}} +L_{{\mathrm{joint}} } +L_{{\mathrm{mat}}} $$ (11) 式中：
$L_{{\mathrm{sat}}} $ 表示语义关系图的损失函数，$L_{{\mathrm{trans}}} $ 表示结构关系图的损失函数，$L_{{\mathrm{gcn}}} $ 表示语义关系图的损失函数，$L_{{\mathrm{joint}} } $ 表示联合结构−语义关系图的损失函数，$L_{{\mathrm{mat}}} $ 表示图知识推理的损失函数。使用式(11)所示的损失函数对整个网络进行训练。4. 实验结果及分析
由于输电线路领域数据暂不存在公共数据集，本文使用自建螺栓多属性数据集进行实验，该数据集按螺栓属性分为13类，共
2474 张图像，9896 个属性，训练集与验证集之比为7∶3。本实验基于Pytorch框架实现，并使用GTX1080ti GPU完成训练与测试。选用Resnet-101作为基线模型提取螺栓图像特征。将模型训练初始学习率设置为0.5，基线模型设置为0.05，权重衰减为10−4，使用梯度下降法进行优化。4.1 消融实验
表1给出了在基线Resnet-101网络下对不同模块的消融研究，其中STRG和SERG表示结构和语义关系图，MTrans表示Transformer单元，MGCN表示图卷积神经网络。如表1所示，采用多标签识别的性能主要指标评估：平均精度(AP)和所有属性平均精度的均值(mAP)。
表 1 消融实验Table 1 Ablation test% 方法 基线 MTrans STRG MGCN SERG JSSRnet DJSSRnet 开口销 88.7 89.1 89.4 89.8 88.9 89.8 90.2 螺母 89.3 90.0 90.7 90.1 91.0 91.4 91.6 开口销+螺母 86.4 87.7 88.0 89.3 89.6 90.7 91.0 开口销+垫片 88.2 88.6 89.1 89.1 89.8 90.2 90.3 螺母+垫片 86.2 89.7 90.3 89.3 90.0 90.6 91.1 开口销+螺母+垫片 83.8 84.4 85.6 85.6 86.5 86.8 88.2 水平朝向 92.6 93.0 93.8 93.9 94.0 94.8 94.7 竖直朝向 92.5 92.7 93.6 93.5 93.6 94.1 94.6 提包线夹 91.0 91.7 92.5 93.4 93.1 93.2 93.5 联板 91.0 91.4 92.3 92.5 92.9 93.3 94.4 重锤 91.3 91.5 92.2 93.5 93.8 94.0 94.7 螺栓正常 89.9 91.7 92.5 91.5 92.6 93.9 93.9 螺栓缺陷 85.0 89.4 91.7 91.0 91.6 92.8 93.1 mAP 88.9 90.1 90.9 91.0 91.3 92.0 92.4 从表1可以得出以下结论：
1)与基线Resnet-101相比，加入Transformer单元、图卷积神经网络后，mAP的增长可以说明上述模块对于图知识推理的有效性。
2)结构关系图仅应用Transformer单元较基线模型mAP提高了1.14%，由此可证明上下文信息在螺栓多属性识别中的必要性。考虑到销子和垫片等小目标的位置信息可能会因下采样消失，跨尺度注意力模块与Transformer单元结合后整体准确率提升了1.97%，在含有开口销与垫片的图像结果中，较Transformer单元准确率也略有提升，可证明跨尺度注意力模块增强了跨尺度特征并抑制了噪声。
3)通过图卷积神经网络实现语义知识的传播可以显著提高识别性能，将结构关系图加入语义感知特征后JSSRnet较STRG进一步提高了1.09%的性能。DJJSRnet比基线Resnet-101整体识别准确率提高了3.48%，螺栓缺陷识别准确率提高了8.12%，这表明图卷积神经网络可以利用图知识推理得到更有判别力的语义特征，完成螺栓缺陷识别。
为论证知识表达模块与知识推理模块的价值，采用总体精度(OP)、总体召回率(OR)、总体F1值(OF1)和每类精度(CP)、每类召回率(CR)、每类F1值(CF1)作进一步比较。表2为实验结果，All表示mAP最佳时各类数值。Top3表示各图像会受到阈值影响前3名的标签。其中，OF1与CF1较其他指标更稳定，于是采用mAP、OF1与CF1为比重更高的评估指标。如表2所示，加入Transformer单元、图卷积神经网络、语义关系图与结构关系图后使基线模型实验结果显著提升。同时，语义关系图提取到的属性表示更具有判别力，结构关系图与语义关系图的协作学习使模型对螺栓属性特征的判别能力进一步增强。
表 2 消融实验其他指标Table 2 Other indicators of ablation experiments% 方法 mAP All Top3 OP OR OF1 CP CR CF1 OP OR OF1 CP CR CF1 基线 88.9 89.3 82.3 85.7 78.9 69.1 73.7 91.2 67.8 77.8 80.0 52.6 63.5 MTrans 90.1 90.4 88.1 89.2 84.8 86.0 85.4 92.8 69.8 79.7 87.3 63.0 73.2 STRG 90.9 90.5 89.1 89.8 83.8 84.3 84.1 93.4 69.8 79.9 86.5 61.6 71.9 MGCN 91.0 87.5 87.3 87.4 85.7 84.8 85.2 92.3 69.5 79.3 90.8 63.1 74.5 SERG 91.3 87.8 87.8 87.8 86.4 85.5 85.9 93.0 70.1 80.0 92.7 64.5 76.3 JSSRnet 92.0 88.5 88.1 88.1 86.2 84.9 85.5 93.3 69.9 79.7 92.4 63.3 75.1 DJSSRnet 92.4 92.0 91.6 91.8 88.5 86.4 87.5 92.8 70.3 80.0 87.7 65.2 74.8 4.2 对比实验
在相同自建螺栓多属性数据集上与最新的图表示识别方法进行对比实验。与其他识别算法对比如表3所示，ML-GCN方法[18]仅依赖训练集标签间共现关系的提取，无法解决样本不平衡问题，而MCAR方法[19]考虑图像中多类别物体间全局到局部的区域感知关系，但忽略了对语义关系的利用。本文方法增加了对螺栓图像中结构关系的学习，并利用结构关系更新语义关系表示，实验结果证明在螺栓缺陷识别任务中本文方法明显优于其他图表示识别方法。
表 3 与先进识别算法对比Table 3 Comparison with advanced identification algorithms% 方法 基线 ML-GCN MCAR DJSSRnet 开口销 88.7 89.0 89.2 90.2 螺母 89.3 90.5 90.9 91.6 开口销+螺母 86.4 87.5 89.2 91.0 开口销+垫片 88.2 89.5 89.8 90.3 螺母+垫片 86.2 90.2 90.9 91.1 开口销+螺母+垫片 83.8 85.5 86.2 88.2 水平朝向 92.6 93.0 93.7 94.7 竖直朝向 92.5 92.8 94.0 94.6 提包线夹 91.0 92.9 93.1 93.5 联板 91.0 92.0 93.1 94.4 重锤 91.3 93.6 94.0 94.7 螺栓正常 89.9 90.3 92.2 93.9 螺栓缺陷 85.0 88.3 92.0 93.1 mAP 88.9 90.4 91.4 92.4 5. 结束语
为实现输电线路上螺栓缺陷识别，本文首先在结构关系图中引入Transformer架构学习螺栓属性中作为背景信息的所属金具，实现长期上下文信息的提取，通过跨尺度注意力模块尽可能保留螺栓子部件中开口销和垫片等小目标的位置信息；利用语义关系图经属性融合学习更有判别力的属性特征；之后利用联合结构关系图与语义关系图经图卷积神经网络学习螺栓不同属性之间的知识；最后利用螺栓属性数据集中相关概率矩阵表征标签间关系，从全局性角度对螺栓缺陷信息进行传递与增强，从而解决螺栓缺陷识别任务中的视觉不可分与语义歧义问题。
下一步工作考虑在螺栓缺陷检测领域中引入更丰富的跨模态知识，使模型在标签、语义和视觉空间交互中实现特征学习，从而提高识别准确率。
-
图 1 典型金具
Fig. 1 Examples of typical fittings
下载:
全尺寸图片
图 2 螺栓缺陷信息示意
Fig. 2 Schematic diagram of bolt defect information
下载:
全尺寸图片
图 3 联合结构−语义关系的动态图知识推理网络
Fig. 3 A dynamic graph knowledge reasoning network that combines structure-semantic relationships
下载:
全尺寸图片
图 4 结构关系
Fig. 4 Structural relation graph
下载:
全尺寸图片
图 5 联合结构−语义关系
Fig. 5 Joint structure-semantic expression module
下载:
全尺寸图片
图 6 标签共现相关概率矩阵
Fig. 6 Label co-occurrence correlation probability matrix
下载:
全尺寸图片
表 1 消融实验
Table 1 Ablation test
% 方法 基线 MTrans STRG MGCN SERG JSSRnet DJSSRnet 开口销 88.7 89.1 89.4 89.8 88.9 89.8 90.2 螺母 89.3 90.0 90.7 90.1 91.0 91.4 91.6 开口销+螺母 86.4 87.7 88.0 89.3 89.6 90.7 91.0 开口销+垫片 88.2 88.6 89.1 89.1 89.8 90.2 90.3 螺母+垫片 86.2 89.7 90.3 89.3 90.0 90.6 91.1 开口销+螺母+垫片 83.8 84.4 85.6 85.6 86.5 86.8 88.2 水平朝向 92.6 93.0 93.8 93.9 94.0 94.8 94.7 竖直朝向 92.5 92.7 93.6 93.5 93.6 94.1 94.6 提包线夹 91.0 91.7 92.5 93.4 93.1 93.2 93.5 联板 91.0 91.4 92.3 92.5 92.9 93.3 94.4 重锤 91.3 91.5 92.2 93.5 93.8 94.0 94.7 螺栓正常 89.9 91.7 92.5 91.5 92.6 93.9 93.9 螺栓缺陷 85.0 89.4 91.7 91.0 91.6 92.8 93.1 mAP 88.9 90.1 90.9 91.0 91.3 92.0 92.4 表 2 消融实验其他指标
Table 2 Other indicators of ablation experiments
% 方法 mAP All Top3 OP OR OF1 CP CR CF1 OP OR OF1 CP CR CF1 基线 88.9 89.3 82.3 85.7 78.9 69.1 73.7 91.2 67.8 77.8 80.0 52.6 63.5 MTrans 90.1 90.4 88.1 89.2 84.8 86.0 85.4 92.8 69.8 79.7 87.3 63.0 73.2 STRG 90.9 90.5 89.1 89.8 83.8 84.3 84.1 93.4 69.8 79.9 86.5 61.6 71.9 MGCN 91.0 87.5 87.3 87.4 85.7 84.8 85.2 92.3 69.5 79.3 90.8 63.1 74.5 SERG 91.3 87.8 87.8 87.8 86.4 85.5 85.9 93.0 70.1 80.0 92.7 64.5 76.3 JSSRnet 92.0 88.5 88.1 88.1 86.2 84.9 85.5 93.3 69.9 79.7 92.4 63.3 75.1 DJSSRnet 92.4 92.0 91.6 91.8 88.5 86.4 87.5 92.8 70.3 80.0 87.7 65.2 74.8 表 3 与先进识别算法对比
Table 3 Comparison with advanced identification algorithms
% 方法 基线 ML-GCN MCAR DJSSRnet 开口销 88.7 89.0 89.2 90.2 螺母 89.3 90.5 90.9 91.6 开口销+螺母 86.4 87.5 89.2 91.0 开口销+垫片 88.2 89.5 89.8 90.3 螺母+垫片 86.2 90.2 90.9 91.1 开口销+螺母+垫片 83.8 85.5 86.2 88.2 水平朝向 92.6 93.0 93.7 94.7 竖直朝向 92.5 92.8 94.0 94.6 提包线夹 91.0 92.9 93.1 93.5 联板 91.0 92.0 93.1 94.4 重锤 91.3 93.6 94.0 94.7 螺栓正常 89.9 90.3 92.2 93.9 螺栓缺陷 85.0 88.3 92.0 93.1 mAP 88.9 90.4 91.4 92.4 -
[1] 周远翔, 陈健宁, 张灵, 等. “双碳” 与“新基建” 背景下特高压输电技术的发展机遇[J]. 高电压技术, 2021, 47(7): 2396−2408. ZHOU Yuanxiang, CHEN Jianning, ZHANG Ling, et al. Opportunity for developing ultra high voltage transmission technology under the emission peak, carbon neutrality and new infrastructure[J]. High voltage engineering, 2021, 47(7): 2396−2408. [2] SUMAGAYAN M U, PREMACHANDRA C, MANGORSI R B, et al. Detecting power lines using point instance network for distribution line inspection[J]. IEEE access, 2021, 9: 107998−108008. doi: 10.1109/ACCESS.2021.3101490 [3] 傅博, 姜勇, 王洪光, 等. 输电线路巡检图像智能诊断系统[J]. 智能系统学报, 2016, 11(1): 70−77. doi: 10.11992/tis.201503043 FU Bo, JIANG Yong, WANG Hongguang, et al. Intelligent diagnosis system for patrol check images of power transmission lines[J]. CAAI transactions on intelligent systems, 2016, 11(1): 70−77. doi: 10.11992/tis.201503043 [4] MAO Tianqi, HUANG Kai, ZENG Xianwu, et al. Development of power transmission line defects diagnosis system for UAV inspection based on binocular depth imaging technology[C]//2019 2nd International Conference on Electrical Materials and Power Equipment. Guangzhou: IEEE, 2019: 478−481. [5] 赵振兵, 张帅, 蒋炜, 等. 基于DBSCAN-FPN的输电线路螺栓缺销检测方法[J]. 中国电力, 2021, 54(3): 45−54. ZHAO Zhenbing, ZHANG Shuai, JIANG Wei, et al. Detection method for bolts with mission pins on transmission lines based on DBSCAN-FPN[J]. Electric power, 2021, 54(3): 45−54. [6] ZHAO Zhenbing, QI Hongyu, QI Yincheng, et al. Detection method based on automatic visual shape clustering for pin-missing defect in transmission lines[J]. IEEE transactions on instrumentation and measurement, 2020, 69(9): 6080−6091. doi: 10.1109/TIM.2020.2969057 [7] HE Hui, LI Yuchen, YANG Jing, et al. Pin-missing defect recognition based on feature fusion and spatial attention mechanism[J]. Energy reports, 2022, 8: 656−663. [8] WANG Hongchao, SHAO Yunfeng, ZOU Suli, et al. Detection of cotter pins missing of connection fittings on transmission lines of power system[C]//2021 40th Chinese Control Conference. Shanghai: IEEE, 2021: 6873−6879. [9] LIN Z, LIANG Y, JIANG Q. A bolt defect recognition algorithm based on attention model[C]//Proceedings of the 7th International Conference on Fuzzy Systems and Data Mining. Seoul: IOS, 2021: 86−93. [10] 张珂, 何颖宣, 赵凯, 等. 可变形NTS-Net的螺栓属性多标签分类[J]. 中国图象图形学报, 2021, 26(11): 2582−2593. ZHANG Ke, HE Yingxuan, ZHAO Kai, et al. Multi-label classification method of bolt attributes based on deformable NTS-Net[J]. Journal of image and graphics, 2021, 26(11): 2582−2593. [11] ZHAO Zhenbing, WANG Rui, LI Yanxu, et al. A new multilabel recognition framework for transmission lines bolt defects based on the combination of semantic knowledge and structural knowledge[J]. IEEE transactions on instrumentation and measurement, 2022, 71: 5020211. [12] 赵振兵, 王睿, 赵文清, 等. 基于图知识推理的输电线路缺销螺栓识别方法[J]. 智能系统学报, 2023, 18(2): 372−380. ZHAO Zhenbing, WANG Rui, ZHAO Wenqing, et al. Pin-missing bolts recognition method for transmission lines based on graph knowledge reasoning[J]. CAAI transactions on intelligent systems, 2023, 18(2): 372−380. [13] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770−778. [14] 赵强, 左石. 输电线路金具理论与应用[M]. 北京: 中国电力出版社, 2013: 2−12. [15] OGUZ YAZICI V, GONZALEZ-GARCIA A, RAMISA A, et al. Orderless recurrent models for multi-label classification[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 13437−13446. [16] KE Xiao, LIU Tongan, LI Zhenda. Human attribute recognition method based on pose estimation and multiple-feature fusion[J]. Signal, image and video processing, 2020, 14(7): 1441−1449. doi: 10.1007/s11760-020-01690-8 [17] ZHOU Feng, HUANG Sheng, XING Yun. Deep semantic dictionary learning for multi-label image classification[EB/OL]. (2020−12−23)[2021−12−01]. https://arxiv.orglabs/2012.12509. [18] CHEN Zhaomin, WEI Xiushen, WANG Peng, et al. Multi-label image recognition with graph convolutional networks[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 5172−5181. [19] GAO Binbin, ZHOU Hongyu. Learning to discover multi-class attentional regions for multi-label image recognition[J]. IEEE transactions on image processing: a publication of the IEEE signal processing society, 2021, 30: 5920−5932. doi: 10.1109/TIP.2021.3088605 [20] NGUYEN H D, VU X S, LE D T. Modular graph transformer networks for multi-label image classification[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Vancouver: Association for the Advancement of Artificial Intelligence, 2021: 9092−9100. [21] FU Kui, LI Jia, MA Lin, et al. Intrinsic relationship reasoning for small object detection[EB/OL]. (2020−09−02)[2021−01−01]. https://arxiv.org/abs/2009.00833. [22] ZHAO Jiawei, YAN Ke, ZHAO Yifan, et al. Transformer-based dual relation graph for multi-label image recognition[C]//2021 IEEE/CVF International Conference on Computer Vision. Montreal: IEEE, 2021: 163−172. [23] YE Jin, HE Junjun, PENG Xiaojiang, et al. Attention-driven dynamic graph convolutional network for multi-label image recognition[C]//European Conference on Computer Vision. Cham: Springer, 2020: 649−665. [24] LIU Yong, WANG Ruiping, SHAN Shiguang, et al. Structure inference net: object detection using scene-level context and instance-level relationships[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 6985−6994. [25] 翟永杰, 杨旭, 赵振兵, 等. 融合共现推理的Faster R-CNN输电线路金具检测[J]. 智能系统学报, 2021, 16(2): 237−246. doi: 10.11992/tis.202012023 ZHAI Yongjie, YANG Xu, ZHAO Zhenbing, et al. Integrating co-occurrence reasoning for Faster R-CNN transmission line fitting detection[J]. CAAI transactions on intelligent systems, 2021, 16(2): 237−246. doi: 10.11992/tis.202012023 [26] KIPF T N, WELLING M. Semi-supervised classification with graph convolutional networks[EB/OL]. (2016−09−09)[2021−01−01]. https://arxiv.org/abs/1609.02907.
