Substation instrument appearance defect detection algorithm integrating causal knowledge
-
摘要:
针对变电站仪表外观缺陷检测中存在外观缺陷多尺度特征提取困难及缺陷类别不平衡等问题，提出一种融合因果知识的变电站仪表外观缺陷检测算法。在骨干网络引入全局−局部特征提取模块，增强模型对全局和局部缺陷特征的提取能力；在颈部加入跨层上下文特征金字塔网络，增强模型的特征融合能力；通过深入挖掘变电站仪表外观缺陷的因果机理，提出因果知识关联模块，使用融合因果知识权重的损失函数，辅助模型进行训练，提高模型在复杂的变电站场景下对于表计缺陷检测的准确性。实验结果表明，相较于基线模型，改进算法将平均精确率提升了4.1%，有效地提升了变电站仪表外观缺陷检测的效果。
Abstract:To address the challenges of multi-scale feature extraction for appearance defects and class imbalance in substation meter defect detection, a substation meter appearance defect detection algorithm integrating causal knowledge is proposed. First, a global-to-local feature extraction block (GLFEB) is introduced into the backbone network to enhance the model’s ability to capture both global and local defect features. Then, a cross-layer context feature pyramid network (CCFPN) is incorporated into the neck to strengthen the model’s feature fusion capability. Finally, by deeply exploring the causal mechanisms underlying substation meter appearance defects, a causal knowledge association block (CKAB) is proposed. A loss function incorporating causal knowledge weights is designed to assist model training, thereby improving detection accuracy in complex substation environments. Experimental results demonstrate that, compared with the baseline model, the proposed method improves the mean average precision (mAP) by 4.1%, effectively enhancing the performance of substation meter appearance defect detection.
-
在国家电网公司提出“三型两网，世界一流”的战略目标后，智能电网的建设广泛采纳了以深度学习为核心的新一代人工智能技术[1]。基于深度学习的电力视觉技术则成为变电站智能巡检的支撑，变电站作为电力系统中的核心设施，承担着电能输送的重要任务，站内设备的运行状态直接关系到变电站甚至整个电网的安全稳定[2-4]，然而传统的变电站二次巡检方法主要依靠人工巡检的方式[5]，存在检查效率低、人员安全隐患大等问题，严重影响了智能变电站的发展，变电站智能巡检技术正成为电力系统巡检的必然趋势。其中电力仪表在电力系统中的状态检测中至关重要，但其易受设备老化及环境影响，其状态信息具有不确定性，导致外观缺陷检测与状态评估面临巨大挑战。
为了方便读数来实时检测变电站设备状态[6]，对仪表进行检测则至关重要，文献[7]利用深度可分离卷积和参数重组的Rep卷积来对模型压缩，并使用Transformer结构的金字塔池化来提升细粒度仪表的检测精度，有效提高了电力仪表图像检测的准确率。文献[8]采用自适应锚点和全局上下文模块(global context, GC)[9]来提高骨干网络的特征提取能力，并使用特征聚合网络实现了不同特征之间的信息交互和多尺度预测。为了满足了实际变电站智能数据采集、检测和识别需求，文献[10]提出一种变电站数字仪表检测识别方法，通过扩充数据集并利用PANet 结构改进模型，提高了检测的准确性。文献[11]采用轻量级特征提取主干网络和单尺度物体检测算法，来减少计算量，并采用细粒度分类网络来识别仪表细粒度特征。针对数字仪表检测算法的问题，文献[12]通过双向特征金字塔网络来实现多尺度特征融合，并采用结合Ghostconv的通道混洗卷积模块实现网络轻量级设计，提高了模型检测精度和速度。以上方法仅局限于对于仪表的检测，缺少对于仪表外观缺陷的检测，难以满足智能变电站的发展需要。
由于变电站仪表长期暴露于室外环境中，容易出现各种缺陷，导致其难以正常运行，从而影响变电站的安全稳定运行，故为了能够准确检测变电站仪表缺陷，文献[13]构建了变电站仪表常见缺陷的数据集，如表盘模糊、表盘破损、外壳破损等，并使用并行混合注意力（PHAM）模块，来提高对于仪表缺陷特征的关注，并采用空间金字塔快速汇集模块，来融合不同感受野的特征图，提高对于仪表缺陷的检测能力。针对变电站仪表外观缺陷检测中缺陷分布广、外观特征多样与特征提取困难的问题，文献[14]通过对比样本策略来挖掘仪表外观缺陷中有判别力的特征，引入全局上下文信息模块来增强了对于仪表外观缺陷的判别能力，利用SIoU损失函数提高模型的准确率。针对表计缺陷检测模型参数量大的问题，文献[15]提出一种以Mobilenetv2[16]为骨干网络的轻量级变电站仪表设备缺陷检测方法，添加SE（squeeze-cool-excitation）注意力机制[17]来增强特征提取能力，并使用深度可分离卷积来减少参数量，在保证精度下大幅减少参数满足变电站仪表设备缺陷检测需求。
现阶段以上方法存在一定局限性，对于变电站仪表外观缺陷的特征表达不够充分，且主要是通过传统的深度模型对仪表外观缺陷进行检测，缺少先验知识的引导和内部机理的挖掘，且对于仪表外观内部缺陷发生的因果机理缺少针对性研究。
本文针对上述问题进行深入研究，针对变电站仪表外观缺陷任务中存在缺陷外观特征变化多样、特征提取困难且缺陷多尺度特征融合效果差的问题，且以往的变电站仪表外观缺陷检测中，缺少对于缺陷机理的挖掘，大多都是对于缺陷表面的挖掘，故本文提出基于因果知识的变电站仪表外观检测算法，以数据驱动和知识驱动的方式[18]，挖掘变电站仪表外观缺陷的内部机理，提出了因果知识关联模块(causal knowledge association block，CKAB)，通过挖掘不同缺陷之间的因果机理，将因果−共现矩阵作为损失函数的一部分权重，进一步提高模型检测的准确性；将全局−局部特征提取模块(global-to-local feature extraction block，GLFEB）融入到骨干网络，来捕获变电站仪表全局和局部缺陷空间特征，提高模型对于外观缺陷的学习能力；将跨层上下文特征金字塔网络(cross-layer context feature pyramid network，CCFPN)引入到模型的Neck部分，融合来自不同层的多尺度特征，增强模型的特征融合能力。本文方法针对变电站仪表外观缺陷的内部因果机理进行了深入挖掘，并快速准确地诊断出各类仪表的外观缺陷，显著提升了变电站仪表外观缺陷检测的准确率。
1. 研究方法
1.1 提出的网络概述
变电站仪表处于一个复杂的工业环境下，导致其外观缺陷的定位与周围环境密切相关，缺陷特征提取更加困难，且变电站仪表外观缺陷的形态多种多样，包括表盘破损、表盘凝露、示数不清晰、表盘脏污等缺陷，其缺陷类别也处于不平衡状态，导致使用传统的检测模型难以提取有效的缺陷特征。本文对YOLOv8模型进行了改进，得到了一个适用于变电站仪表外观缺陷检测的网络。本文模型网络架构如图1所示，将GLFEB引入特征提取网络，来捕获变电站仪表全局和局部缺陷空间特征，增强其多尺度缺陷特征的检测能力；在特征融合部分，采用CCFPN接收来自特征提取网络的多层次特征，并通过特征融合模块进行跨层特征融合，不同层次的特征图通过特征融合模块进行交互和整合，充分利用不同尺度下的上下文信息，融合后的特征图被传递到后续的检测头，用于仪表缺陷检测；最后使用CKAB，该模块包括因果关联构建和因果知识权重两部分，其中因果关联是基于表计缺陷类型之间的因果关系进行推理，构建因果知识关联（图中紫色节点表示仪表缺陷类别，连线表示仪表缺陷类别之间的因果关联），帮助模型理解不同缺陷类型之间的内在因果联系，因果知识权重则是为分类损失函数中不同仪表缺陷类别的因果关系分配权重，以量化其对模型决策的影响程度，该模块通过对分类损失函数进行部分加权因果−共现矩阵，并结合回归损失函数DFL loss和CIoU loss来更新网络参数，优化模型的推理能力，提升模型的检测能力，最后，通过检测头得到输出结果。
图 1 本文模型网络架构Fig. 1 Network architecture of this model
下载:
全尺寸图片
1.2 全局−局部特征提取模块
因为变电站仪表外观缺陷中，存在多尺度目标难以检测的问题，且当前缺陷检测方法大多是基于卷积神经网络(convolutional neural network, CNN)实现的，所以其在建立长程依赖关系和获取全局上下文信息方面存在局限性。由于CNN模型大多只能关注于本地信息，缺乏全局信息，而基于Transformer的模型能够有效地构建远程上下文信息，故为了捕获变电站仪表全局和局部缺陷空间特征，本文将采用一种新的CNN与Transformer 结合方式作为特征提取主干，如图2(a)为CNN的网络架构，其中CB表示卷积块，图2(b)为传统的CNN与Transformer结合方式，其中TB表示Transformer块，它们几乎都在浅层阶段单调地采用卷积块，仅在最后一级或两级叠加Transformer块，在检测任务中难以有较好的表现，检测任务需要依赖每个阶段的特征来对目标进行提取，以取得更好的效果，仅在最后几个阶段堆叠的策略，无法获取有效的全局信息，故难以取得好的结果。
图 2 CNN与Transformer融合网络结构Fig. 2 CNN and Transformer hybrid network architecture下载:
全尺寸图片
图2(c)采用的结构通过在每个阶段的最后叠加Transformer块，使模型能够在浅层中学习全局特征，能够有效地对每个阶段的特征进行学习，但对于计算资源的占用较大。故本文采用一种新的CNN与Transformer结合方式，其结构如图2(d)，该双流结构的设计保留了局部和全局建模能力，并使用分离通道来平衡精度与计算资源，能够有效地提高模型的检测性能。
故提出了全局−局部特征提取模块，该模块融合了两个独立的全局和局部特征提取模块，如图3所示，将输入特征图$ \boldsymbol{F} $为$ H\times W\times C $的通道$ C $划分为$ {C}_{1} $和$ {C}_{2} $，并分别经过全局特征提取模块(global feature extraction block, GFEB)和局部特征提取模块(local discriminant feature extraction block, LFEB)，将这两部分输出经过1×1卷积连接起来，GLFEB模块的计算过程总结为
图 3 全局−局部特征提取模块Fig. 3 Global-to-local feature extraction block下载:
全尺寸图片
$$ {\boldsymbol{F}}_{1},{\boldsymbol{F}}_{2}={\mathrm{split}}(\boldsymbol{F}) $$ $$ {{\boldsymbol{F}}^{\prime}}={\mathrm{Con{v}}}_{1\times 1}({\mathrm{Concat}}({L}_{{\mathrm{FEB}}}({\boldsymbol{F}}_{1}),{G}_{{\mathrm{FEB}}}({\boldsymbol{F}}_{2}))) $$ 式中：$ \boldsymbol{F}\,\in \,{\mathbb{R}}^{H\,\times\, W\,\times\, C} $，$ {\boldsymbol{F}}_{1}\,\in\, {\mathbb{R}}^{H\,\times\, W\,\times\, {{C}_{1}}} $，$ {\boldsymbol{F}}_{2}\,\in\, {\mathbb{R}}^{H\,\times\, W\,\times \,{{C}_{2}}} $，$ {{{\boldsymbol{F}}}^{\prime}} \in {\mathbb{R}}^{H\times W\times C} $，其中$ {L}_{{\mathrm{FEB}}}() $表示局部特征提取模块，$ {G}_{{\mathrm{FEB}}}() $表示全局特征提取模块，$ {\mathrm{Concat}}() $表示沿着通道维度进行拼接，$ {\mathrm{Con{v}}}_{1\times 1}() $代表1×1卷积。
GFEB能够帮助网络更加有效地学习缺陷特征的关键信息并且减轻复杂背景的干扰，它强调对于空间中长距离特征的捕捉，首先输入尺寸为$ H\times W\times {C}_{2} $的特征图$ {\boldsymbol{F}}_{2} $，通过归一化进行特征转换，经过多头自注意力模块，得到丰富的全局注意力信息，再使用Droppath正则化，保留清晰的纹理特征，然后将得到的特征图与输入特征图相加得到特征图$ {\boldsymbol{F}}_{2}^{\prime} $，计算公式为
$$ \boldsymbol{F}_{2}^{\prime}={\mathrm{Droppath}}({\mathrm{MHSA}}({\mathrm{Norm}}({\boldsymbol{F}}_{2})))+{\boldsymbol{F}}_{2} $$ 式中：Droppath()表示正则化，MHSA()表示多头注意力，Norm()表示归一化。再通过Norm归一化，再经过卷积门控线性单元（convolutional gated linear unit, CGLU）[19]，将全局特征的通道注意力整合起来，增强模型的鲁棒性，再使用Droppath正则化，保留清晰的结构特征，将得到的特征图与特征图$ {\boldsymbol{F}}_{2}^{\prime} $相加得到全局特征图$ {G}_{{\mathrm{FEB}}}({\boldsymbol{F}}_{2}) $，其表达式为
$$ {G}_{{\mathrm{FEB}}}({\boldsymbol{F}}_{2})={\mathrm{Droppath}}({\mathrm{CGLU}}({\mathrm{Norm}}(\boldsymbol{F}_{2}^{\prime})))+\boldsymbol{F}_{2}^{\prime} $$ 式中CGLU()代表卷积门控线性单元。
LFEB用于在给定特征图的空间维度上提取感兴趣区域的局部特征，例如小目标特征。首先，输入尺寸为$ H\times W\times {C}_{1} $的特征图$ {\boldsymbol{F}}_{1} $，通过1×1卷积来调整通道数；然后，使用3×3的细节增强卷积，来捕捉一些容易被忽略的边缘和轮廓信息，将其产生的特征图与输入特征图$ {\boldsymbol{F}}_{1} $相加得到特征图$ \boldsymbol{F}_{1}^{\prime} $
$$ \boldsymbol{F}_{1}^{\prime}={\mathrm{DECon{v}}}_{3\times 3}({\mathrm{Con{v}}}_{{1}\times 1}({\boldsymbol{F}}_{1})))+{\boldsymbol{F}}_{1} $$ 式中：$ {\mathrm{DECon{v}}}_{3\times 3}() $表示3×3细节增强卷积，$ {\mathrm{Con{v}}}_{1\times 1}() $表示1×1卷积。再通过1×1卷积和Sigmoid函数来获取相应的权值，再与输入特征图$ {\boldsymbol{F}}_{1} $逐点相乘，然后与输入特征图$ {\boldsymbol{F}}_{1} $相加得到局部特征图$ {L}_{{\mathrm{FEB}}}\mathbf{(}{\boldsymbol{F}}_{1}\mathbf{)} $，计算公式为
$$ {L}_{{\mathrm{FEB}}}({\boldsymbol{F}}_{1})=\sigma ({\mathrm{Con{v}}}_{{1}\times 1}(\boldsymbol{F}_{1}^{\prime}))\odot {\boldsymbol{F}}_{1}+{\boldsymbol{F}}_{1} $$ 式中：$ \sigma () $表示Sigmoid激活函数，$ \odot $代表逐点乘法element-wise乘积。
1.3 跨层上下文特征金字塔模网络
在早期的研究阶段，变电站仪表外观缺陷检测主要依赖于特征金字塔网络(feature pyramid network，FPN)[20]作为特征融合的手段。FPN（结构如图4(a)所示）引入了自上而下的路径来融合多尺度特征，来融合浅层和深层的特征，但由于其流动的单向性，对于浅层到深层的结构和纹理特征融合效果不理想；考虑到单向信息流的局限性，路径聚合结构(path aggregation network，PAN)[21]（结构如图4(b)所示）采用额外的由底向上的路径来更好地融合多尺度特征，但逐层特征转移会导致详细的纹理和结构特征信息丢失。
图 4 特征融合网络结构Fig. 4 Feature fusion network structure下载:
全尺寸图片
为了更好地融合来自低层的缺陷结构信息、颜色纹理信息以及高层的语义信息，实现对变电站仪表外观缺陷的准确检测，基于RepGFPN(reparameterized generalized FPN)[22]提出了CCFPN，其结构如图4(c)所示，其由串联和并联支路组成，串行分支用于融合来自前一层和当前层的多尺度特征，可以充分交换来自低层的缺陷空间信息和来自高层的细粒度语义信息，并且多尺度特征在前一层和当前层的层次特征中都被融合。同时，并行分支建立了跳层连接，能够将信息传输扩展到更深层次的网络中，通过连续的下采样进一步减少了信息丢失。由于传统的上采样容易忽略特征图的细粒度语义信息，导致小目标（例如示数不清晰缺陷）特征信息的丢失，故使用动态上采样模块（DySample）[23]，通过点采样的角度来指定上采样，来使不同尺度特征图之间的语义信息充分交互，这种密集的特征交互有效地融合了来自浅层的缺陷结构、颜色纹理信息与来自深层的细粒度语义信息，进一步提高了多尺度缺陷的检测精度。
其融合模块的详细结构如图5所示，令$ {\boldsymbol{P}}_{i}\in {\mathbb{R}}^{C\times H/2\times W/2} $，$ {\boldsymbol{P}}_{j}\in {\mathbb{R}}^{C\times H\times W} $，$ {\boldsymbol{P}}_{k}\in {\mathbb{R}}^{C\times 2H\times 2W} $，表示具有不同尺度$ i、j $和$ k $的输入多尺度特征图，其中$ C、H、W $表示特征图的通道数、高度和宽度。
图 5 融合模块结构Fig. 5 Fusion module structure下载:
全尺寸图片
首先将来自不同层的输入特征图进行连接：
$$ {\boldsymbol{P}}^{\prime}={\boldsymbol{{\mathrm{Concat}}}}(\boldsymbol{P}_{\boldsymbol{i}}^{\prime},{\boldsymbol{P}}_{\boldsymbol{j}},\boldsymbol{P}_{\boldsymbol{k}}^{\prime}) $$ 其中：$ \boldsymbol{P}_{{i}}^{\prime} $表示输入特征图$ {\boldsymbol{P}}_{{i}} $经过上采样得到，$ \boldsymbol{P}_{{k}}^{\prime} $表示输入特征图$ {\boldsymbol{P}}_{{k}} $经过下采样得到。然后，将拼接得到的特征图$ {\boldsymbol{P}}^{\prime} $发送到3个分支，在第1个分支中，它经过一个1×1的卷积层，用于提取特征图的基础信息；在第2个分支中，它首先经过一个1×1的卷积层，然后经过一个3×3的可变卷积层，能够精确地捕捉特征图的局部细节，从而提升特征表达能力；在第3个分支中，在第2个分支的基础上，再经过一个3×3的可变卷积层，旨在进一步挖掘特征图的深层信息，确保模型捕捉更有效的特征；之后，每个分支再经过上下文锚框注意力（context anchor attention, CAA）[24]模块，它不仅能够增强模型对检测对象本身特征的理解，还能够深化模型对对象与周围场景之间关系的认识。这种对上下文信息的全面整合，有效地提升了模型在复杂场景下的检测能力，使得变电站仪表外观缺陷的检测更加准确和可靠。具体操作为
$$ \boldsymbol{P}_{{k}}^{\mathbf{''}}={\mathrm{CAA}}({\mathrm{Con{v}}}_{1\times 1}({\boldsymbol{P}}^{\prime})) $$ $$ \boldsymbol{P}_{{j}}^{\mathbf{''}}={\mathrm{CAA}}({\mathrm{DCon{v}}}_{3\times 3}({\mathrm{Con{v}}}_{1\times 1}({\boldsymbol{P}}^{\prime}))) $$ $$ \boldsymbol{P}_{{i}}^{\mathbf{''}}={\mathrm{CAA}}({\mathrm{DCon{v}}}_{3\times 3}({\mathrm{DCon{v}}}_{3\times 3}({\mathrm{Con{v}}}_{1\times 1}({\boldsymbol{P}}^{\prime})))) $$ 式中：$ \boldsymbol{P}_{{k}}^{\mathbf{''}} $、$ \boldsymbol{P}_{{j}}^{\mathbf{''}} $和$ \boldsymbol{P}_{{i}}^{\mathbf{''}} $表示不同分支的输出特征图，CAA表示上下文锚框注意力，$ {\mathrm{Con{v}}}_{1\times 1} $表示1×1标准卷积运算，$ {\mathrm{DCon{v}}}_{3\times 3} $表示3×3的可变性卷积运算。最后，将3个不同分支的输出特征图进行拼接：
$$ {\boldsymbol{P}}^{\mathbf{''}}={\mathrm{Con{v}}}_{1\times 1}({\mathrm{Concat}}(\boldsymbol{P}_{{k}}^{\mathbf{''}},\boldsymbol{P}_{{j}}^{\mathbf{''}},\boldsymbol{P}_{{i}}^{\mathbf{''}})) $$ 其中$ {\boldsymbol{P}}^{\mathbf{''}} $表示最终输出的特征图，提出的融合模块从不同层次提取多尺度特征并进行融合，使得结构和语义信息得到有效融合，能够有效提高外观缺陷检测能力。
1.4 因果知识关联模块
在变电站仪表外观缺陷检测领域，面临的主要挑战是缺陷样本类别不平衡等问题，仪表外观可能发生的缺陷有表盘模糊、表盘脏污、表盘破损、示数不清晰等，但是通常情况下收集到的变电站仪表数据中，大多反映正常状态的表计样本，而其他存在缺陷的表计样本则较少，导致缺陷样本难以检测。
为解决缺陷样本分布不均匀等问题，本文通过研究表计不同缺陷出现概率的因果关联提出了CKAB，其推理过程如图6所示，在常规的数据标注中，仪表缺陷类别分为4类：表计−表盘脏污(bj_bpzw）、表计−表盘破损(bj_bpps)、表计−表盘凝露(bj_bpnl）、表计−示数不清晰(bj_ssbqx)。
图 6 因果知识关联过程Fig. 6 Causal knowledge association process下载:
全尺寸图片
通过对缺陷类别之间因果关系的分析，发现以下因果关联：
1)其中表盘脏污缺陷的形状比较多样、范围比较广，且脏污容易出现漫延的现象，从而表计的示数被遮挡，导致表计示数不清晰，故将其表示为表计−表盘脏污−示数不清晰(bj_bpzw_ssbqx），可表示公式为
$$ {f}_{\mathrm{{bp{\textit{z}}w\_ {shbqx}}}}\text=\sigma ({w}_{1}\cdot {\textit{z}}_{{\mathrm{shape}}}+{w}_{2}\cdot {\textit{z}}_{{\mathrm{range}}}+{w}_{3}\cdot {\textit{z}}_{{\mathrm{spread}}})\cdot I(\theta ) $$ 式中：$ {f}_{\mathrm{{bp{\textit{z}}w\_ shbqx}}} $表示表盘脏污与示数不清晰的因果关联函数，$ \sigma () $为Sigmoid函数，$ {w}_{1} $、$ {w}_{2} $、$ {w}_{3} $表示权重系数，$ I(\theta ) $表示当脏污范围超过阈值$ \theta $的激活关联函数，$ {\textit{z}}_{\mathrm{{shape}}} $表示表盘上脏污缺陷的形状多样性指标，$ {\textit{z}}_{\mathrm{{range}}} $表示脏污缺陷的范围广泛性指标，$ {\textit{z}}_{\mathrm{{spread}}} $表示脏污缺陷的漫延程度指标。$ {\textit{z}}_{\mathrm{{shape}}}、 {\textit{z}}_{\mathrm{{range}}}、 {\textit{z}}_{\mathrm{{spread}}} $的值越大，表示表盘上的脏污缺陷越严重，从而$ f_{{\mathrm{bp{\textit{z}}w\_ shbqx}}} $的值也就越大，表示表计示数的不清晰程度越高。
2）表盘凝露缺陷通常发生在早晨或傍晚，尤其是在气温骤降或者骤升的情况下，导致表计内外的温差较大，水蒸气凝结，容易在表盘内侧形成雾状，使得示数变得模糊，表计的示数不清晰，故将其表示为表计−表盘凝露−示数不清晰(bj_bpnl_ssbqx），可表示公式为
$$ {f}_{\mathrm{{bpnl\_ shbqx}}}=\exp ({k}_{1}\cdot n_{\mathrm{{ambitemp}}},{k}_{2}\cdot n_{{\mathrm{tempdiff}}})\cdot n_{{\mathrm{fog}}} $$ 式中：$ {f}_{\mathrm{{bpnl\_ shbqx}}} $表示表盘凝露与示数不清晰的因果关联函数；指数函数$ \exp () $符合凝露的物理形成规律；$ {k}_{1} $、$ {k}_{2} $表示温度敏感系数；$ n_{\mathrm{{ambitemp}}} $代表环境温度变化的突然程度，如早晨或傍晚温度较为骤降或骤升的情况；$ n_{\mathrm{{tempdiff}}} $代表表计内外温差的大小；$ n_{{\mathrm{fog}}} $代表表盘内部凝结成雾的程度。
3）表盘破损通常玻璃表面会出现明显的裂纹或破裂，使其表面变得不均匀，容易遮挡视线，造成示数不清晰，且裂纹的情况越严重，会导致对于读数的干扰越大，故将其表示为表计−表盘破损−示数不清晰(bj_bpps_ssbqx），可表示公式为
$$ {f}_{{\mathrm{bpps}}\_ {\mathrm{shbqx}}}=\begin{cases} \alpha \cdot p_{\mathrm{{damage}}},\;\;\;\; p_{{\mathrm{damage}}}\leqslant \delta \\ \beta \cdot \sqrt{p_{\mathrm{{damage}}}p{s}_{\mathrm{{obscure}}}} ,\;\;\;\; \;p_{{\mathrm{damage}}} \gt \delta \end{cases} $$ 式中：$ {f}_{\mathrm{{bpps\_ shbqx} }}$表示表盘破损与示数不清晰的因果关联函数；$ \alpha 、\beta 、\delta $为阈值参数（轻微破损时线性相关；严重破损时考虑裂纹与示数的交互遮挡效应）；$ p_{\mathrm{{damage}}} $表示表盘玻璃表面的破损程度，如裂纹的数量、长度和深浅程度；$ p_{\mathrm{{obscure}}} $表示表盘破损对于读数产生干扰的程度，如裂纹遮挡示数的区域比例。
通过对表计缺陷因果知识关联过程的观察，发现变电站仪表外观缺陷类别中呈现出因果关联性，其中固定缺陷的仪表会导致另一类缺陷出现的概率大大增加，本文通过挖掘数据集中标签的因果−共现关系来表示数据集之间的因果关联，通过数据驱动的方式构造出因果−共现矩阵[25]：
$$ \boldsymbol{M}=\sum \limits_{k=1}^{m}f({I}_{k},{O}_{i})\cdot f({I}_{k},{O}_{j})\cdot (1-{\delta }_{ij}) $$ (1) 式中：$ {I}_{k} $表示数据集图像的索引，$ {O}_{i},{O}_{j}\in \left.\left\{0,1,2,3,4\right.\right\} $分别代表对象的类别， ${\delta }_{ij}=\begin{cases} 0, \;\;\; {{i}} = {{j}}\\1,\;\;\; {{i}}\neq {j}\end{cases}$。首先得到转置矩阵$ {\boldsymbol{M}}^{\boldsymbol{{\mathrm{T}}}} $（因果−共现频率矩阵），将其与原始矩阵$ \boldsymbol{M} $合并，得到对称矩阵$ {\boldsymbol{M}}^{\prime} $，然后将对称矩阵$ {\boldsymbol{M}}^{\prime} $归一化，得到因果−共现概率矩阵$ \boldsymbol{N} $，公式为
$$ \boldsymbol{N}=\begin{cases} \dfrac{{\boldsymbol{M}}^{\prime}}{\sqrt{{R}_{i}{C}_{j}}},\;\;\; i\neq j\\ 1,\;\;\; i=j \end{cases} $$ (2) 式中：$ R_{i}=\displaystyle\sum_{j=1}^{n} M $，$ C_{j}=\displaystyle\sum_{i=1}^{n} M $，C代表缺陷类别数，$ {M}_{ij} $表示$ {O}_{i} $和$ {O}_{j} $同时出现的次数。
根据式(1)、(2)计算得到的因果−共现矩阵如图7所示。
图 7 因果−共现矩阵Fig. 7 Causal-co-occurrence matrix下载:
全尺寸图片
当表计图像出现表盘凝露缺陷、表盘脏污缺陷时，示数不清晰缺陷出现的概率会相应地增加，故其共现概率较高，其原因如下：在变电站表计视觉缺陷场景中，缺陷类别之间并非相互独立，而是存在明显的因果性与共现性：由于其中某些缺陷具有“结构性因果效应”，即会导致遮挡仪表的关键区域，从而导致另一类缺陷发生，进而导致出现因果−共现关系，其中由于表盘凝露缺陷、表盘脏污缺陷都存在其形状不确定、范围面积广等问题，容易遮挡表盘示数的观察，并且由于脏污和凝露都存在扩散、漫延的情况，导致遮挡的概率大大增加；表盘破损缺陷也会导致难以观察清楚表盘示数，但是由于数据集规模较小，此类别的样本数量小，导致其共现概率较低，表明利用因果−共现矩阵可以辅助模型进行因果知识推理及表达。
在仪表缺陷检测任务中，因果知识关联与共现矩阵的协同作用体现在理论指导实践与实践验证理论的双向优化过程中。具体而言，因果知识关联通过揭示缺陷间的内在逻辑（如“表盘破损→示数不清晰”的因果链），为数据分析提供了方向性的理论框架：它明确了哪些缺陷对存在非对称的依赖关系，从而指导共现矩阵仅统计具有因果关联的变量共现频率，避免无关缺陷对的噪声干扰。与此同时，共现矩阵通过量化因果关联缺陷对的共现强度（例如统计“表盘破损”与“示数不清晰”在数据集中同时出现的次数），将抽象的因果逻辑转化为可计算的数值指标，其中因果−共现矩阵的数值被设计为模型损失函数的权重系数：高频共现的因果缺陷对被赋予更高权重，迫使模型在训练过程中优先拟合这些强关联模式；而低频共现的无关缺陷对则权重较低，减少对模型决策的干扰。这种权重设计本质上将因果知识嵌入模型优化目标，使得分类器不仅依赖数据表面的统计关联，更能捕捉缺陷发生的根本原因。
在目标检测领域上，模型的最终效果很大程度上受到损失函数的影响，损失函数能够帮助模型衡量预测与实际目标的差距。本模型的损失函数由多个部分组成，边框回归损失函数采用的是 DFL Loss 和 CIOU Loss；分类损失函数受到文献[26]的启发，提出了WVF Loss，在平衡正负样本的同时，采取部分加权因果−共现矩阵的方法作为一种先验信息，帮助模型对预测结果进行一定程度矫正，利用因果−共现矩阵辅助模型调整样本之间的因果−共现关系，并对于因果强相关的样本，可以适当增加其缺陷权重，对于因果弱相关的样本，适当减少其缺陷权重，降低对模型的干扰，减少误判，通过对模型样本权重的调整，能够引导模型关注于同一图像的潜在因果−共生对象，其公式为
$$ {\mathcal{L}}_{{\mathrm{WVF}}}=(1-\lambda )\cdot {\mathcal{L}}_{{\mathrm{vf}}}+\lambda \cdot {\boldsymbol{W}}_{{\mathrm{co}}}\cdot {\mathcal{L}}_{{\mathrm{vf}}} $$ 式中：$ \lambda $是调整权重因子的超参数，用于控制权重的平衡，引入的$ \lambda $实现了根据预测结果来调整样本对于损失的贡献程度，当潜在因果−共生对象较多时，适当增加其因果知识权重的比例；$ {\boldsymbol{W}}_{{\mathrm{co}}} $表示因果知识权重；$ {\mathcal{L}}_{{\mathrm{vf}}} $计算公式为
$$ {\mathcal{L}}_{{\mathrm{vf}}}={\mathcal{L}}_{{\mathrm{bce}}}\cdot {\boldsymbol{W}}_{{f}} $$ $$ {\mathcal{L}}_{{\mathrm{bce}}}=-[G{\log }_{a}(\sigma (P))+(1-G){\log }_{a}(1-\sigma (P))] $$ (3) $$ {\boldsymbol{W}}_{{f}}=\begin{cases} \alpha {\left| \sigma (P)-G\right| }^{\beta }, & G\leqslant \text{0}\\ G, \quad G \gt 0 \end{cases} $$ (4) 式中：$ \alpha 、\beta $是超参数，用于控制损失的平衡和衰减；P为预测分数；G为真实标签；$ \sigma (x)=\dfrac{1}{1+{{\mathrm{e}}}^{-x}} $。其中式(3)主要用来衡量模型预测概率与真实标签差异，式(4)更侧重于根据特定条件来反映预测值与真实值的偏差情况以及特殊情况下的预测结果处理。
2. 实验结果及分析
2.1 实验环境
本文的实验环境为：Ubuntu20.04、PYTorch1.13.1、Torchvision0.14.1、Python3.8，输入训练集的图片尺寸为640像素×640像素，batchsize为16，总epoch数为200，随机梯度下降法作为模型训练优化器，动量系数为0.937，权重衰减为
0.0005 ，初始学习率为0.01，实验硬件环境如表1所示。表 1 实验环境Table 1 Experimental environment名称 型号 操作系统 Ubuntu20.04 CPU Intel Xeon Silver 4310 CPU @ 2.10GHz GPU NVIDIA GeForce RTX 3090 Memory 24 GB Python 3.8 2.2 实验数据集
为验证文中所提出方法在变电站仪表外观缺陷检测的有效性，对来自变电站巡检机器人以及固定机位拍摄获取的变电站仪表图像进行检测实验，图像像素包括
2048 像素×1536 像素、2848 像素×2136 像素等不同尺寸，并在专家知识的指导下，选取了 4 类变电站仪表外观缺陷图像以及正常图像作为实验对象，使用LabelImg对表计进行标注，共1925 张图片，原始训练集和测试集本图像按 8∶2 比例进行随机划分，划分后的训练集和测试集图像分别为1540 张和 385张，其中变电站仪表外观缺陷包括表盘破损、表盘凝露、示数不清晰、表盘脏污，详细情况如表2所示。表 2 数据集详细情况Table 2 Dataset details类别 数量 标签名称 表盘正常 616 bj_zc 表盘破损 339 bj_bpps 表盘脏污 686 bj_bpzw 表盘凝露 202 bj_bpnl 示数不清晰 452 bj_ssbqx 2.3 评估指标
为了评估模型的准确性，本文使用平均精度 (average precision, AP) 以及平均精度均值 (mean average precision, mAP)作为评价标准，AP 由召回率R、准确率P计算得到，准确率表示将真实目标检测为正确目标的概率，用于评估变电站仪表外观缺陷检测的有效性，其计算公式为
$$ P=\dfrac{N_{{\mathrm{TP}}}}{N_{{\mathrm{TP}}}+N_{{\mathrm{FP}}}} $$ 式中：NTP对应于真阳性数量，NFP对应假阳性数量。NTP和NFP分别表示模型识别表计正确或错误的数量。
召回率表示目标被正确识别为真实目标的概率，并用于评估变电站仪表外观缺陷检测的漏检情况，其计算公式为
$$ R=\dfrac{N_{{\mathrm{TP}}}}{N_{\mathrm{TP}}+N_{\mathrm{FN}}} $$ 其中NFN对应假阴性数量，表示模型未识别仪表的数量。
平均精确度（AP）定义为准确率−召回率曲线与x轴之间的面积，计算公式为
$$ P_A=\int \limits_{0}^{1}P(R){\mathrm{d}}R $$ 对于多类目标，mAP是我们评估模型精度的主要指标，mAP是每个类别的AP的平均值，定义为
$$ P_{{\rm{mA}}}=\dfrac{1}{N}\sum\limits_{n=1}^NP_{\mathrm{A}n} $$ 除了优先考虑模型的准确性外，还同等考虑了其成本。采用参数量(Parameters)来衡量模型的复杂度，通常参数量越大，模型越复杂；采用每秒进行的十亿次浮点运算数量(GFLOPs)来衡量模型的速度和性能；采用每秒帧数(FPS)作为检测速度的指标。
2.4 消融实验
为探究因果知识权重系数对于预测结果最合适的影响程度，对于权重系数$ \lambda $进行调整，首先为确定$ \lambda $的大致取值范围，在区间内取步长为 0.1 进行实验，最终实验结果见表3。因果知识关联模块中得到的因果知识权重系数$ \lambda $决定了模型学习因果知识信息的多少，进而影响模型的检测结果。因此，表3通过设计因果知识权重系数消融实验来验证不同$ \lambda $对模型的影响。当因果知识权重系数取0.4时，模型拥有最佳检测效果，其原因在于：若$ \lambda $过小，从其中学习到的因果−共现知识比较有限，对检测的帮助较小；若$ \lambda $过大，因果−共现知识会影响模型对于缺陷特征关系过度地学习，从而影响模型检测的效果。
表 3 参数调整实验结果Table 3 Parameter tuning experiment results% $ \lambda $ AP_bpps AP_bpnl AP_ssbqx AP_bpzw AP_bpzc mAP50 mAP50-95 0.1 92.0 80.1 74.9 78.2 92.3 83.5 64.9 0.2 90.8 83.7 73.1 81.9 91.4 84.2 64.7 0.3 93.7 82.2 78.1 79.8 92.6 85.3 65.2 0.4 90.6 87.2 82.3 82.8 90.1 86.6 66.3 0.5 92.7 83.1 80.0 79.0 90.3 85.0 65.1 0.6 91.3 81.7 78.8 79.5 92.0 84.7 65.0 0.7 91.0 76.7 77.6 82.2 93.8 84.3 65.3 0.8 91.6 80.9 68.7 82.5 93.0 83.3 64.7 0.9 90.2 82.1 73.7 78.6 93.2 83.6 63.6 注：加粗表示结果在该列最好。 此外，为了探究注意力机制对网络的影响，对不同注意力机制进行了实验，其中包括传统的注意力机制，卷积注意力模块(convolutional block attention module, CBAM)[27]、大可分离核注意力(large separable kernel with attention, LSKA)模块[28]；CNN结合Transformer的注意力机制，CNN-Swin Transformer(CST)模块[29]、Conv-Former(CFB) 模块[30]以及本文提出的GLFEB模块，实验结果如表4所示。
表 4 不同注意力机制比较结果Table 4 Comparison results of different attention mechanisms% 模块 mAP50 mAP50-95 R P CBAM 84.7 65.7 82.6 79.7 LSKA 85.3 65.5 81.9 80.6 CST 85.3 65.4 83.6 80.2 CFB 85.5 66.1 82.7 79.9 GLFEB 85.9 66.5 84.1 80.7 从表4中可以看出本文提出的全局−局部特征提取模块可以有效地提升模型的特征提取能力，并且可以发现CNN结合Transformer注意力机制的性能要优于传统注意力机制的性能，在于其不仅关注于本地信息，还能够有效地构建远程上下文信息，其中GLFEB的特征提取能力要强于CST和CFB，有效验证了本文所提出的CNN结合Transformer注意力机制有较强的特征提取能力，能够有效地保留局部和全局的建模能力，来提高模型的检测性能。
进行消融实验，来评估每个模块的性能，本文分别在基线模型上进行调整，通过全局−局部特征提取模块(GLFEB)、跨层上下文特征金字塔网络(CCFPN)和因果知识关联模块(CKAB) 3个改进部分进行消融实验，对不同类别目标检测精度进行实验测试，评估每个改进部分的有效性，实验结果见表5。
表 5 模型结构消融实验结果Table 5 Ablation experiment results of model structure% GLFEB CCFPN CKRB AP_bpps AP_bpnl AP_ssbqx AP_bpzw AP_bpzc mAP50 mAP50-95 91.1 83.5 79.7 75.0 91.5 84.1 64.1 √ 92.1 85.1 80.7 79.9 91.7 85.9 66.5 √ 92.8 86.0 82.9 80.8 91.4 86.8 66.9 √ 90.6 87.2 82.3 82.8 90.1 86.6 66.3 √ √ 92.5 84.6 77.8 83.4 92.8 86.2 66.7 √ √ 91.7 78.4 80.8 79.3 93.9 86.7 67.3 √ √ 92.4 85.3 82.1 82.4 93.2 87.1 67.1 √ √ √ 92.8 86.9 83.2 84.2 94.0 88.2 67.8 注：加粗表示结果在该列最好。 从表5中可以看出，与基线模型相比较，使用全局−局部特征提取模块、跨层上下文特征金字塔网络和因果知识关联模块均可以提升模型对于变电站仪表外观缺陷检测的效果。
本文检测模型的改进方法中，在加入全局−局部特征提取模块后，表盘破损缺陷、表盘凝露缺陷、表盘脏污缺陷的大尺度目标和示数不清晰缺陷的小尺度目标的检测精度都有所提升，$ {\mathrm{mA{P}}}_{50} $、$ {\mathrm{mA{P}}}_{50-95} $分别提升了1.8、2.4百分点，有效增强了模型对于浅层和深层特征的提取能力，能够提高对大尺度和小尺度缺陷目标的感知能力，其中全局通道主要关注于整体的纹理特征，局部通道关注于精细的边缘特征，增强了模型对于缺陷特征的学习能力；在加入跨层上下文特征金字塔网络后，仪表所有缺陷的精度都有所上升，能够帮助网络更好地融合缺陷特征，$ {\mathrm{mA{P}}}_{50} $、$ {\mathrm{mA{P}}}_{50-95} $分别提升了2.7、2.8百分点，该模块的串联分支通过层级特征递归式融合，在相邻层级间建立双向信息流。其中前层特征携带的局部纹理信息（如仪表划痕纹理）与当前层特征的语义表征（如仪表部件定位）跨尺度对齐，形成互补性特征增强，使得表盘破损的$ {\mathrm{mA{P}}}_{50} $提升了1.7百分点，表盘凝露的$ {\mathrm{mA{P}}}_{50} $提升了2.5百分点，表盘脏污的$ {\mathrm{mA{P}}}_{50} $提升了5.8百分点，有效提升了大尺度目标的识别能力，其中上下文锚框注意力增强了对对象本身特征的理解，强化了对微小缺陷相关特征通道的关注，使得小尺度目标缺陷（如示数不清晰缺陷）的$ {\mathrm{mA{P}}}_{50} $提升了3.2百分点；在因果知识关联模块后，对于表盘凝露缺陷、表盘脏污缺陷和示数不清晰缺陷的检测精度都有所提升，由于其在表盘凝露缺陷与示数不清晰缺陷、表盘脏污缺陷与示数不清晰缺陷存在因果−共现机理，故在分类损失函数中加入部分因果知识权重后，会提升其检测精度，能够引导模型关注于同一图像的潜在因果−共生对象，但是表盘破损缺陷与示数不清晰缺陷在数据集中存在的比例较少，故对表盘破损缺陷的精度有所下降。
针对外观缺陷多尺度特征提取困难以及缺陷类别不平衡等问题，在加入全局−局部特征提取模块、跨层上下文特征金字塔网络和因果知识关联模块后，模型的检测能力达到最佳，有效提升了模型对缺陷的判别能力，相较于基线模型，$ {\mathrm{mA{P}}}_{50} $提升了4.1百分点，$ {\mathrm{mA{P}}}_{50-95} $提升了3.7百分点，证明了本文所提模型的有效性。
图8为消融实验结果可视化，其中改进模型相较于基线模型有较大的提升，以第3行的可视化图像为例，相较于基线模型，本文改进模型的表盘破损缺陷提升了6%，示数不清晰缺陷提升了37%，如图8(c)~(e)所示，当单独使用本文所提的3种方法时，检测效果都比基线理想，图8(f)结合本文所提的3种方法，模型能够更加准确地计算目标与背景之间的重叠程度，显著提高模型的检测精度。因此，可以证明本文改进方法的有效性。
图 8 消融实验结果可视化Fig. 8 Visualization of ablation experiment results下载:
全尺寸图片
2.5 对比实验
将本文改进模型与其他主流目标检测算法在变电站仪表数据集上进行对比，实验结果如表6 所示。本文改进算法相较于双阶段算法 Faster R-CNN (region-based convolutional neutral network)[31]、Cascade R-CNN[32], mAP和检测速度均有大幅度提升，但双阶段算法对于表盘破损缺陷和表盘凝露缺陷的检测精度都较高；相较于单阶段目标检测算法 TOOD (task-aligned one-stage object detection)[33]、YOLOv5、YOLOv6[34]、YOLOX、YOLOv7[35]、YOLOv8、RT-DETR(real-time detection Transformer)[36]、Mamba-YOLO[37]、YOLOv9[38]、YOLOv10[39]、YOLOv11、YOLOv12[40]、Grounding [41], mAP 获得较大提升，$ {\text{mAP}}_{50} $达到88.2%，$ {\text{mAP}}_{50\text{-}95} $达到了67.8%；与其他模型相比，本模型在保持高检测精度的同时，且保持了较低的参数量，维持了较快的检测速度，表明了此目标检测模型的优越性。
表 6 对比实验结果Table 6 Comparison experiment results模型 AP_bpps
/%AP_bpnl
/%AP_ssbqx
/%AP_bpzw
/%AP_bpzc
/%mAP50
/%mAP50-95
/%召回率
/%准确率
/%参数量
/106GFLOPs 检测速度
/(f·s−1)Faster R-CNN 92.1 92.1 75.0 75.8 91.1 85.2 63.3 80.1 79.7 47.3 191.0 23.4 Cascade R-CNN 90.1 92.3 70.8 78.1 91.4 84.5 65.6 79.8 78.4 69.2 219.0 15.9 TOOD 88.5 93.4 74.0 77.0 90.5 84.7 66.7 75.7 83.2 32.0 182.0 17.1 YOLOv5 88.7 76.1 81.1 82.3 90.8 83.8 62.7 77.4 81.0 20.8 47.9 140.8 YOLOv6 90.4 65.9 69.5 77.0 90.5 78.7 60.6 79.1 73.5 51.9 161.2 119.3 YOLOX 74.9 68.8 65.9 65.8 87.7 72.6 54.7 66.5 69.6 25.3 36.8 45.7 YOLOv7 94.8 79.7 80.2 82.2 89.5 85.3 64.5 79.1 79.9 37.2 105.2 156.3 YOLOV8 91.1 83.5 79.7 75.0 91.5 84.1 64.1 80.8 80.2 25.8 78.7 136.9 RT-DETR 84.6 71.9 82.3 60.8 80.8 76.1 57.8 80.2 74.4 19.8 57.0 140.0 Mamba-YOLO 91.6 74.3 77.6 79.7 90.9 82.8 64.6 81.1 77.8 21.7 49.6 121.2 YOLOv9 93.4 85.2 73.2 81.4 92.8 85.2 66.7 85.1 77.9 50.7 236.7 75.7 YOLOv10 88.9 73.0 73.8 75.8 89.3 80.1 61.6 80.1 71.6 16.4 63.4 171.3 YOLOv11 93.3 81.0 75.3 76.4 90.9 83.4 63.6 81.4 79.7 20.0 67.7 193.7 YOLOv12 89.7 75.0 71.4 75.0 91.8 80.6 63.0 78.9 75.2 20.1 67.1 154.7 Grounding DINO 92.7 87.3 82.3 82.6 92.9 87.5 72.4 82.6 83.6 156.7 456.6 10.6 本文方法 92.8 86.9 83.2 84.2 94.0 88.2 67.8 82.3 83.8 24.4 61.2 123.7 注：加粗表示在本列效果最好。 图9给出了经典算法YOLOv5、YOLOv8、RT-DETR、YOLOv9与本文算法之间仪表外观缺陷检测结果的比较，可以看出本文算法相对于其他算法，检测精度都有所提升。其中图9(a)、(b)为同一仪表下不同角度的变电站仪表缺陷图像，在图9(a)中，YOLOv5存在误检的情况，将表盘凝露缺陷识别为表盘破损缺陷，对于缺陷的特征识别度较差，在表盘凝露缺陷导致示数不清晰缺陷的情况下，本文算法的示数不清晰缺陷检测精度相较于其他算法有很大提升，表盘凝露缺陷的精度提升了2%，示数不清晰缺陷的精度提升了31%；在图9(b)中，YOLOv5存在漏检、误检的情况，将悬空的圆形电线识别为表盘破损缺陷，未能识别出示数不清晰缺陷，对于缺陷的特征识别度较差，YOLOv9存在误检的情况，将悬空的圆形电线识别为表盘脏污缺陷，本文算法能够准确识别出存在的缺陷，并且识别的准确率较高；在图9(c)中，YOLOv9存在漏检的情况，未能正确识别出示数不清晰缺陷，对于小目标识别的情况较差，本文算法对示数不清晰缺陷和表盘脏污缺陷的检测精度都保持较高的水平；图9(d)为雨天场景的变电站仪表缺陷图像，YOLOv5出现了漏检现象，未能识别出表盘破损缺陷，RT-DETR和YOLOv8也出现了漏检现象，未能识别出示数不清晰缺陷，本文算法能够准确识别出存在的缺陷，验证了本文算法在雨天场景下也能有良好的表现。
图 9 不同模型对比结果Fig. 9 Comparison results of different models下载:
全尺寸图片
本文算法相较于其他算法提高了对于缺陷的检测精度，证明了本文算法能够有效地平衡不同尺度缺陷特征，能够引导模型关注于同一图像的潜在因果−共生目标，提高了共生目标的检测精度，降低了误检、漏检的可能性。
为了定性分析改进模型的检测性能，使用HiResCAM热力图可视化方法，对基线模型和改进模型的预测结果进行对比，图10给出了基线模型和改进模型分别用于多个变电站仪表的检测热力图。显然，改进后的模型在目标区域上更为准确，更加关注于变电站仪表的缺陷部分而忽略不同的背景，相比之下，基线模型则更容易将注意力投向一些无关区域，如图10(a)中，基线模型的关注点主要在于表计的边缘和下方，并未关注于表计的缺陷位置，而改进后的模型主要关注于缺陷特征的位置，并且对于示数不清晰缺陷位置的关注得到了增强；在图10(b)、(c)、(d)中，基线模型的关注点比较分散，容易将一些背景混淆为关注点，难以聚焦于主要的缺陷位置，改进后的模型，则关注于仪表缺陷的关键特征位置。这验证了改进方法的可行性与有效性。
图 10 模型热力图可视化Fig. 10 Model heatmap visualization下载:
全尺寸图片
为验证本文所提出方法在变电站仪表缺陷数据集上的泛化能力，我们在公开的变电站仪表缺陷数据集PHAM[36]和Paddle的变电站公开数据集SUBDEF上进行了测试。实验结果如表7所示，本文的mAP50分别达到56.9%和88.9%，其中由于PHAM公开数据集样本较少，其性能有效，但本文算法明显优于其他模型。
表 7 公开数据集对比结果Table 7 Comparison results of public datasets% 模型 mAP50 mAP50-95 PHAM SUBDEF PHAM SUBDEF Faster R-CNN 47.7 84.7 37.1 63.7 Cascade R-CNN 46.7 84.3 38.1 66.6 YOLOv6 45.8 77.7 33.0 61.6 YOLOX 44.8 74.6 32.1 55.7 YOLOV8 46.3 84.7 35.6 64.7 RT-DETR 29.5 79.5 21.1 59.7 YOLOv9 44.7 85.0 30.9 67.7 YOLOv11 43.7 84.4 35.7 64.5 YOLOv12 39.3 81.6 28.2 65.2 Grounding DINO 54.7 87.6 38.9 65.9 本文方法 56.9 88.9 40.3 68.4 为从统计学角度客观评估本文方法的性能，本文在3个数据集、9项指标的基础上，采用Friedman检验和后续的Nemenyi检验。Friedman检验是一种基于秩的非参数多元统计检验方法，适用于比较多个算法在多个数据集上的表现，判断它们之间是否存在显著差异。当Friedman检验结果表明差异具有统计显著性时，进一步采用Nemenyi检验，对算法之间的两两差异进行事后分析，从而明确具体的显著性差异关系。
图11给出了本文的Nemenyi可视化检验结果。图中所有算法按其平均秩（Average Rank）升序排列（从左至右性能递减），其中平均秩越低表示算法性能越优。红色水平线代表临界差（critical difference, CD），其值由预设的显著性水平(α)、参与比较的算法数量(k)及考察的数据集/条件数量(N)计算得出。
图 11 Nemenyi可视化检验结果Fig. 11 Visualization of Nemenyi test results下载:
全尺寸图片
判断准则如下：若两个算法的平均秩差小于CD值，则二者性能无显著差异；反之，若平均秩差大于CD值且未被红色水平线直接连接，则表明二者性能存在显著差异。
根据Nemenyi检验结果，在显著性水平α=0.1下，计算得到CD值为
4.656 。统计检验结果表明：本文模型与基线模型的平均秩差为4.889，大于CD值(4.889>4.656 )，这表明本文模型在统计上显著优于基线模型，同时也优于其他平均秩较低的部分基线模型。这些结果表明，本文提出的方法能够有效提升对于变电站仪表缺陷检测的性能，体现了其有效性和可靠性。3. 结束语
为了解决变电站仪表外观缺陷精准检测中存在的缺陷特征提取困难、缺陷形状不规则等问题，本文提出了一种基于因果知识的变电站仪表外观缺陷检测算法：针对变电站仪表外观缺陷多尺度目标难以检测的问题，提出了全局−局部特征提取模块，提升模型对于缺陷全局与局部特征的学习能力；针对缺陷特征融合效果差的问题，提出了跨层上下文特征金字塔网络，更好地融合低层缺陷结构信息、颜色纹理信息以及高级语义信息；针对缺陷样本分布不均的问题，提出了因果知识关联模块，使用包含因果−共现矩阵的部分权重的分类损失函数对模型进行辅助训练，增强模型的学习能力。实验结果证明，本文方法对于变电站仪表外观缺陷检测任务平均精确率达到88.2%，相比原模型提升了4.1%。相较于其他双阶段、单阶段模型算法在平均精确率上也有较大优势，并在公开数据集上也展现较好的泛化性能，但是对于因果推理的研究并不深入，并且在极端条件下的检测鲁棒性仍然需要提升，未来的改进方向是结合图模型或者结构化因果推断的方法进行变电站仪表外观缺陷因果推理，来构建可学习的因果结构模型，并将其应用在实际的缺陷检测场景。
-
图 1 本文模型网络架构
Fig. 1 Network architecture of this model
下载:
全尺寸图片
图 2 CNN与Transformer融合网络结构
Fig. 2 CNN and Transformer hybrid network architecture
下载:
全尺寸图片
图 3 全局−局部特征提取模块
Fig. 3 Global-to-local feature extraction block
下载:
全尺寸图片
图 4 特征融合网络结构
Fig. 4 Feature fusion network structure
下载:
全尺寸图片
图 5 融合模块结构
Fig. 5 Fusion module structure
下载:
全尺寸图片
图 6 因果知识关联过程
Fig. 6 Causal knowledge association process
下载:
全尺寸图片
图 7 因果−共现矩阵
Fig. 7 Causal-co-occurrence matrix
下载:
全尺寸图片
图 8 消融实验结果可视化
Fig. 8 Visualization of ablation experiment results
下载:
全尺寸图片
图 9 不同模型对比结果
Fig. 9 Comparison results of different models
下载:
全尺寸图片
图 10 模型热力图可视化
Fig. 10 Model heatmap visualization
下载:
全尺寸图片
图 11 Nemenyi可视化检验结果
Fig. 11 Visualization of Nemenyi test results
下载:
全尺寸图片
表 1 实验环境
Table 1 Experimental environment
名称 型号 操作系统 Ubuntu20.04 CPU Intel Xeon Silver 4310 CPU @ 2.10GHz GPU NVIDIA GeForce RTX 3090 Memory 24 GB Python 3.8 表 2 数据集详细情况
Table 2 Dataset details
类别 数量 标签名称 表盘正常 616 bj_zc 表盘破损 339 bj_bpps 表盘脏污 686 bj_bpzw 表盘凝露 202 bj_bpnl 示数不清晰 452 bj_ssbqx 表 3 参数调整实验结果
Table 3 Parameter tuning experiment results
% $ \lambda $ AP_bpps AP_bpnl AP_ssbqx AP_bpzw AP_bpzc mAP50 mAP50-95 0.1 92.0 80.1 74.9 78.2 92.3 83.5 64.9 0.2 90.8 83.7 73.1 81.9 91.4 84.2 64.7 0.3 93.7 82.2 78.1 79.8 92.6 85.3 65.2 0.4 90.6 87.2 82.3 82.8 90.1 86.6 66.3 0.5 92.7 83.1 80.0 79.0 90.3 85.0 65.1 0.6 91.3 81.7 78.8 79.5 92.0 84.7 65.0 0.7 91.0 76.7 77.6 82.2 93.8 84.3 65.3 0.8 91.6 80.9 68.7 82.5 93.0 83.3 64.7 0.9 90.2 82.1 73.7 78.6 93.2 83.6 63.6 注：加粗表示结果在该列最好。 表 4 不同注意力机制比较结果
Table 4 Comparison results of different attention mechanisms
% 模块 mAP50 mAP50-95 R P CBAM 84.7 65.7 82.6 79.7 LSKA 85.3 65.5 81.9 80.6 CST 85.3 65.4 83.6 80.2 CFB 85.5 66.1 82.7 79.9 GLFEB 85.9 66.5 84.1 80.7 表 5 模型结构消融实验结果
Table 5 Ablation experiment results of model structure
% GLFEB CCFPN CKRB AP_bpps AP_bpnl AP_ssbqx AP_bpzw AP_bpzc mAP50 mAP50-95 91.1 83.5 79.7 75.0 91.5 84.1 64.1 √ 92.1 85.1 80.7 79.9 91.7 85.9 66.5 √ 92.8 86.0 82.9 80.8 91.4 86.8 66.9 √ 90.6 87.2 82.3 82.8 90.1 86.6 66.3 √ √ 92.5 84.6 77.8 83.4 92.8 86.2 66.7 √ √ 91.7 78.4 80.8 79.3 93.9 86.7 67.3 √ √ 92.4 85.3 82.1 82.4 93.2 87.1 67.1 √ √ √ 92.8 86.9 83.2 84.2 94.0 88.2 67.8 注：加粗表示结果在该列最好。 表 6 对比实验结果
Table 6 Comparison experiment results
模型 AP_bpps
/%AP_bpnl
/%AP_ssbqx
/%AP_bpzw
/%AP_bpzc
/%mAP50
/%mAP50-95
/%召回率
/%准确率
/%参数量
/106GFLOPs 检测速度
/(f·s−1)Faster R-CNN 92.1 92.1 75.0 75.8 91.1 85.2 63.3 80.1 79.7 47.3 191.0 23.4 Cascade R-CNN 90.1 92.3 70.8 78.1 91.4 84.5 65.6 79.8 78.4 69.2 219.0 15.9 TOOD 88.5 93.4 74.0 77.0 90.5 84.7 66.7 75.7 83.2 32.0 182.0 17.1 YOLOv5 88.7 76.1 81.1 82.3 90.8 83.8 62.7 77.4 81.0 20.8 47.9 140.8 YOLOv6 90.4 65.9 69.5 77.0 90.5 78.7 60.6 79.1 73.5 51.9 161.2 119.3 YOLOX 74.9 68.8 65.9 65.8 87.7 72.6 54.7 66.5 69.6 25.3 36.8 45.7 YOLOv7 94.8 79.7 80.2 82.2 89.5 85.3 64.5 79.1 79.9 37.2 105.2 156.3 YOLOV8 91.1 83.5 79.7 75.0 91.5 84.1 64.1 80.8 80.2 25.8 78.7 136.9 RT-DETR 84.6 71.9 82.3 60.8 80.8 76.1 57.8 80.2 74.4 19.8 57.0 140.0 Mamba-YOLO 91.6 74.3 77.6 79.7 90.9 82.8 64.6 81.1 77.8 21.7 49.6 121.2 YOLOv9 93.4 85.2 73.2 81.4 92.8 85.2 66.7 85.1 77.9 50.7 236.7 75.7 YOLOv10 88.9 73.0 73.8 75.8 89.3 80.1 61.6 80.1 71.6 16.4 63.4 171.3 YOLOv11 93.3 81.0 75.3 76.4 90.9 83.4 63.6 81.4 79.7 20.0 67.7 193.7 YOLOv12 89.7 75.0 71.4 75.0 91.8 80.6 63.0 78.9 75.2 20.1 67.1 154.7 Grounding DINO 92.7 87.3 82.3 82.6 92.9 87.5 72.4 82.6 83.6 156.7 456.6 10.6 本文方法 92.8 86.9 83.2 84.2 94.0 88.2 67.8 82.3 83.8 24.4 61.2 123.7 注：加粗表示在本列效果最好。 表 7 公开数据集对比结果
Table 7 Comparison results of public datasets
% 模型 mAP50 mAP50-95 PHAM SUBDEF PHAM SUBDEF Faster R-CNN 47.7 84.7 37.1 63.7 Cascade R-CNN 46.7 84.3 38.1 66.6 YOLOv6 45.8 77.7 33.0 61.6 YOLOX 44.8 74.6 32.1 55.7 YOLOV8 46.3 84.7 35.6 64.7 RT-DETR 29.5 79.5 21.1 59.7 YOLOv9 44.7 85.0 30.9 67.7 YOLOv11 43.7 84.4 35.7 64.5 YOLOv12 39.3 81.6 28.2 65.2 Grounding DINO 54.7 87.6 38.9 65.9 本文方法 56.9 88.9 40.3 68.4 -
[1] 和敬涵, 罗国敏, 程梦晓, 等. 新一代人工智能在电力系统故障分析及定位中的研究综述[J]. 中国电机工程学报, 2020, 40(17): 5506−5516. HE Jinghan, LUO Guomin, CHENG Mengxiao, et al. A research review on application of artificial intelligence in power system fault analysis and location[J]. Proceedings of the CSEE, 2020, 40(17): 5506−5516. [2] 张铭泉, 邢福德, 刘冬. 基于改进Faster R-CNN的变电站设备外部缺陷检测[J]. 智能系统学报, 2024, 19(2): 290−298. ZHANG Mingquan, XING Fude, LIU Dong. External defect detection of transformer substation equipment based onimproved Faster R-CNN[J]. CAAI transactions on intelligent systems, 2024, 19(2): 290−298. [3] 赵振兵, 冯烁, 赵文清, 等. 融合知识迁移和改进 YOLOv6 的变电设备热像检测方法[J]. 智能系统学报, 2023, 18(6): 1213−1222. doi: 10.11992/tis.202303030 ZHAO Zhenbing, FENG Shuo, ZHAO Wenqing, et al. Thermd image detection method for substation equipment by incorporating knowledge migration and improved YOLOv6[J]. CAAI transactions on intelligent systems, 2023, 18(6): 1213−1222. doi: 10.11992/tis.202303030 [4] 赵振兵, 席悦, 冯烁, 等. 面向复杂场景的变电设备锈蚀检测方法[J]. 智能系统学报, 2025, 20(3): 679−688. ZHAO Zhenbing, XI Yue, FENG Shuo, et al. A corrosion detection method of substation equipment for complex scenarios[J]. CAAI transactions on intelligent systems, 2025, 20(3): 679−688. [5] 彭明智, 许尧, 胡永波, 等. 基于人工智能技术的变电站二次设备智能巡检技术[J]. 高电压技术, 2023, 49(S1): 90−96. PENG Mingzhi, XU Yao, HU Yongbo, et al. Intelligent inspection technology for substation secondary equipment based on artificial intelligence[J]. High voltage engineering, 2023, 49(S1): 90−96. [6] 胡欣, 刘瑞峰, 肖剑, 等. 面向变电站嵌入式设备的指针式仪表识别方法[J]. 电子测量与仪器学报, 2025, 39(1): 253−263. HU Xin, LIU Ruifeng, XIAO Jian, et al. Pointer meter identification method for embedded devices in substations[J]. Journal of electronic measurement and instrumentation, 2025, 39(1): 253−263. [7] 何敏, 秦亮, 刘开培, 等. 变电站电力仪表智能检测算法研究[J]. 高电压技术, 2024, 50(7): 2942−2954. doi: 10.13336/j.1003-6520.hve.20230591 HE Min, QIN Liang, LIU Kaipei, et al. Research on intelligent detection algorithms for substation power instruments[J]. High voltage engineering, 2024, 50(7): 2942−2954. doi: 10.13336/j.1003-6520.hve.20230591 [8] FAN Zizhu, SHI Linrui, XI Chao, et al. Real time power equipment meter recognition based on deep learning[J]. IEEE transactions on instrumentation and measurement, 2022, 71: 1−15. [9] CAO Yue, XU Jiarui, LIN S, et al. GCnet: non-local networks meet squeeze-excitation networks and beyond[C]//Proceedings of the IEEE/CVF international conference on computer vision workshops. Seoul: IEEE, 2019: 1971−1980. [10] SHI Huibin, HUA Zexi, CHEN Jianyi, et al. Detection and recognition of digital instrument in substation using improved YOLOv3[J]. Signal, image and video processing, 2023, 17(6): 2971−2979. doi: 10.1007/s11760-023-02517-y [11] SHEN Jiaquan, LIU Ningzhong, SUN Han, et al. An instrument indication acquisition algorithm based on lightweight deep convolutional neural network and hybrid attention fine-grained features[J]. IEEE transactions on instrumentation and measurement, 2024, 73: 1−16. doi: 10.1109/tim.2023.3346488 [12] HAO Zhaoming, ZHANG Xiaoqiong, LI Hongyan, et al. Real-time detection algorithm for digital meters based on multi-scale feature fusion and GCS[J]. Journal of real-time image processing, 2024, 21(2): 35. doi: 10.1007/s11554-023-01408-2 [13] DONG Hao, YUAN Mu, WANG Shu, et al. PHAM-YOLO: a parallel hybrid attention mechanism network for defect detection of meter in substation[J]. Sensors, 2023, 23(13): 6052. doi: 10.3390/s23136052 [14] 赵振兵, 马迪雅, 石颖, 等. 基于改进 YOLOX 的变电站仪表外观缺陷检测算法[J]. 图学学报, 2023, 44(5): 937−946. doi: 10.11996/JG.j.2095-302X.2023050937 ZHAO Zhenbing, MA Diya, SHI Ying, et al. Appearance defect detection algorithm of substation instrument based on improved YOLOX[J]. Journal of graphics, 2023, 44(5): 937−946. doi: 10.11996/JG.j.2095-302X.2023050937 [15] XU Shanyong, CHEN Xiulong, HUANG Yourui, et al. Defect detection of substation instrumentation equipment based on improved YOLOv4 algorithm[C]//2023 China Automation Congress. Chongqing: IEEE, 2023: 9091-9096. [16] SANDLER M, HOWARD A, ZHU Menglong, et al. Mobilenetv2: inverted residuals and linear bottlenecks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 4510−4520. [17] HU Jie, SHEN Li, SUN Gang. Squeeze-and-excitation networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 7132−7141. [18] 李峰, 王琦, 胡健雄, 等. 数据与知识联合驱动方法研究进展及其在电力系统中应用展望[J]. 中国电机工程学报, 2021, 41(13): 4377−4390. LI Feng, WANG Qi, HU Jianxiong, et al. Combined data-driven and knowledge-driven methodology research advances and its applied prospect in power systems[J]. Proceedings of the CSEE, 2021, 41(13): 4377−4390. [19] LIN T, DOLLÁR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 2117−2125. [20] SHI Dai. TransNeXt: robust foveal visual perception for vision transformers[C]//2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2024: 17773−17783. [21] LIU Shu, QI Lu, QIN Haifang, et al. Path aggregation network for instance segmentation[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 8759−8768. [22] XU Xianzhe, JIANG Yiqi, CHEN Weihua, et al. Damo-yolo: a report on real-time object detection design [EB/OL]. (2022−11−23) [2025−07−25]. https://arxiv.org/abs/2211.15444. [23] LIU Wenze, LU Hao, FU Hongtao, et al. Learning to upsample by learning to sample[C]//Proceedings of the 2023 IEEE International Conference on Computer Vision. Paris: IEEE, 2023: 6027−6037. [24] CAI Xinhao, LAI Qiuxia, WANG Yuwei, et al. Poly kernel inception network for remote sensing detection[C]//2024 IEEE Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2024: 27706−27716. [25] JIANG Chenhan, XU Hang, LIANG Xiaodan, et al. Hybrid knowledge routed modules for large-scale object detection[J]. Advances in neural information processing systems, 2018, 31. [26] ZHANG Haoyang, WANG Ying, DAYOUB F, et al. Varifocalnet: an iou-aware dense object detector[C]//2021 IEEE Conference on Computer Vision and Pattern Recognition. Nashville: IEEE, 2021: 8514−8523. [27] WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module[C]//Proceedings of the European Conference on computer Vision. Springer: Cham, 2018: 3−19. [28] LAU K, PO L, REHMAN Y A U. Large separable kernel attention: rethinking the large kernel attention design in CNN[J]. Expert systems with applications, 2024, 236: 121352. doi: 10.1016/j.eswa.2023.121352 [29] KANG Ming, TING C M, TING F F, et al. CST-YOLO: a novel method for blood cell detection based on improved YOLOv7 and CNN-swin Transformer[C]//2024 IEEE International Conference on Image Processing. Abu Dhabi: IEEE, 2024: 3024−3029. [30] XU Zhengze, WU Dongyue, YU Changqian, et al. Sctnet: Single-branch cnn with Transformer semantic information for real-time segmentation[C]//Proceedings of the AAAI Conference on Artificial Intelligence. Vancouver: AAAI, 2024: 6378−6386. [31] REN Shaoqing, HE Kaiming, GIRSHICk R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2016, 39(6): 1137−1149. doi: 10.1109/tpami.2016.2577031 [32] CAI Zhaowei, VASCONCELOS N. Cascade R-CNN: Delving into high quality object detection[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 6154−6162. [33] FENG Chengjian, ZHONG Yujie, GAO Yu, et al. Tood: task-aligned one-stage object detection[C]//2021 IEEE/CVF International Conference on Computer Vision. Montreal: IEEE, 2021: 3490−3499. [34] LI Chuyi, LI Lulu, JIANG Hongliang, et al. YOLOv6: a single-stage object detection framework for industrial applications[EB/OL]. (2022−09−07) [2025−07−25]. https://arxiv.org/abs/2209.02976. [35] WANG C Y, BOCHKOVSKIY A, LIAO H Y M. YOLOv7: trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver: IEEE, 2023: 7464−7475. [36] ZHAO Yian, LYU Wenyu, XU Shangliang, et al. Detrs beat yolos on real-time object detection[C]//2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2024: 16965−16974. [37] WANG Zeyu, LI Chen, XU Huiying, et al. Mamba YOLO: SSMs-based YOLO for object detection. [EB/OL]. (2024−06−09) [2025−07−25]. https://arxiv.org/abs/2406.05835. [38] WANG C Y, YEH I H, LIAO M H Y. Yolov9: Learning what you want to learn using programmable gradient information[C]//European Conference on Computer Vision. Springer: Cham, 2025: 1−21. [39] WANG Ao, CHEN Hui, LIU Lihao, et al. Yolov10: Real-time end-to-end object detection[EB/OL]. (2024−05−23) [2025−07−25]. https://arxiv.org/abs/2405.14458. [40] TIAN Yunjie, YE Qixiang, DOERMANN D. Yolov12: Attention-centric real-time object detectors[EB/OL]. (2025−02−18) [2025−07−25]. https://arxiv.org/abs/2502.12524. [41] LIU Shilong, ZENG Zhaoyang, REN Tianhe, et al. Grounding DINO: marrying DINO with grounded pre-training for open-set object detection[C]//European Conference on Computer Cision. Springer: Cham, 2024: 38−55.
