Accurate identification of thermal faults for typical components of distribution networks
-
摘要: 提出一种配电网部件的热故障判别方法。首先包括一种检测任务转换方法，作为热故障判别前置任务的目标检测中。方法主要实现了将可见光图像和红外图像2种不同模态的信息进行巧妙地融合。其次是一种风格迁移方法，用于巡检任务中的场景自适应。最后是一种改进的交并集损失，用于降低低质量标注示例对边界框回归的影响，以提高模型检测性能。所提出方法较此前方法相比采用了多模态图像的信息，不局限于低分辨率红外图像。且改进后的方法使部件检测(定位)平均精度达到了88.1%，且不影响实时性，误检漏检情况也大大减少。优越的目标检测性能为热故障判别提供了良好的前提条件，温度解译平均误差不超过0.8 ℃。Abstract: A method for thermal fault diagnosis of distribution network components is presented, which includes the following: 1) A detection task conversion method used for target detection as a precursor to thermal fault detection. Training and prediction are performed using high-resolution visible light images, and the prediction information is converted into infrared images. 2) A style transfer method for scene adaptation in patrol tasks. 3) An improved IoU (intersection and union set) loss function, which reduces the effect of low-quality annotations on bounding box regression and improves model detection performance. Compared with previous methods, the proposed method uses multimodal image information and is not limited to low-resolution infrared images. The improved method achieves a detection accuracy of 88.1%, maintains real-time performance, and markedly reduces the cases of false and missed detections. The excellent target detection performance provides a solid foundation for thermal fault diagnosis, with an average temperature interpretation error not exceeding 0.8 °C.
-
配电网简称配网，由架空线路、杆塔、变压器、断路器、无功补偿电容等配电设备及耐张线夹和连接点等附属设施组成，是电力系统中起到分配电能作用的不可或缺的组成部分[1]。配电网中各个部件能否正常运转决定了整个电力系统的运行状态。因此，对配网典型部件的巡检维护是保证整个电力系统正常运转的重要工作。然而，这些部件在“迎峰度夏”“春节保电”等用电高峰期易出现热故障问题，若任由热故障发生，易导致线路跳闸甚至设备损坏，造成严重经济损失。通过无人机采集红外图像并对其中的配网部件进行检测并进行温度解译，从而判断是否出现热故障是目前最可行的方法。因此配电网部件能否被精准检测决定了热故障判别的准确率。目前，已经涌现出许多针对电力场景红外图像的目标检测方法[2-3]，然而热故障判别要求高检测精度的同时对误检率与误检率也有较高要求。仅使用低分辨率的红外图像进行检测难以达到所需目标。有许多学者提出红外图像与可见光图像进行融合的方法提高红外图像的分辨率从而提升检测精度[4-7]，但是这种方法得到的高分辨率红外图像难以得到准确的温度解译信息从而影响热故障判别。并且红外图像与可见光图像间的空间信息不对齐也是一个待解决的难题，图像配准是解决这一问题的常用方法[8-10]，然而用于这种红外与可见光图像跨模态配准效果并不理想。因此本文提出一种自适应配准方法，通过简单的算法实现难度较高的配准任务。在进行配网部件的巡检任务中，待巡检的各条线路难免因为所处地域、拍摄时间不同等因素而产生巨大域间差异[11]。这种差异会导致目标检测模型的性能下降。通常场景自适应方法能有效解决这种问题[12-14]，这种方法通常应用于虚拟至真实世界场景的计算机视觉任务中，本文将其巧妙地应用于各条不同线路的自适应中。风格迁移是场景自适应中最为常见的方法之一，如文献[15-16]。这些文献均在RGB颜色空间研究，本文发现LAB颜色空间更适合风格迁移[17]。从而提出一种新的风格迁移方法用于解决场景自适应问题。本文所使用训练集为无人机事先采集并标注的数据，而数据量较大时人工标注过程中难免会出现低质量示例，这种示例会影响检测锚框回归从而降低检测精度[18-20]，针对这个问题本文提出一种改进的交并集损失函数。综上所述，本文在配电网部件的热故障识别任务中作出以下贡献：
1)提出一种检测任务转换的方法，用于解决红外图像因分辨率低而难以高精度检测定位部件的问题。
2)提出一种基于全局光度对齐的LAB空间风格迁移的多场景自适应方法，用于解决各条巡检线路差异引起的检测性能下降问题。
3)提出一种改进的IoU(intersection and union)损失计算方式，用于缓解低质量标注情况发生后引起的检测性能下降。
1. 检测任务转换
1.1 自适应配准
无人机可见光相机拍摄的可见光图像为
Iv ，尺寸为H×W，则有f = exfiread(Iv) n=b/f 式中：
Iv 表示可见光图像，exfiread(⋅) 表示获取图像元数据操作，f 表示相机拍摄该张图像时的焦距，b 为相机变焦倍数。同一相机变焦倍数和焦距的比值n 恒定。因此可以用焦距的变化来判断是否进行了变焦以及相对变焦倍数。通过可见光图像的元数据信息来得到拍摄的每一张可见光图像的焦距，根据焦距变化即可计算裁剪坐标的变化。由于无人机的可见光相机与红外相机固定，可计算相机未进行变焦时的裁剪坐标(x1,y1,x2,y2) ，坐标原点为图像中心。(x1,y1) 表示裁剪区域的左上角坐标，(x2,y2) 表示裁剪区域右下角坐标。自适应配准如图1所示，红框区域内为可见光对于红外图像的最优映射，该区域内为配准后的可见光图像，左上角与右下角的坐标为巡检开始前通过对可见光相机与红外相机拍摄的一对图像进行配准标定所得到。若不存在相机变焦，每台无人机只需事先计算一次裁剪坐标即可用于整个巡检过程中的配准任务。此时对可见光图像配准可表示为
图 1 自适应配准Fig. 1 Adaptive registration
下载:
全尺寸图片
I′v=Crop(Iv) (1) 式中
Crop(⋅) 表示初始配准时的裁剪操作。得到的Iv′ 表示配准后的可见光图像，高宽尺寸为h×w 。其中h=y2−y1 ，w=x2−x1 。当相机进行变焦将视野放大或缩小时，裁剪区域也需要随之放大或缩小。若要保证配准后的相对于红外图像的映射不变，则需对裁剪坐标进行实时的调整。对每张图像进行变焦判别，判别是否变焦可通过z=f1/f0 式中：
f1 为拍摄的当前图像的焦距；f0 为手动计算裁剪区域图像的焦距，这个焦距是巡检过程中可见光相机拍摄的最常用焦距，本文设定该焦距为起始焦距。z 为1时，则相机未进行变焦，此时则可通过式(1)以及计算好的裁剪参数进行配准。当z 不为1时，则说明相机进行了变焦，需重新计算裁剪坐标。计算裁剪区域中心点坐标与尺寸：xc=x1+x22,yc=y1+y22 (2) w=|x2−x1|,h=|y2−y1| (3) 式中
(xc,yc) 为巡检任务开始前计算的裁剪区域的中心点坐标。在此基础上，更新后的裁剪区域中心与尺寸为x′c=xc×z,y′c=yc×z (4) w′=w×z,h′=h×z (5) 式中：
(xc′,yc′) 表示自适应调整后的裁剪区域中心坐标；w′ 与h′ 分别表示自适应更新后的裁剪区域的宽和高； z表示计算的相对变焦倍数。在整个巡检过程中可见光图像的分辨率保持不变，计算自适应更新参数后的裁剪区域坐标参数：x1′=x1+x22∗z−|x2−x1|2,y1′=y1+y22∗z−|y2−y1|2 (6) 式中
(x′1,y′1) 、(x′2,y′2) 为变焦后的裁剪区域左上和右下角的坐标。此时配准后的可见光图像可以表示为I″V=NewCrop(I′v) (7) 式中
NewCrop(⋅) 表示将式(1)中的裁剪参数通过式(2)～(7)更新后进行裁剪配准，则此时配准后的可见光图像的尺寸变为h′×w′ 。1.2 预测信息迁移
对配网部件进行热故障精确判别时需要具有温度信息的红外图像，现有的解决方法大多为对红外图像的部件进行目标检测。然而，红外图像分辨率较低，因此对红外图像中配网部件进行检测的精度难以满足后续判别任务。针对该问题本文提出一种检测任务转换的方法，这种方法在实际任务场景中具体表现为检测框、类别信息和置信度的迁移，如图1上半部分所示。
对配准后的可见光图像进行配网部件检测，得到检测模型输出的可见光检测框的坐标、类别以及置信度信息，将这些信息迁移到红外图像上，间接实现对红外图像中配网部件的检测，也可以理解为高分辨率的可见光图像用于提供部件的空间位置信息，而红外图像则用于对定位后的部件进行温度解译。对单张图像进行检测任务转换的具体步骤如下。
通过训练好的检测模型获得预测信息：
ci,pi,bxi,byi,bwi,bhi=predict(F) (8) 式中：i表示了当前图像中第i个检测框内部件的类别，
p 表示当前检测框的置信度，(bx,by) 为检测框中心点坐标，bm,bn 分别表示宽度和高度，predict(F) 表示对当前图像特征图进行预测，得到了可供迁移的检测框也就是部件的位置信息以及其对应的类别和置信度信息。在YOLOv5模型中，预测的检测框可由中心的坐标、宽度和高度表示，因此根据这3个参数即可定位红外图像上的待检测部件，同时标注类别与置信度信息，间接完成了对配网部件红外图像的精准检测。2. 场景自适应
2.1 全局光度对齐
实际任务场景中，配网线路的巡检过程为使用无人机搭载红外与可见光相机拍摄各条配电网线路的图像，将拍摄好的图像存储至本地设备中并进行批量热故障判别。为保证训练样本的丰富性，本文提出的配电网线路数据集由数条线路的配网部件以及对应标签组成。为解决不同线路间的场景自适应问题，拟采用一种风格迁移方法。
由于拍摄时间、背景、天气与线路所属区域等因素，训练集内某些图像间存在着视觉上的差异，存储在本地设备的待热故障判别的图像集有着同样的问题。而这种差异会影响风格迁移的效果。针对该问题，本文提出一种全局光度对齐方法，计算训练集和待检测图像集中每个样本的明亮度：
L′=(L−Lmin 式中：
L 是将RGB图像转换为LAB图像后L 通道的亮度值；L^{\prime} 则是映射到(0, 1)后的图像样本亮度值。最后根据每个样本归一化后的亮度值划分为N 个组别，N 的选取主要依据训练图像数据。将训练数据与巡检后待检测图像数据的组别进行一一对应，为后续的风格迁移提供良好的基础，图2为训练集进行明亮度分组后的结果。通过这种全局光度对齐的方法能够将风格样式更加相近的训练集与待检测图像对应，从而产生风格迁移的效果，本文通过任务驱动方式来验证全局光度对齐的有效性，如表1所示。
图 2 全局光度对齐示例Fig. 2 Global photometric alignment example下载:
全尺寸图片
2.2 LAB颜色空间的风格迁移
在巡检任务中，各条不同配网线路间的域间差异，也就是线路所处环境以及其他外界因素的影响，必然会导致使用同样图像数据所训练的检测模型对不同巡检线路进行检测时存在性能差异，这种差异主要体现为检测精度的下降，漏检率误检率的提升。而目标检测作为热故障判别前置任务，其性能优劣直接影响了判别精度。使用容易获取的线路数据进行训练，在实际任务中对另一条线路进行巡检时，检测模型的性能会有所下降。而有效的风格迁移可以在一定程度上减少这种差异。本文发现相对于RGB和CMYK等其他颜色空间，LAB颜色空间更符合模型感知颜色的方式。L分量表示亮度，A和B分量表示颜色的绿红和蓝黄成分，这使得颜色的解释和调整更加直观，且空间色域更广，因此能够得到更好的风格迁移效果。在此基础上本文提出了一种基于全局光度对齐的LAB颜色空间风格迁移方法。在巡检任务进行期间，将用于训练的图像按照明亮度分为5组，将采集到的配网线路待巡检图像根据亮度与这5组图像按照亮度排序进行匹配，然后进行风格迁移，如图3所示。
图 3 风格迁移Fig. 3 Style transfer下载:
全尺寸图片
在模型开始训练前，随机挑选对应组别中的一张训练集图像与待检测图像进行基于LAB颜色空间的风格迁移：
{\boldsymbol{X'}}_{\text{t}} ^{{\text{RGB}}} = {{\mathrm{lab}}} {\mathrm{2rgb}}\left( {\frac{{\left( {{\boldsymbol{X}}_{\text{t}} ^{{\text{LAB}}} - {\mu _{\text{t}} }} \right)}}{{{\sigma _{\text{t}} }}} \times {\sigma _{\text{d}} } + {\mu _{\text{d}} }} \right) (9) 式中：
{{\mathrm{lab}}} {\mathrm{2rgb}}\left( \cdot \right) 表示将LAB空间图像转换为RGB图像的操作，\boldsymbol{X'}_{\mathrm{t}}^{\text{RGB}} 表示风格迁移后的训练集RGB图像，\boldsymbol{X}_{\mathrm{t}}^{\text{LAB}} 表示转换到LAB空间的训练集图像，\mu\mathrm{_t} 、\sigma\mathrm{_t} 、\mu\mathrm{_d} 、\sigma_{\mathrm{d}} 分别表示训练图像与待检测图像的均值与标准差。式(9)涉及到调用颜色空间的相互转换，8位图像与32位图像转换结果有所差异，32位图像的输出是真实的LAB，而使用的8位可见光图像进行转换时将丢失一些信息，本文针对此问题提出一种数据缩放的方法用于解决8位图像在进行颜色空间转换时的信息损失。首先将RGB图像{{\boldsymbol{X}}^{{\text{RGB}}}} 转至LAB颜色空间：{{\boldsymbol{X}}^{{\text{RGB}}}}^\prime = {{\boldsymbol{X}}^{{\text{RGB}}}}\left( {1/255} \right) {{\boldsymbol{X}}^{{\text{LAB}}}} = {{\mathrm{rgb}}} {\mathrm{2lab}}({{\boldsymbol{X}}^{{\text{RGB}}}}^\prime ) 式中
{{\boldsymbol{X}}^{{\text{LAB}}}} 表示转换到LAB颜色空间的图像，经过式(9)后，需再转换为RGB图像：{{\boldsymbol{X}}^{{\text{RGB}}}}^{\prime \prime } = {{\mathrm{lab}}} {\mathrm{2rgb}}({{\boldsymbol{X}}^{{\text{LAB}}}}) {{\boldsymbol{X}}^{{\text{RGB}}}}^{\prime \prime \prime } = {{\boldsymbol{X}}^{{\text{RGB}}}}^{\prime \prime }/(1/255) 式中
{{\boldsymbol{X}}^{{\text{RGB}}}}^{\prime \prime \prime } 表示经过风格迁移与缩放后最终得到的RGB图像。这种方法能够使颜色空间的转换不损失信息，进而使YOLOv7+进行风格迁移时获得更好的效果。经过全局光度对齐操作即训练集与待检测图像集的各个组别的图像分别进行风格迁移，每个组别的平均均值标准差更能代表每个组别的整体水平，这样能够获得更好的风格迁移效果：
{\boldsymbol{X'}}_{\text{t}} ^{{\text{RGB}}} = {{\mathrm{lab}}} {\mathrm{2rgb}}\left( {\frac{{\left( {{\boldsymbol{X}}_{\text{t}} ^{{\text{LAB}}} - {\mu _{\text{t}}}/{n_{\text{t}}}} \right)}}{{{\sigma _{\text{t}} }/{n_{\text{t}}}}} \times {\sigma _{\text{d}} }/{n_{\text{d}}} + {\mu _{\text{d}} }/{n_{\text{d}} }} \right) 式中
n\mathrm{_t} 和n\mathrm{_d} 分别表示对应组别中图像数量。进行N 次风格迁移后，将所有组别中的\boldsymbol{X'}_{\mathrm{t}}^{\text{RGB}} 汇总就得到了具有待检测图像风格样式的训练图像，使用该训练集所训练的模型能够在不获取待检测图像标签的情况下学习到目标图像信息，提高目标检测模型的精度。本文提出的风格迁移方法是离线进行，因此获得的新训练集在不同检测模型上都能获得良好的效果，如表1所示。3. 改进的YOLOv5检测模型
本文方法总体流程如图4所示。配网典型空间部件的热故障识别首先需要对部件进行高精度、高准确率、高召回率与高实时性的检测，然后对检测区域进行温度解译从而进行热故障判别。在实际的巡检任务场景中，需要一种精度高、实时性较好的检测模型。因此，本文提出一种基于改进IoU损失的YOLOv5目标检测模型。YOLOv5有4个主要变体，分别是YOLOv5n、YOLOv5s、YOLOv5m和YOLOv5l。这些变体的不同之处在于模型的大小和性能不同。通过对检测精度与速度的权衡，本文采用YOLOv5s作为最终检测模型。YOLOv5s整体结构如图4中间部分所示。目标检测的检测性能依赖于损失函数的设计。IoU损失函数作为目标检测损失函数的重要组成部分，其良好的定义能够为目标检测模型带来显著的性能提升。近年来，对于IoU损失的研究大多假设训练数据中的图像对模型来说都是高质量的，过分地强调边界框的拟合能力。
图 4 本文方法总体流程Fig. 4 Overall process of this article’s methodology下载:
全尺寸图片
但本文发现，样本数足够多时，人工标记的训练集图像中难免出现低质量标注，如标注不完整、范围过大等，如图5所示。
图 5 各类别及低质量标注示意Fig. 5 Indication of various categories and low quality labels下载:
全尺寸图片
而低质量的标注，会影响模型对边界框的回归，从而影响模型检测性能的提升。这种情况下的距离、纵横比之类的几何度量会加剧对低质量示例的惩罚进而使模型的泛化性能下降。图6中交并集(IoU)损失[24]用于测量对象检测任务中锚框和目标框之间的重叠程度。它以比例的形式有效地屏蔽了边界框大小的干扰，使模型在使用
{\mathcal{L}_{{\mathrm{IOU}}}} 作为边界框回归(boundary box regression, BBR)损失时能够很好地平衡大对象和小对象的学习。
图 6 交并集损失Fig. 6 Intersection-over-union loss下载:
全尺寸图片
然而，上述函数有一个缺陷，当边界框之间没有重叠(
W_i=0 或H_{i}=0 )时，由\mathcal{L}_{{\mathrm{IOU}}} 反向传播的梯度消失。因此，重叠区域W_{i} 的宽度在训练期间无法更新。好的损失函数应该在锚框与目标框较好地重合时削弱几何度量的惩罚，不过多地干预训练将使模型有更好的泛化能力。在此基础上，本文根据距离度量构建了距离注意力，得到了具有2层注意力机制的新IoU损失
\mathcal{R}_{{\mathrm{WIoU}}} \in [1,e) ，其将显著放大普通质量锚框的\mathcal{L}_{{\mathrm{IOU}}} 。{{{\mathcal{L}}}_{{\mathrm{IOU}}}} \in [0,1] ，其将显著降低高质量锚框的{{{\mathcal{R}}}_{{\mathrm{WIoU}}}} ，并在锚框与目标框重合较好的情况下显著降低其对中心点距离的关注，公式为{{{\mathcal{L}}}_{{{\mathrm{WIoUv}}} 1}} = {{{\mathcal{R}}}_{{\mathrm{WIoU}}}}{{{\mathcal{L}}}_{{\mathrm{IoU}}}} {{{\mathcal{R}}}_{{\mathrm{WIoU}}}} = \exp \left(\frac{{{{(x - {x_{{\mathrm{gt}}}})}^2} + {{(y - {y_{{\mathrm{gt}}}})}^2}}}{{{{(W_{{\mathrm{g}}} ^2 + H_{\mathrm{g}}^2)}^ * }}}\right) 式中
{W_{\mathrm{g}}} 、{H_{\mathrm{g}}} 是最小锚框的尺寸，如图6所示。这是为了防止{{{\mathcal{R}}}_{{\mathrm{WIoU}}}} 产生阻碍收敛的梯度，上标*表示将{W_{\mathrm{g}}} 、{H_{\mathrm{g}}} 从计算图中分离出来不再参与梯度计算。由于该操作有效地消除了阻碍收敛的因素，所以不引入诸如纵横比之类的新指标。4. 部件热故障判别
热故障判别需要调用大疆官方解译文件TSDK.exe对经过了检测任务转换方法后的红外图像中预测部件进行温度解译。解译后输出各部件的温度矩阵：
{\boldsymbol{T}} = {{\mathrm{Tsdk}}} ({{\boldsymbol{X}}_{{\mathrm{ir}}}}[{y_1}:{y_2},{x_1}:{x_2}]) (10) {x_1} = {b_x} - \frac{{{b_w}}}{2},{y_1} = {b_y} - \frac{{{b_h}}}{2},{x_2} = {b_x} + \frac{{{b_w}}}{2},{y_2} = {b_y} + \frac{{{b_h}}}{2} 式中：
{{\mathrm{Tsdk}}} \left( \cdot \right) 表示使用大疆无人机官方提供的温度解译工具进行Tsdk温度解译操作；{{\boldsymbol{X}}_{{\mathrm{ir}}}} 表示经过了检测任务转换的待判别红外图像；{{\boldsymbol{X}}_{{\mathrm{ir}}}}[{y_1}:{y_2},{x_1}:{x_2}] 表示该红外图像中某已知类别的检测框；x_{1}, x_{2}, y_{1}, y_{2} 分别表示检测框4个顶点的坐标；b_x,b_y,b_w,b_h 为式(8)所得；{\boldsymbol{T}} 则为当前部件检测框的温度矩阵，根据该温度矩阵和带电设备红外诊断应用规范则可进行热故障判别。5. 实验
5.1 数据集与实验设置
本文所使用的数据均由御2行业进阶版无人机采集，包含了湖南省各配网线路的部件图像，包括可见光图像与红外图像600对用于目标检测。数据集中的图像主要包括以下4个类别共6种形态的配网典型空间部件，如图5所示。1)耐张线夹主要用于固定配电线路上的架空导线，以保证线路的稳定性和可靠性。2)断路器用于在电路故障时切断电路，以避免故障扩大和造成损失。3)连接点用于连接不同的电力设备和线路，使它们能够相互协调工作。4)配电变压器则用于调整电力的电压等级，以适应不同的用电需求。未配准的可见光图像尺寸分辨率为4 000像素×3 000像素，红外图像分辨率为640像素×512像素，类别形态特征如图5所示。这4个类别的部件在“迎峰度夏”等用电高峰期容易因高温产生热故障，严重影响到整个配电网络的正常运转。因此本文主要针对这4个类别展开研究。
本文中的实验基于PyTorch实现，实验使用的GPU为NVIDIA GeForce RTX 3060，CPU为酷睿i5-11400F。数据集共800对可见光与红外图像，随机将640对划分为训练集，80对为测试集，80对为验证集。模型训练阶段，输入图像尺寸设置为1 280像素×1 280像素，训练批次设置为4，迭代次数设置为200，使用随机梯度下降算法[25]进行模型训练，设置初始学习率为0.01的学习率衰减策略，极大值抑制IoU阈值设置为0.7。
5.2 评价指标
本文实验主要使用以下评价指标：精确率(precision)、召回率(recall)、平均精度均值(mean average precision, mAP)和每秒检测帧数(frames per second, FPS)。精确率是指所有预测为正样本的结果中，被预测正确的比例，也就是用来衡量误检情况，计算公式为
P = \frac{{{T_{\text{p}}}}}{{{T_{\text{p}}} + {F_{\text{p}}}}} 召回率是指所有的正样本当中，被正确地预测为正样本的比例，用于衡量漏检情况，计算公式为
R = \frac{{{T_{\text{p}}}}}{{{T_{\text{p}}} + {F_{\text{n}}}}} 平均精准度(average precision, AP)是指精确率−召回率曲线(precision-recall curve, PR曲线)下的面积，是对不同召回率点上的准确率进行平均，衡量检测精度，计算公式为
{A_{\text{p}}} = \int_0^1 {p(r){\text{d}}r} mAP50是指当IoU值等于0.5的时候，先计算出第一类中所有图片的 AP 值，依此类推，计算出剩下类的 AP 值，然后对这些类的 AP 值求平均，计算公式为
m_{\text{AP}}=\frac{\displaystyle\sum\limits_{i=1}^KA_{\text{p}_{^{ }}}^i}{K} 电力巡检任务场景下，部件的检测是实时的，检测速度是很重要的指标，使用FPS进行评判，代表模型每秒能够检测的帧数，其大小能体现出模型实时性的好坏。
5.3 对比实验
表2中给出了本文提出的方法在热故障判别前置任务上的性能。相比于其他主流目标检测方法在配电网部件检测的表现，本文方法在检测精度、误检漏检率与实时性上均展现了优越的性能，如图7可视化所示。值得注意的是，本文提出的检测任务转换是为了将红外图像的检测任务转移至可见光图像，因此本文用于对比实验的各个方法均使用可见光图像进行训练以及预测。
表 2 目标检测对比实验Table 2 Contrast experiment of target detection检测模型与方法 mAP50/% Precision/% Recall/% FPS YOLOv3 80.5 87.7 75.0 15.2 Faster R-CNN[26] 75.2 76.2 69.0 7.3 YOLOv4 80.6 86.3 77.9 16.0 GFLV2[27] 82.0 87.2 76.3 20.7 YOLOv6 79.6 82.6 75.3 20.6 YOLOv7 82.2 87.2 83.1 21.3 DETR 87.1 86.6 80.0 19.8 YOLOX 85.7 82.3 76.6 20.7 YOLOv7+本文方法 86.8 88.5 88.1 21.3 YOLOv8s 87.2 89.7 88.3 29.6 YOLOv5s 81.6 80.6 79.3 28.8 YOLOv5s(红外) 60.3 60.6 59.3 25.9 YOLOv5s+本文方法 88.1 90.0 88.6 25.6 
图 7 目标检测对比实验可视化Fig. 7 Object detection contrast experiment visualization下载:
全尺寸图片
图8是本文检测任务转换方法的结果可视化，通过目标检测模型定位部件信息后，利用红外图像的温度信息完成温度解译，同时可以看出检测任务转换不但提高了检测精度，而且大大减少了误检漏检情况的发生。在此基础上提出的风格迁移以及改进的IoU损失函数均是为了提高检测性能，这2个模块均不会增加网络复杂度。因此，本文方法在精度最高的情况下也有着优秀的实时性。如表3消融实验所示，FPS并不因为这2个模块的添加而改变。
图 8 检测任务转换可视化Fig. 8 Visualization of detection task conversion下载:
全尺寸图片
表 3 消融实验Table 3 Ablation experiment模块 mAP50/% Precision/% Recall/% FPS 无模块(红外) 60.3 60.6 59.3 26.8 无模块(可见光) 81.6 80.6 79.3 25.9 风格迁移 84.8 89.7 87.7 25.6 风格迁移+全局光度对齐 85.6 89.5 88.1 25.6 改进的IoU损失 85.3 89.3 83.8 25.7 全部模块 88.1 90.0 88.6 25.6 本文采用大疆无人机官方提供的温度解译软件DJI Thermal Analysis Tool 3解译的红外图像部件像素点平均温度作为真值验证本文方法的有效性。如表4所示，其中本文方法通过对式(10)输出的检测框温度矩阵求均值得到部件的温度值。最终温度解译平均误差不超过0.8 ℃。
表 4 温度解译准确率验证Table 4 Verification of temperature interpretation accuracy℃ 图像ID 部件类型 本文方法结果 真值 误差 0013 耐张线夹 21.5 22.6 1.1 0102 连接点 18.7 19.6 0.9 0256 耐张线夹 20.5 21.0 0.5 0347 断路器 8.3 9.3 1.0 0589 变压器 22.5 23.4 0.9 5.4 消融实验
表3给出了不同模块作用于基准模型的效果。其中“无模块(可见光)”表示未采用任何模块，即仅使用红外图像进行目标检测的YOLOv5s网络。“无模块(可见光)”表示进行了检测任务转换后的基准模型，检测任务转换使得检测模型能够使用高分辨率可见光图像进行训练预测，因此检测性能有了极大的提高。基于LAB颜色空间的风格迁移单独作用于“无模块(可见光)”能够使检测平均精度提高3.2百分点，并且在准确率与召回率表现上有了大幅度的提高。加入全局光度对齐后，检测精度又提高了0.8百分点，说明全局光度对齐对风格迁移效果具有增强作用。而改进的IoU损失单独作用于“无模块(可见光)”使得平均精度提高了3.7百分点，在精确率与召回率上分别提高了8.7百分点和4.5百分点。全部模块均作用于“无模块(可见光)”时，检测平均精度达到了88.1%，提高了6.5百分点，且精确率与召回率均表现得最为优异。值得一提的是，本文提出的模块均不会对目标检测的速度产生不良影响，FPS始终保持在25左右。
6. 结束语
本文提出了一种用于配电网线路部件热故障巡检的目标检测以及对应的温度解译方法。本文方法在检测平均精度、精确率、召回率与检测速度上均表现优异，能够较好地应用于实际巡检场景中。与此前红外图像部件检测工作相比，本文将可见光图像与红外图像的信息进行了巧妙地融合，即高分辨率可见光图像提供部件位置信息而红外图像提供对应的温度信息。该方法可以将目标检测任务聚焦于常规情况下的可见光图像检测性能提升任务，并且有效缓解了工程应用中难以避免的一些标注问题，使得本方法更加适合实际应用。相较于目标检测任务，热故障判别任务需要依托带电设备的红外诊断应用规范来进行探索与研究。
-
图 1 自适应配准
Fig. 1 Adaptive registration
下载:
全尺寸图片
图 2 全局光度对齐示例
Fig. 2 Global photometric alignment example
下载:
全尺寸图片
图 3 风格迁移
Fig. 3 Style transfer
下载:
全尺寸图片
图 4 本文方法总体流程
Fig. 4 Overall process of this article’s methodology
下载:
全尺寸图片
图 5 各类别及低质量标注示意
Fig. 5 Indication of various categories and low quality labels
下载:
全尺寸图片
图 6 交并集损失
Fig. 6 Intersection-over-union loss
下载:
全尺寸图片
图 7 目标检测对比实验可视化
Fig. 7 Object detection contrast experiment visualization
下载:
全尺寸图片
图 8 检测任务转换可视化
Fig. 8 Visualization of detection task conversion
下载:
全尺寸图片
表 1 风格迁移有效性验证
Table 1 Validation of style migration
表 2 目标检测对比实验
Table 2 Contrast experiment of target detection
检测模型与方法 mAP50/% Precision/% Recall/% FPS YOLOv3 80.5 87.7 75.0 15.2 Faster R-CNN[26] 75.2 76.2 69.0 7.3 YOLOv4 80.6 86.3 77.9 16.0 GFLV2[27] 82.0 87.2 76.3 20.7 YOLOv6 79.6 82.6 75.3 20.6 YOLOv7 82.2 87.2 83.1 21.3 DETR 87.1 86.6 80.0 19.8 YOLOX 85.7 82.3 76.6 20.7 YOLOv7+本文方法 86.8 88.5 88.1 21.3 YOLOv8s 87.2 89.7 88.3 29.6 YOLOv5s 81.6 80.6 79.3 28.8 YOLOv5s(红外) 60.3 60.6 59.3 25.9 YOLOv5s+本文方法 88.1 90.0 88.6 25.6 表 3 消融实验
Table 3 Ablation experiment
模块 mAP50/% Precision/% Recall/% FPS 无模块(红外) 60.3 60.6 59.3 26.8 无模块(可见光) 81.6 80.6 79.3 25.9 风格迁移 84.8 89.7 87.7 25.6 风格迁移+全局光度对齐 85.6 89.5 88.1 25.6 改进的IoU损失 85.3 89.3 83.8 25.7 全部模块 88.1 90.0 88.6 25.6 表 4 温度解译准确率验证
Table 4 Verification of temperature interpretation accuracy
℃ 图像ID 部件类型 本文方法结果 真值 误差 0013 耐张线夹 21.5 22.6 1.1 0102 连接点 18.7 19.6 0.9 0256 耐张线夹 20.5 21.0 0.5 0347 断路器 8.3 9.3 1.0 0589 变压器 22.5 23.4 0.9 -
[1] TUBALLA M L, ABUNDO M L. A review of the development of Smart Grid technologies[J]. Renewable and sustainable energy reviews, 2016, 59: 710−725. doi: 10.1016/j.rser.2016.01.011 [2] 赵振兵, 冯烁, 赵文清, 等. 融合知识迁移和改进YOLOv6的变电设备热像检测方法[J]. 智能系统学报, 2023, 18(6): 1213−1222. ZHAO Zhenbing, FENG Shuo, ZHAO Wenqing, et al. Thermd image detection method for substation equipment by incorporating knowledge migration and improved YOLOv6[J]. CAAI transactions on intelligent systems, 2023, 18(6): 1213−1222. [3] 尹丹艳, 吴一全. 灰色预测和混沌PSO的红外小目标检测[J]. 智能系统学报, 2011, 6(2): 126−131. doi: 10.3969/j.issn.1673-4785.2011.02.006 YIN Danyan, WU Yiquan. The detection of a small infrared target based on gray prediction and chaotic PSO[J]. CAAI transactions on intelligent systems, 2011, 6(2): 126−131. doi: 10.3969/j.issn.1673-4785.2011.02.006 [4] 李洋, 焦淑红, 孙新童. 基于IHS和小波变换的可见光与红外图像融合[J]. 智能系统学报, 2012, 7(6): 554−559. LI Yang, JIAO Shuhong, SUN Xintong. Fusion of visual and infrared images based on IHS and wavelet transforms[J]. CAAI transactions on intelligent systems, 2012, 7(6): 554−559. [5] 曲海成, 王宇萍, 谢梦婷, 等. 结合亮度感知与密集卷积的红外与可见光图像融合[J]. 智能系统学报, 2022, 17(3): 643−652. QU Haicheng, WANG Yuping, XIE Mengting, et al. Infrared and visible image fusion combined with brightness perception and dense convolution[J]. CAAI transactions on intelligent systems, 2022, 17(3): 643−652. [6] LI He, LIU Lei, HUANG Wei, et al. An improved fusion algorithm for infrared and visible images based on multi-scale transform[J]. Infrared physics & technology, 2016, 74: 28−37. [7] CVEJIC N, BULL D, CANAGARAJAH N. Region-based multimodal image fusion using ICA bases[J]. IEEE sensors journal, 2007, 7(5): 743−751. doi: 10.1109/JSEN.2007.894926 [8] MOREL J M, YU Guoshen. ASIFT: a new framework for fully affine invariant image comparison[J]. SIAM journal on imaging sciences, 2009, 2(2): 438−469. doi: 10.1137/080732730 [9] SARVAIYA J N, PATNAIK S, BOMBAYWALA S. Image registration by template matching using normalized cross-correlation[C]//2009 International Conference on Advances in Computing, Control, and Telecommunication Technologies. Bangalore: IEEE, 2009: 819−822. [10] WANG Di, LIU Jinyuan, FAN Xin, et al. Unsupervised misaligned infrared and visible image fusion via cross-modality image generation and registration[C]//Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence. California: IJCAI Organization, 2022: 3508−3515. [11] GONG Rui, LI Wen, CHEN Yuhua, et al. DLOW: domain flow for adaptation and generalization[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 2472−2481. [12] YUE Xiangyu, ZHANG Yang, ZHAO Sicheng, et al. Domain randomization and pyramid consistency: simulation-to-real generalization without accessing target domain data[C]//2019 IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2019: 2100−2110. [13] RAHMAN M M, FOOKES C, BAKTASHMOTLAGH M, et al. Correlation-aware adversarial domain adaptation and generalization[J]. Pattern recognition, 2020, 100: 107124. doi: 10.1016/j.patcog.2019.107124 [14] ZHANG Jian, QI Lei, SHI Yinghuan, et al. Generalizable semantic segmentation via model-agnostic learning and target-specific normalization[J]. Pattern recognition, 2022, 122, 108292. [15] ZHU Junyan, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//2017 IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 2242−2251. [16] LUO Yawei, ZHENG Liang, GUAN Tao, et al. Taking a closer look at domain shift: category-level adversaries for semantics consistent domain adaptation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 2502−2511. [17] ZHAO Sicheng, LI Bo, YUE Xiangyu, et al. Multi-source domain adaptation for semantic segmentation[C]//33rd Conference on Neural Information Processing Systems. Red Hook: Curran Associates Inc., 2019: 1−14. [18] ZHANG Yifan, REN Weiqiang, ZHANG Zhang, et al. Focal and efficient IOU loss for accurate bounding box regression[J]. Neurocomputing, 2022, 506: 146−157. [19] GEVORGYAN Z. SIoU loss: more powerful learning for bounding box regression[EB/OL]. (2022−05−25)[2023−11−23]. https://arxiv.org/abs/2205.12740. [20] TONG Zanjia, CHEN Yuhang, XU Zewei, et al. Wise-IoU: bounding box regression loss with dynamic focusing mechanism[EB/OL]. (2023−01−24)[2023−11−23]. https://arxiv.org/abs/2301.10051. [21] REDMON J, FARHADI A. YOLOv3: an incremental improvement[EB/OL]. (2018−04−08)[2023−11−23]. https://arxiv.org/abs/1804.02767. [22] BOCHKOVSKIY A, WANG C Y, LIAO H. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. (2020−04−23)[2023−11−23]. https://arxiv.org/abs/2004.10934. [23] WANG Chien-Yao, BOCHKOVSKIY A, LIAO Hong-Yuan M. Scaled-yolov4: scaling cross stage partial network[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville: IEEE, 2021: 13029−13038. [24] YU Jiahui, JIANG Yuning, WANG Zhangyang, et al. UnitBox: an advanced object detection network[C]//Proceedings of the 24th ACM international conference on Multimedia. Amsterdam: ACM, 2016: 516–520. [25] ROBBINS H, MONRO S. A stochastic approximation method[J]. The annals of mathematical statistics, 1951, 22(3): 400−407. doi: 10.1214/aoms/1177729586 [26] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137−1149. doi: 10.1109/TPAMI.2016.2577031 [27] LI Xiang, WANG Wenhai, HU Xiaolin, et al. Generalized focal loss V2: learning reliable localization quality estimation for dense object detection[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville: IEEE, 2021: 11627−11636.
