Algorithm for wind turbine blade defect detection by integrating edge enhancement and multi-scale feature aggregation
-
摘要:
在对风机叶片进行无人机巡检的过程中，航拍图像往往存在背景复杂、目标小、尺度不一、形态不规则等问题，导致现有的目标检测算法出现漏检和误检现象的频率较高。为解决以上问题，提出了一种融合边缘增强与多尺度特征聚合的风机叶片缺陷检测算法。本文提出边缘增强特征提取(edge-enhanced feature extraction, EEFE)模块，使模型能够更精准地感知目标边界，从而提升模型对不规则缺陷的特征提取能力；设计自适应多头注意力(adaptive multi-head attention, AMHA)并融入层级池化的SPPELAN结构，形成SPPELAN-AMHA模块，以增强模型对全局信息的捕获能力并降低复杂背景干扰；提出多尺度特征聚合(multi-scale feature aggregation, MFA)模块并设计一种全新的聚合扩散特征金字塔网络(aggregation diffusion feature pyramid network, ADFPN)，利用不同感受野的深度卷积提取多尺度上下文信息，改善模型对小目标的检测性能。实验表明，所提算法对表面侵蚀、裂纹和凝胶漆涂层脱落3类缺陷的AP值较原始的YOLOv8n模型分别提高1.7%、8.3%和4.1%，mAP50提高了4.7%，证明了所提算法对风机叶片缺陷检测的有效性。
Abstract:Unmanned aerial vehicle (UAV) inspections of wind turbine blades yield aerial images characterized by complex backgrounds, small and variably scaled targets, and irregular defect shapes. These factors often cause high rates of missed detections and false alarms in existing object detection methods. To overcome these challenges, this study presents a novel defect detection framework that combines edge enhancement with multi-scale feature aggregation. First, an edge enhancement feature extraction (EEFE) module is proposed to improve the model’s ability to capture defect boundaries, thereby enhancing the representation of irregular defects. Next, an adaptive multi-head attention (AMHA) mechanism is integrated into a hierarchical spatial pyramid pooling efficient layer aggregation network (SPPELAN) architecture, forming the SPPELAN-AMHA module, which strengthens global context modeling and reduces interference from complex backgrounds. In addition, a multi-scale feature aggregation (MFA) module and an aggregation diffusion feature pyramid network (ADFPN) are designed to extract multi-scale contextual information through deep convolutions with diverse receptive fields, improving detection performance on small targets. Experimental results demonstrate that the proposed approach improves average precision by 1.7%, 8.3%, and 4.1% for surface erosion, crack, and gelcoat peeling defects, respectively, and achieves a 4.7% gain in mean average precision at intersection over union threshold 50 (mAP50) compared with the baseline YOLOv8n model, confirming its effectiveness for wind turbine blade defect detection.
-
风力发电是缓解全球能源危机的措施之一，并在全球范围内得到了迅速发展。随着低碳计划的推进，风力发电在我国清洁能源体系中发挥着重要作用[1-4]。作为风电机组的核心部件，风机叶片负责将风能转化为机械能，其运行状态直接关系到发电效率。由于风机叶片体积庞大，且风电机组通常建设在偏远的空旷地区，长期暴露于恶劣环境中，叶片表面容易出现各种损伤和缺陷。这些损伤不仅会严重影响风电机组的发电效率，还会危及机组的使用寿命[5]。因此，定期对风机叶片进行巡检，及时发现并排除隐患，对于保障风电机组的稳定运行至关重要。传统的风机叶片缺陷检测方法主要依赖于人工巡检，耗时长、效率低，并且风险较高，难以满足实际应用中的高效检测的需求[6]。为解决这一问题，Tcherniak等[7]通过电磁执行器敲击叶片，引发振动并由加速度计采集信号，利用中频段振动，结合半监督学习算法实现了对风机叶片故障的准确检测；郑浩等[8]提出一种基于电磁超声的风机叶片检测方法，有效识别了风机叶片缺陷。但这些方法仍存在数据处理困难、传感器维护成本高等问题。
随着无人机技术和深度学习的发展，无人机航拍和目标检测技术在风机叶片缺陷检测中得到了广泛的应用[9]。现代目标检测算法主要分为两大类：一类是单阶段算法，采用端到端的回归和分类方式直接在输入图像上进行预测，如SSD(single shot multibox detector)算法[10]和YOLO(you only look once)系列算法[11-13]；另一类是双阶段算法，首先生成候选框(proposal)，然后在这些候选框上进行精细的分类和定位，如RCNN(region-based convolutional neural network)[14]及其改进版本Faster-RCNN[15-16]系列算法。这两类算法的不同处理流程为风机叶片缺陷检测提供了不同的技术路径。随着目标检测算法不断进步，风机叶片缺陷检测的研究也取得了显著进展。许多学者通过优化现有的目标检测方法，进一步提升了检测精度和效率。Zhang等[17]提出了一种Mask-MRNet(mask region-based convolutional neural network-minreact network)的目标检测算法，通过结合优化的Mask R-CNN与MRNet，实现了缺陷掩膜、边框及类型的联合输出，提高了风机叶片缺陷的检测性能。Lyu等[18]提出了一种高效准确的风机叶片损伤检测算法，采用SSD作为检测框架，并在主干网络中引入轻量化的改进ResNet，提升了整体检测精度与速度，但对于风机叶片小目标缺陷的检测仍不理想。Ran等[19]提出了一种AFB-YOLO(attention and feature balanced YOLO)检测算法，在YOLOv5s结构基础上，通过加权特征融合和跨尺度连接改进特征金字塔网络，并引入坐标注意力机制与EIoU(efficient intersection over union)损失函数，有效提升了风机叶片小目标缺陷的检测效果，但该方法未对多尺度目标的适应性进行深入分析，泛化能力仍有待验证。汤占军等[20]提出了一种EPW-YOLOv7的实时检测风机叶片缺陷的算法，通过增强特征提取能力，减少网络参数和计算复杂度，提升了对多尺度缺陷的识别精度和检测速度，但对于裂纹这类不规则缺陷的检测效果较差。付军军等[21]通过在EfficientNet中引入非对称卷积优化特征提取网络，结合混合空间通道注意力模块和BiFPN(bi-directional feature pyramid network)进行多尺度特征融合，提升了对小尺寸风机叶片缺陷的检测能力。
上述基于深度学习的方法在风机叶片缺陷检测任务中都取得了一定的进展，但由于无人机航拍图片背景复杂，并且风机叶片缺陷往往目标小、尺度不一、形态不规则，因此依旧存在着漏检误检的问题。为此，本文提出了一种融合边缘增强与多尺度特征聚合的风机叶片缺陷检测算法，其主要创新为：1) 提出边缘增强特征提取(edge-enhanced feature extraction，EEFE)模块，增强目标边界感知能力，提升对形态不规则缺陷的特征捕获效果。2) 设计自适应多头注意力(adaptive multi-head attention，AMHA)模块，并融入 SPPELAN(spatial pyramid pooling-efficient layer aggregation network)空间金字塔池化结构，增强多尺度缺陷辨别能力，降低复杂背景干扰，提高风机叶片缺陷检测性能。3) 提出多尺度特征聚合(multi-scale feature aggregation，MFA)模块与聚合扩散特征金字塔网络(aggregation diffusion feature pyramid network，ADFPN)，融合浅层细节与深层语义并强化多尺度交互，减少小目标信息丢失，提升小目标表征与检测效果。
1. 风机叶片缺陷检测网络
1.1 网络架构
YOLOv8是一种在目标检测、实例分割和图像分类任务中表现优异的深度学习算法。该模型由输入(Input)、主干网络(Backbone)、颈部网络(Neck)和检测头(Head)4个部分组成，具有出色的性能和鲁棒性。在输入部分，模型采用马赛克(Mosaic)数据增强方法[22]，通过丰富数据集来提高模型的鲁棒性。在主干网络部分，引入了C2f模块进行特征提取和融合，在提高计算效率的同时，增强了对目标的特征表达能力。此外，YOLOv8将YOLOv5的C3模块改进为计算量更小的SPPF(spatial pyramid pooling-fast)模块，从而更有效地捕获多尺度信息。颈部网络采用PAN-FPN(path aggregation network-feature pyramid network)结构[23]，增强了跨尺度的语义表达和定位能力。在损失函数方面，YOLOv8采用BCE Loss(binary cross-entropy loss)作为分类损失，CIOU Loss(complete intersection over union loss)和DFL(distribution focal loss)作为回归损失，从而实现了分类与回归任务之间更高的对齐一致性。检测头部分采用解耦头[24]结构，将分类和检测任务解耦，分别聚合不同的特征，避免分类与定位任务之间的冲突。
针对无人机航拍图像中背景复杂、风机叶片缺陷目标小、尺度不一且形态不规则等问题，本文在YOLOv8n的基础上，提出了一种融合边缘增强与多尺度特征聚合的风机叶片缺陷检测算法，其框架如图1所示。图像在输入端进行预处理后被输送至主干网络，用于提取基础语义特征。在此基础上，本文算法在主干网络的各尺度特征提取阶段引入EEFE模块，通过在C2f结构中嵌入边缘注意力模块(edge attention module, EAM)[25]，有效整合全局语义信息与局部边缘细节，增强模型对缺陷目标边界的感知能力，从而提升对复杂目标轮廓的表达能力。主干网络输出的特征随后被送入SPPELAN-AMHA模块，该模块位于主干与颈部之间，结合改进的SPPELAN结构与自适应多头注意力机制，有效建模多尺度上下文依赖关系，引导模型聚焦空间关键区域，实现复杂背景下对多尺度目标的精准建模。在颈部网络中，引入多尺度特征聚合模块(MFA)，通过一组并行深度可分离卷积(depthwise convolution, DWConv)[26]捕获不同感受野的特征信息。同时采用ADFPN这一全新的颈部网络结构，实现自顶向下与自底向上的特征多层级融合与扩散，提升模型对小目标缺陷的检测能力。多尺度特征在不同空间层级上多次融合与增强，确保语义信息的完整传递与空间细节的充分保留。最终，融合后的特征图被送入预测输出网络，完成缺陷区域的分类与定位。为了提升模型对目标形状与尺度的适应能力，引入Shape-IoU损失函数[27]作为边框回归的优化指标，从而有效减少漏检和误检现象，实现对风机叶片多类型缺陷的高效准确检测。
图 1 融合边缘增强与多尺度特征聚合的风机叶片缺陷目标检测算法框架Fig. 1 Framework of the algorithm for wind turbine blade defect detection by integrating edge enhancement and multi-scale feature aggregation
下载:
全尺寸图片
1.2 EEFE模块
在风机叶片缺陷检测任务中，原始的YOLOv8模型难以准确捕捉目标的边缘信息，导致模型面对形态复杂的缺陷时效果不佳。为解决这一问题，本文设计了EEFE模块替换YOLOv8主干网络中的C2f结构，如图2所示。与现有方法不同的是，该模块并非简单叠加已有边缘增强方法，而是通过将 C2f结构与EAM模块深度融合，在保持模型结构紧凑的同时，使模型能够更有效地整合全局语义信息与局部边缘细节，提高模型对目标边界的感知能力，从而改善对复杂目标的检测效果。
图 2 EEFE模块结构Fig. 2 EEFE module structure下载:
全尺寸图片
首先，输入特征经过1×1卷积进行通道降维，减少计算开销的同时增强特征表达能力。降维后的特征被分为两部分，一部分直接作为跳跃连接，另一部分作为初始输入进入n个Bottleneck模块，逐步提取深层特征。提取的特征与跳跃连接特征在通道维度上拼接后，再与EAM生成的边缘特征进行逐点相加操作，以平衡全局语义信息与局部边缘细节的关系。最后，融合后的特征再经过1×1卷积进行通道整合，形成优化后的特征表示。
EAM模块结构如图3所示，EAM模块接收来自两个不同来源的特征：浅层特征是原始输入特征，深层特征是EEFE模块前向通道中第一个Bottleneck的输出。首先，EAM对输入特征进行通道压缩，然后利用双线性插值对主干特征进行空间对齐，以确保特征匹配度。随后，两个对齐后的特征在通道维度上进行拼接，拼接后的特征通过两次3×3卷积、批归一化(batch normalization,BN)和ReLU激活进一步提取融合特征，增强边缘信息的表达能力。值得注意的是，EAM选择第1个Bottleneck的输出作为深层特征，是因为其在经过初步卷积和非线性映射后已具备更强的特征表达能力，相较于更深层的Bottleneck输出，能在保持更高空间分辨率的同时，与浅层特征更好地对齐和融合，提升边缘信息的表达效果，并在保持高级特征信息的同时减少因特征图尺寸缩小导致的信息损失，从而在边缘增强与语义理解之间取得良好平衡。
图 3 EAM模块结构Fig. 3 EAM module structure下载:
全尺寸图片
1.3 SPPELAN-AMHA模块
无人机航拍图像的复杂背景和风机叶片尺度不一的缺陷增加了模型的检测难度，为此，本文设计了AMHA模块。该模块旨在通过自适应多头自注意力机制实现全局特征的加权聚合，以增强模型对空间上下文信息的理解能力。与传统多头注意力机制不同，AMHA 模块内置自适应缩放因子(adaptive scaling factor, ASF)，可动态调节不同特征分量的贡献程度，从而提升模型对关键区域的关注能力。进一步地，本文引入SPPELAN空间金字塔池化模块[28]，与AMHA组合成SPPELAN-AMHA模块，替换原本的SPPF结构，有效优化模型的提取和表达特征能力，提高模型检测精度。
AMHA模块应用于二维特征图上，能增强局部与全局信息交互能力，其结构如图4所示。
图 4 AMHA模块结构Fig. 4 AMHA module structure下载:
全尺寸图片
首先，输入特征经过线性变换层(Linear)运算，被分成Q、K、V 3种特征表示，每个注意力头独立计算这些特征表示。然后，Q矩阵与K矩阵进行矩阵乘法后，利用Softmax归一化获得注意力分数，并进一步与值矩阵进行加权求和，以得到注意力增强特征。多个注意力头计算出的特征在通道维度进行拼接，经过批归一化调整特征分布。随后引入自适应的缩放因子(adaptive scaling factor, ASF)，用于自适应调整注意力特征对原始输入的影响权重。该缩放因子在训练过程中通过反向传播不断优化，使得不同特征分量的贡献能够根据任务需求进行动态调整。最后，采用残差连接帮助信息在网络中更高效地传播，使算法在保留原始输入信息的同时，提升梯度流动的稳定性，避免梯度逐层传递时逐渐减小的问题。
如图5所示，ASF作为可学习参数，在模型初始化时被定义，并在训练过程中自适应调整，以适应不同输入特征的分布。在前向传播过程中，ASF通过与注意力计算得到的特征相乘，实现对特征的动态缩放，从而调节其对最终特征表示的贡献。训练过程中，模型根据损失计算梯度，并通过反向传播优化ASF，使其逐步调整特征融合的权重，从而提升对全局信息的利用能力。
图 5 ASF流程Fig. 5 ASF Flowchart下载:
全尺寸图片
SPPELAN-AMHA模块结构如图6所示，通过1×1卷积提取初步特征，接着通过3个最大池化层提取不同感受野下的多尺度特征，将池化输出与初步特征在通道维度拼接后，经过AMHA模块进一步捕获全局上下文信息，增强模型特征表达能力和对复杂场景下目标的识别能力。最后，利用1×1卷积融合生成增强特征。
图 6 SPPELAN-AMHA模块结构Fig. 6 SPPELAN-AMHA module structure下载:
全尺寸图片
1.4 ADFPN颈部网络
在风机叶片缺陷检测任务中，缺陷区域往往尺寸较小，特征信息有限，限制了模型对小目标缺陷的识别能力。随着网络的加深，部分关键的浅层细节信息逐步丢失，进一步加剧了这一问题，从而影响检测精度。为此，本文提出了MFA模块，如图7所示，以增强模型对小目标的特征表达能力。在MFA模块中，首先输入特征通过上采样和1×1卷积对深层特征进行尺寸和通道对齐，通过自适应下采样对浅层特征进行降维操作，并对中间特征进行1×1卷积处理，从而确保不同层特征图在空间尺寸和通道数上的一致性。然后，拼接后的特征通过深度卷积增强对不同感受野的感知能力，以更完整地保留小目标的细节信息。多尺度特征信息与初始拼接特征进行逐点加和操作，以丰富特征信息，随后通过逐点卷积进一步压缩通道维度，减少特征冗余并提升特征的紧凑性。最后，利用残差连接在保留原始信息的同时强化特征表示能力。
图 7 MFA模块结构Fig. 7 MFA module structure下载:
全尺寸图片
YOLOv8采用FPN与PAN相结合的多尺度特征融合结构，旨在充分整合语义信息与空间位置信息。然而，深层特征图在小目标特征表达方面存在一定局限，且包含较多冗余信息。基于最深层特征图的融合机制可能导致小目标定位精度下降，影响整体检测性能。同时，冗余特征的存在增加了模型的计算复杂度，限制了检测效率的提升。因此，本文在MFA模块基础上，设计了ADFPN颈部网络，如图8所示。该结构首先通过MFA模块对不同尺度的特征输入进行聚合，充分提取小目标的语义信息和位置信息。聚合后的特征一方面进行上采样并与浅层特征融合，另一方面通过卷积操作提取高级语义信息，与深层特征拼接，以强化全局感受能力，从而保证多尺度特征的有效扩散。最后重复聚合与扩散操作，对融合后的特征进行进一步优化，确保各个尺度的信息更加充分地交互，减少小目标特征的丢失，从而提高模型对小目标缺陷的特征表达能力。
图 8 ADFPN颈部网络结构Fig. 8 ADFPN neck network structure下载:
全尺寸图片
综上所述，相比原始YOLOv8的颈部网络结构，ADFPN通过多尺度特征聚合模块能够增强对小目标的建模能力，使模型更有效地学习多尺度特征。在特征融合过程中，ADFPN不仅利用特征拼接和融合模块，还在融合前进行特征增强，使浅层细节与深层语义信息更加协调，同时，多尺度信息处理方式保留浅层关键特征，减少小目标特征在深层提取过程中的损失，增强模型对小目标的检测性能。
2. 实验
2.1 实验环境
实验中使用的优化器为SGD，batchsize为16，初始学习率为0.01，epoch为300，最后10轮禁用马赛克增强。实验环境见表1。
表 1 实验环境配置Table 1 Experimental environment configuration名称 型号 操作系统 Ubuntu20.04 CPU Intel(R) Xeon(R) Gold 6148 GPU NVIDIA GeForce RTX 4090 CUDA 12.2 Python 3.10.13 深度学习框架 PyTorch2.1.2 2.2 实验数据集
实验使用的数据集为无人机在某风电机组现场拍摄采集，主要为可以清晰分辨的风机叶片缺陷的图片，原图分辨率为
1296 ×972。本实验的数据集共有783张，按7∶2∶1的比例随机划分训练集、验证集和测试集。数据集共有3种缺陷类型，分别为表面侵蚀(surface_erosion)、裂纹(cracks)和凝胶漆涂层脱落(gelcoat off)，如图9所示。根据风机数据集的特征及计算资源的限制，图像大小均调整为640×640。
图 9 风机叶片缺陷样本Fig. 9 Samples of wind turbine blade defects下载:
全尺寸图片
2.3 评价指标
本文采用目标检测任务中常见的精确率(precision, P)、召回率(recall, R)和平均精度均值PmA(mean average precision, mAP)作为模型性能的评估标准，mAP计算方式基于平均精度PA(average precision, AP)，而AP则是通过P和R计算得到，其计算方式为
$$ P=\frac{N_{\mathrm{TP}}}{N_{\mathrm{TP}}+N_{\mathrm{FP}}} $$ (1) $$ R=\frac{N_{\mathrm{TP}}}{N_{\mathrm{TP}}+N_{\mathrm{FN}}} $$ (2) $$ P_{\text{A}}=\int\noimits_{0}^{1}P(R){\mathrm{d}}R $$ (3) $$P_{\text{mA}}=\frac{1}{n}\sum\limits_{i=1}^{N}P_{\text{A}{i}} $$ (4) 式中：NTP表示正样本被预测为正的样本数，NFP表示负样本被预测为正的样本数，NFN表示正样本被预测为负的样本数，n为类别数，PAi是类别i的平均精度。其中，以IoU为0.5时的mAP在IoU阈值为0.5~0.95(步长为0.05)范围内计算的mAP作为模型的关键评价标准。此外，本文还使用了模型参数量(Parameter, Params)和每秒传输帧数(frames per second, FPS)来衡量模型大小和检测速度。
2.4 实验及结果分析
2.4.1 EEFE模块位置消融实验
鉴于主干网络、颈部网络及原始模型中的C2f模块在特征提取过程中的不同作用，推测EEFE模块在这些不同位置的应用可能会对模型性能产生不同影响。基于此，本文设计了一组位置消融实验，分别将各位置的C2f模块替换为EEFE模块，并进行性能评估，实验结果如表2所示。
表 2 EEFE模块位置消融实验结果Table 2 Ablation study results on the position of the EEFE module位置 P/% R/% mAP50/% mAP50-95/% Params/106 不替换 86.9 78.0 84.8 58.5 3.0 替换主干 89.5 81.4 86.6 60.4 3.4 替换颈部 84.1 80.0 85.4 60.2 3.7 全部替换 82.4 81.8 84.6 57.6 4.1 注：加粗数据为最优值。 在主干网络使用EEFE模块效果最为显著，mAP50和mAP50-95分别达到86.6%和60.4%，且参数量仅增加至3.4×106，这表明在主干网络中引入EEFE模块能够在特征提取的早期阶段增强模型对边界信息和细节特征的捕获能力，从而为后续的特征融合和目标检测提供更丰富的特征表示。在颈部网络中使用mAP50仅提高了0.6%，且精确率略有下降。全部替换不仅参数量增加明显，而且平均精度有所下降，表明模型出现过拟合或特征冗余。综上，最终选择EEFE模块仅替换主干网络中的C2f模块。
2.4.2 空间金字塔池化模块对比实验
为进一步提高模型的检测性能，在YOLOv8基础上改进SPPF模块，并设计了不同空间金字塔池化模块的对比实验，实验结果如表3所示。可以看出，SPPF-AMHA通过引入AMHA机制显著提升了召回率，但精确率有所下降，表明其在增强目标捕获能力的同时，可能增加了一定的误检。SPPELAN则通过优化金字塔池化结构，在减少参数量的同时，使得mAP50提高0.7%，显示出良好的模型轻量化能力。SPPELAN-AMHA在保持参数量适中的情况下，使mAP50和mAP50-95分别提高了1.7%和0.7%，展现出了更强的目标定位能力和泛化性能。综合来看SPPELAN-AMHA结合了ELAN结构和AMHA模块的优势，在提升检测精度和定位能力的同时，保持了较低的参数量，证明了其作为YOLOv8空间金字塔池化模块的有效性和适应性。
表 3 空间金字塔池化模块对比实验结果Table 3 Comparison results of spatial pyramid pooling modules空间金字塔池化模块 P/% R/% mAP50/% mAP50-95/% Params/106 SPPF 86.9 78.0 84.8 58.5 3.0 SPPF-AMHA 82.3 85.0 85.3 58.7 3.2 SPPELAN 81.8 81.3 85.5 58.5 2.8 SPPELAN-AMHA 86.4 81.3 86.5 59.2 3.0 注：加粗数据为最优值。 2.4.3 颈部网络对比实验
为评估选择ADFPN作为YOLOv8新颈部网络的合理性，本文选择与主流的AFPN (asymptotic feature pyramid network)[29]、BiFPN[30]和GFPN(generalized feature pyramid network)[31]进行对比实验，实验结果如表4所示。
表 4 颈部网络对比实验结果Table 4 Comparison results of neck networksNeck P/% R/% mAP50/% mAP50-95/% Params/106 原模型 86.9 78.0 84.8 58.5 3.0 AFPN 80.7 79.2 81.3 54.9 2.5 Bi-FPN 81.6 77.9 84.0 56.2 2.0 GFPN 82.6 80.2 84.2 56.9 3.2 ADFPN 89.6 76.4 86.8 56.9 3.0 注：加粗数据为最优值。 实验结果表明，ADFPN在保持较少参数量的同时，展现出了优异的检测性能，其mAP50和mAP50-95分别达到86.8%和56.9%，证明了该模块在目标检测任务中的精度优势。同时，ADFPN的精确率和召回率分别达到89.6%和76.4%，在确保高精度检测的同时，也具备较好的稳定性。尽管相较于其他颈部结构，ADFPN的召回率略有下降，但其更高的精确率以及整体检测性能的优化，表明其在目标定位和误检控制方面表现更佳。这一改进得益于ADFPN通过多尺度特征融合机制，增强了不同层级特征的信息交互，使高层特征能够获得更丰富的语义信息，同时保留低层特征的细节表达，从而提升目标检测的准确性和鲁棒性。
2.4.4 模块消融实验
为了验证本文提出各个模块的有效性，设计了7组消融实验，消融实验对比结果如表5所示，表中“√”代表该检测算法含有相应模块。其中A表示使用EEFE模块，B表示使用SPPELAN-AMHA模块，C表示采用ADFPN颈部网络，D表示采用替换损失函数为Shape-IoU。
表 5 模块消融实验结果Table 5 Ablation study results of modules实验 A B C D AP/% P/% R/% mAP50/% mAP50-95/% Params/106 FPS/(帧/s) SE CR GO 1 92.6 78.5 83.1 86.9 78.0 84.8 58.5 3.0 187.5 2 √ 94.1 79.1 86.6 89.5 81.4 86.6 60.4 3.4 168.0 3 √ 93.8 81.5 84.2 86.4 81.3 86.5 59.2 3.0 181.3 4 √ √ 94.4 82.1 84.8 91.2 78.6 87.1 60.1 3.5 153.6 5 √ 91.8 83.6 84.8 89.6 76.4 86.8 56.9 3.0 206.7 6 √ √ √ 92.8 85.9 86.5 90.5 82.1 88.4 59.5 3.5 175.2 7 √ √ √ √ 94.5 86.8 87.2 91.7 80.2 89.5 59.2 3.5 171.3 注：SE为表面侵蚀(surface_erosion)，CR为裂纹(cracks)，GO为凝胶漆涂层脱落(gelcoat off)；加粗数据为最优值。 实验表明，相比于基线模型，实验2将主干网络中的C2f结构替换为EEFE模块，mAP50提高了1.8%，精确率和召回率分别提升2.6%和3.4%，在3种缺陷上的识别精度也有所提升，表明EEFE通过获取更多的边缘细节，优化对不规则目标边界特征的提取，改善模型的检测效果。实验3将SPPF模块替换为SPPELAN-AMHA模块，虽然精确率有些许下降，但其他指标均稳中有升，显示出SPPELAN-AMHA模块通过自适应多头自注意力机制实现全局特征的加权聚合，有利于对上下文信息的捕获，降低了复杂背景对模型的干扰，提高了模型对多尺度目标的捕获。实验4同时引入了EEFE和SPPELAN-AMHA模块，相比单独替换这两个模块，组合效果更为显著，尤其在表面侵蚀和裂纹类别上有更高的识别精度，表明两者在特征提取和表达上的协同作用。实验5使用ADFPN颈部网络结构，mAP50、精确率和FPS均有所提高，表明ADFPN在增强跨尺度特征融合能力的同时提高了模型检测速度。实验6同时使用EEFE、SPPELAN-AMHA和ADFPN，mAP50显著提升至88.4%，精确率达到90.5%，召回率达到82.1%，表明在特征提取、表达和聚合的全方位优化下，模型在对风机叶片缺陷的检测性能得到全面提升。实验7在实验6的基础上，将损失函数替换为Shape-IoU，mAP50和mAP50-95分别提高了4.7%和0.7%，且对3类缺陷的识别精度也达到了新高，这表明Shape-IoU的引入进一步优化了边界匹配和定位精度，改善了模型的漏检、误检情况。综上所述，4种改进方法联合应用效果最佳，改进后的模型虽增加了参数量和检测时间，但提高了模型的检测精度，验证了本文算法在检测精度与检测速度之间达成了良好的权衡，具有较高的实际应用价值。
为了更直观地展示本文算法对风机叶片缺陷检测的改进效果，以热力图形式展示原始模型和本文模型对3类缺陷的识别效果，热力图对比结果如图10所示。由结果1和结果2分析可知，相较于基线模型，本文算法在加入EEFE模块后注意力更加集中于缺陷区域，边缘轮廓更加清晰，说明该模块提升了模型的边缘感知能力。由结果1和结果3分析可知，在加入SPPELAN-AMHA模块后，模型通过自适应多头局部注意力机制更有效地捕捉全局与局部特征，降低复杂背景干扰的同时提高了对多尺度目标的检测性能。由结果1分析可知，基线模型对小目标缺陷的响应能力有限，本文算法通过使用ADFPN显著解决了该问题，增强了对小目标的检测效果。综上所述，本文算法对缺陷区域的关注更加准确，减少了漏检误检的情况，证明了本文算法改进的有效性。
图 10 热力图对比结果Fig. 10 Comparison of heatmap results下载:
全尺寸图片
2.4.5 对比实验
为了验证本文算法对风机叶片缺陷检测的优势，将其与当前先进的目标检测算法进行对比，对比模型分别为Faster R-CNN、RT-DETR(real-time detection Transformer)[32]和YOLO系列目标检测算法，各模型均采用默认网络参数，实验结果如表6所示。
表 6 对比实验结果Table 6 Comparison experiment results模型 AP/% P/% R/% mAP50/% mAP50-95/% Params/106 FPS/(帧/s) SE CR GO Faster R-CNN 90.0 72.6 48.1 40.7 79.6 70.2 47.3 28.3 20.3 RT-DETR 89.1 75.6 85.1 84.8 77.1 83.3 53.6 19.9 40.4 YOLOv5n 93.0 78.4 84.9 84.0 84.4 85.4 58.7 2.5 167.0 YOLOv7-tiny 90.4 79.0 87.2 84.8 79.6 85.5 54.0 6.0 183.3 YOLOv8n 92.6 78.5 83.1 86.9 78.0 84.8 58.5 3.0 187.5 YOLOv9c 94.0 76.0 85.6 86.2 77.9 85.2 58.7 21.1 80.9 YOLOv10n 91.1 72.5 80.3 82.8 77.2 81.3 57.0 2.7 143.4 YOLOv11n 91.5 78.7 81.7 81.4 83.1 84.0 57.5 2.6 132.7 本文模型 94.5 86.8 87.2 91.7 80.2 89.5 59.2 3.5 171.3 注：SE为表面侵蚀(surface_erosion)，CR为裂纹(cracks)，GO为凝胶漆涂层脱落(gelcoat off)；加粗数据为最优值。 由实验结果可知，本文算法在表面侵蚀、裂纹和凝胶漆涂层脱落3类目标上的AP值分别达到94.5%、86.8%和87.2%，均高于其他算法，其中裂纹类别的识别精度更是远高于其他检测算法，显示出本文算法在边界复杂、形态不规则目标上的强大特征表达能力。相较于其他检测算法，本文算法在保持较小参数量的同时，精确率、mAP50和mAP50-95都有明显提升，体现了本文算法的实用性和性能优越性。而且本文算法的FPS为171.3帧/s，仅略低于YOLOv7-tiny和YOLOv8n，具有较高的检测速度，可以满足风机检测的实时性要求。
图11为本文算法与其他算法的目标检测效果可视化对比图。图11(a)可以看出，本文算法在复杂背景场景下对风机叶片表面侵蚀的检测效果最好；图11(b)可以看出，在小目标场景下本文算法精准识别出裂纹缺陷，且没有出现误检现象；图11(c)可以看出，在多尺度场景下，其他算法大多出现了漏检、误检的现象，但本文算法能够正确检测出所有缺陷。
图 11 可视化对比结果Fig. 11 Visualization of comparison results下载:
全尺寸图片
2.4.6 多随机种子实验
为了验证模型性能的稳定性与鲁棒性，本文在固定训练策略和参数设置的基础上，进行了多随机种子实验，实验结果如表7所示。
表 7 多随机种子实验结果Table 7 Multiple random seed experiment resultsseed P/% R/% mAP50/% mAP50-95/% 45 90.0 79.6 88.7 59.7 123 91.7 80.2 89.5 59.2 345 90.6 80.6 89.1 59.4 789 91.3 81.5 90.1 59.1 1234 92.0 81.7 89.8 59.2 均值 91.1 80.7 89.4 59.3 标准差 0.8 0.9 0.5 0.2 注：加粗数据为最优值。 由实验结果可知，在不同随机种子设置下，本文算法的各项性能指标均表现出良好的稳定性。其中，mAP50 的标准差为 0.5，表明在不同初始化条件下，检测精度波动较小。精确率和召回率的标准差分别为 0.8 和 0.9，进一步说明模型在检测结果上具有较高的一致性和鲁棒性。综上所述，本文算法在多种随机初始化条件下均能保持稳定的性能表现，验证了其良好的鲁棒性与泛化能力。
3. 结束语
针对风机叶片航拍图像背景复杂、缺陷目标小、尺度多变、形态不规则等因素所导致的漏检与误检问题，本文提出了一种融合边缘增强与多尺度特征聚合的风机叶片缺陷检测算法。在主干网络中，引入了EEFE模块与SPPELAN-AMHA空间金字塔池化模块；在颈部网络中，提出了MFA模块并全新设计了ADFPN特征融合结构。实验结果表明，EEFE模块能更好地整合全局语义信息与局部边缘细节，显著提升了模型对目标边界的感知能力；SPPELAN-AMHA模块通过自适应多头自注意力机制实现全局特征的加权聚合，增强了模型对空间上下文信息的理解能力，优化了特征提取与表达；ADFPN颈部网络使多尺度信息得以充分交互，从而更完整地保留小目标的特征信息。整体而言，该算法在风机叶片缺陷检测上取得了显著成效，有效缓解了误检与漏检现象，为风机叶片智能巡检提供了重要技术支撑。虽然该算法带来了检测性能的提升，但稍增的参数量使得检测速度有所下降，后续仍需朝着模型轻量化的方向进一步优化。
-
图 1 融合边缘增强与多尺度特征聚合的风机叶片缺陷目标检测算法框架
Fig. 1 Framework of the algorithm for wind turbine blade defect detection by integrating edge enhancement and multi-scale feature aggregation
下载:
全尺寸图片
图 2 EEFE模块结构
Fig. 2 EEFE module structure
下载:
全尺寸图片
图 3 EAM模块结构
Fig. 3 EAM module structure
下载:
全尺寸图片
图 4 AMHA模块结构
Fig. 4 AMHA module structure
下载:
全尺寸图片
图 5 ASF流程
Fig. 5 ASF Flowchart
下载:
全尺寸图片
图 6 SPPELAN-AMHA模块结构
Fig. 6 SPPELAN-AMHA module structure
下载:
全尺寸图片
图 7 MFA模块结构
Fig. 7 MFA module structure
下载:
全尺寸图片
图 8 ADFPN颈部网络结构
Fig. 8 ADFPN neck network structure
下载:
全尺寸图片
图 9 风机叶片缺陷样本
Fig. 9 Samples of wind turbine blade defects
下载:
全尺寸图片
图 10 热力图对比结果
Fig. 10 Comparison of heatmap results
下载:
全尺寸图片
图 11 可视化对比结果
Fig. 11 Visualization of comparison results
下载:
全尺寸图片
表 1 实验环境配置
Table 1 Experimental environment configuration
名称 型号 操作系统 Ubuntu20.04 CPU Intel(R) Xeon(R) Gold 6148 GPU NVIDIA GeForce RTX 4090 CUDA 12.2 Python 3.10.13 深度学习框架 PyTorch2.1.2 表 2 EEFE模块位置消融实验结果
Table 2 Ablation study results on the position of the EEFE module
位置 P/% R/% mAP50/% mAP50-95/% Params/106 不替换 86.9 78.0 84.8 58.5 3.0 替换主干 89.5 81.4 86.6 60.4 3.4 替换颈部 84.1 80.0 85.4 60.2 3.7 全部替换 82.4 81.8 84.6 57.6 4.1 注：加粗数据为最优值。 表 3 空间金字塔池化模块对比实验结果
Table 3 Comparison results of spatial pyramid pooling modules
空间金字塔池化模块 P/% R/% mAP50/% mAP50-95/% Params/106 SPPF 86.9 78.0 84.8 58.5 3.0 SPPF-AMHA 82.3 85.0 85.3 58.7 3.2 SPPELAN 81.8 81.3 85.5 58.5 2.8 SPPELAN-AMHA 86.4 81.3 86.5 59.2 3.0 注：加粗数据为最优值。 表 4 颈部网络对比实验结果
Table 4 Comparison results of neck networks
Neck P/% R/% mAP50/% mAP50-95/% Params/106 原模型 86.9 78.0 84.8 58.5 3.0 AFPN 80.7 79.2 81.3 54.9 2.5 Bi-FPN 81.6 77.9 84.0 56.2 2.0 GFPN 82.6 80.2 84.2 56.9 3.2 ADFPN 89.6 76.4 86.8 56.9 3.0 注：加粗数据为最优值。 表 5 模块消融实验结果
Table 5 Ablation study results of modules
实验 A B C D AP/% P/% R/% mAP50/% mAP50-95/% Params/106 FPS/(帧/s) SE CR GO 1 92.6 78.5 83.1 86.9 78.0 84.8 58.5 3.0 187.5 2 √ 94.1 79.1 86.6 89.5 81.4 86.6 60.4 3.4 168.0 3 √ 93.8 81.5 84.2 86.4 81.3 86.5 59.2 3.0 181.3 4 √ √ 94.4 82.1 84.8 91.2 78.6 87.1 60.1 3.5 153.6 5 √ 91.8 83.6 84.8 89.6 76.4 86.8 56.9 3.0 206.7 6 √ √ √ 92.8 85.9 86.5 90.5 82.1 88.4 59.5 3.5 175.2 7 √ √ √ √ 94.5 86.8 87.2 91.7 80.2 89.5 59.2 3.5 171.3 注：SE为表面侵蚀(surface_erosion)，CR为裂纹(cracks)，GO为凝胶漆涂层脱落(gelcoat off)；加粗数据为最优值。 表 6 对比实验结果
Table 6 Comparison experiment results
模型 AP/% P/% R/% mAP50/% mAP50-95/% Params/106 FPS/(帧/s) SE CR GO Faster R-CNN 90.0 72.6 48.1 40.7 79.6 70.2 47.3 28.3 20.3 RT-DETR 89.1 75.6 85.1 84.8 77.1 83.3 53.6 19.9 40.4 YOLOv5n 93.0 78.4 84.9 84.0 84.4 85.4 58.7 2.5 167.0 YOLOv7-tiny 90.4 79.0 87.2 84.8 79.6 85.5 54.0 6.0 183.3 YOLOv8n 92.6 78.5 83.1 86.9 78.0 84.8 58.5 3.0 187.5 YOLOv9c 94.0 76.0 85.6 86.2 77.9 85.2 58.7 21.1 80.9 YOLOv10n 91.1 72.5 80.3 82.8 77.2 81.3 57.0 2.7 143.4 YOLOv11n 91.5 78.7 81.7 81.4 83.1 84.0 57.5 2.6 132.7 本文模型 94.5 86.8 87.2 91.7 80.2 89.5 59.2 3.5 171.3 注：SE为表面侵蚀(surface_erosion)，CR为裂纹(cracks)，GO为凝胶漆涂层脱落(gelcoat off)；加粗数据为最优值。 表 7 多随机种子实验结果
Table 7 Multiple random seed experiment results
seed P/% R/% mAP50/% mAP50-95/% 45 90.0 79.6 88.7 59.7 123 91.7 80.2 89.5 59.2 345 90.6 80.6 89.1 59.4 789 91.3 81.5 90.1 59.1 1234 92.0 81.7 89.8 59.2 均值 91.1 80.7 89.4 59.3 标准差 0.8 0.9 0.5 0.2 注：加粗数据为最优值。 -
[1] 曹锦纲, 杨国田, 杨锡运. 基于RPCA和视觉显著性的风机叶片表面缺陷检测[J]. 图学学报, 2019, 40(4): 704−710. CAO Jingang, YANG Guotian, YANG Xiyun. Surface defect detection of wind turbine blades based on RPCA and visual saliency[J]. Journal of graphics, 2019, 40(4): 704−710. [2] ROGA S, BARDHAN S, KUMAR Y, et al. Recent technology and challenges of wind energy generation: a review[J]. Sustainable energy technologies and assessments, 2022, 52: 102239. doi: 10.1016/j.seta.2022.102239 [3] WANG Wenjie, XUE Yu, HE Chengkuan, et al. Review of the typical damage and damage-detection methods of large wind turbine blades[J]. Energies, 2022, 15(15): 5672. doi: 10.3390/en15155672 [4] 白健鹏, 王巍, 陈雨溪, 等. 基于轻量型YOLOv5的风机桨叶检测与空间定位[J]. 智能系统学报, 2022, 17(6): 1173−1181. doi: 10.11992/tis.202204016 BAI Jianpeng, WANG Wei, CHEN Yuxi, et al. Detection and spatial location of wind turbine blades based on lightweight YOLOv5[J]. CAAI transactions on intelligent systems, 2022, 17(6): 1173−1181. doi: 10.11992/tis.202204016 [5] CHATTERJEE J, DETHLEFS N. Scientometric review of artificial intelligence for operations & maintenance of wind turbines: The past, present and future[J]. Renewable and sustainable energy reviews, 2021, 144: 111051. doi: 10.1016/j.rser.2021.111051 [6] 贺斌, 贾建华, 赵峰, 等. 无人机在风机叶片检测中的应用[J]. 电工技术, 2019(13): 64−65. doi: 10.3969/j.issn.1002-1388.2019.13.023 HE Bin, JIA Jianhua, ZHAO Feng, et al. Application of UAV in detection of wind turbine blades[J]. Electric engineering, 2019(13): 64−65. doi: 10.3969/j.issn.1002-1388.2019.13.023 [7] TCHERNIAK D, MØLGAARD L L. Active vibration-based structural health monitoring system for wind turbine blade: Demonstration on an operating Vestas V27 wind turbine[J]. Structural health monitoring, 2017, 16(5): 536−550. doi: 10.1177/1475921717722725 [8] 郑浩, 周丽婷, 王湘明, 等. 电磁超声检测风机叶片缺陷的有限元仿真研究[J]. 电子测量技术, 2021, 44(23): 24−29. ZHENG Hao, ZHOU Liting, WANG Xiangming, et al. Finite element simulation study on electromagnetic ultrasonic detection of wind turbine blade[J]. Electronic measurement technology, 2021, 44(23): 24−29. [9] 马敏敏, 刘昊, 高毓欣, 等. 基于无人机与人工智能的风机叶片全自主巡检[J]. 电气时代, 2023(S2): 44−48. MA Minmin, LIU Hao, GAO Yuxin, et al. Automatic inspection of fan blades based on UAV and artificial intelligence[J]. Electric age, 2023(S2): 44−48. [10] LIU Wei, ANGUELOV D, ERHAN D, et al. SSD: single shot MultiBox detector[C]//Computer Vision–ECCV 2016. Cham: Springer, 2016: 21−37. [11] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 779−788. [12] REDMON J, FARHADI A. YOLO9000: better, faster, stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 6517−6525. [13] REDMON J, FARHADI A. YOLOv3: an incremental improvement[EB/OL]. (2018−04−08)[2025−01−01]. https://arxiv.org/abs/1804.02767. [14] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE, 2014: 580−587. [15] GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision. Santiago: IEEE, 2016: 1440−1448. [16] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137−1149. doi: 10.1109/TPAMI.2016.2577031 [17] ZHANG Chao, WEN Chuanbo, LIU Jihui. Mask-MRNet: a deep neural network for wind turbine blade fault detection[J]. Journal of renewable and sustainable energy, 2020, 12(5): 053302. doi: 10.1063/5.0014223 [18] LYU Liang, YAO Zhongyuan, WANG Enming, et al. Efficient and accurate damage detector for wind turbine blade images[J]. IEEE access, 2022, 10: 123378−123386. doi: 10.1109/ACCESS.2022.3224446 [19] RAN Xiukang, ZHANG Shang, WANG Hengtao, et al. An improved algorithm for wind turbine blade defect detection[J]. IEEE access, 2022, 10: 122171−122181. doi: 10.1109/ACCESS.2022.3216613 [20] 汤占军, 张朝杰, 王健, 等. 基于改进YOLOv7的风机叶片缺陷检测研究[J/OL]. 北京航空航天大学学报, 1−15. TANG Zhanjun, ZHANG Chaojie, WANG Jian, et al. Research on wind turbine blade defect detection based on improved Yolov7[J/OL]. Journal of Beijing University of Aeronautics and Astronautics, 1−15. [21] 付军军, 陈林, 童华敏, 等. 基于改进EfficientNet的海上风机叶片早期缺陷检测及分类[J]. 电子测量技术, 2024, 47(16): 110−119. doi: 10.19651/j.cnki.emt.2416268 FU Junjun, CHEN Lin, TONG Huamin, et al. Early defect detection and classification of offshore wind turbine blades based on improved EfficientNet[J]. Electronic measurement technology, 2024, 47(16): 110−119. doi: 10.19651/j.cnki.emt.2416268 [22] BOCHKOVSKIY A, WANG C Y, LIAO H M. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. (2020−04−23)[2025−01−01]. https://arxiv.org/abs/2004.10934. [23] LIN T Y, DOLLÁR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 936−944. [24] 闫建红, 冉同霄. 基于YOLOv8的轻量化无人机图像目标检测算法[J]. 图学学报, 2024, 45(6): 1328−1337. YAN Jianhong, RAN Tongxiao. Lightweight UAV image target detection algorithm based on YOLOv8[J]. Journal of graphics, 2024, 45(6): 1328−1337. [25] 赵振兵, 郭广学, 王艺衡, 等. 融合边缘感知与统计纹理知识的输电线路金具锈蚀检测[J]. 智能系统学报, 2024, 19(5): 1228−1237. doi: 10.11992/tis.202306009 ZHAO Zhenbing, GUO Guangxue, WANG Yiheng, et al. Rust detection in transmission line fittings via fusion of edge perception and statistical texture knowledge[J]. CAAI transactions on intelligent systems, 2024, 19(5): 1228−1237. doi: 10.11992/tis.202306009 [26] CHOLLET F. Xception: deep learning with depthwise separable convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 1800−1807. [27] 赵振兵, 韩钰, 唐辰康. 基于改进YOLOv8的配电线路绝缘子缺陷级联检测方法[J]. 图学学报, 2025, 46(1): 1−12. ZHAO Zhenbing, HAN Yu, TANG Chenkang. Cascade detection method for insulator defects in distribution lines based on improved YOLOv8[J]. Journal of graphics, 2025, 46(1): 1−12. [28] WANG C Y, YEH I H, MARK LIAO H Y. YOLOv9: learning what you want toLearn using programmable gradient information[C]//Computer Vision–ECCV 2024. Cham: Springer, 2025: 1−21. [29] YANG Guoyu, LEI Jie, ZHU Zhikuan, et al. AFPN: asymptotic feature pyramid network for object detection[C]//2023 IEEE International Conference on Systems, Man, and Cybernetics. Honolulu: IEEE, 2024: 2184−2189. [30] TAN Mingxing, PANG Ruoming, LE Q V. EfficientDet: scalable and efficient object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 10778−10787. [31] 凌均健, 徐东华, 朱胜山, 等. 改进YOLOv8的无人机建筑外墙缺陷检测方法[J/OL]. 光通信研究, 1−9. LING Junjian, XU Donghua, ZHU Shengshan, et al. Improved UAV-Based Building Facade Defect Detection Method Using YOLOv8[J/OL]. Study on optical communications, 1−9. [32] ZHAO Yian, LYU Wenyu, XU Shangliang, et al. DETRs beat YOLOs on real-time object detection[C]//2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2024: 16965−16974.
