舰船科学技术  2023, Vol. 45 Issue (19): 185-188    DOI: 10.3404/j.issn.1672-7649.2023.19.035   PDF    
基于改进YOLOv5的船体焊缝缺陷自动检测方法
杜玉红1, 叶萧然1, 侯守明2     
1. 河南理工大学 鹤壁工程技术学院,河南 鹤壁 458030;
2. 河南理工大学,河南 焦作 454003
摘要: 为解决采用人工手段检测船体焊缝速度慢、准确度低的问题,提出基于改进YOLOv5的船体焊缝缺陷自动检测方法。利用相机采集船体焊缝图像,使用正弦灰度变换对焊缝图像进行处理,避免焊缝图像特征消失,提高正常焊缝与存在缺陷焊缝间的对比度,将处理后焊缝图像作为YOLOv5网络的输入样本,经网络Backbone、Neck以及Head部分处理,输出焊缝缺陷自动检测结果,并使用GhostNet替换YOLOv5网络主体部分的一般卷积层(CBS),降低网络进行船体焊缝缺陷检测的计算量和资源消耗量。实验结果表明,采用正弦灰度变换后的图像更加清晰,可突出显示焊缝缺陷特征,提升焊缝缺陷检测结果精准。改进后网络训练损失函数为0.15,平均准确率为98%,可实现不同焊缝位置的缺陷检测。
关键词: YOLOv5     船体焊缝     缺陷检测     网络优化     灰度变换     图像采集    
Automatic detection method of hull weld defects based on improved YOLOv5
DU Yu-hong1, YE Xiao-ran1, HOU Shou-ming2     
1. Hebi Instiute of Engineering and Technology, Henan Polytechnic University, Hebi 458030, China;
2. Henan Polytechnic University, Jiaozuo 454003, China
Abstract: To solve the problems of slow speed and low accuracy in manually detecting ship welds, an improved YOLOv5 based automatic detection method for ship weld defects is proposed. Using a camera to collect images of ship welds, using sine grayscale transformation to process the weld image to avoid the disappearance of weld image features and improve the contrast between normal welds and defective welds. The processed weld image is used as an input sample for the YOLOv5 network, and processed by the Backbone, Neck, and Head sections of the network to output automatic weld defect detection results, and use GhostNet to replace the general convolutional layer (CBS) of the main part of YOLOv5 network, reducing the computational and resource consumption of the network for detecting ship weld defects. The experimental results show that the image obtained by using sine grayscale transformation is clearer, highlighting the characteristics of weld defects, and improving the accuracy of weld defect detection results. The improved network training loss function is 0.15, with an average accuracy of 98%. It can achieve defect detection at different weld positions.
Key words: YOLOv5     hull weld     defect detection     network optimization     gray transform     image acquisition    
0 引 言

目前中大型船舶的主要建造形式是将船舶各部分通过焊接的方法进行组合[1]。建造一艘船舶至少25%~40%的时间消耗在船舶焊接中[2]。船舶的焊接性能是船舶密闭性的保证,因此对船舶焊接处的检测至关重要[3]

张人杰等[4]利用M-SMOTE算法对焊缝样本进行精细化处理,提取焊缝的不同特征,经AP聚类后输入神经网络完成对船体焊缝的的缺陷检测。高翌飞等[5]分析FPSO弯管特点,结合相控阵超声,制作出相控阵扫描器,能够契合FPSO弯管,实现对FPSO弯管在狭小空间的焊缝检测。上述方法虽然能够完成对船体焊缝缺陷的检测,但也存在着一定的缺点。如对于船体焊缝图像的采集要求严格、检测时间长,对于一些微小的缺陷存在检测准确率过低甚至无法检测的问题,对于正常的焊缝缺陷存在检测准确率不高的问题等。

改进的YOLOv5具有轻量化、易部署、速度快、准确度高等优点[6],因此研究基于改进YOLOv5的船体焊缝缺陷自动检测,可更加准确且快速完成船体焊缝检测。

1 船体焊缝缺陷自动检测 1.1 船体焊缝图像采集及处理

在多种光照条件下,对不同产品焊接处进行图像采集形成数据集。由于船体焊缝图像的质量会直接影响到船体焊缝检测的结果,因此需要对船体焊缝图像进行处理。本文利用灰度变化方法对采集到的船体焊接图像进行处理[7],即可以避免图像中的特征消失,也可以提高正常焊缝与存在缺陷的焊缝间的对比度,使船体焊缝缺陷检测更加容易。

对船体焊缝图像进行正弦灰度计算完成图像的处理,正弦灰度计算公式如下:

$ g\left( {x,y} \right) = \sin \left( {{\text π} r} \right),$ (1)
$ r = \frac{{f\left( {x,y} \right) - \min \left( f \right)}}{{\max \left( f \right) - \min \left( f \right)}} 。$ (2)

式中:g(x,y)为输出像素灰度值;f(x,y)为输入像素灰度值;min(f)、max(f)分别为输入像素灰度值的最小值、最大值; $ r $ 为输入相对强度;(x,y)为图像像素的坐标点。

1.2 基于YOLOv5网络的船体焊缝检测

在YOLOv5网络中,主要组成部分为Input、Backbone、Neck以及Head。将灰度变换后的焊缝图像通过Input输入到YOLOv5网络中,Backbone的作用为提取焊缝图像特征,包含Focus、SPP以及CSP。Focus主要完成焊缝图像的压缩,使焊缝特征的提取速度加快;SPP通过池化功能增加网络感受野,使网络可以处理多尺度问题;CSP用于提取焊缝图像特征,其中包含基本卷积CBS模块。Neck的主要作用是将Backbone中提取的焊缝特征进行融合。Head是检测网络也作为YOLOv5网络的输出层,通过损失函数去除多余目标框,根据图形特征进行检测得到最佳船体焊缝缺陷检测结果。YOLOv5网络的船体焊缝检测结构如图1所示。

图 1 YOLOv5网络的船体焊缝检测结构 Fig. 1 Hull Weld Inspection Structure of YOLOv5 Network
1.3 YOLOv5的主干网络改进

通过图1可知,用于船体焊缝检测的YOLOv5结构中存在诸多CBS模块,由于在CBS模块中存在卷积层,且大量的卷积层会增加网络的负载,给计算带来压力。因此,对YOLOv5网络中Backbone部分的CSP1残差模块进行改进[8],使用GhostNet进行替换,改进后的CSP1如图2所示。

图 2 改进后的CSP1 Fig. 2 Improved CSP1

采用GhostNet替换卷积层,GhostNet内部采用冗余特征生成器与卷积层相结合,此种组合方式可以有效降低网络资源使用和计算时间。与一般卷积层相比,GhostNet卷积层需要两步完成卷积,一般卷积公式为:

$ Y = X \times f + b,$ (3)

其计算量为:

$ FLOP = H' \times W' \times N \times c \times k \times k ,$ (4)

GhostNet卷积公式为:

$ \left\{ \begin{gathered} Y' = X \times f' ,\\ {Y_{ij}} = {\varphi _{i,j}}\left( {{{Y'}_i}} \right), i \in \left[ {1,m} \right], j \in \left[ {1,s} \right],\\ \end{gathered} \right. $ (5)

GhostNet卷积计算量为:

$ \begin{gathered} FLOP = H' \times W' \times n \times c \times k \times k + \\ H' \times W' \times \left( {N - n} \right) \times c \times k \times k,n \leqslant N。\\ \end{gathered} $ (6)

式中: $ b $ 为偏置; $ Y $ 为卷积输出的焊缝特征图,该焊缝特征图高为 $ H' $ ,宽为 $ W' $ ,且 $ Y \in {R^{H' \times W' \times N}} $ $ X $ 为卷积输入的焊缝图像,该焊缝图像高为 $ h $ ,通道数为 $ c $ ,宽为 $ w $ ,且 $ X \in {R^{h \times w \times c}} $ $ Y' $ 为Gost经过一般卷积后输出的焊缝特征图,该焊缝特征图大小为 $ H' \times W' $ ,数量为 $ n $ 个; $ k \times k $ 表示卷积核大小; $ f \in {R^{c \times N \times k \times k}} $ 为存在N个卷积核; $ {Y'_i} $ 为第 $ i $ 个在 $ Y' $ 中的焊缝特征图, $ {Y_{ij}} $ $ Y' $ 被卷积核变换函数 $ {\varphi _{ij}} $ 转换后生成的第j $ Ghost $ 焊缝特征图像, $ s $ $ Ghost $ 焊缝特征图像总数。

GhostNet卷积如图3所示。

图 3 GhostNet卷积 Fig. 3 GhostNet convolution
1.4 损失函数

应用改进YOLOv5网络的损失函数采用的是CIoU,基于DIoU损失函数,并考虑了两框的长宽比后形成的。其中DIoU损失函数的计算公式为:

$ {L_{DIoU}} = 1 - IoU + \frac{{{\rho ^2}\left( {b',{b^{gt}}} \right)}}{{{o^2}}}。$ (7)

式中: $ {b^{gt}} $ 为目标框; $ b' $ 为预测框; $ o $ 为两框的最小外接矩形对角线长度; $ IoU $ 为交并比; $ {\rho ^2}\left( {b',{b^{gt}}} \right) $ 为两框中心点欧氏距离。

CIoU的计算公式为:

$ {L_{CIoU}} = 1 - IoU + \frac{{{\rho ^2}\left( {b',{b^{gt}}} \right)}}{{{o^2}}} + av 。$ (8)

其中:

$ v = \frac{4}{{{{\text π} ^2}{{\left( {\arctan \dfrac{{{\omega ^{gt}}}}{{{h^{gt}}}} - \arctan \dfrac{{\omega '}}{{h'}}} \right)}^2}}} ,$ (9)
$ a = \frac{v}{{1 - IoU + v}}。$ (10)

式中: $ a $ 为权衡参数; $ v $ 为衡量长宽比一致参数; $ {\omega ^{gt}} $ 为目标框宽度; $ {h^{gt}} $ 为目标框高度; $ \omega ' $ 为预测框宽度; $ h' $ 为预测框高度。

2 仿真实验 2.1 实验对象

选择某货轮进行船体焊缝缺陷检测,其参数如表1所示。

表 1 货轮参数 Tab.1 Freighter parameters
2.2 结果与分析

为验证本文正弦灰度的计算效果,选择船中某处具有缺陷的焊缝采集图像并利用正弦灰度变换和伽马灰度变换2种方式对图像进行处理,并对比二者的焊缝缺陷检测结果,如图4所示。可知,当采用伽马灰度变换时图像较为模糊,基本无法有效突出焊缝缺陷特征点,导致焊缝缺陷检测结果不精确,预测框较大;而采用正弦灰度变换则能够准确地突出缺陷所在位置的特征点,获取精准的焊缝缺陷检测结果。

图 4 图像处理及焊缝缺陷检测结果对比 Fig. 4 Comparison of image processing and weld defect detection results

为保证网络的检测准确性,需要对YOLOv5网络进行足够的训练。准备各种焊缝缺陷图像各500幅进行训练,训练结果如图5所示。可知,网络的损失值随着训练次数的增加逐渐减小,损失函数在前100次的训练中收敛速度极快,并在200次训练后损失逐渐达到平稳状态,经过500次训练后平均准确度达到98%,损失函数为0.15。

图 5 网络训练结果 Fig. 5 Network training results

为证明本文方法的实际应用效果,随机采集船舶5处焊缝进行缺陷检测,检测结果如表2所示。可知,仅在船长室中的焊缝处发现缺陷,关键的货舱和轮机室未发现焊缝缺陷,说明该船舶的焊接大部分处于合格状态,也证明了本文方法能够准确检测出不易发现的焊缝缺陷。

表 2 检测结果 Tab.2 Test results
3 结 语

本文方法对焊缝图像进行的灰度变换,可使图像更加清晰,训练的网络准确率高损失值低,并且能够快速准确发现船舶中的隐藏焊缝缺陷。

参考文献
[1]
岳颖, 李丛, 张勇, 等. 全站仪测量系统在船舶建造中的应用[J]. 测绘科学技术学报, 2020, 37(3): 258-263.
YUE Ying, LI Cong, ZHANG Yong, et al. Application of total station measurement system in ship construction[J]. Journal of Geomatics Science and Technology, 2020, 37(3): 258-263.
[2]
杨先威, 张发军, 曹磊, 等. 船舶焊接末端受电抖振及其电频细化[J]. 船舶工程, 2020, 42(9): 99-104.
YANG Xian-wei, ZHANG Fa-jun, CAO Lei, et al. Electric Shaking at welding end of ship and its electrical frequency refinement[J]. Ship Engineering, 2020, 42(9): 99-104.
[3]
朱小俊, 薛延华, 曾广会, 等. 小尺度船舶密闭舱室舱壁升温传热及温度分布试验研究[J]. 中国造船, 2020, 61(4): 123-132.
ZHU Xiao-jun, XUE Yan-hua, ZENG Guang-hui, et al. Experimental research of heat transfer and temperature distribution of bulkhead in scale ship's sealed cabin[J]. Shipbuilding of China, 2020, 61(4): 123-132. DOI:10.3969/j.issn.1000-4882.2020.04.014
[4]
张人杰, 陈卫彬, 孙宏伟, 等. 基于AP聚类和深度卷积网络的船舶焊缝缺陷检测[J]. 船舶工程, 2021, 43(8): 131-137.
ZHANG Ren-jie, CHEN Wei-bin, SUN Hong-wei, et al. Ship Weld defect detection based on AP clustering and deep convolutional Network[J]. Ship Engineering, 2021, 43(8): 131-137.
[5]
高翌飞, 邱志超, 章林寒, 等. FPSO弯管焊缝相控阵超声检测工艺及装备开发[J]. 船舶工程, 2020, 42(S1): 415-419.
GAO Yi-fei, QIU Zhi-chao, ZHANG Lin-han, et al. Development of phased array ultrasonic testing Technology and equipment for bent pipe welds in FPSO[J]. Ship Engineering, 2020, 42(S1): 415-419. DOI:10.13788/j.cnki.cbgc.2020.S1.096
[6]
余鸿晖, 郑积仕, 张世文, 等. 基于改进YOLOv5的整车原木数量检测方法[J]. 林业工程学报, 2022, 7(4): 135-143.
YU Hong-hui, ZHENG Ji-shi, ZHANG Shi-wen, et al. Estimation of volume for logs on a vehicle using improved YOLOv5 algorithm[J]. Journal of Forestry Engineering, 2022, 7(4): 135-143.
[7]
游达章, 陶加涛, 张业鹏, 等. 基于灰度变换及改进Retinex的低照度图像增强[J]. 红外技术, 2023, 45(2): 161-170.
YOU Da-zhang, TAO Jia-tao, ZHANG Ye-peng, et al. Low-light image enhancement based on gray scale transformation and improved retinex[J]. Infrared Technology, 2023, 45(2): 161-170.
[8]
吕晓玲, 杨胜月, 张明路, 等. 改进YOLOv5网络的鱼眼图像目标检测算法[J]. 计算机工程与应用, 2023, 59(6): 241-250.
LV Xiao-ling, YANG Sheng-yue, ZHANG Ming-lu, et al. Improved fisheye image target detection algorithm based on YOLOv5 Network[J]. Computer Engineering and Applications, 2023, 59(6): 241-250.