2. 河南理工大学,河南 焦作 454003
2. Henan Polytechnic University, Jiaozuo 454003, China
目前中大型船舶的主要建造形式是将船舶各部分通过焊接的方法进行组合[1]。建造一艘船舶至少25%~40%的时间消耗在船舶焊接中[2]。船舶的焊接性能是船舶密闭性的保证,因此对船舶焊接处的检测至关重要[3]。
张人杰等[4]利用M-SMOTE算法对焊缝样本进行精细化处理,提取焊缝的不同特征,经AP聚类后输入神经网络完成对船体焊缝的的缺陷检测。高翌飞等[5]分析FPSO弯管特点,结合相控阵超声,制作出相控阵扫描器,能够契合FPSO弯管,实现对FPSO弯管在狭小空间的焊缝检测。上述方法虽然能够完成对船体焊缝缺陷的检测,但也存在着一定的缺点。如对于船体焊缝图像的采集要求严格、检测时间长,对于一些微小的缺陷存在检测准确率过低甚至无法检测的问题,对于正常的焊缝缺陷存在检测准确率不高的问题等。
改进的YOLOv5具有轻量化、易部署、速度快、准确度高等优点[6],因此研究基于改进YOLOv5的船体焊缝缺陷自动检测,可更加准确且快速完成船体焊缝检测。
1 船体焊缝缺陷自动检测 1.1 船体焊缝图像采集及处理在多种光照条件下,对不同产品焊接处进行图像采集形成数据集。由于船体焊缝图像的质量会直接影响到船体焊缝检测的结果,因此需要对船体焊缝图像进行处理。本文利用灰度变化方法对采集到的船体焊接图像进行处理[7],即可以避免图像中的特征消失,也可以提高正常焊缝与存在缺陷的焊缝间的对比度,使船体焊缝缺陷检测更加容易。
对船体焊缝图像进行正弦灰度计算完成图像的处理,正弦灰度计算公式如下:
$ g\left( {x,y} \right) = \sin \left( {{\text π} r} \right),$ | (1) |
$ r = \frac{{f\left( {x,y} \right) - \min \left( f \right)}}{{\max \left( f \right) - \min \left( f \right)}} 。$ | (2) |
式中:g(x,y)为输出像素灰度值;f(x,y)为输入像素灰度值;min(f)、max(f)分别为输入像素灰度值的最小值、最大值;
在YOLOv5网络中,主要组成部分为Input、Backbone、Neck以及Head。将灰度变换后的焊缝图像通过Input输入到YOLOv5网络中,Backbone的作用为提取焊缝图像特征,包含Focus、SPP以及CSP。Focus主要完成焊缝图像的压缩,使焊缝特征的提取速度加快;SPP通过池化功能增加网络感受野,使网络可以处理多尺度问题;CSP用于提取焊缝图像特征,其中包含基本卷积CBS模块。Neck的主要作用是将Backbone中提取的焊缝特征进行融合。Head是检测网络也作为YOLOv5网络的输出层,通过损失函数去除多余目标框,根据图形特征进行检测得到最佳船体焊缝缺陷检测结果。YOLOv5网络的船体焊缝检测结构如图1所示。
通过图1可知,用于船体焊缝检测的YOLOv5结构中存在诸多CBS模块,由于在CBS模块中存在卷积层,且大量的卷积层会增加网络的负载,给计算带来压力。因此,对YOLOv5网络中Backbone部分的CSP1残差模块进行改进[8],使用GhostNet进行替换,改进后的CSP1如图2所示。
采用GhostNet替换卷积层,GhostNet内部采用冗余特征生成器与卷积层相结合,此种组合方式可以有效降低网络资源使用和计算时间。与一般卷积层相比,GhostNet卷积层需要两步完成卷积,一般卷积公式为:
$ Y = X \times f + b,$ | (3) |
其计算量为:
$ FLOP = H' \times W' \times N \times c \times k \times k ,$ | (4) |
GhostNet卷积公式为:
$ \left\{ \begin{gathered} Y' = X \times f' ,\\ {Y_{ij}} = {\varphi _{i,j}}\left( {{{Y'}_i}} \right), i \in \left[ {1,m} \right], j \in \left[ {1,s} \right],\\ \end{gathered} \right. $ | (5) |
GhostNet卷积计算量为:
$ \begin{gathered} FLOP = H' \times W' \times n \times c \times k \times k + \\ H' \times W' \times \left( {N - n} \right) \times c \times k \times k,n \leqslant N。\\ \end{gathered} $ | (6) |
式中:
GhostNet卷积如图3所示。
应用改进YOLOv5网络的损失函数采用的是CIoU,基于DIoU损失函数,并考虑了两框的长宽比后形成的。其中DIoU损失函数的计算公式为:
$ {L_{DIoU}} = 1 - IoU + \frac{{{\rho ^2}\left( {b',{b^{gt}}} \right)}}{{{o^2}}}。$ | (7) |
式中:
CIoU的计算公式为:
$ {L_{CIoU}} = 1 - IoU + \frac{{{\rho ^2}\left( {b',{b^{gt}}} \right)}}{{{o^2}}} + av 。$ | (8) |
其中:
$ v = \frac{4}{{{{\text π} ^2}{{\left( {\arctan \dfrac{{{\omega ^{gt}}}}{{{h^{gt}}}} - \arctan \dfrac{{\omega '}}{{h'}}} \right)}^2}}} ,$ | (9) |
$ a = \frac{v}{{1 - IoU + v}}。$ | (10) |
式中:
选择某货轮进行船体焊缝缺陷检测,其参数如表1所示。
为验证本文正弦灰度的计算效果,选择船中某处具有缺陷的焊缝采集图像并利用正弦灰度变换和伽马灰度变换2种方式对图像进行处理,并对比二者的焊缝缺陷检测结果,如图4所示。可知,当采用伽马灰度变换时图像较为模糊,基本无法有效突出焊缝缺陷特征点,导致焊缝缺陷检测结果不精确,预测框较大;而采用正弦灰度变换则能够准确地突出缺陷所在位置的特征点,获取精准的焊缝缺陷检测结果。
为保证网络的检测准确性,需要对YOLOv5网络进行足够的训练。准备各种焊缝缺陷图像各500幅进行训练,训练结果如图5所示。可知,网络的损失值随着训练次数的增加逐渐减小,损失函数在前100次的训练中收敛速度极快,并在200次训练后损失逐渐达到平稳状态,经过500次训练后平均准确度达到98%,损失函数为0.15。
为证明本文方法的实际应用效果,随机采集船舶5处焊缝进行缺陷检测,检测结果如表2所示。可知,仅在船长室中的焊缝处发现缺陷,关键的货舱和轮机室未发现焊缝缺陷,说明该船舶的焊接大部分处于合格状态,也证明了本文方法能够准确检测出不易发现的焊缝缺陷。
本文方法对焊缝图像进行的灰度变换,可使图像更加清晰,训练的网络准确率高损失值低,并且能够快速准确发现船舶中的隐藏焊缝缺陷。
[1] |
岳颖, 李丛, 张勇, 等. 全站仪测量系统在船舶建造中的应用[J]. 测绘科学技术学报, 2020, 37(3): 258-263. YUE Ying, LI Cong, ZHANG Yong, et al. Application of total station measurement system in ship construction[J]. Journal of Geomatics Science and Technology, 2020, 37(3): 258-263. |
[2] |
杨先威, 张发军, 曹磊, 等. 船舶焊接末端受电抖振及其电频细化[J]. 船舶工程, 2020, 42(9): 99-104. YANG Xian-wei, ZHANG Fa-jun, CAO Lei, et al. Electric Shaking at welding end of ship and its electrical frequency refinement[J]. Ship Engineering, 2020, 42(9): 99-104. |
[3] |
朱小俊, 薛延华, 曾广会, 等. 小尺度船舶密闭舱室舱壁升温传热及温度分布试验研究[J]. 中国造船, 2020, 61(4): 123-132. ZHU Xiao-jun, XUE Yan-hua, ZENG Guang-hui, et al. Experimental research of heat transfer and temperature distribution of bulkhead in scale ship's sealed cabin[J]. Shipbuilding of China, 2020, 61(4): 123-132. DOI:10.3969/j.issn.1000-4882.2020.04.014 |
[4] |
张人杰, 陈卫彬, 孙宏伟, 等. 基于AP聚类和深度卷积网络的船舶焊缝缺陷检测[J]. 船舶工程, 2021, 43(8): 131-137. ZHANG Ren-jie, CHEN Wei-bin, SUN Hong-wei, et al. Ship Weld defect detection based on AP clustering and deep convolutional Network[J]. Ship Engineering, 2021, 43(8): 131-137. |
[5] |
高翌飞, 邱志超, 章林寒, 等. FPSO弯管焊缝相控阵超声检测工艺及装备开发[J]. 船舶工程, 2020, 42(S1): 415-419. GAO Yi-fei, QIU Zhi-chao, ZHANG Lin-han, et al. Development of phased array ultrasonic testing Technology and equipment for bent pipe welds in FPSO[J]. Ship Engineering, 2020, 42(S1): 415-419. DOI:10.13788/j.cnki.cbgc.2020.S1.096 |
[6] |
余鸿晖, 郑积仕, 张世文, 等. 基于改进YOLOv5的整车原木数量检测方法[J]. 林业工程学报, 2022, 7(4): 135-143. YU Hong-hui, ZHENG Ji-shi, ZHANG Shi-wen, et al. Estimation of volume for logs on a vehicle using improved YOLOv5 algorithm[J]. Journal of Forestry Engineering, 2022, 7(4): 135-143. |
[7] |
游达章, 陶加涛, 张业鹏, 等. 基于灰度变换及改进Retinex的低照度图像增强[J]. 红外技术, 2023, 45(2): 161-170. YOU Da-zhang, TAO Jia-tao, ZHANG Ye-peng, et al. Low-light image enhancement based on gray scale transformation and improved retinex[J]. Infrared Technology, 2023, 45(2): 161-170. |
[8] |
吕晓玲, 杨胜月, 张明路, 等. 改进YOLOv5网络的鱼眼图像目标检测算法[J]. 计算机工程与应用, 2023, 59(6): 241-250. LV Xiao-ling, YANG Sheng-yue, ZHANG Ming-lu, et al. Improved fisheye image target detection algorithm based on YOLOv5 Network[J]. Computer Engineering and Applications, 2023, 59(6): 241-250. |