不锈钢材料因具有良好的抗氧化性、抗腐蚀性和易焊接等特点逐渐被推广到储存输送、加工生产、机械制造等行业。不锈钢工件是利用焊接来实现两两结合，由于焊接存在局部不可见性，作为完整构件最薄弱区域的焊缝常会产生裂纹、气孔、夹渣、未熔合和未焊透等问题，难以实现质量可靠的两两焊接；并随着钢件的使用寿命增多和操作环境影响，钢板焊缝也会产生新的缺陷^[1]。忽视焊接产品质量造成的事故屡见不鲜，这就要求必须加强对不锈钢焊缝进行严格的质量检测，并在发现缺陷时能及时报警，对产生缺陷的原因进行分析，及时修复缺陷或停止生产，最大限度地降低经济损失，减少危险事故。

传统的不锈钢焊缝缺陷检测方法如X射线检测等由于操作复杂不易推广和对人体具有辐射等原因，对缺陷的检测精度和效率都相对较低。目前，大多研究采用超声技术进行焊缝缺陷检测。2014年西安石油大学的蔡晓龙^[2]对不锈钢焊缝X射线图像进行均值滤波、sin增强、ostu分割和边缘检测等方法对气孔和裂纹分别达到了83.908%和89.4737%的分类准确率；2017年Fan等^[3]使用支持向量机对提取的焊缝缺陷特征进行分类，获得了97%的分类精确度；2018年Chen等^[4]对不锈钢焊缝缺陷A扫信号进行特征提取，通过模式识别方法实现了对不锈钢焊缝4类缺陷95.8%的分类精度；2018年长安大学的刘梦溪等^[5]构建了一个由3层受限玻尔兹曼机叠加成的深度置信网络(deep belife networks, DBN)对裂纹、气孔、夹渣、未焊透和未融合5类不锈钢焊缝缺陷达到了平均88%的分类准确率；2019年Wang等^[6]通过提取不锈钢焊缝缺陷超声信号时频信息并使用PSO-SVM方法实现了4类缺陷95%的平均分类精度；2019年侯怀书等^[7]将傅里叶变换应用于金属管道焊缝中的缺陷类型识别，成功地将未焊透、气孔、未熔合和裂纹4种常见缺陷进行了分类。

综上所述, 目前国内外研究主要集中在夹渣、气孔、未焊透3类缺陷上，且多采用“特征提取+机器学习”的分析方法，造成提取的特征主观性强、经验性强、缺陷分类边界模糊等问题。为了进一步优化不锈钢焊缝缺陷识别技术，本文提出一种融合迁移学习的AlexNet神经网络不锈钢焊缝缺陷分类方法，以期克服传统识别方法中存在的上述问题，以及“小”样本导致卷积神经网络陷入过拟合状态的问题，在保证低计算成本的同时，能够有效提高5类焊缝缺陷识别性能。

1 网络模型 1.1 AlexNet网络模型

1989年Waibel^[8]提出第一个卷积神经网络，随着卷积神经网络的不断发展，在图像识别领域显示出了优异的性能。卷积神经网络主要包括输入层、池化层、卷积层、分类层、全连接层和输出层。卷积神经网络通过一系列卷积核实现图片关键信息的提取；池化层位于卷积层之后，对卷积层提取的特征进行压缩，在简化网络的同时提取卷积层得到的主要特征；全连接层最后对卷积层提取的特征进行组合分类。

AlexNet网络是KrizhevskyA等^[9]在2012年提出并在当年的ILSVRC比赛中获得冠军的卷积神经网络。AlexNet卷积神经网络由5层卷积层、3层池化层和3层全连接层组成，池化层位于卷积层之后，并使用线性整流(rectified linear unit, ReLU)激活函数进行非线性运算，反向传播算法实现网络参数的更新，在李飞飞等人构建的ImageNet图像分类数据库上得到训练。

1.2 迁移学习网络模型

训练复杂的卷积神经网络需要大量的标注数据和训练时间，并且大量的待训练参数，也容易导致网络收敛效果差和过拟合的问题。在图像识别任务中，由于大多数图像特征具有相关性，如物体边缘、纹理等特征高度一致，迁移学习可以将卷积神经网络在像ImageNet等大型图片数据库上训练得到的模型迁移，使用在相似性较高的图像分类任务上，从而加快并优化模型的学习效率^[10]。在新的图像分类任务中进行迁移学习时，需要对之前的卷积神经网络结构进行微调，从而更好地服务于本次任务。使用迁移学习后的图像分类任务结果表明，要比重新训练的效果还要好，泛化能力也更强^[11]。

迁移学习网络和传统深度神经网络传递过程略有不同。若I表示网络的原始输入图像，传统深度神经网络通过多次的卷积和池化操作可对原始图像I进行关键信息提取；而迁移学习则是直接利用预训练模型完成关键信息提取过程。

2 融合迁移学习的AlexNet神经网络 2.1 批量归一化层改进

Ioffe等^[12]针对神经网络中数据分布不一致的问题提出一种正则化的方法——批量归一化。批量归一化的实质是一种预处理操作，也就是对神经网络中上一层的特征输出进行归一化处理^[13]，然后再作为下一层的输入。这种预处理操作可以很好地减少参数过拟合问题，提高网络运算效率：

$ {\mu _\beta } \leftarrow \frac{1}{m}\sum\limits_{i = 1}^m {{x_i}} $

(1)

$ \sigma _\beta ^2 \leftarrow \frac{1}{m}\sum\limits_{i = 1}^m {{{({x_i} - {\mu _\beta })}^2}} $

(2)

${\hat x _i} \leftarrow \frac{{{x_i} - {\mu _\beta }}}{{\sqrt {\sigma _\beta ^2 + \varepsilon } }}$

(3)

${y_i} \leftarrow \gamma \widehat {{x_i}} + \beta \equiv B{N_{\gamma ,\beta }}({x_i})$

(4)

在网络训练过程中，BN层以mini-batch为最小单位不断更新，假设第l层有N个特征响应图，每个特征响应图的大小为M×M。BN层的工作原理如式(1)～(4)所示。其中，m表示mini-batch的大小，是特征图里面的值，ϒ和β是2个可学习的变量，BN层通过计算mini-batch中数据的均值与方差，标准化每一层的特征分布。考虑到AlexNet原结构中并没有BN层，且批量归一化作为一种新的数据处理操作在多种网络中显示出了良好效果。因此，本文设计如图1所示的2种卷积提取结构(A-AlexNet和B-AlexNet)。A-AlexNet、B-AlexNet分别在激活函数前后添加批量归一化层，来对AlexNet网络卷积层信息进行批量归一化操作。

2.2 激活函数改进

不锈钢焊缝缺陷分类是一个非线性问题，在神经网络中需要引入非线性激活函数实现整个网络的非线性。常用激活函数有Sigmoid函数、Tanh函数和ReLU函数^[14]。其中ReLU激活函数增加了网络的非线性拟合能力，加快了网络的收敛速度，因此ReLU作为大多数网络的激活函数^[15]，但ReLU激活函数可能会存在某些神经元永远不会被使用，导致某些参数永远不会被更新的问题。LeakyReLU函数输出对小于0的值有一个很小的取值区间(图2)，使静默神经元的出现得到大大缓解，对ReLU激活函数在负半轴神经元不学习的问题是一个较好的解决方法。因此本文对ReLU激活函数进行改进，采用LeakyReLU激活函数对静默神经元进行更新。

2.3 改进AlexNet迁移学习网络结构

采用美国MathWorks公司预训练AlexNet卷积神经网络模型作为本文网络的预训练模型。该模型是由ImageNet大型数据库的一个子集上训练得来，该子集通常用于ILSVRC。通过对100万张图片的预训练，使用该预训练模型的网络已经能够对1000类的图片进行分类^[16]。使用预训练模型可以减少网络训练参数，加快网络收敛获得更高的精度。经过实验，本文采用迁移学习的方法对网络的前3层进行封装，保存前3层卷积层在ImageNet上更新的参数，将后2层卷积层进行剥离并调整卷积核的个数，使图像输入时仅对后2层卷积层参数进行更新，减小卷积神经网络对输入数据量限制的同时又能使网络提取到图像的深层特征，以使网络能够更好地适应于不锈钢焊缝缺陷分类。如图3所示为改进的AlexNet迁移学习网络结构。

3 实验与结果分析 3.1 实验环境与数据集

硬件环境：i5-8300h，GTX 1050Ti 4 GB，8 GB内存。软件环境：Windows10，Matlab2019b，CUDA-10.0，cuDNN-v7.6.2.24。

通过与山西省机电设计研究院合作，在该单位搭建实验平台，制备包含裂纹、气孔、夹渣、未熔合和未焊透5类缺陷类型的试样。使用KARL DEUTSCH(ECHOGRAPH)探伤仪、Tektronix DPO 2 024B示波器和2.5P 9x9 K2.5斜探头对缺陷试样进行数据采集。实验共采集了未熔合、夹渣、未焊透、裂纹和气孔5种超声A扫缺陷数据(见图4)。

深度学习与传统的机器学习方法相比，可以从海量数据中学习到更多的高级特征，因而在深度学习中最严峻的挑战之一就是数据依赖性。由于不锈钢焊缝缺陷图像的特殊性，导致了不锈钢焊缝缺陷图像数据库并不能像ImageNet等自然图像数据库那样充足，相对于自然图像数据库来说，不锈钢焊缝缺陷数据库数据量往往非常少。为了缓解这一矛盾，本文采用数据增强方式，增大训练数据量，使模型能接受到更多缺陷特征信息，从而提升模型在本文数据集上的表现力^[17]。采用的数据增强方法主要包括小角度随机旋转、添加高斯噪声等方式对原始数据进行处理。通过数据增强操作，共获得了包含未熔合、夹渣、未焊透、裂纹和气孔5类缺陷数据共7824张，按7：2：1随机分割为训练集5634张，验证集1408张和测试集782张。

本文网络优化器采用Adam算法，Adam的优点主要在于经过偏置校正后每一次迭代学习率都有个确定范围，使得参数比较平稳。MiniBatchSize设置为128，初始学习率为0.0001,学习率衰减为每30个Epoch衰减10%。

3.2 实验结果分析 3.2.1 卷积提取结构选择

为了更好地选择卷积提取结构，本文将前期(见图1)构建的A-AlexNet、B-AlexNet与AlexNet网络原结构进行实验对比，精度对比结果如图5所示。从图5可以看出，A-AlexNet较AlexNet原结构验证精度更高且收敛更快。B-AlexNet收敛较慢，但精度在不断上升。从实验可以看出，迭代次数达到1000时，A-AlexNet精度为90.48%，B-AlexNet精度为80.89%，AlexNet原结构精度为85.01%。出现此结果的原因为：AlexNet原结构卷积之后没有进行BN操作，使用激活函数导致小于零的参数静默；B-AlexNet在ReLU激活函数后进行BN操作，精度没有提高，说明实验中存在一部分处于负区间的参数，而该结构同AlexNet原结构一样没有对静默的神经元产生影响；A-AlexNet在卷积之后进行BN操作，使用激活函数使无用神经元静默，有效地加快了网络收敛速度，提高了网络识别精度。可知，A-AlexNet卷积提取结构明显好于B-AlexNet和AlexNet原结构。因此，本文网络采用A-AlexNet卷积提取结构，接下来的对比实验中均采用在卷积操作之后添加BN层的结构。

3.2.2 验证激活函数改进效果

图6是采用LeakyReLU与ReLU激活函数验证精度对比图，展示了训练迭代次数达到1000次时的验证精度变化曲线，虚线为A-AlexNet算法的精度变化，实线为在A-AlexNet算法基础上进一步对激活函数LeakyReLU改进后的C-AlexNet算法精度变化。实验表明，在迭代次数达到1000次时，网络已经基本收敛，改进后的算法在验证精度方面相比原结构提高了1.35%。

这是因为卷积层进行特征提取后，网络中的一些参数小于零，ReLU激活函数由于在负半轴导数为零，造成了这些神经元静默。改进后的激活函数LeakyReLU由于在负半轴永不为零，所以能够对这一部分神经元进行激活，从而参加下一卷积层的运算，提高网络精度。

3.2.3 本文算法性能验证

本文网络采用3.1节设置实验环境进行训练，当迭代次数达到1000次时结束训练，网络识别精度达到95.12%，并在验证集中随机选取6张图片对模型进行测试，测试结果如图7。

为了进一步验证改进后的AlexNet迁移学习网络在不锈钢焊缝缺陷数据集上的表现，本文分别统计了未熔合、夹渣、未焊透、裂纹和气孔5类不锈钢焊缝缺陷的识别精度、召回率和F₁值来评价模型性能，实验结果如表1所示。从表1可以看出，气孔和未熔合的识别效果相对较高，裂纹、夹渣和未焊透3类缺陷识别效果相对较低，这是因为这3类缺陷图像相似性较高，识别过程中有较大难度，因此识别效果相对较低。为了验证本文方法在不锈钢焊缝缺陷数据集上的性能，将本文模型与未经预训练的CNN模型^[18]、VGGNet模型^[19]和Inception_V3模型^[20]进行对比，分析各实验在运行1000次后的准确率和运行时间情况以及运行1500次后的精度变化，对比结果如表2和图8所示。

从表2和图8可以看出：本文模型在迭代1000次时运行时间为45 min，是CNN、VGG和Inception_V3模型运行时间的1.9、1.2和1.1倍，主要是由于本文模型参数较多，计算量较大，迭代相同次数所需时间较长；准确率达到了95%左右，较CNN、VGG和Inception_V3模型分别提高了32%、72%和70%，究其原因主要是CNN比本文网络层次浅，不能提取到图像的深层特征，但参数较少，所以耗时较本文模型有一个很大的优势。从图8可以看出,由于VGG和Inception_V3都属于大型的深度提取网络，对图像数量有较严格的标准，当数据集较小时提取不到充分的缺陷信号特征，对准确率有一个较大的影响。

4 结束语

本文针对传统人工提取信号特征+机器学习方法存在操作人员主观随意性强、提取特征不充分等问题，选择采用卷积神经网络自动提取不锈钢焊缝缺陷数据特征进行分类。针对不锈钢焊缝缺陷数据较少的特点，采用数据增强的方式对原始数据进行扩充。然后对AlexNet网络结构进行调整，使用迁移学习的方法冻结网络的前3层减小网络对输入数据量的限制，之后采用批量归一化加快网络运算效率，并使用LeakyReLU函数对抑制神经元进行重新激活，从而提出一种融合迁移学习的AlexNet神经网络不锈钢焊缝缺陷分类模型。最后通过实验不断优化网络参数，本文模型最终达到95.12%的准确率，验证了本文模型在不锈钢焊缝缺陷分类上的有效性。本文是基于AlexNet改进的卷积神经网络模型，相比于现有模型，参数量较多，训练时间相对较长，还需要继续对VGG和Inception_V3网络进行研究，通过与不锈钢焊缝缺陷分类任务相结合，使改进后的网络不仅可以获得较高的准确率，而且还可以缩短收敛速度，以适应现代化工业生产。