文章快速检索  
  高级检索
基于半监督迁移学习的轴承故障诊断方法
张振良, 刘君强, 黄亮, 张曦     
南京航空航天大学 民航学院, 南京 211106
摘要: 针对航空发动机轴承故障诊断过程中预测精度不足以及过拟合的问题,提出基于迁移学习的半监督集成学习器(SSIT)用以发动机轴承故障预测。首先,训练改进的基于迁移学习的极限学习机(TELM)以及基于迁移学习的支持向量机(TSVM),分别迁移不同目标空间的高相似度样本加入到源样本空间进行训练。然后,与对应的基学习器集成同簇学习器来识别未标记样本,构成半监督学习器不断调整初始基学习器权重,并继续集成半监督基学习器的识别结果到SSIT中。通过此学习机识别提取特征后的,用以故障识别。实验结果清楚地表明:此种方法可以有效降低迁移学习中的负迁移效果,提升迁移精度10%左右,降低机器学习中的过拟合效果,提高半监督学习稳定性,与现有的预测方法相比可以提高精度9%以上。
关键词: 航空发动机     故障诊断     半监督     迁移学习     集成学习    
A bearing fault diagnosis method based on semi-supervised and transfer learning
ZHANG Zhenliang, LIU Junqiang, HUANG Liang, ZHANG Xi     
School of Civil Aviation, Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China
Received: 2019-03-11; Accepted: 2019-07-05; Published online: 2019-07-15 11:10
Corresponding author. LIU Junqiang. E-mail:liujunqiang@nuaa.edu.cn
Abstract: Aimed at the problems of insufficient prediction accuracy and over-fitting in the fault diagnosis process of aero-engine bearing, a semi-supervised integrated learning device based on transfer learning (SSIT) is proposed to predict engine bearing fault. First, transfer learning based improved extreme learning machine (TELM) and support vector machines (TSVM) were trained by adding the high-similarity sample of different target space to the original sample space, which is integrated to identify the tag sample with the corresponding learning. Then integrate the same cluster learner with the corresponding base learner to identify the unlabeled samples, Next, the constituted semi-supervised learning device constantly adjusts the initial learning unit weight, and continues to integrate semi-supervised learning recognition results into SSIT, which will be used to identify faults after feature identification and extraction by this learning machine. The experimental results clearly show that this algorithm can effectively reduce the negative transfer effect in transfer learning, improve the transfer accuracy by about 10%, reduce the over-fitting effect in machine learning, and improve the stability of semi-supervised learning. Compared with the existing prediction method, this algorithm can improve the accuracy by more than 9%.
Keywords: aevo-engine     fault diagnosis     semi-supervision     transfer learning     integrated learning    

在航空发动机的故障预测中,由于其系统复杂,长时间处于高温度、高速度等困难环境下,不仅部件更易损坏,而且故障的预测也更为困难。现有的轴承故障预测方法大多选择在实验状态下测试,数据都在低负载、低速度以及常温常压下采集,对比发动机内环境过于温和,而在发动机内部的轴承振动数据又面临具体故障的已标记样本获取难度大以及过拟合等问题。

在基于神经网络的轴承故障预测领域中,机器学习一直面临着可用样本不足、过拟合等问题,大多数情况下,标签数据的获取成本很高,而未标记的数据则很容易获得而且数量更多。基于这个原因,半监督学习(Semi-Supervised Learning, SSL)获得了越来越多的关注,其致力于从未标记样本中获得信息,寻找大量的未标记数据中的规律,再利用少部分已标记数据的信息,做出预测。大多数现有的半监督学习技术主要是在未标记数据的信息获取方式上加以区别。半监督学习方法中,少量的有标记样本其实是训练学习的核心,过拟合的效果很难消除,同时随着信息的增加,新增的未标记样本也未必严格与已标记样本同分布。

知识迁移就是一种能够打破同分布样本的假设,极大地增加机器学习的跨领域能力,提取更多的样本用于训练。而并非所有的迁移都会提升预测效果,无价值或不相关的信息的迁入只会造成预测效果大打折扣。

房晓南[1]提出了半监督框架下的自标记技术和多学习器模型的结合方法,来解决欠标记且不平衡的垃圾网页数据集分类问题, 是解决只有少量标记且类不平衡数据集分类问题的一个有效策略。杨印卫[2]选取了支持向量机(SVM)、隐马尔可夫模型(HMM)以及径向基函数(RBF)神经网络这3个单学习器作为异构集成学习模型的基分器,同时采用了majority voting和stacking两种集成结果整合策略来选择最优组合,证明异构集成学习模型的泛化能力相比于以往单分类模型得到了改善,同时模型复杂度降低。张伟[3]利用卷积神经网络(Convolutional Neural Network,CNN)识别振动信号的时域图,引入了自适应批量归一化算法,取得了良好的变负载自适应性能。

郭勇[4]给出了一种基于简单投票制的样本迁移学习方法,有效提高了目标领域预测学习器的分类效果。对TrAdaBoost算法进行了权值更新策略方面的改进,解决了TrAdaBoost算法源领域与目标领域样本权值之间易出现的两极分化问题。然后以基于迁移成分分析(Transfer Component Analysis, TCA)的域匹配算法为基础,对其进行了归纳式扩展,并结合聚类算法对源领域数据集数据分布作进一步修正。

上述算法并未同时解决负迁移以及过拟合的问题,基于此,本文采用基于迁移学习的半监督集成算法,利用高相似度样本的迁移提高半监督学习的精度,同时利用半监督算法筛选迁移学习的高相似度样本,最大限度地防止负迁移的发生。

1 机器学习 1.1 半监督学习

在半监督的发展中,最早提出的是自训练以及直推学习,但训练出的学习器鲁棒性极差,然后是协同训练算法,这种算法的一个主要困难是它需要2个完全独立的视图,在大多数的学习问题中很难满足这一要求。此外,在协同训练中,值得信赖的样本的估计是通过交叉验证进行的,这是一个耗时的过程。为了克服这些困难,Zhou和Li[5]提出了三重训练算法,三重训练的思想是训练3个训练集,依此3个训练集生成3个学习器,而且无需满足苛刻的独立条件,然后使用其他2个学习器同意的未标记数据对另一个学习器进行改进,由于未标记数据的分类误差估计比较困难,因此,在未标记数据与标记数据具有相同分布的前提下,仅对标记数据进行分类误差估计。3次训练过程的训练一直持续到误差停止减小为止,这意味着已经达到了最大的泛化效果。在一定的理论证明限制下,将一致的未标记样本逐步加入到标记数据中,用于细化相应的学习器,直到没有一个学习器的预测误差进一步减小,一旦训练过程完成,就可以用2个或多个成员学习器一致同意的标签来预测未标记或看不见的数据[6]

1.2 迁移学习

迁移学习的目的在于将已有的知识恰当地引入到新领域中,使机器能够获得“举一反三”的能力[7]。本文将源领域DS定义为“一”,将目标领域DT定义为“三”,也就是将DS的学习经验迁移到DT中来。其中迁移的有效性很大程度上依赖于领域间的相似程度,当相差过大时,就会发生负迁移,降低学习性能。迁移学习可以划分为5类:基于实例的迁移,基于参数的迁移,基于特征的迁移,给予相关知识的迁移以及基于模型的迁移。

1.3 基于强化学习的极限学习机

极限学习机(ELM)是一种神经网络监督学习算法,采用基于有限集的局部逼近,收敛速度快,可以代替强化学习中Q值等于实现状态动作到Q值的映射。Q学习是强化学习的一种,在模型未知时通过估计Q值来实现目的[8]

Q值函数更新公式为

(1)

式中:η为学习速度;γ为折扣因子,影响决策的远视程度;stt时刻的状态;att时刻的动作;rtt时刻奖赏;Q值映射表查找得到。

随机设定输入权值矩阵α以及偏置项β;计算隐含层输出矩阵H,以及输出量Q=Hw1w1为权值向量,Q=[Q1Q2, …, QL]T为对应L个动作的估计Q值向量,再通过广义逆矩阵获取权值w1

1.4 集成学习

集成学习是一种机器学习方法,最初,集成学习的提出是由于Schapire证明了多个弱学习器可以形成一个强学习器,集成学习的目的是通过组合多个学习器的输出来构造多个不同的学习器,如图 1所示[9]。所谓“集成”是专家的混合体,用以防止过度拟合以及减少所有基础学习器的误差,而如何结合多种学习器的输出结果和提高基学习器的多样性来提高学习器的精度是重点。为了提高集成的精度和稳定性,人们开发了不同的技术。这些技术因所使用的培训数据、所使用算法的类型以及所遵循的组合方法而有所不同。所谓的异构集成学习器就是构造不同种类的基学习器,然后进行集成,多重训练的异构集成学习器便是取多个基学习器分别训练学习,最后对所有预测结果进行组合。