基于双向LSTM卷积网络与注意力机制的自动睡眠分期模型

李倩玉 王蓓 金晶 张涛 王行愚

李倩玉, 王蓓, 金晶, 等. 基于双向LSTM卷积网络与注意力机制的自动睡眠分期模型 [J]. 智能系统学报, 2022, 17(3): 523-530. doi: 10.11992/tis.202103013
引用本文: 李倩玉, 王蓓, 金晶, 等. 基于双向LSTM卷积网络与注意力机制的自动睡眠分期模型 [J]. 智能系统学报, 2022, 17(3): 523-530. doi: 10.11992/tis.202103013
LI Qianyu, WANG Bei, JIN Jing, et al. Automatic sleep staging model based on the bi-directional LSTM convolutional network and attention mechanism [J]. CAAI Transactions on Intelligent Systems, 2022, 17(3): 523-530. doi: 10.11992/tis.202103013
Citation: LI Qianyu, WANG Bei, JIN Jing, et al. Automatic sleep staging model based on the bi-directional LSTM convolutional network and attention mechanism [J]. CAAI Transactions on Intelligent Systems, 2022, 17(3): 523-530. doi: 10.11992/tis.202103013

基于双向LSTM卷积网络与注意力机制的自动睡眠分期模型

doi: 10.11992/tis.202103013
基金项目: 国家自然科学基金项目(61773164);上海市自然科学基金项目(16ZR1407500).
详细信息
    作者简介:

    李倩玉,硕士研究生,主要研究方向为深度学习、生物电信号;

    王蓓,副研究员,主要研究方向为智能信息处理和模式分类、复杂系统及其在人工生命科学中的应用。主持国家自然科学基金项目、上海市科委科技创新行动计划等5项。发表学术论文50余篇;

    金晶,教授,博士生导师,主要研究方向为脑–机接口、信号处理和模式识别。主持国家级和省部级科研项目 20 余项。发表学术论文130余篇.

    通讯作者:

    王蓓. E-mail: beiwang@ecust.edu.cn.

  • 中图分类号: TP391.4

Automatic sleep staging model based on the bi-directional LSTM convolutional network and attention mechanism

  • 摘要: 针对现阶段深度睡眠分期模型存在的梯度消失、对时序信息学习能力较弱等问题,提出一种基于双向长短时记忆卷积网络与注意力机制的自动睡眠分期模型。将少样本类别的睡眠脑电数据通过过采样方式进行数据增强后,利用带残差块的卷积神经网络学习数据特征表示,再通过带注意力层的双向长短时记忆网络挖掘深层时序信息,使用Softmax层实现睡眠分期的自动判别。实验使用Sleep-EDF数据集中19晚单通道脑电信号对模型进行交叉验证,取得了较高的分类准确率和宏平均F1值,优于对比方法。该方法能够有效缓解睡眠分期判别中少数类分类性能较低的问题,并提高了深度睡眠分期模型的整体分类性能。

     

    Abstract: Owing to the problems of gradient disappearance and the weak learning ability of time series information in the current deep sleep staging model, we propose an automatic sleep staging model based on the bi-directional long short-tern memory convolutional network and attention mechanism. After the sleep EEG data of minority classes are enhanced by oversampling, a convolutional neural network with a residual block is designed to learn the data feature representation, and then, an attention layer is combined with the BiLSTM network to extract the deep time sequence information, a softmax layer is adopted to realize the automatic discrimination of sleep stages. A total of 19-night single-channel EEG signals from the Sleep-EDF dataset are analyzed to cross-verify the proposed model. The obtained classification accuracy and macro-F1-score (MF1) are more satisfied than the comparison methods. The effect of low classification performance of minority classes in sleep staging is reduced effectively. The overall classification performance by the proposed deep sleep staging model is sufficiently improved.

     

  • 睡眠是人的一生中不可缺少的一种复杂生理过程。充足的睡眠能使大脑和身体得到充分的休息和恢复。由于如今不健康的生活方式的影响,睡眠障碍已成为现代社会的严重问题。长时间的睡眠障碍会使人精神不振、免疫力下降,还会诱发心脑血管疾病等[1]。因此,及早诊断睡眠障碍有助于发现异常变化并防止疾病进一步发展,对身心健康具有重要的意义。

    睡眠分期是诊断睡眠障碍和检测睡眠质量的有效方式。在实际临床上,首先利用多导睡眠监测仪(polysomnography, PSG)获取脑电、眼电、肌电、脉搏、血氧饱和度、呼吸等信号,再由专业医师对照国际通用的睡眠分期标准[2-4],对每个30 s时长的睡眠数据进行睡眠时期的人工划分。研究表明,睡眠深浅的变化是由神经中枢活动的变化引起的,因此综合上述信号在不同睡眠时期的特征,能够很好地反映睡眠模式[5-6]。然而,整晚的睡眠数据量较大,对专业医师的资质要求高,人工判读烦琐且耗时。随着大数据、人工智能等创新技术的发展,自动睡眠分期方法逐渐成为快捷的辅助方式,受到了广泛的研究与关注[7]

    近年来,自动睡眠分期方法主要涵盖了基于机器学习和深度学习的方法。基于机器学习的自动睡眠分期方法通常包含了特征提取和睡眠阶段分类两个步骤。通过时域分析法[8-9]、频域分析法[10-11]等来提取睡眠特征,捕获睡眠过程中的主要变化,然后采用如随机森林[12-13]、支持向量机[14-15]等分类器对睡眠阶段进行分类。基于深度学习的自动睡眠分期方法主要依靠深度神经网络端对端特性,自动提取复杂、有用的特征,从一定程度上避免了手工提取特征的主观性。然后,通过深化网络结构、堆叠不同功能网络层的方式,提高网络的特征表达能力。深度学习模型能够利用损失函数衡量网络输出与实际标签的偏差,并借助反向传播算法计算损失成本关于参数的梯度,以此来不断更新各层参数,从而得到最佳的分类输出。

    相比于机器学习的处理模式,深度学习模型在自动特征提取和模型优化上均具有一定的优势。常见的卷积神经网络最先在自动睡眠分期上获得广泛的应用。例如:Tsinalis等[16]使用未经预处理的原始脑电信号作为输入,在两个卷积层中分别利用大小不同的卷积核,提取信号不同尺度上的抽象特点,丰富了信号的特征表示;Zhao等[17]利用多层卷积及映射模块提取并融合了脑电图和心电图中的多尺度特征,对不同睡眠阶段相关信号的细微变化进行捕捉;Sors等[18]则利用当前待分类的数据段及其前后两个数据段作为输入,构建了一个14层卷积神经网络。

    此外,考虑到睡眠过程中所获取的脑电数据具有时间序列的特点,适用于时间序列分类的递归神经网络[19-20](recursive neural network, RNN)、长短时记忆网络[21-23](long short-term memory, LSTM)、双向长短时记忆网络[24-25](bi-directional long short-term memory, BiLSTM)等相继被应用在了睡眠分期问题上。例如:Hsu等[19]利用Elman递归神经网络同时提供信号流前馈连接和反馈连接通道,便于捕捉睡眠前后关联信息;杨鑫等[20]提出了一种基于双向递归神经网络的单通道睡眠分期方法,融入了双向递归神经网络对前后时序信号的记忆能力,提高了睡眠分期判别的准确率;Dong等[23]利用整流神经网络检测分层特征,并利用长短时记忆网络进行序列信息学习,以优化分类性能;罗森林等[24]将卷积神经网络与双向长短时记忆网络结合,综合利用这两种网络的优点,实现睡眠时期的自动判别。

    虽然目前基于深度学习的自动睡眠分期方法已取得了不错的效果,但仍存在几个比较突出的问题:1)虽然深度学习可以通过不断加深网络结构来获得输入信号的更有效的特征表达,但一个层级过深的神经网络往往会存在梯度消失的问题;2)在睡眠分期任务上效果较好的双向长短时记忆网络尚不能在一个长序列中突出重要的信息,进而削弱了网络对时序信息的学习能力;3)由于不同睡眠时期样本之间存在明显的不平衡问题,不可避免地会影响到自动睡眠分期模型在少样本类别上的分类性能,从而降低了整体的分类效果。

    综合考虑上述问题,在构建睡眠分期的深度学习模型中,本文提出了一种基于双向LSTM卷积网络与注意力机制(CNN-BiLSTM-Attention)的自动睡眠分期模型。首先,利用卷积神经网络(convolution neural network, CNN)从原始脑电信号中提取时不变特征,并引入残差网络,避免网络结构过深带来的梯度消失问题;其次,针对睡眠脑电数据的前后序列相关性,设计了带注意力机制(Attention)的双向长短时记忆网络(BiLSTM),来加强对时序信息的学习,以提升睡眠分期方法的分类性能;同时,采用过采样方法,对睡眠过渡阶段(少样本类别)进行数据增强处理,以减轻样本不平衡问题对模型带来的影响。

    本文所设计并构建的基于双向LSTM卷积网络与注意力机制的自动睡眠分期模型结构如图1所示。该CNN-BiLSTM-Attention模型主要由4个模块组成:数据输入模块、特征表示模块、序列信息学习模块以及分类判别模块。

    图  1  基于CNN-BiLSTM-Attention的自动睡眠分期模型
    Fig.  1  Automatic sleep staging model based on CNN-BiLSTM-Attention
    下载: 全尺寸图片

    自动睡眠分期以临床采集的受试者整夜睡眠产生的生物电信号作为输入。在一个正常人的整晚睡眠中,不同睡眠时期的时长占比存在较大差异,导致了少样本睡眠阶段分类性能表现较差的问题。

    为解决样本不平衡问题,在数据输入模块中,本文采用了边界人工合成少数类过采样算法(borderline synthetic minority oversampling technique, Borderline SMOTE)对原始脑电信号进行数据增强处理。该算法是常用过采样技术的改进算法[26],它将少数类样本分为安全、危险和噪声3类,并仅使用代表在少数类样本边界上的危险样本来合成新的数据,以达到样本平衡效果。利用该算法生成样本步骤:

    1)对每个少数类样本pi,利用K近邻算法从整个数据集中计算其m个最近邻;

    2)将周围m个最近邻样本有一半以上为少数类样本的定义为安全样本,周围m个最近邻样本有一半以上为多数类样本的定义为危险样本,周围m个最近邻样本均为多数类样本的定义为噪声样本;

    3)对于每个危险样本di,从其k个最近邻中随机选择s个最近邻,在这s个最近邻样本和原危险样本之间随机合成n个新样本,计算公式为

    $$ {d_{ni}} = {d_i} + {\text{rand}}(0,1) \times ({d_{si}} - {d_i}) $$ (1)

    在深度学习中,常常在网络前端构建多个具有不同大小卷积核的卷积层提取输入信号的局部或全局特征,从而得到输入数据的有效描述。一般来说,卷积层越多,网络往往能获得更大的感受野,并提取出更好的特征。但实践证明,网络结构的加深会使梯度爆炸、梯度消失的风险增加。

    为了提取更有效的特征避免梯度消失的风险,本文在网络架构中加入了残差网络。如图1特征表示模块所示,在特征表示层构建了一个16层卷积神经网络。该卷积神经网络由浅层卷积模块与残差模块两部分组成。浅层卷积模块将增强后的数据作为输入,依次通过1×50大卷积核层、1×8最大池化层、3个1×8小卷积核层以及1×4最大池化层,提取输入数据的低级特征,然后将得到的低级特征输入给残差模块。残差模块部分共包括5个相同的残差块,本文设计的残差块结构如图2所示。

    图  2  残差块结构
    Fig.  2  Residual block structure
    下载: 全尺寸图片

    残差块与普通卷积神经网络的不同之处在于,它在一般卷积层外增加了跳跃结构。假定网络的输入为x,输入经卷积后运算结果为F(x),残差块输出为H(x)。若xF(x)维度匹配,则有

    $$ H({\boldsymbol{x}}) = f(F({\boldsymbol{x}}) + {\boldsymbol{x}}) $$ (2)

    xF(x)维度不匹配,则在跳跃结构添加平均池化层与全零填充层,利用全零填充增加输入维度,使得跳跃结构的输出与F(x)维度适配。

    对于睡眠分期任务来说,作为输入的睡眠脑电信号是一段连续的具有强相关性的时间序列,需要网络具有一定的“记忆功能”,综合前后信息对当前睡眠时期作出判断。卷积神经网络的输入是一个独立的、没有上下文联系的单元,在处理输入是具有明显上下文关系的序列化信号时不占优势。

    为了解决上述问题,本文在特征表示模块后,加入了BiLSTM结构和注意力机制,以帮助网络进行序列信息学习。如图1中的序列信息学习模块所示,将BiLSTM层与注意力层级联,BiLSTM层的输出是注意力层的输入。

    BiLSTM层:BiLSTM是将两个方向不同的独立的LSTM结构叠加在一起而组成的,一个为前向层,另一个为反向层。在每一个时刻t,输入xt同时提供给这两个层,在前向层从1时刻到t时刻正向计算一遍,得到并保存每个时刻向前隐含层的输出hfw。在反向层沿着时刻t到时刻1反向计算一遍,得到并保存每个时刻向后隐含层的输出hbw。最后,在每个时刻结合前向层和反向层输出结果得到最终的输出ht

    $$ {{\boldsymbol{h}}_t} = f({{\boldsymbol{h}}_{{\text{fw}}}},{{\boldsymbol{h}}_{{\text{bw}}}}) $$ (3)

    注意力层:BiLSTM不能在一个长序列中突出重要的信息,削弱了网络对时序信息的学习能力。而注意力机制恰恰能弥补这一缺点。注意力机制可以通过引入新的可训练变量,依次加强各段数据之间的联系,突出注意力集中的数据段帮助网络捕获阶段信息。

    对于t时刻BiLSTM层的输出ht,初始化查询向量q,利用点积模型计算注意力层输入ht与查询向量q之间的相似度,通过相似度对比得出各输出数据段的重要程度,得到注意力得分fscore(ht ,q)。然后利用归一化指数(Softmax)函数将注意力得分转换为[0,1]之间的概率分布,得到权重系数αt,根据权重系数对输入ht进行加权求和,得到注意力层输出v。具体计算如下:

    $$ {f_{{\text{score}}}}({{\boldsymbol{h}}_t},{\boldsymbol{q}}) = {\boldsymbol{h}}_t^{\text{T}}{\boldsymbol{q}} $$ (4)
    $$ {\alpha _t} = \frac{{{\rm{exp}} ({f_{{\text{score}}}}({{\boldsymbol{h}}_t},{\boldsymbol{q}}))}}{{\displaystyle\sum\limits_t {{\rm{exp}} ({f_{{\text{score}}}}({{\boldsymbol{h}}_t},{\boldsymbol{q}}))} }} $$ (5)
    $$ {\boldsymbol{v}} = \sum\limits_t {{\alpha _t}{{\boldsymbol{h}}_t}} $$ (6)

    最后,将利用注意力机制求得的特征表示v利用Softmax函数分类,得到当前输入样本的睡眠时期预测分布P。Softmax函数是深度学习中常用且有效的分类器,计算公式为

    $$P = {\rm{Softmax}}({\boldsymbol{Wv}}+b) $$

    式中Wb分别为Softmax层的权重和偏置。

    本文使用了来自PhysioNet数据库中的Sleep-EDF数据集[27]。该数据集包含197个整夜睡眠的生物电信号。数据集中的数据由睡眠专家按照R&K规则划分为:清醒期(W)、非快速眼动睡眠I期(S1)、II期(S2)、III期(S3)、IV期(S4)、快速眼动期(REM)、身体运动时间阶段和无法判读的阶段。选取了年龄为25~33岁的女性被试者身上采集的19个整晚单通道(Pz-Oz)睡眠脑电数据,采样频率为100 Hz。对上述数据做了如下调整:1)去除原数据集中身体运动时间阶段和无法判读的阶段;2)考虑到S3、S4时期都属于深度睡眠时期,其数据特征也较相似,因此将S3和S4期合并为SS期。调整后的数据用于模型的训练、验证与测试,得到5个睡眠时期的判别结果(W、REM、S1、S2和SS)。

    将30 s时长的脑电数据作为一个样本,从原始数据集中总计提取到18816个样本。根据已知的睡眠分期人工标签,统计了不同睡眠时期的样本数量占比,其中S2占比44.80%,REM时期占比18.25%,SS时期占比15.77%,W时期占比12.63%,S1时期占比8.55%。相比于S2,属于睡眠过渡阶段的S1的占比明显偏少,其余睡眠时期略有差异。采用1.1节中的Borderline SMOTE,对少数类样本进行了数据增强处理,使得各睡眠时期之间的样本数量占比均衡。经过类平衡处理后的样本总量为42145。

    本文采用七折交叉验证来评估模型性能,使用RMSProp优化器来调整权重,学习速率和衰减系数分别设置为0.0001和0.9。为了探究模型对原始数据的分类性能,本文利用序号编码,在开始训练前即给数据添加编号,然后打乱数据。将数据分为7折,每次以其中6折作为训练集,1折作为测试集,共计进行7次实验,得到模型对全部数据的预测结果。再将预测标签按原来编号顺序重排,得到模型对真实睡眠脑电数据的睡眠分期预测结果。

    为了评估所构建的模型的分类效果,本文计算了各睡眠时期的精确率(p)、召回率(r)和F1值(F1)以及整体睡眠分期的平均准确率和宏平均F1值(MF1)。

    2.3.1   混淆矩阵

    表1表2分别给出了两种模型的混淆矩阵。混淆矩阵涵盖了自动睡眠分期结果与已知的人工标签相比较得到的统计结果。表12中,行代表已知的人工标签,列是模型得到的预测结果,对角线上粗体的数字为两者判断相一致的样本数量。表1给出了采用原始睡眠脑电数据,基于常用的CNN-LSTM自动睡眠模型得到的混淆矩阵;表2给出了采用经类平衡处理后的数据,基于CNN-BiLSTM-Attention自动睡眠模型得到的混淆矩阵(该结果仅包含真实的睡眠脑电数据,生成数据不包含在内)。

    表  1  原始数据集下CNN-LSTM模型的混淆矩阵
    Table  1  Confusion matrix of CNN-LSTM model under the original data set
    标签 预测结果 性能指标/%
    SS S2 S1 REM W p r F1
    SS 2 317 631 4 7 9 87.07 78.07 82.32
    S2 329 7457 112 508 23 85.40 88.47 86.91
    S1 3 323 409 663 211 45.34 25.42 32.58
    REM 2 282 128 3 006 15 69.94 87.56 77.76
    W 10 39 249 114 1 965 88.39 82.67 85.43
    注:平均准确率为80.54%
    表  2  类平衡后CNN-BiLSTM-Attention模型的混淆矩阵
    Table  2  Confusion matrix of CNN-BiLSTM-Attention model after class balance
    标签 预测结果 性能指标/%
    SS S2 S1 REM W p r F1
    SS 2601 354 3 8 2 86.10 87.63 86.86
    S2 417 7292 225 467 28 92.23 86.51 89.28
    S1 2 83 1336 132 56 76.34 83.03 79.55
    REM 0 165 134 3111 23 83.14 90.62 86.72
    W 1 12 52 24 2288 95.45 96.26 95.85
    注:平均准确率为88.37%

    比较表1表2,可以观察到,本文提出的自动睡眠分期模型取得了令人满意的总体分类性能,分类准确率达到88.37%,相比CNN-LSTM模型提升了近8%。在原始睡眠脑电数据集中,属于睡眠过渡阶段的S1的样本数量占比极小。在表1中,S1的精确率为45.34%,召回率为25.42%,反映综合性能的F1指数仅为32.58%。经过类平衡处理后,S1的分类性能得到了显著提高。在表2中,S1的精确率和召回率分别提高到至76.34%和83.03%,F1指数也达到了79.55%,体现了类平衡处理的必要性和有效性。同时,其他睡眠分期的判别效果均有不同程度的提升,其中W的3项性能指标都在95%以上,S2、SS和REM的各项性能指标也都在80%以上。从上述分类结果中可以看出,CNN-BiLSTM-Attention模型明显优于常用的CNN-LSTM模型,体现了本文在模型结构上所作的改进能够有效提高模型在不同睡眠分期上的分类效果。

    2.3.2   睡眠时相序列图

    构建自动睡眠分期的目的是为临床诊断提供高效的辅助判别工具。本文通过序列编码的方式,既能够保证模型训练时有类间较平衡的样本数量,也能够从自动判别结果中快捷地获取原始数据的睡眠分期判别结果,得到整晚睡眠的时相序列图,展示睡眠状态随时间变化的结果,为临床的诊断与治疗提供重要依据。

    图3图4是同一名受试者整晚睡眠的时相序列图,其中图3为睡眠分期的人工判别结果,图4为本文所提出的自动睡眠分期模型的判别结果。从图4可以观察到,该模型对于持续的清醒状态有较好的判别效果,对睡眠过程中出现的短时觉醒现象也能做到较准确的预测。整晚睡眠过程是一个连续过程,相邻睡眠状态之间的特征较相似,模型在部分相邻状态S2和S3以及S1和S2、REM存在一定的混淆。整体上,模型得到的睡眠状态的变化趋势与人工标签大体相一致,能够为临床诊断提供有效的辅助判别。

    图  3  临床专家手动判断结果
    Fig.  3  Mannual inspection results by clincial experts
    下载: 全尺寸图片
    图  4  基于CNN-BiLSTM-Attention的自动睡眠分期模型的判断结果
    Fig.  4  Interpretation results based on CNN-BiLSTM-Attention automatic sleep staging model
    下载: 全尺寸图片
    2.3.3   与其他方法的比较

    为进一步验证模型中引入的BiLSTM模块与注意力机制的有效性,首先进行了消融实验,将模型中的BiLSTM-Attention结构分别替换成了LSTM块和BiLSTM块,结果如表3中第1、2行所示。与本文所提出的CNN-BiLSTM-Attention模型进行对比后,从中可以看到,在不使用BiLSTM模块和注意力机制时,模型的总体分类准确率及各睡眠分期的F1都会有不同程度的下降。特别是S1阶段的分类性能下降的最为明显。这样的结果验证了本文所提出模型的有效性以及注意力机制在学习睡眠分期转换规律上的重要性。

    其次,与采用相同数据集和脑电信号通道的部分文献中自动睡眠分期判别结果进行了比较。如表3中第3、4、5行所示,所比较的3个模型均属于基于深度学习的自动睡眠分期模型。其中,文献[28]提出了一个DeepSleepNet的网络架构,利用CNN自动提取特征,堆叠BiLSTM架构学习睡眠转换规则;文献[29]提出了一种序列深度模型;文献[30]提出了一个结合状态转移规则的深度睡眠分期模型。从表3中可以看出,相比上述文献中的模型,本文所提出的CNN-BiLSTM-Attention模型的分类准确率有5.5%~8.5%的提高,且MF1提高了10%以上。

    表  3  基于CNN-BiLSTM-Attention的自动睡眠分期模型和其他分类方法的比较
    Table  3  Comparison of automatic sleep staging model based on CNN-BiLSTM-Attention and other classification methods
    方法 数据集 脑电通道 测试集数量 准确率/% MF1/% F1/%
    W REM S1 S2 SS
    CNN-LSTM Sleep-EDF Pz-Oz 18816 83.58 81.62 93.20 82.63 61.35 86.13 84.71
    CNN-BiLSTM Sleep-EDF Pz-Oz 18816 83.92 82.30 93.86 83.27 64.20 86.02 84.14
    文献[28] Sleep-EDF Pz-Oz 41950 79.80 73.10 88.10 80.30 37.00 82.70 77.30
    文献[29] Sleep-EDF Pz-Oz 42308 82.83 77.02 90.27 82.88 44.64 85.74 81.55
    文献[30] Sleep-EDF Pz-Oz 17764 82.30 74.18 86.90 81.30 31.50 87.20 84.00
    CNN-BiLSTM-Attention Sleep-EDF Pz-Oz 18816 88.37 87.65 95.85 86.72 79.55 89.28 86.86

    本文提出了一种基于CNN-BiLSTM-Attention的自动睡眠分期模型。该模型利用卷积神经网络作为特征提取器,从原始单通道脑电信号提取时不变特征,同时引入残差网络架构,在加深网络层次的同时避免网络出现梯度消失问题,并利用带注意力机制的BiLSTM进一步学习输入信号的时序信息,挖掘睡眠过程的转换机制。通过交叉验证、消融实验,以及与相关文献方法的对比,表明本文所提出的模型在睡眠分期判读的精度上和综合判别性能上,均具有优势,能够为睡眠过程监测、诊断与治疗提供有效可行的辅助判别工具。此外,本文的研究工作主要基于单通道的睡眠脑电信号,在此基础上可加入其他电生理信号(如眼电和肌电等),基于更加丰富的信号来源,利用该模型进行自动睡眠分期判别的研究。

  • 图  1   基于CNN-BiLSTM-Attention的自动睡眠分期模型

    Fig.  1   Automatic sleep staging model based on CNN-BiLSTM-Attention

    下载: 全尺寸图片

    图  2   残差块结构

    Fig.  2   Residual block structure

    下载: 全尺寸图片

    图  3   临床专家手动判断结果

    Fig.  3   Mannual inspection results by clincial experts

    下载: 全尺寸图片

    图  4   基于CNN-BiLSTM-Attention的自动睡眠分期模型的判断结果

    Fig.  4   Interpretation results based on CNN-BiLSTM-Attention automatic sleep staging model

    下载: 全尺寸图片

    表  1   原始数据集下CNN-LSTM模型的混淆矩阵

    Table  1   Confusion matrix of CNN-LSTM model under the original data set

    标签 预测结果 性能指标/%
    SS S2 S1 REM W p r F1
    SS 2 317 631 4 7 9 87.07 78.07 82.32
    S2 329 7457 112 508 23 85.40 88.47 86.91
    S1 3 323 409 663 211 45.34 25.42 32.58
    REM 2 282 128 3 006 15 69.94 87.56 77.76
    W 10 39 249 114 1 965 88.39 82.67 85.43
    注:平均准确率为80.54%

    表  2   类平衡后CNN-BiLSTM-Attention模型的混淆矩阵

    Table  2   Confusion matrix of CNN-BiLSTM-Attention model after class balance

    标签 预测结果 性能指标/%
    SS S2 S1 REM W p r F1
    SS 2601 354 3 8 2 86.10 87.63 86.86
    S2 417 7292 225 467 28 92.23 86.51 89.28
    S1 2 83 1336 132 56 76.34 83.03 79.55
    REM 0 165 134 3111 23 83.14 90.62 86.72
    W 1 12 52 24 2288 95.45 96.26 95.85
    注:平均准确率为88.37%

    表  3   基于CNN-BiLSTM-Attention的自动睡眠分期模型和其他分类方法的比较

    Table  3   Comparison of automatic sleep staging model based on CNN-BiLSTM-Attention and other classification methods

    方法 数据集 脑电通道 测试集数量 准确率/% MF1/% F1/%
    W REM S1 S2 SS
    CNN-LSTM Sleep-EDF Pz-Oz 18816 83.58 81.62 93.20 82.63 61.35 86.13 84.71
    CNN-BiLSTM Sleep-EDF Pz-Oz 18816 83.92 82.30 93.86 83.27 64.20 86.02 84.14
    文献[28] Sleep-EDF Pz-Oz 41950 79.80 73.10 88.10 80.30 37.00 82.70 77.30
    文献[29] Sleep-EDF Pz-Oz 42308 82.83 77.02 90.27 82.88 44.64 85.74 81.55
    文献[30] Sleep-EDF Pz-Oz 17764 82.30 74.18 86.90 81.30 31.50 87.20 84.00
    CNN-BiLSTM-Attention Sleep-EDF Pz-Oz 18816 88.37 87.65 95.85 86.72 79.55 89.28 86.86
  • [1] LUYSTER F S, STROLLO P J, ZEE P C, et al. Sleep: a health imperative[J]. Sleep, 2012, 35(6): 727–734. doi: 10.5665/sleep.1846
    [2] IBER C, ANCOLI-ISRAEL S, CHESSON A L, et al. The AASM manual for the scoring of sleep and associated events: rules, terminology and technical specifications[M]. Westchester, IL: American Academy of Sleep Medicine, 2007.
    [3] RECHTSCHAFFEN A, KALES A. A manual of standardized terminology: techniques and scoring system of sleep stages of human subjects[M]. Los Angeles: UCLA Brain Information Service/Brain Research Institute, 1968.
    [4] BERRY R B, BUDHIRAJA R, GOTTLIEB D J, et al. Rules for scoring respiratory events in sleep: update of the 2007 AASM manual for the scoring of sleep and associated events[J]. Journal of clinical sleep medicine, 2012, 8(5): 597–619. doi: 10.5664/jcsm.2172
    [5] KARSON C N. Brainstem control of wakefulness and sleep[J]. American journal of psychiatry, 1991, 148(7): 944. doi: 10.1176/ajp.148.7.944
    [6] ROEBUCK A, MONASTERIO V, GEDERI E, et al. A review of signals used in sleep analysis[J]. Physiological measurement, 2014, 35(1): R1–R57. doi: 10.1088/0967-3334/35/1/R1
    [7] FAUST O, RAZAGHI H, BARIKA R, et al. A review of automated sleep stage scoring based on physiological signals for the new millennia[J]. Computer methods and programs in biomedicine, 2019, 176: 81–91. doi: 10.1016/j.cmpb.2019.04.032
    [8] DIYKH M, LI Yan, WEN Peng. EEG sleep stages classification based on time domain features and structural graph similarity[J]. IEEE transactions on neural systems & rehabilitation engineering, 2016, 24(11): 1159–1168.
    [9] EBRAHIMI F, SETAREHDAN S K, NAZERAN H. Automatic sleep staging by simultaneous analysis of ECG and respiratory signals in long epochs[J]. Biomedical signal processing and control, 2015, 18(4): 69–79.
    [10] DIMITRIADIS S I, SALIS C, LINDEN D. A novel, fast and efficient single-sensor automatic sleep-stage classification based on complementary cross-frequency coupling estimates[J]. Clinical neurophysiology, 2018, 129(4): 815–828. doi: 10.1016/j.clinph.2017.12.039
    [11] DA SILVEIRA T L T, KOZAKEVICIUS A J, RODRIGUES C R. Single-channel EEG sleep stage classification based on a streamlined set of statistical features in wavelet domain[J]. Medical and biological engineering and computing, 2017, 55(2): 343–352.
    [12] LAJNEF T, CHAIBI S, RUBY P, et al. Learning machines and sleeping brains: Automatic sleep stage classification using decision-tree multi-class support vector machines[J]. Journal of neuroscience methods, 2015, 250: 94–105. doi: 10.1016/j.jneumeth.2015.01.022
    [13] LIU Junbiao, WU Duanpo, WANG Zimeng, et al. Automatic sleep staging algorithm based on random forest and hidden markov model[J]. CMES−computer modeling in engineering and sciences, 2020, 123(1): 401–426.
    [14] ALICKOVIC E, SUBASI A. Ensemble SVM method for automatic sleep stage classification[J]. IEEE transactions on instrumentation and measurement, 2018, 67(6): 1258–1265. doi: 10.1109/TIM.2018.2799059
    [15] BASHA A J, BALAJI B S, POORNIMA S, et al. Support vector machine and simple recurrent network based automatic sleep stage classification of fuzzy kernel[J]. Journal of ambient intelligence and humanized computing, 2021, 12(6): 6189–6197. doi: 10.1007/s12652-020-02188-4
    [16] TSINALIS O, MATTHEWS P M, GUO Yike, et al. Automatic sleep stage scoring with single-channel EEG using convolutional neural networks[EB/OL]. (2016−10−05)[2021−03−08] https://arxiv.org/abs/1610.01683.
    [17] ZHAO Ranqi, XIA Yi, WANG Qiuyang. Dual-modal and multi-scale deep neural networks for sleep staging using EEG and ECG signals[J]. Biomedical signal processing and control, 2021, 66: 102455. doi: 10.1016/j.bspc.2021.102455
    [18] SORS A, BONNET S, MIREK S, et al. A convolutional neural network for sleep stage scoring from raw single-channel EEG[J]. Biomedical signal processing and control, 2018, 42: 107–114. doi: 10.1016/j.bspc.2017.12.001
    [19] HSU Y L, YANG Yating, WANG J S, et al. Automatic sleep stage recurrent neural classifier using energy features of EEG signals[J]. Neurocomputing, 2013, 104: 105–114. doi: 10.1016/j.neucom.2012.11.003
    [20] 杨鑫, 吴之南, 钱松荣. 基于双向递归神经网络的单通道脑电图睡眠分期研究[J]. 微型电脑应用, 2017, 33(1): 42–45. doi: 10.3969/j.issn.1007-757X.2017.01.012

    YANG Xin, WU Zhinan, QIAN Songrong. Study on sleep staging based on bidirectional recurrent neural network in single channel EEG[J]. Microcomputer applications, 2017, 33(1): 42–45. doi: 10.3969/j.issn.1007-757X.2017.01.012
    [21] KUO C E, CHEN Guanting. Automatic sleep staging based on a hybrid stacked LSTM neural network: verification using large-scale dataset[J]. IEEE access, 2020, 8: 111837–111849. doi: 10.1109/ACCESS.2020.3002548
    [22] CASCIOLA A A, CARLUCCI S K, KENT B A, et al. A deep learning strategy for automatic sleep staging based on two-channel EEG headband data[J]. Sensors, 2021, 21(10): 3316. doi: 10.3390/s21103316
    [23] DONG Hao, SUPRATAK A, PAN Wei, et al. Mixed neural network approach for temporal sleep stage classification[J]. IEEE transactions on neural systems and rehabilitation engineering, 2018, 26(2): 324–333.
    [24] 罗森林, 郝靖伟, 潘丽敏. 基于CNN-BiLSTM的自动睡眠分期方法[J]. 北京理工大学学报, 2020, 40(7): 746–752.

    LUO Senlin, HAO Jingwei, PAN Limin. An automatic sleep staging method based on CNN-BiLSTM[J]. Transactions of Beijing Institute of Technology, 2020, 40(7): 746–752.
    [25] CHEN Xueyan, HE Jie, WU Xiaoqiang, et al. Sleep staging by bidirectional long short-term memory convolution neural network[J]. Future generation computer systems, 2020, 109: 188–196. doi: 10.1016/j.future.2020.03.019
    [26] HAN Han, WANG Wenyuan, MAO Binghuan. Borderline-SMOTE: a new over-sampling method in imbalanced data sets learning[C]//International Conference on Intelligent Computing. Fuzhou: Springer, 2015: 878−887.
    [27] GOLDBERGER A L, AMARAL L A, GLASS L, et al. Physiobank, physiotoolkit, and physionet: components of a new research resource for complex physiologic signals[J]. Circulation, 2000, 101(23): E215–E220.
    [28] SUPRATAK A, DONG Hao, WU Chao, et al. DeepSleepNet: a model for automatic sleep stage scoring based on raw single-channel EEG[J]. IEEE transactions on neural systems and rehabilitation engineering, 2017, 25(11): 1998–2008. doi: 10.1109/TNSRE.2017.2721116
    [29] MOUSAVI S, AFGHAH F, ACHARYA U R. SleepEEGNet: automated sleep stage scoring with sequence to sequence deep learning approach[J]. PLoS one, 2019, 14(5): e0216456. doi: 10.1371/journal.pone.0216456
    [30] 马家睿, 王蓓, 金晶, 等. 结合状态转移规则的深度睡眠分期模型[J]. 计算机工程与设计, 2020, 41(10): 2878–2883.

    MA Jiarui, WANG Bei, JIN Jing, et al. Deep automatic sleep staging model integrated with state transition rules[J]. Computer engineering and design, 2020, 41(10): 2878–2883.
WeChat 点击查看大图
图(4)  /  表(3)
出版历程
  • 收稿日期:  2021-03-08
  • 网络出版日期:  2021-12-03

目录

    /

    返回文章
    返回