中国科学院大学学报  2025, Vol. 42 Issue (4): 538-546   PDF    
基于热成像的非接触式睡眠呼吸暂停检测与分类
廖楚楚, 黄志蓓, 秦飞, 王奕权, 王涛, 童永刚     
中国科学院大学电子电气与通信工程学院,北京 101408
摘要: 睡眠呼吸暂停综合征是一种常见且潜在危害巨大的睡眠疾病,睡眠呼吸暂停的分类检测可为疾病诊断提供重要依据。基于视频的睡眠监测系统因其非接触性,适用于该疾病的普适性筛查,其中热像仪隐私保护性强,近年来开始受到广泛关注。提出一种基于热成像的睡眠呼吸暂停检测与分类方法,通过采集胸腹部运动的时序信息,构建不同生理机制映射下中枢性和阻塞性睡眠呼吸暂停的二维复特征空间,并基于其统计特性提出呼吸努力强度特征与呼吸努力异同度特征,进而实现这2类睡眠呼吸暂停的分类检测。实验结果表明2类睡眠呼吸暂停检测的准确率均超过97.0%,有效克服了视频中观测噪声和冗余信息导致的有效信息难以提取等问题,有望助力于睡眠疾病的实际筛查诊断。
关键词: 睡眠呼吸暂停分类    胸腹部运动    热成像    呼吸努力强度    呼吸努力异同度    
Non-contact sleep apnea detection and classification using thermal imaging
LIAO Chuchu, HUANG Zhipei, QIN Fei, WANG Yiquan, WANG Tao, TONG Yonggang     
School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing 101408, China
Abstract: Sleep apnea syndrome is a common and potentially harmful sleep disorder, and the classification and detection of sleep apnea can provide an important basis for the diagnosis of the disease. Due to their non-contact nature, video-based sleep monitoring systems are universally applicable for disease screening, among which thermal imaging cameras, with strong privacy protection, have attracted wide attention in recent years. In this paper, we propose a novel sleep apnea detection and classification method using thermal imaging. By obtaining the temporal information of thoracic and abdominal movement, a two-dimensional complex feature space mapping central and obstructive sleep apnea under different physiological mechanisms is constructed. Based on their statistical properties, the respiratory effort intensity feature and the respiratory effort asynchrony feature are proposed to achieve the classification and detection of two types of sleep apnea. Experimental results show that the accuracy of detecting both types of sleep apnea exceeds 97.0%. This work effectively overcomes the problem of difficulty in extracting valid information caused by observation noise and redundant information in videos, and is expected to assist in the actual screening and diagnosis of sleep disorders.
Keywords: sleep apnea classification    thoracic and abdominal movement    thermal imaging    respiratory effort intensity    respiratory effort asynchrony    

高质量睡眠对于保障人们正常的生理活动至关重要。然而,睡眠研究会调查数据表明全国有超3亿人存在睡眠障碍[1]。睡眠呼吸暂停综合征(sleep apnea syndrome, SAS)是其中一种常见的睡眠障碍,伴随有嗜睡、反应迟钝、记忆力减退等症状[2],对人们的工作和生活造成负面影响。反复的睡眠呼吸暂停还会导致人体组织间断性缺氧,长时间发作可能引起高血压、冠心病、中风[3-4]等严重的并发症,对人们的生命健康造成威胁。因此,实现SAS的早期筛查对于疾病的治疗管理以及降低社会负担具有重要意义[5]

根据是否存在呼吸努力,睡眠呼吸暂停可分为中枢性睡眠呼吸暂停(central sleep apnea, CSA)和阻塞性睡眠呼吸暂停(obstructive sleep apnea, OSA)。由于CSA和OSA需要采取不同的治疗手段[6-7],因此在睡眠呼吸暂停疾病治疗前准确诊断其类型具有更加重要的临床意义。

目前,SAS分类诊断的金标准是多导睡眠仪(polysomnography, PSG)[8],它需要在整个睡眠过程中同时监测脑电图、心电图、鼻气流、血氧饱和度等多个通道的生理信号[9]。PSG可获得全面且可靠的测量结果,但也存在一些明显的缺点,包括大量传感器与人体的直接接触会影响睡眠质量、适用人群有限、检测成本高且需要专业人员操作等。这些缺点使得PSG无法适用于非医院环境下SAS的早期筛查。为解决上述问题,研究人员提出了只利用PSG中单个或少数生理信号实现睡眠呼吸暂停分类的简化方法[10-12],但受限于接触式测量方法,无法彻底避免仪器佩戴对睡眠的影响。

随着传感技术的发展,各类非接触式睡眠呼吸暂停监测方法应运而生,成为一大研究热点。目前主要有3类典型的非接触式睡眠呼吸暂停分类检测方法,分别是基于雷达的方法[13-14]、基于声音的方法[15-16]和基于视频的方法。其中,基于雷达的方法通过发射电磁波探测胸部起伏实现呼吸监测,基于声音的方法则利用呼吸过程中产生的特征声音检测异常的呼吸事件。与前2类非接触式系统相比,相机系统可实现无辐射的被动式监测,亦可较多地保留人体运动信息,同时信息提取可靠性较基于声音的方法更高,因此得到学术界更为广泛的关注[17]。常用的相机系统包括NIR相机、深度相机和热像仪。NIR相机利用目标物体在近红外波段的反射光成像,可在低光环境下工作,深度相机通过主动发射光线(如近红外)测量目标的深度信息,而热像仪通过检测目标物体的热辐射成像。但由于基于相机的睡眠呼吸暂停监测系统观测极易受到探测器固有噪声及环境因素的影响,且高维观测数据中呼吸信息存在非线性映射,提取难度大,因此目前此类研究工作大多停留在仅针对某一特定类型的睡眠呼吸暂停判别层面。

相机系统中的热像仪属于被动式成像,无辐射,并且具有可在完全黑暗的环境下工作、对用户隐私的保护性更强的独特优势。因此,本文旨在利用信号处理技术增强从热像仪观测空间中挖掘提取呼吸运动信息的能力,进而通过不同维度特征设计提高OSA和CSA检测与分类的准确性和可靠性。受限于热像仪成像物理原理,其采集的热图像中含有更多的噪声和更少的细节纹理,因此现有对于NIR系统适用的信号幅值等特征无法直接拓展到热像仪睡眠呼吸暂停监测系统中,这进一步加大了睡眠呼吸暂停检测与分类的难度。为应对这一挑战,本文提出的算法将接触式胸腹部运动信号的时序特性映射到热像仪的二维观测空间上,并基于光流时序信息,构建复数域等效幅度和相位2个相关特征维度,实现胸腹部运动的信息提取。以此为基础进一步构造呼吸努力强度(respiratory effort intensity, REI)特征与呼吸努力异同度(respiratory effort asynchrony,REA)特征,以充分利用序列信息提高OSA和CSA的检测精度和可靠性。实验结果验证了所提方法的有效性,OSA检测的准确率和F1分数分别为97.2%和92.1%,而CSA检测的准确率和F1分数分别为97.6%和95.3%。

1 相关工作

呼吸肌周期性收缩和舒张引起的肺内压的改变是肺通气的直接动力。在正常放松状态下吸气时,肋间肌收缩带动胸廓向上提升,同时膈肌收缩向腹部挤压导致腹部向上隆起;呼气时,肋间肌和膈肌舒张,带动胸部和腹部均向下回缩。因此,正常呼吸时胸部运动和腹部运动呈现周期性且方向同步[18]。OSA是由上呼吸道坍陷导致气流受阻引起的,但人体仍保持呼吸努力,因此胸腹部均能观察到有节律的呼吸运动。此外,气道阻塞会引起呼吸努力增加以及呼吸模式改变,此时肋间肌和膈肌的运动不协同,表现为反常呼吸模式:胸部和腹部的运动方向相反[7]。CSA在生理机制和呼吸模式方面与OSA完全不同。CSA是由中枢神经系统功能失调引起的,由于呼吸调节中枢受到某些因素的干扰或抑制,呼吸肌无法得到充分的调节与控制,导致呼吸努力中断[6]。因此,在CSA期间胸部和腹部的呼吸运动会缺失。

许多传统研究工作基于这一机理,用接触式胸、腹带测量胸、腹部扩张运动信号,并通过提取信号的幅度和相位信息检测2种类型的睡眠呼吸暂停。例如,Varady等[19]直接通过运动信号的振幅识别CSA,以及通过比较胸部和腹部运动信号极值点之间的时间间隔提取相位信息,进而识别OSA。Al-Angari等[20]则计算了胸部和腹部信号的标准差,并利用希尔伯特变换计算锁相值(phase locking value, PLV),通过这2个特征实现睡眠呼吸暂停分类。

随着信息观测手段的进步,近十几年也有研究工作利用NIR相机、热像仪等相机系统捕获胸腹部运动信号,以实现睡眠呼吸暂停检测。这些方法大致可分为特征设计、深度学习、增加信源3类。对于第1类,大部分研究工作通过计算呼吸运动信号的幅度总和[21]、平均功率[22]、标准差[23]等特征提取胸腹部运动的幅度信息,进而实现睡眠呼吸暂停检测。例如,Lorato等[23]基于NIR视频中提取的呼吸运动总和信号,应用长短窗口分别提取长期、短期标准差,并通过动态比较检测CSA。此外,文献[21]利用OSA期间呼吸努力增加导致胸腹部区域运动幅度增大的特点设计了“活动水平”指标来识别OSA。上述这些方法只提取了呼吸运动幅度1个维度的特征,仅能实现单一类型睡眠呼吸暂停的检测,无法区分OSA和CSA。在第2类基于深度学习的方法中,研究人员搭建了深度神经网络,如3D-CNN[24]和GRU[25],自动挖掘胸腹部运动中的特征空间,以实现OSA、CSA和正常呼吸的分类。然而,此类方法需要大量的数据进行训练,这在实际应用中难以满足。巨大的计算负荷也使得基于深度学习的系统只能支持云端部署架构。此外,有学者提出第3类增加信源以补充呼吸过程观测维度的方式实现OSA和CSA的分类。例如,Scebba等[26]和Yang等[27]除提取呼吸运动特征外,还增加使用热像仪捕获鼻孔处的呼吸气流信号,结合这2种信号的若干统计特征对不同的呼吸暂停事件进行分类。而Yang等[28]则辅助使用音频信息实现OSA和CSA的判别。然而,这些方法搭建了多传感器系统,导致系统的复杂性和不稳定性增加。目前未见单独采用热像仪实现OSA和CSA分类检测的相关工作。

2 方法

由生理学特征可知,呼吸引起的躯干运动(respiratory motion, RM)是一个直观的呼吸表征,主要集中在胸腹部区域,并且含有睡眠呼吸暂停的相关信息:CSA期间呼吸努力中断,OSA期间胸、腹部运动呈现相反相位,而正常呼吸时胸腹部同向运动。本文通过热像仪采集受试者的胸腹部起伏,获取二维观测空间中胸腹部运动的时序信息,构建REI和REA与生理学特征的映射关系,从而实现对CSA和OSA的检测。

2.1 呼吸运动信号的获取

将胸腹部区域确定为感兴趣区域(region of interest, ROI),在提取呼吸运动时序信号之前首先需要进行ROI定位以消除人体轻微移动带来的影响。与可见光/NIR图像相比,由于热图像反映的是物体的温度分布,含有更少的几何、纹理特征,所以难以通过身体标记检测出人脸、胸廓等人体区域。根据解剖学知识,人体的头部和胸腹部具有普遍的几何依赖性。本文利用这个规律通过头部的位置和尺寸信息实现ROI定位,具体分为以下3个步骤。

1) 前景提取

睡眠中人体大部分时间保持静止,且与背景具有明显温度差异。基于这一特性,首先通过均值滤波进行图像平滑增强,改善热图像的直方图分布;其次利用全局阈值处理初步将人体分离,其中阈值通过otsu方法[29]确定;最后采用形态学操作进一步优化分割结果,从而得到身体区域的二值图像B(x, y),如图 1(a)所示。

Download:
图 1 ROI定位的步骤示意图 Fig. 1 An illustration of each step of ROI localization

2) 分割线确立

根据身形轮廓的特征确定脖子分割线的位置,进而确定人体中的头部区域图像。在仰卧状态下,人体的身形轮廓具有统一的特点:头部到肩部的宽度陡增。利用这一特点,首先计算分割后身体区域B(x, y)的水平积分投影Pv(y)

$ P_v(y)=\sum\limits_x \boldsymbol{B}(x, y) . $ (1)

其次,定义离散变异度指标

$ \operatorname{DVI}_{\mathrm{v}}(y)=\frac{\operatorname{Var}\left[P_{\mathrm{v}}(y) \cdots P_{\mathrm{v}}(y+a)\right]}{\operatorname{Var}\left[P_{\mathrm{v}}(y-a) \cdots P_{\mathrm{v}}(y)\right]} . $ (2)

式中: Var[·]代表方差计算,衡量数据间的离散度;a为窗口大小。曲线拐点ysp对应于DVIv(y)的极大值点(如图 1(b)所示),水平分割线y=ysp将人体区域分割成头部和躯干两部分。

3) ROI区域确定

结合头部长度l和分割线位置定位出ROI区域,如图 1(c)所示,其中αβ分别设为2.8和2(由解剖学规律和相机拍摄角度推导得到)。

呼吸引起的胸腹部区域的起伏在热像仪观测空间中主要表现为热模式在垂直方向上的移动。本文采用Farneback稠密光流算法[30]跟踪ROI内像素点的运动位移,获取胸腹部运动在二维空间上的时序信号。计算视频中光流算法估计的像素位移与2个连续帧之间的时间间隔的比率,进而得到ROI内每个跟踪像素在垂直方向上的速度分布,即为RM信号。为减弱热噪声的影响以及降低后续算法的计算量,进一步将ROI划分为M×N个等面积的单元网格,并计算每个网格内的速度分布平均值,最终得到M×N个通道的RM信号,记为RMi.j(t),其中,i=1, 2, …, M, j=1, 2, …, NM=l·α/rN=l·β/rl·αl·β分别为ROI的长度和宽度。MN的选取应综合考虑计算复杂性、人体在图像中的尺寸,本文场景下将r设置为10。

2.2 特征构建

基于获取的RM信号,本文构建了REI特征和REA特征分别挖掘胸腹部运动的幅度和相位2个维度的信息。由于睡眠呼吸暂停事件的医学判别标准是暂停时长持续10 s以上[8],将信号分析的滑动窗长和步长分别设置为10 s和1 s。每个时间窗口对应一个可能的中枢性睡眠呼吸暂停(C)、阻塞性睡眠呼吸暂停(O)或正常呼吸(N)事件。REI特征和REA特征通过滑动窗口对RMi, j(t)分段处理并分别计算得到。

RM信号中,存在呼吸努力时呼吸成分占主导,而呼吸努力中断时只含有噪声成分。所以可通过计算混合观测信号中呼吸成分的占比衡量胸腹部运动的努力程度。基于已知平均呼吸率范围的先验知识(12~20 beat/min),本文定义呼吸频带内的相对功率指标repi, j估计RM信号的“信噪比”,并以此为基础构建REI特征。

此外,为提取胸部和腹部运动的相位关系,应用在噪声干扰下较为稳健的基于互相关的相位测量方法[31]计算RM信号的相位角指标phai, j。考虑到热图像中难以界定胸部区域和腹部区域,本文基于phai, j的空间平均特性构建REA特征衡量胸腹部运动的不协同性。

2.2.1 REI

理想呼吸信号因具有准周期性,因而能量主要集中在峰值频率附近。若每个RMi.j(t)信号的功率谱为Pi.j(f),正常呼吸频带(12~20 beat/min)内功率谱峰值附近区域(宽度为b)的总功率即视为呼吸振荡功率。由此,定义相对功率repi, j

$ \operatorname{rep}_{i, j}=\frac{\sum\nolimits_{f_{\text {peak }}-\frac{b}{2}}^{f_{\text {peak }}+\frac{b}{2}} P_{i, j}(f)}{\sum\nolimits_0^{f_{\text {peak }}-\frac{b}{2}} P_{i, j}(f)+\sum\nolimits_{f_{\text {peak }}+\frac{b}{2}}^{\frac{f_{\mathrm{s}}}{2}} P_{i, j}(f)} $ (3)

其中: fs是信号的采样率,fpeak是正常呼吸频带内功率谱峰值对应的频率,b=2 beat/min是边界的大小。

图 2(a)展示3种不同呼吸状态下RMi.j(t)信号的repi, j分布情况。由于正常呼吸和发生OSA时胸腹部存在周期性运动,而发生CSA时运动中断,所以前2种情况下repi, j的值整体比发生CSA时高。

Download:
(a)中黄-蓝颜色代表特征值大小, 颜色越偏黄, 特征值越大; (b)中蓝色区域为0°相位, 黄色区域为180°相位。 图 2 不同呼吸事件下的rep和pha分布图 Fig. 2 Distributions of rep and pha under three types of respiratory event

为进一步提高特征的抗干扰能力,以及降低不同个体间的差异,REI特征定义为ROI内repi, j达到阈值的数目占总数的比例,即

$ \mathrm{REI}=\frac{\#\left(\mathrm{rep}_{i, j}>\eta\right)}{M \times N}. $ (4)

其中: #X代表X集合中的元素个数,阈值η为信号包含有效呼吸信息的最低相对功率要求,设为0.5。示例如图 3(a)所示,该特征只在CSA期间大幅度下降。

Download:
图 3 特征波形示例 Fig. 3 Example of feature waveforms
2.2.2 REA

利用OSA期间胸腹部运动呈现相反相位的特点,可通过呼吸运动信号的相位角phai, j衡量胸腹运动的不协同性,进而区分OSA和正常呼吸。但是热图像难以界定胸部区域和腹部区域,因此本文基于phai, j的空间统计特性提出了REA特征。具体的算法步骤如下。

将前一小节中repi, j值最高的信号视为参考信号RMref(t),计算每个RMi.j(t)与RMref(t)之间的互相关

$ R_{i, j}(k)=\sum\limits_{t=0}^{P-k-1} \mathrm{RM}_{i, j}(t+k) \cdot \mathrm{RM}_{\mathrm{ref}}(t). $ (5)

其中: P为RM信号总长度。信号相位差phai, j即为最大相关系数对应的平移量Ki, j与参考信号周期Tref的比值经0/180°二值化后的结果。

图 2(b)反映不同呼吸状态下ROI内RMi.j(t)信号的phai, j分布情况,可以发现它们存在显著差异:在OSA事件期间,由于胸部和腹部存在相反方向的运动,腹部区域呈现180°相位;正常呼吸时胸腹部运动方向一致,因此整个ROI内几乎均为零相位;在CSA事件期间,由于RM信号均为噪声,相位分布杂乱无章。因此,可以提取phai, j的空间均值REA

$ \mathrm{REA}=\frac{\#\left(\mathrm{pha}_{i, j}=180^{\circ}\right)}{M \times N} . $ (6)

示例如图 3(b)所示,该特征在异常呼吸和正常呼吸期间存在明显差异。

3 实验 3.1 实验设置

本文提出的睡眠呼吸暂停检测与分类算法的总体流程如图 4所示。经过预处理得到RMi.j(t)信号后,分别提取REI和REA 2个特征,将其输入到Kmeans分类器,实现3种呼吸事件(C/O/N)的无监督聚类。

Download:
图 4 睡眠呼吸暂停检测与分类流程图 Fig. 4 The pipeline for sleep apnea detection and classification

为评估算法性能,招募16名健康受试者采集数据。由于睡眠呼吸暂停的基本发病原因、主要症状在医学研究中已被明确揭示,因此为克服病人就诊率低、检测成本高等导致的真实病人数据难以获取的问题,有部分研究提出可通过引导健康人模拟睡眠呼吸暂停的症状进行数据采集[26, 32]。本文也采用这种数据获取方法,进而评估算法性能。要求受试者仰卧并用一件薄毯子盖住身体,然后根据实验人员的指示进行2种睡眠呼吸暂停,其他时间段保持正常呼吸。由于仰卧是最易产生睡眠呼吸暂停的睡姿[33],故目前实验均采用仰卧式睡姿。进行睡眠呼吸暂停的具体要求如下:

CSA:受试者屏住气息并停止胸腹部运动(停止呼吸努力),持续10s以上。

OSA:受试者保持吞咽状态以关闭气道(模拟阻塞),并控制胸腹部继续原有呼吸过程(维持呼吸努力),持续10s以上。

在实验过程中,使用一款热像模组(合肥英睿, Xmodule T5-612)拍摄睡眠视频,并将其固定在床尾的三脚架上,俯拍角度约为45°。三脚架设置在合适的位置,以捕获受试者的头部和胸腹部区域。热像仪的工作波段为8~14μm,分辨率为640×512,帧率为25 Hz,热灵敏度为0.06 K。参考标准信号来自接触式胸阻抗仪(TI, ADS1292R)和睡眠监护仪(ResMed, ApneaLink Air)的信号采集。实验人员结合睡眠呼吸暂停模拟的指示时间和参考标准信号手动标记视频内容,记录每次睡眠呼吸暂停的开始和结束时间。

实验采集了16名健康人(10名男性、6名女性)共32段睡眠数据,每段数据时长5min、包含3~5次OSA/CSA。视频中总共包含154次睡眠呼吸暂停(CSA、OSA分别为77次)。

3.2 CSA检测的性能比较

由于现有基于单相机的睡眠呼吸暂停监测系统对于胸腹部运动大都只提取了幅值这一维度的特征,仅能实现CSA检测,因此本实验单独将REI特征与其他系统提出的特征进行对比。现有工作中提出的典型的特征设计方法有基于标准差的方法[23]、基于频域能量的方法[32]和基于小波能量的方法[32],分别与本文所提CSA检测算法进行比较。其中标准差、频域能量、小波能量都是基于单通道呼吸信号提取而来,为适应本文中的实验场景,计算了胸部区域(即ROI上半部分)每个RM信号的标准差,并将标准差前50%的信号的平均值作为呼吸总和信号。

对于基于标准差的CSA检测方法(标记为Var),首先对呼吸总和信号进行巴特沃斯低通滤波(4阶、截止频率0.67 Hz),其次应用短滑动窗口ls计算短期标准差σs,接着利用一个较长的滑动窗口ll计算σs的中值σl作为标准差基准,最后通过比较2个长短期标准差来检测CSA。算法中的lsll分别设置为5s、21s,窗口滑动步长设为1s。对于基于频域能量(标记为FT)和小波能量(标记为WT)的CSA检测方法,首先应用窗长10s、步长1s的滑动窗口对原始呼吸总和信号进行分段处理,然后分别计算其在[0.1, 0.7] Hz范围内的归一化功率谱能量和小波能量,最后通过与固定阈值(1min内信号平均能量的0.2倍)的比较实现CSA检测。而本文算法则同样利用窗长10s、步长1s的滑动窗口提取RMi.j(t)的REI特征,并采用固定阈值0.2检测CSA。

将检测得到的CSA区间与真值区间进行比较,判断CSA事件是否检测正确。当检测得到的CSA时间区间Bab与真值区间Bgt的交叠程度超过60%时判断为检测正确,其中交叠程度通过交并比(intersection over union, IoU)来衡量

$ \mathrm{IoU}=\frac{\operatorname{interval}\left(B_{\mathrm{ab}} \cap B_{\mathrm{gt}}\right)}{\operatorname{interval}\left(B_{\mathrm{ab}} \cup B_{\mathrm{gt}}\right)} . $ (7)

采用精确度和灵敏度指标评估2种算法检测CSA的性能[19]。结果如表 1所示。

表 1 CSA检测性能 Table 1 CSA detection performance
3.3 CSA和OSA检测结果

根据Kmeans聚类结果评估本文算法用于CSA、OSA和正常呼吸事件分类的性能。利用滑动窗口分别提取不同呼吸事件下RM信号的REI和REA特征,得到的CSA、OSA和正常呼吸的样本数分别为452、455和5 518,样本分布如图 5(a)所示。为维持不同类别样本间的平衡,随机选取455个正常呼吸的样本,与其余OSA、CSA样本一起输入到Kmeans分类器进行无监督聚类。

Download:
图 5 聚类前后3类呼吸事件的样本分布对比 Fig. 5 Comparison of sample distribution of three events before and after clustering

通过比较聚类标签与真值标签统计以下指标:TP,分类正确的呼吸暂停样本数;TN,被正确分类为非该类呼吸暂停的样本数;FP,被错判为呼吸暂停的样本数;FN,被错判为非该类呼吸暂停的样本数。基于这些指标,分别计算了OSA和CSA分类的准确率、灵敏度、特异性和F1分数用于评估分类性能[14]

$ \text { 准确率:} \mathrm{ACC}=\frac{T_{\mathrm{P}}+T_{\mathrm{N}}}{T_{\mathrm{P}}+F_{\mathrm{P}}+T_{\mathrm{N}}+F_{\mathrm{N}}} \text { .} $
$ \text { 灵敏度:} \mathrm{SEN}=\frac{T_{\mathrm{P}}}{T_{\mathrm{P}}+F_{\mathrm{N}}} \text { .} $
$ \text { 特异性:} \mathrm{SPE}=\frac{T_{\mathrm{N}}}{F_{\mathrm{P}}+T_{\mathrm{N}}} \text { .} $
$ \begin{aligned} & \quad F_1 \text { 分数: } F_1=\frac{2 \cdot \mathrm{PRE} \cdot \mathrm{SEN}}{\mathrm{PRE}+\mathrm{SEN}} \text {, 其中 } \mathrm{PRE}= \\ & \frac{T_{\mathrm{P}}}{T_{\mathrm{P}}+F_{\mathrm{P}}} . \end{aligned} $

为提高结果的稳定性,在20组包含随机选取的正常呼吸样本的数据集上进行测试(一个示例聚类结果如图 5(b)所示),计算了在不同受试者上的指标平均值和标准差,并取20次分类结果的平均值作为最终结果,CSA和OSA的检测结果如表 2所示。

表 2 CSA和OSA检测性能(均值±标准差) Table 2 Detection performance of CSA and OSC (average±standard deviation)
4 讨论与展望

表 1展示了提出的REI特征和其他工作中的特征用于CSA检测的性能比较,REI特征对于CSA检测具有更高的精确度和灵敏度,尤其在精确度上具有明显优势。原因在于标准差、频域能量和小波能量对于非CSA呼吸段的稳定性较差,而本文设计的REI特征通过计算更本征的呼吸频带相对功率指标加强了特征的识别能力,并结合该指标的空间分布特性提高了抗干扰能力,从而降低了CSA的虚警率。此外,本文提出的算法还避免了CSA判断对长短窗口选择的依赖,可以更好地适应不同受试者的呼吸状况。

第2个实验证明本文所提算法用于识别及区分2种睡眠呼吸暂停的可行性。文献[26]采用与本文相同的模拟测试方法,通过搭建多模态相机实现CSA和OSA检测(算法记为Multi),最终CSA检测的灵敏度、特异性和F1分数分别为:0.98、0.86和0.93,OSA检测的结果依次为0.91、0.78和0.86。与本文算法的检测结果相比,两者在灵敏度上性能相当,然而本文算法的特异性指标在CSA和OSA检测上均明显优于Multi算法,F1分数也有所提高,这进一步证明所设计特征整体表现优异,并且由于突出了CSA和OSA事件的病理特点,稳定性更强。

表 2可以看出,除特异性外,OSA检测的评估指标的均值和标准差均比CSA检测结果稍差,原因是呼吸运动相位特征维度的提取更容易受到噪声干扰,以及个体差异更大。从图 5可观察到,部分OSA样本点容易与CSA或正常样本点相混淆。一部分是由受试者反常呼吸症状不显著导致的,这造成REA特征值偏低(如图 5中的红色圈)。不同人群的胸腹部运动特点会有差异,例如脂肪的堆积可能会掩盖胸部或腹部运动,进而影响反常呼吸的显著程度。此外,ROI的选取也会对检测结果造成影响,当ROI框选区域没有集中在胸腹部区域时,包含的相关呼吸信息更少,REI特征值偏低(如图 5中的橙色圈)。下一步工作将在睡眠呼吸暂停综合征患者的临床环境中进一步验证算法的有效性,并且探索不同分类器在复杂场景下的应用效果。此外,还将结合睡姿识别算法探索不同睡姿下睡眠呼吸暂停检测的可能性。

5 结论

本文针对热成像数据中纹理更少、噪声强度更高所带来的挑战,通过挖掘睡眠呼吸暂停的病理生理知识以及视频的特点,提出并设计了相应观测空间上REI和REA 2个特征,该特征及其识别方法可以有效提高CSA、OSA和正常呼吸事件的分类性能。2个实验结果验证了所提算法的有效性。本文初步证明了基于热成像的睡眠暂停检测系统用于SAS疾病初筛的潜力。

参考文献
[1]
中国睡眠研究会. 2021年运动与睡眠白皮书[R/OL]. (2021)[2023-03-15]. https://www.derucci.com.cn/upload/file/202103/36fad0de-96e6-478d-b38e-5e8d6032dddd.pdf.
[2]
Kryger M H. Diagnosis and management of sleep apnea syndrome[J]. Clinical Cornerstone, 2000, 2(5): 39-44. Doi:10.1016/S1098-3597(00)90039-5
[3]
Leung R S T, Bradley T D. Sleep apnea and cardiovascular disease[J]. American Journal of Respiratory and Critical Care Medicine, 2001, 164(12): 2147-2165. Doi:10.1164/ajrccm.164.12.2107045
[4]
Bassetti C, Aldrich M S. Sleep apnea in acute cerebrovascular diseases: final report on 128 patients[J]. Sleep, 1999, 22(2): 217-223. Doi:10.1093/sleep/22.2.217
[5]
Leger D, Bayon V, Laaban J P, et al. Impact of sleep apnea on economics[J]. Sleep Medicine Reviews, 2012, 16(5): 455-462. Doi:10.1016/j.smrv.2011.10.001
[6]
Baillieul S, Revol B, Jullian-Desayes I, et al. Diagnosis and management of central sleep apnea syndrome[J]. Expert Review of Respiratory Medicine, 2019, 13(6): 545-557. Doi:10.1080/17476348.2019.1604226
[7]
Gottlieb D J, Punjabi N M. Diagnosis and management of obstructive sleep apnea: a review[J]. JAMA, 2020, 323(14): 1389-1400. Doi:10.1001/jama.2020.3514
[8]
Berry R B, Budhiraja R, Gottlieb D J, et al. Rules for scoring respiratory events in sleep: update of the 2007 AASM manual for the scoring of sleep and associated events: deliberations of the sleep apnea definitions task force of the American Academy of Sleep Medicine[J]. Journal of Clinical Sleep Medicine, 2012, 8(5): 597-619. Doi:10.5664/jcsm.2172
[9]
Chinoy E D, Cuellar J A, Huwa K E, et al. Performance of seven consumer sleep-tracking devices compared with polysomnography[J]. Sleep, 2021, 44(5): zsaa291. Doi:10.1093/sleep/zsaa291
[10]
Thomas R J, Mietus J E, Peng C K, et al. Differentiating obstructive from central and complex sleep apnea using an automated electrocardiogram-based method[J]. Sleep, 2007, 30(12): 1756-1769. Doi:10.1093/sleep/30.12.1756
[11]
Zhao X Y, Wang X H, Yang T S, et al. Classification of sleep apnea based on EEG sub-band signal characteristics[J]. Scientific Reports, 2021, 11: 5824. Doi:10.1038/s41598-021-85138-0
[12]
Lin Y Y, Wu H T, Hsu C A, et al. Sleep apnea detection based on thoracic and abdominal movement signals of wearable piezoelectric bands[J]. IEEE Journal of Biomedical and Health Informatics, 2016, 21(6): 1533-1545. Doi:10.1109/JBHI.2016.2636778
[13]
Kagawa M, Tojima H, Matsui T. Non-contact diagnostic system for sleep apnea-hypopnea syndrome based on amplitude and phase analysis of thoracic and abdominal Doppler radars[J]. Medical & Biological Engineering & Computing, 2016, 54(5): 789-798. Doi:10.1007/s11517-015-1370-z
[14]
Zhuang Z X, Wang F X, Yang X, et al. Accurate contactless sleep apnea detection framework with signal processing and machine learning methods[J]. Methods, 2022, 205: 167-178. Doi:10.1016/j.ymeth.2022.06.013
[15]
Almazaydeh L, Elleithy K, Faezipour M, et al. Apnea detection based on respiratory signal classification[J]. Procedia Computer Science, 2013, 21: 310-316. Doi:10.1016/j.procs.2013.09.041
[16]
Alshaer H, Hummel R, Bradley T D. Distinguishing patients with central from obstructive sleep apnea using overnight breath sound recordings[J]. European Respiratory Journal, 2017, 50(suppl 61): OA3204. Doi:10.1183/1393003.congress-2017.OA3204
[17]
Molinaro N, Schena E, Silvestri S, et al. Contactless vital signs monitoring from videos recorded with digital cameras: an overview[J]. Frontiers in Physiology, 2022, 13: 801709. Doi:10.3389/fphys.2022.801709
[18]
Luce J M, Culver B H. Respiratory muscle function in health and disease[J]. CHEST, 1982, 81(1): 82-90. Doi:10.1378/chest.81.1.82
[19]
Varady P, Bongar S, Benyo Z. Detection of airway obstructions and sleep apnea by analyzing the phase relation of respiration movement signals[J]. IEEE Transactions on Instrumentation and Measurement, 2003, 52(1): 2-6. Doi:10.1109/TIM.2003.809095
[20]
Al-Angari H M, Sahakian A V. Automated recognition of obstructive sleep apnea syndrome using support vector machine classifier[J]. IEEE Transactions on Information Technology in Biomedicine, 2012, 16(3): 463-468. Doi:10.1109/TITB.2012.2185809
[21]
Ammar H, Lashkar S. Obstructive sleep apnea diagnosis based on a statistical analysis of the optical flow in video recordings[C]//2016 International Symposium on Signal, Image, Video and Communications (ISIVC). November 21-23, 2016, Tunis, Tunisia. IEEE, 2016: 18-23. DOI: 10.1109/ISIVC.2016.7893955.
[22]
Zhu K Y, Yadollahi A, Taati B. Non-contact apnea-hypopnea index estimation using near infrared video[C]//2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). July 23-27, 2019, Berlin, Germany. IEEE, 2016: 792-795. DOI: 10.1109/EMBC.2019.8857711.
[23]
Lorato I, Stuijk S, Meftah M, et al. Camera-Based on-line short cessation of breathing detection[C]//2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW). Seoul, Korea (South): IEEE, 2019: 1656-1663[2022-07-17]. https://ieeexplore.ieee.org/document/9022052/. DOI: 10.1109/ICCVW.2019.00205.
[24]
Akbarian S, Ghahjaverestan N M, Yadollahi A, et al. Distinguishing obstructive versus central apneas in infrared video of sleep using deep learning: validation study[J]. Journal of Medical Internet Research, 2020, 22(5): e17252. Doi:10.2196/17252
[25]
Wang Y L, Hu M H, Zhou Y W, et al. Unobtrusive and automatic classification of multiple People's abnormal respiratory patterns in real time using deep neural network and depth camera[J]. IEEE Internet of Things Journal, 2020, 7(9): 8559-8571. Doi:10.1109/JIOT.2020.2991456
[26]
Scebba G, Da Poian G, Karlen W. Multispectral video fusion for non-contact monitoring of respiratory rate and apnea[J]. IEEE Transactions on Biomedical Engineering, 2021, 68(1): 350-359. Doi:10.1109/TBME.2020.2993649
[27]
Yang R S, Zhang L D, Wang Y L, et al. Automatic detection of obstructive sleep apnea based on multimodal imaging system and binary code alignment[C]//Zhai G, Zhou J, Yang H, et al. Digital TV and Wireless Multimedia Communications. Singapore: Springer, 2022: 108-119. DOI: 10.1007/978-981-19-2266-4_9.
[28]
Yang C, Cheung G, Stankovic V, et al. Sleep apnea detection via depth video and audio feature learning[J]. IEEE Transactions on Multimedia, 2017, 19(4): 822-835. Doi:10.1109/TMM.2016.2626969
[29]
Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62-66. Doi:10.1109/TSMC.1979.4310076
[30]
Farnebäck G. Two-frame motion estimation based on polynomial expansion[M]//Bigun J, Gustavsson T. Image Analysis. Berlin, Heidelberg: Springer Berlin Heidelberg, 2003: 363-370. DOI: 10.1007/3-540-45103-x_50.
[31]
Prisk G K, Hammer J, Newth C J L. Techniques for measurement of thoracoabdominal asynchrony[J]. Pediatric Pulmonology, 2002, 34(6): 462-472. Doi:10.1002/ppul.10204
[32]
Kopaczka M, Özkan Ö, Merhof D. Face tracking and respiratory signal analysis for the detection of sleep apnea in thermal infrared videos with head movement[C]//Battiato S, Farinella G M, Leo M, et al. New Trends in Image Analysis and Processing-ICIAP 2017. Cham: Springer International Publishing, 2017: 163-170. DOI: 10.1007/978-3-319-70742-6_15.
[33]
White D P. Pathogenesis of obstructive and central sleep apnea[J]. American Journal of Respiratory and Critical Care Medicine, 2005, 172(11): 1363-1370. Doi:10.1164/rccm.200412-1631SO