瞬时心率是指一个心动周期内的每搏心率。我们可以通过瞬时心率判断心脏每搏的细微差别，从而衡量心脏及相关血管系统的健康状态。通常，采用专业级设备或者智能手机软件测量的心率均为平均心率，它只是一段测量时间内心率的平均值^[1]。平均心率只能近似表征心脏搏动情况，无法提供心脏每搏细节信息。因此，瞬时心率的便携检测对每个人都有重要意义。

传统专业级传感器乃至医疗级传感器会对使用者产生额外负担^[2]，并且无法随时随地提供瞬时心率检测功能。智能手机已经集成加速度计、磁力计、摄像头传感器等10余种传感器^[3-4]。通过手机内置的多传感器，可以实现各种人体生理信号及参数的采集和计算。智能手机已经成为一种移动生理健康感知及计算平台。

在智能手机平台，学者们已经展开了许多关于运动健康方面的研究。LUIS等通过手机加速度传感器计算人体呼吸信号^[5]。NAM Y等^[6]通过采集iPhone4S手机摄像头的绿光脉搏波估计呼吸率。LIU等^[7]采用智能手机前置和后置摄像头估计脉搏波传导时间。通过以上研究可知，现有研究对手机平台瞬时心率计算研究很少，特别是无先验条件下的瞬时心率估计方面研究。

针对以上问题，本文提出一种基于智能手机内置摄像头传感器及加速度传感器的瞬时心率估计方法。在不使用外接传感器条件下，该方法提供智能手机瞬时心率检测功能。采用解调原理，对智能手机摄像头采集的PPG信号进行逐拍解调，从而获得瞬时心率结果。

1 IHRE方法信号采集

本文首先使用手机摄像头和加速度传感器，分别计算集胸部近表皮的PPG信号和呼吸波信号；其次，通过VFCDM对PPG信号进行解调。最终，得到逐拍心率数据，即瞬时心率数据。

1.1 基于手机摄像头的PPG信号提取

手机摄像头采集PPG波形的基本原理：将手机闪光灯作为入射光源，与闪光灯同侧的手机摄像头作为近表皮血管灌注图像采集器。随着心脏的舒张，近表皮图像会反应血管灌注特性。从而，手机摄像头可以根据所采集图像明暗变化表征血管灌注情况。

搭载安卓系统的手机，摄像头的原始格式为YUV格式(Y表示亮度，U、V分别表示色差)，并不是RGB三色光格式。需要通过矩阵变换：

$ \left\{ \begin{array}{l} \mathit{\boldsymbol{R}} = \mathit{\boldsymbol{Y}} + 1.407~5\left( {\mathit{\boldsymbol{V}} - 128} \right)\\ \mathit{\boldsymbol{G}} = \mathit{\boldsymbol{Y}} - 0.345~5\left( {\mathit{\boldsymbol{U}} - 128} \right) - \\ 0.716~9\left( {\mathit{\boldsymbol{V}} - 128} \right)\\ \mathit{\boldsymbol{B}} = \mathit{\boldsymbol{Y}} + 1.779\left( {\mathit{\boldsymbol{U}} - 128} \right) \end{array} \right. $

(1)

将手机摄像头采集的YUV格式血液灌注图像，转换为RGB格式，才能通过计算红光(R)或者绿光(G)像素值，得到相应的PPG波形。

文献[3-4, 7]已经证明绿光或者红光是手机摄像头采集人体指尖脉搏波的最佳光源。可见光入射人体后，血小板和胆红素等人体组织吸收部分入射光，摄像头接收到的反射光主要来源于人体组织中骨胶原成分的散射作用。骨胶原在人体表皮中各个层次均有分布，采用波长较长的入射光才能接收到相对完整灌注信息。而红光波长为620~750 nm，绿光波长为500~560 nm。因此，本文采用红光作为摄像头采集PPG信号的主要光源。

设红光R分量提取的PPG信号为F(n)，将每帧图像的红光光强均值作为PPG信号中的一点，则PPG信号公式为

$ \begin{array}{*{20}{c}} {F\left( n \right) = \sum\limits_{i = 1}^a {\sum\limits_{j = 1}^b {F\left( {{x_i},{y_j}} \right)} } ,}\\ {i = 1,2, \cdots ,a,\;\;\;\;j = 1,2, \cdots ,b} \end{array} $

(2)

式中：F(x_i, y_j)为像素点(x_i, y_j)的光强值；a和b分别为手机摄像头所采集图像的长和宽，像素；n∈(1, N)为采样的帧数。如图 1所示为摄像头采集的红光PPG信号。其中，每个心动周期内均包含明显的重播波波峰和主峰。

1.2 基于手机摄像头的PPG信号提取

呼吸波是一种重要的人体生理信号，它反映人体当前状态下呼吸系统状态，是人体气体能量交换的主要方式。人体呼吸过程中，胸腔会随着呼气、吸气动作而呈现伪周期起伏规律。

如图 2中，1号箭头所示为呼气后胸腔位置，2号箭头所指为吸气后胸腔位置，3号箭头所指为手机摄像头，4号箭头所指为智能手机。图 1中人体胸腔下方，5号双向箭头所指位移即为胸腔一呼一吸的位移。由于胸腔起伏是呼吸状态的物理表达，因此，本文采用智能手机的加速度传感器计算每次呼吸胸腔的合加速度，得到胸腔位移，从而计算出呼吸波信号。

首先，在计算合加速度之前，需要去除加速度传感器各个轴向的重力干扰。在Android4.0以上版本系统中，采用陀螺仪对加速度传感器进行校正，并提供去除重力分量之后的纯净加速度数据。采用Android4.0中的LINEAR_ACCELERATION方法获得去除重力干扰的三轴向加速度数据。

其次，计算手机当前的合加速度值，其计算公式为

$ A{C_h} = \sqrt {a_x^2 + b_y^2 + c_z^2} ,\;\;\;\;h = 1,2, \cdots ,N $

(3)

式中：c_z为加速度传感器沿Z轴加速度，b_y为加速度传感器沿Y轴加速度，a_x为加速度传感器沿X轴加速度。如图 2所示，手机摄像头侧紧贴胸腔外侧，垂直手机屏幕向外为加速度传感器Z轴正向，即图 2中Z轴箭头所示。垂直Z轴向手机摄像头侧，顺时针方向分别为加速度传感器X轴正向及Y轴正向。

最后，计算时域位移得到呼吸波信号。每个位移值均为呼吸波纵轴幅值。本文采用合加速度信号的频域积分进行胸腔位移计算，从而获得呼吸波信号。将合加速度信号进行快速傅里叶变换，并对加速度频域信号进行两次积分，得到位移的频域公式为

$ s\left( n \right) = \sum\limits_{k = 0}^{N - 1} {\frac{{H\left( k \right)}}{{ - {{\left( {2{\rm{ \mathsf{ π} }}kf} \right)}^2}}}A{C_n}{{\rm{e}}^{ - 2{\rm{j \mathsf{ π} }}k\frac{n}{N}}}} $

(4)

$ H\left( k \right) = \left\{ \begin{array}{l} 1,k = 1,2, \cdots ,N\\ 0,k = 0 \end{array} \right. $

(5)

式中：k为加速度信号频域的频率顺序。比如，原点取k=0；从频域左侧到右侧，对应第一个非零频率点，取k=1，以此类推。

对位移的频域信号s(n)做傅里叶反变换可得到时域内的位移信号，即得到时域内呼吸波形R(n)。如图 3所示，为加速度传感器计算的呼吸波时域波形。其中，点表示呼吸波波峰，两个呼吸波波峰之间为一个呼吸周期。

2 IHRE中瞬时心率的计算

PPG信号作为反映人体血液循环情况的一种外部表现，它蕴含丰富的生理信息。PPG信号是由多种生理信息混合而成。根据文献[8]，PPG信号主要由心率成分、呼吸成分及其他噪声组成。根据这一思想，只需将PPG信号中的呼吸成分滤掉，就可以得到对应的心率成分。并且，解调信号解调时间窗口满足心率搏动生理特征，即可从PPG信号中解调瞬时心率成分, 如图 4所示。

由于安卓手机摄像头传感器采集的PPG信号的采样频率为30/Hz，而加速度传感器采集的采样频率为300/Hz。因此，在IHRE中，需要对低采样率的PPG信号进行数据校准。本文采用三次样条插值法^[9]实现数据校准功能。数据校准后，得到频率为300/Hz的PPG信号。然后，采用相同采样率的呼吸波信号和PPG信号进行解调计算。

VFCDM方法^[10]是一种变频复解调方法。PPG信号作为一种窄带信号，可通过若干余弦信号调制而成。人体PPG信号属于低频信号，并且每个人的PPG频率中心均不同，正常人PPG信号频率一般为0.5~2 Hz。根据VFCDM基本原理^[11]，PPG信号可以表示为

$ F\left( n \right) = {\rm{DC}}\left( n \right) + A\left( n \right)\cos \left( {\int\limits_0^n {2{\rm{ \mathsf{ π} }}f\left( \tau \right){\rm{d}}\tau } + \phi \left( n \right)} \right) $

(6)

式中：f(τ)为PPG信号的频率函数，A(n)为瞬时幅值，ϕ(n)为瞬时相位，DC(n)为直流分量。

在式(6)的左右两边同时乘以e^{-j∫₀n2πf(τ)dτ}，则脉搏波信号F(n)变为

$ \begin{array}{*{20}{c}} {Z\left( n \right) = F\left( n \right){{\rm{e}}^{ - {\rm{j}}\int_0^n {2{\rm{ \mathsf{ π} }}f\left( \tau \right){\rm{d}}\tau } }} = }\\ {{\rm{dc}}\left( n \right){{\rm{e}}^{ - {\rm{j}}\int_0^n {2{\rm{ \mathsf{ π} }}f\left( \tau \right){\rm{d}}\tau } }} + \left( {\frac{{A\left( n \right)}}{2}} \right){{\rm{e}}^{ - {\rm{j}}\varphi \left( {\rm{n}} \right)}} + }\\ {\left( {\frac{{A\left( n \right)}}{2}} \right){{\rm{e}}^{ - {\rm{j}}\left( {\int\limits_0^n {4{\rm{ \mathsf{ π} }}f\left( \tau \right){\rm{d}}\tau } + \varphi \left( n \right)} \right)}}} \end{array} $

(7)

通过e^{-j∫₀n2πf(τ)dτ}可以改变脉搏波信号F(n)的中心频率。在频谱范围内，Z(n)的中心频率更接近0。如果将式(7)通过一组截止频率为f_c＜f_r(f_r为呼吸波中心频率)低通滤波器，滤波后的信号Z_lpf(n)只包含瞬时幅值A(n)和瞬时相位ϕ(n)。通过信号Z_lpf(n)，可以求得具体瞬时幅值A(n)和瞬时相位ϕ(n)：

$ {Z_{lpf}}\left( n \right) = \left( {\frac{{A\left( t \right)}}{2}} \right){{\rm{e}}^{{\rm{j}}\varphi \left( n \right)}} $

(8)

$ A\left( n \right) = 2\left| {{Z_{lpf}}\left( n \right)} \right| $

(9)

$ \varphi \left( n \right) = \arctan \left( {\frac{{{\mathop{\rm Im}\nolimits} \left( {{Z_{lpf}}\left( n \right)} \right)}}{{{\mathop{\rm Re}\nolimits} \left( {{Z_{lpf}}\left( n \right)} \right)}}} \right) $

(10)

式(10)中Im( )函数和Re( )函数分别计算Z_lpf(n)的虚部和实部。从而，可以得到瞬时频率：

$ f\left( n \right) = {f_0} + \frac{1}{{2{\rm{ \mathsf{ π} }}}}\frac{{{\rm{d}}\phi \left( n \right)}}{{{\rm{d}}n}} $

(11)

式中f₀为PPG信号的中心频率。通过低通滤波器的分频段滤波方法，可以得到PPG信号的中心频率f₀^[12]。而根据式(11)，IHRE可以得到呼吸信号的瞬时中心频率f_r。

至此，IHRE可以从PPG信号中解调出心率成分。但是，为了计算瞬时心率(即每个心搏周期的心率)，IHRE需要计算以下两个参数，以得到瞬时心率值：

1) 提取呼吸波的中心频率f_r，作为低通滤波器的截止频率上限。用于滤除PPG信号中的呼吸波成分。同f₀类似，采用通频带遍历的方法获得呼吸波中心频率f_r。在式(7)~(11)的推导过程中，截止频率上限是一个重要参数，这个参数决定低通滤波器滤除呼吸波效果的好坏。

2) 设置解调窗口大小。瞬时心率是每个心动周期内的心率值，而不是几个心动周期心率的平均值。因此，解调窗口大小直接决定输出心率结果是否为瞬时心率。由于人体正常心动周期为0.3~1 s，并结合多次实验结果验证。本文设置解调窗口大小为0.4 s，即每0.4 s的PPG信号和呼吸波信号进行一次解调处理。从而，IHRE每0.4 s计算出一个心率值，即为瞬时心率值。

根据校准后的PPG信号频率300 Hz，计算出0.4 s对应的采样点数为120。因此，瞬时心率信号公式为

$ I\left( w \right) = f\left( w \right) = {f_0} + \frac{1}{{2{\rm{ \mathsf{ π} }}}}\frac{{{\rm{d}}\phi \left( w \right)}}{{{\rm{d}}w}} $

(12)

其中，w=n+120，n∈[1, N]。

3 实验验证与结果分析

为了对本文提出的IHRE方法进行评价，设计实验如下：邀请12名测试者，年龄分布为22~29岁。其中，男性7人，女性5人。健康状况良好，无先天心脏病史。本文采用心电信号计算的瞬时心率作为参考标准，采样频率为300 Hz。通过计算ECG信号的每个RR间期，获得瞬时心率值。ECG信号的采集设备为HKD-10L蓝牙双导联心电传感器。PPG信号的采用传感器为手机摄像头，呼吸波的采集传感器为手机加速度传感器。

以APP的方式，在Android手机上实现IHRE方法及STA方法^[13]，并在3款主流手机上测试上诉两种方法进行可行性及准确性的验证。具体实验过程如下。

1) 在静息状态下，每名测试者采集2 min数据。选择3款手机中的一款，进行PPG数据和加速度数据的采集。同时，记录ECG数据。

2) 每名测试者分别进行2 min的节律跳绳运动，待运动停止后，立即进行数据采集，时间仍为2 min。

3) 1次静息状态采集和1次运动后状态采集称为1次数据采集。为保证实验数据的科学性，每名测试者进行1次数据采集后，休息3 min。换下一款手机重复步骤1)~3)的实验，直至3款手机均完成实验为止。

3.1 可行性验证与分析

通常正常成人的瞬时心率范围为60~100次/min，本文通过有效率来对IHRE方法进行有效性评价。如表 1所示为3款手机硬件参数。

设每搏的瞬时心率为r，有效结果记为α_i。如果r满足不等式60≤r≤100，则认为此次瞬时心率计算结果有效，则α_i=1；否则，α_i=0。从而，有效率计算公式为

$ \eta = \frac{{\sum\limits_{i = 1}^n {{\alpha _i}} }}{\lambda } \times 100\% $

(13)

式中：η是有效率; λ为总采样时间内的总的计算次数，本文总采样时间为4 min。

如表 2所示，为本次实验的有效率统计。有效率用于表示每次计算的瞬时心率是否属于正常成人心率范围。在表 2中，共计12位测试者，每位测试者使用1款手机进行瞬时心率估计，同时采用ECG传感器估计瞬时心率，测试数据分别采用IHRE算法和传统STA算法^[13]计算。

在4 min采样时间内，IHRE方法至少进行4次瞬时心率计算。根据式(13)，计算每款手机和同步ECG传感器的瞬时心率有效率。在三星NOTE2、红米NOTE4和魅族MX4平台，IHRE和STA所计算的瞬时心率平均值分别为87.62%和65.23%、88.68%和77.14%、91.31%和82.32%。与手机实验相对应，同步ECG传感器的瞬时心率有效率平均值分别为97.69%、96.93%和96.40%。

以ECG传感器的瞬时心率有效率为参考标准，IHRE算法和STA算法分别在三星NOTE2手机、红米NOTE4手机和魅族MX4手机上的有效率平均值误差分别为10.07%和32.46%、8.25%和19.79%、5.09%和14.08%。在本文实验的3款手机中，IHRE方法有效率误差由低到高分别为魅族MX4、红米NOTE4和三星NOTE2。在3款手机上，两种算法有效率的误差均值约分别为7.80%和22.11%。根据以上分析可知，IHRE方法较传统STA方法有效性误差更低，从而表明IHRE方法可以进行更有效的瞬时心率估计。

3.2 准确性验证与分析

准确性是衡量IHRE算法性能的重要指标。通过准确性的描述，可以有效表达IHRE算法性能。根据文献[14-15]中的绝对误差率公式，通过绝对误差率对本文准确性进行定量描述，绝对误差率表达式为

$ {\eta _i}\left( k \right) = \left( {1 - \left| {\frac{{{E_i}\left( k \right) - {S_i}\left( k \right)}}{{{E_i}\left( k \right)}}} \right|} \right) \times 100\% $

(14)

式中:E_i(k)为ECG信号计算的瞬时心率均值，为真实参考值；S_i(k)为PPG信号和呼吸率信号计算的瞬时心率均值，为实际计算值；i=1, 2, 3表示3款不同的手机，k=1, 2, …, 12表示不同的测试者。

如图 5所示为IHRE算法的准确率。每位测试者第一至三列数据分别表示三星NOTE2手机、红米NOTE4手机和魅族MX4手机的瞬时心率准确率。

在图 5中，仅有5个准确率低于90%，其余准确率均在90%以上。但是，图 5中存在3处明显异常点。在异常点1处，该测试者使用三星NOTE2计算的瞬时心率准确率远远低于使用其他两款手机计算的准确率。原因在于该位测试者在测试过程中，有部分采集时间与人交谈，直接影响加速度信号采集。在异常点2处和异常点3处，准确率明显低于同组准确率。这是由于第5位测试者和第6位测试者在使用相应手机测试过程中测试部位移动，导致测试数据部分失真。

以测试者为统计对象，12位测试者的IHRE算法和STA算法准确率如表 3所示。12位测试者的IHRE算法平均准确率为93.38%。其中，第6位测试者的准确率为89.70%，其余11位测试者的准确率均为90%以上。原因在于该位测试者在使用魅族MX4手机测试时有部分时间与人交谈，导致所采集数据不稳定。这一点，在图 5的统计中也得到表现。而STA算法的平均准确率仅有81.42%，这主要由于STA算法在不同机型上的鲁棒性不足，该算法需要根据具体机型设置相应参数。因此，相比传统STA算法而言，本文提出的IHRE算法在不同型号手机中均具有良好的准确性。

4 结论

1) 在智能手机平台上提出并实现了一种基于脉搏波信号与呼吸波信号相融合的瞬时心率估计方法。

2) 采用ECG信号计算的瞬时心率为黄金标准，采用三星NOTE2、红米NOTE4和魅族MX4等3款不同品牌手机实际测试本文算法及传统STA算法。实验结果表明，在3款不同品牌手机上，IHRE算法有效率均高于STA算法，并且IHRE的平均有效率达到89.2%。

3) 以ECG信号为参考信号，本文提出的IHRE算法在三星NOTE2、红米NOTE4和魅族MX4等3款手机上准确率均高于90%。与STA算法相比，本文提出的IHRE算法平均准确率提高11.5%。

因此，本文提出的IRHE算法在不同Android手机平台上具有良好的使用效果，表现出良好的鲁棒性。该方法的提出为使用智能手机内置传感器计算生理参数提供了一种新思路。