近年来，利用智能设备对人体运动状态进行识别的研究备受关注，通过对各种传感器采集到的数据进行分析，智能设备能够识别简单和复杂的运动状态^[1]，可用于对用户日常活动进行连续分析，有助于掌握人体运动状态，为非传染性疾病发生的风险因素提供预警等自动化建议.相关研究表明，身体健康状况与久坐和缺乏足够运动有关^[2-3].除医疗保健外，运动状态识别广泛用于军事、计算机交互、体育活动、智能家居、安全和交通模式检测等方面^[1].

研究显示，人的心脏代谢健康与中等运动强度有关^[4].下面以智能手机作为传感器平台，以日常生活中静止(站立/静坐)、行走、上楼、下楼、跑步和骑行6种运动状态为研究对象，以卷积神经网络(CNN，convolutional neural networks)为研究方法，深度识别人体运动状态.

1 研究背景及相关工作

国内外已对人体行为识别做了大量研究.早期，由于传感器体积较大，不便携带，且必须固定在人体某一特定的位置，限制了用户活动自由，因此只能在实验室环境下对用户进行运动状态识别^[5].近年来，随着智能手机的发展，手机中集成了多种传感器，如加速度传感器、重力传感器和陀螺仪等，在日常生活中用户随身携带手机，因此，基于智能手机的运动状态识别越来越受到重视^[6-7].

最近，深度学习已成为人工智能领域中最流行的方法之一^[8-10].深度学习也逐渐应用到人体运动状态识别领域. Ronao等^[11]提出了基于深度CNN方法，利用智能手机的运动传感器有效地识别行走、上楼和下楼3种相似运动. Tao等^[12]提出了一种双向长短时记忆网络，结合加速度信号的不同性质，提高人体运动状态识别性能. Ordóñez等^[13]提出了一种基于卷积和长短时记忆递归单元的深度识别人体活动通用框架. Chen等^[14]提出一种知识提取策略来提高人体运动状态识别性能，用深度长短时记忆网络从原始的传感器数据中学习特征. Alejandro等^[15]提出了一种深度模型方法，使用CNN和多层极限学习机(ML-ELM，multi-layer extreme learning machine)提取更显著的特征，获得稳定的性能. Wang等^[16]使用CNN识别短时间内的人体活动状态. Lee等^[17]利用一维CNN和手机中的加速度传感器识别走路、跑步和静止3种人类活动.沈等^[18]使用栈式自动编码器构建深度网络，识别与手机放置方式和位置无关的人体运动状态.然而，目前仍缺少对相同传感器数据之间的相关性以及不同设备采集同一运动的数据同步性研究.

提出了一种基于并联卷积神经网络(PCNN，parallel convolution neural network)的方法识别人体日常运动状态.相对于其他深度学习方法，CNN具有局部连接、权重共享优势^[19].多个传感器采集人体运动状态数据时，同一传感器相邻的数据之间存在着一定的相关性，不同传感器数据之间不存在这种相关性.基于这样的特性，采用2个PCNN使得不同的传感器数据在卷积层共享不同的权重，当数据到达全连接层后共享同一权重.

2 基于PCNN的人体运动状态识别

由于不同的传感器采集同一运动状态所获得的数据特征不同，为了捕获不同传感器的数据特征及数据的局部依赖性，在不同的传感器数据单元之间实施局部连接性约束.如图 1中加速度传感器单元和陀螺仪单元各自共享内核，而加速度传感器单元内核和陀螺仪单元内核之间没有联系.

2.1 三维数据矩阵

由于传感器的多样性，各传感器可能以不同步的方式或不同的采样频率采集人体运动状态数据.在将这些原始数据输入PCNN之前，需要将它们打包成一个规范一致的结构，这样的数据结构称为三维数据矩阵^[20].

给定一个传感器，其数据可以用X={x_t}表示，t=1, …, N，其中x_t为传感器某一轴数据组成的向量，t是时间索引.将来自多个传感器的数据组织在一起构成数据矩阵I，$\mathit{\boldsymbol{X}} \subset \mathit{\boldsymbol{I}}$，其中每个X被视为通道.给定多个传感器，I的大小为SQR，其中S为传感器数量，Q为每个传感器的轴数，R为最大时间指数(总样本数). 图 1中描述的数据矩阵，S=2，Q=3.将I_{i, j}^s表示为第s个传感器收集的第i个轴的第j个数据样本，1≤s≤S，1≤i≤Q，1≤j≤R.

当需要多个不同传感器采集人体不同部位运动状态数据时，根据传感器的时间戳对齐不同传感器数据，然后打包存入到数据矩阵I中.当不同传感器以不一样的采样频率采集或传感器的轴数不一致时，插入稀疏数据使得所有通道对齐.经过数据规范化后，所有传感器的数据结构得到统一，解决了传感器的多样性问题.

2.2 PCNN结构

PCNN有3层(见图 1)，包括1个输入层，若干个卷积层和池化层构成的隐藏层，2个全连接层构成的输出层.

输入层由加速度传感器和陀螺仪数据组成，各传感器的数据按照2.1节的要求组成三维数据矩阵，然后输入PCNN中.

隐藏层由传统的CNN中的卷积层和池化层组成.每个传感器上各有两层卷积层和池化层组成一个独立的卷积子网，2个独立的卷积子网并联构成隐藏层.如果需要更多的传感器数据，可以通过增加卷积子网的数量来实现.

全连接层把卷积层提取的特征综合起来.由于其全部相连的特性，一般全连接层的参数也是最多的.经过两层全连接层后，最后使用softmax函数输出分类.

2.3 PCNN训练过程

PCNN与全连接神经网络的训练原理相同，利用链式求导方法计算损失函数对每个权重的偏导数(梯度)，再根据梯度下降公式更新权重.训练算法依然是反向传播算法.

首先正向传播，把传感器采集到的数据打包成数据矩阵I输入到PCNN中，通过式(1)分别在2个卷积子网中对加速度传感器和陀螺仪数据进行卷积操作.

$ {\mathit{\boldsymbol{A}}^2} = \sigma \left( {\mathit{\boldsymbol{I}}*{\mathit{\boldsymbol{W}}^2} + {\mathit{\boldsymbol{B}}^2}} \right) $

(1)

其中：上标为层数；“*”为卷积运算符；W为权重；B为偏置；σ为激活函数，使用ReLu函数作为激活函数.

卷积层输入的数据矩阵I，其大小为SQR.对于输入矩阵I的每个通道，用一组K个内核{C_k}，k=1, …, K执行卷积操作.每个{C_k}是m×n的系数矩阵.它的大小也被称为内核的接受区域. 图 1示例中m=3，n=6，在与内核{C_k}进行一次卷积之后，将该通道中的3×6个单元映射到卷积层单元.在内核{C_k}沿着时间维度滑动的一系列卷积之后，I中传感器数据被映射到卷积层中的行向量A_k，其长度为R-n+1.其他卷积层的操作为

$ {\mathit{\boldsymbol{A}}^l} = \sigma \left( {{\mathit{\boldsymbol{A}}^{l-1}}*{\mathit{\boldsymbol{W}}^l} + {\mathit{\boldsymbol{B}}^l}} \right) $

(2)

数据经过卷积操作后被送入池化层，池化层采用大小为1×y的池化内核.通过池化操作将每一行A^l均匀划分为长度为y(图 1中y=5)的非重叠段，经过池化操作后数据的长度缩小为$\left\lfloor {\left( {R-n + 1} \right)/y} \right\rfloor $.在PCNN中池化操作的激活函数为

$ a_{k, j}^l = \max \left( {a_{k, j}^{l-1}, \cdots, a_{k, j + y-1}^{l-1}} \right) $

(3)

其中a_{k, j}^l是第l-1层上j~j+y-1个数据经max函数后的输出.

在2个并联的卷积子网最后的池化层连接2个全连接神经网络，全连接层使用式(4)进行运算.

$ {\mathit{\boldsymbol{A}}^l} = \sigma \left( {{\mathit{\boldsymbol{W}}^l}{\mathit{\boldsymbol{A}}^{l-1}} + {\mathit{\boldsymbol{B}}^l}} \right) $

(4)

顶部全用softmax函数对运动状态进行分类：

$ {\mathit{\boldsymbol{A}}^L} = {\rm{softmax}}\left( {{\mathit{\boldsymbol{W}}^L}{\mathit{\boldsymbol{A}}^{L-1}} + {\mathit{\boldsymbol{B}}^L}} \right) $

(5)

完成了一次正向传播后，将得到误差值和损失函数Loss，使用梯度下降算法来更新W.对于全连接层，可以按照传统方式计算其梯度，为

$ {\delta ^l} = {\left( {{\mathit{\boldsymbol{W}}^{l + 1}}} \right)^{\rm{T}}}{\delta ^{l + 1}} \odot \sigma '\left( {{\mathit{\boldsymbol{W}}^l}{\mathit{\boldsymbol{A}}^{l-1}} + {\mathit{\boldsymbol{B}}^l}} \right) $

(6)

$ \frac{{\partial {\rm{Loss}}\left( {\mathit{\boldsymbol{W}}, \mathit{\boldsymbol{B}}, \mathit{\boldsymbol{I}}, \mathit{\boldsymbol{F}}} \right)}}{{\partial {\mathit{\boldsymbol{W}}^l}}} = {\delta ^l}{\left( {{\mathit{\boldsymbol{A}}^{l-1}}} \right)^{\rm{T}}} $

(7)

$ \frac{{\partial {\rm{Loss}}\left( {\mathit{\boldsymbol{W}}, \mathit{\boldsymbol{B}}, \mathit{\boldsymbol{I}}, \mathit{\boldsymbol{F}}} \right)}}{{\partial {\mathit{\boldsymbol{B}}^l}}} = {\delta ^l} $

(8)

式(6)中符号“☉”表示Hadamard积，式(7)、式(8)中F为标签向量，卷积层中的梯度计算为

$ {\delta ^l} = {\delta ^{l + 1}}*{\rm{rot}}180{\left( {{\mathit{\boldsymbol{W}}^{l + 1}}} \right)^{\rm{T}}} \odot \sigma '\left( {{\mathit{\boldsymbol{A}}^{l-1}}*{\mathit{\boldsymbol{W}}^l} + {\mathit{\boldsymbol{B}}^l}} \right) $

(9)

$ \frac{{\partial {\rm{Loss}}\left( {\mathit{\boldsymbol{W}}, \mathit{\boldsymbol{B}}, \mathit{\boldsymbol{I}}, \mathit{\boldsymbol{F}}} \right)}}{{\partial {\mathit{\boldsymbol{W}}^l}}} = {\delta ^l}*{\rm{rot}}180\left( {{\mathit{\boldsymbol{A}}^{l-1}}} \right) $

(10)

$ \frac{{\partial {\rm{Loss}}\left( {\mathit{\boldsymbol{W}}, \mathit{\boldsymbol{B}}, \mathit{\boldsymbol{I}}, \mathit{\boldsymbol{F}}} \right)}}{{\partial {\mathit{\boldsymbol{B}}^l}}} = \sum\limits_{u, v} {{{\left( {{\delta ^l}} \right)}_{u, v}}} $

(11)

由于池化层中没有需要学习的参数，所以，在CNN的训练中，池化层需要做的仅仅是将误差项传递到上一层，为

$ {\delta ^l} = {\rm{upsample}}\left( {{\delta ^{l + 1}}} \right) \odot \sigma '\left( {{\mathit{\boldsymbol{A}}^{l-1}}*{\mathit{\boldsymbol{W}}^l} + {\mathit{\boldsymbol{B}}^l}} \right) $

(12)

其中upsample函数完成池化误差放大与重新分配.池化层没有梯度计算.

由各层的权重和偏置的梯度，可以重新计算相应的2个参数，为

$ {\mathit{\boldsymbol{W}}^l} = {\mathit{\boldsymbol{W}}^l}-\eta \frac{{\partial {\rm{Loss}}\left( {\mathit{\boldsymbol{W}}, \mathit{\boldsymbol{B}}, \mathit{\boldsymbol{I}}, \mathit{\boldsymbol{F}}} \right)}}{{\partial {\mathit{\boldsymbol{W}}^l}}} $

(13)

$ {\mathit{\boldsymbol{B}}^l} = {\mathit{\boldsymbol{B}}^l}-\eta \frac{{\partial {\rm{Loss}}\left( {\mathit{\boldsymbol{W}}, \mathit{\boldsymbol{B}}, \mathit{\boldsymbol{I}}, \mathit{\boldsymbol{F}}} \right)}}{{\partial {\mathit{\boldsymbol{B}}^l}}} $

(14)

其中η为学习率.

算法1描述了PCNN运动状态识别伪代码.

算法1   PCNN人体运动状态识别

输入：

已标记的数据集D_labeled={((I), F)}，未标记的数据集D_unlabeled={(I)}，PCNN的层数L

输出：

激活未标记数据的标签F.

1   初始化各隐藏层和输出层W，B的值为一个随机值

2   使用式(1)，分别对2个卷积子网输入

3   for l=2 to L-1

    如果l层是卷积层，则执行式(2)

    如果l层是池化层，则执行式(3)

    如果l层是全连接层，则执行式(4)

  end for

4   输出层使用式(5)进行分类

5   通过损失函数计算输出层δ^L

6   for l=L-1 to 2

    如果是全连接层，执行式(6) (7)(8)(13) (14)

    如果是卷积层，执行式(9)(10)(11) (13)(14)

    如果是池化层，执行式(12)

  end for

7   如果W，B收敛，退出迭代循环，否则转到2

8   使用d∈D_unlabeled预测标签F

3 实验实施和评估

下面通过不同的实验对PCNN的人体运动状态识别系统进行验证，以展示系统的可行性和实用性，并给出系统的分析和评价.

3.1 数据采集

在Android系统上开发了一个数据采集应用程序.程序运行时，每隔30 ms读取加速度传感器和陀螺仪三轴数据.实验对象：在校的20名大学生(其中男性12名，女性8名)，年龄：18~22岁，体重：45~80 kg，身高：155~180 cm.选择静止(站立/静坐)、行走、跑步、上楼、下楼和骑行6种运动状态.数据采集时，同时把4部手机分别放置在胸口、上臂、裤前口袋和裤后口袋4个不同的位置，每位实验者进行了6轮数据采集.

为确保实验中运动状态与日常生活相似，没有控制运动的速度和手机放置方向.每种运动状态的持续时间为180~300 s.所有的实验是在2.6 GHz CPU和8 GB内存的普通计算机上使用DeepLearnToolbox工具的基础上实现的.

3.2 分类准确率

PCNN结构如表 1所示，PCNN中权重衰减参数、动量和学习率分别设为0.25、0.5和0.001.经过多次实验验证，以上PCNN参数能达到很好的优化效果，提升不同运动状态识别准确率.实验时采用10折交叉验证，准确率为96.84%，混淆矩阵如表 2所示.

为了验证PCNN的适用性，使用表 3所示的CNN与PCNN进行对比，CNN识别的准确率为95.62%，混淆矩阵如表 4所示.

通过表 2和表 4这2个混淆矩阵可以看出，许多预测误差是由于“行走”“上楼”“下楼”3项运动导致.从结果可以观察到，由于PCNN部分权重共享的特征，使得模型识别人体运动状态时的准确率高于全部权重共享.在2个混淆矩阵中，(上楼，行走)和(下楼，行走)混淆率很高，因为“上楼” “下楼”和“行走”活动的信号很相似，而且在数据采集时，楼梯之间有转角平台，在平台上的运动与走路非常相似.基于PCNN部分共享权重表现较为良好，这表明PCNN可以为“上楼”和“下楼”提取更好的更具有代表性的特征.

3.3 PCNN的层数对分类结果的影响

当使用更多层的PCNN时，从输入的运动状态数据中可以获得更全面的特征信息，如表 5所示.但是，使用更多级模型会需要更高的训练成本.因此，深度学习模型的设计目标是在尽可能少的层数实现较高的分类准确度.当使用3层模型时，改进并不明显，为了达到平衡，在其余的实验中采用了两层模型.

表 5中，同时验证了单独使用加速度传感器或陀螺仪运动状态识别的准确率.为使单个传感器数据符合PCNN要求，把传感器数据复制一份后，按照2.1节三维数据矩阵要求进行存放，然后输入到PCNN中.使用单个传感器时，随着模型层数增加，分类的准确率随之提高.同时使用加速度传感器和陀螺仪能有效提高运动状态识别的准确率.

3.4 内核数量对分类结果的影响

每层的内核数量对深度神经网络来说是一个重要的参数，它决定了描述符的大小，同时也影响了模型的误差.误差定义为各卷积层的输出A^l和输入数据I所有相应行之间的平均欧几里德距离^[20].在确定内核数量方面采用了折中方案.一方面，更多的内核可以提高识别精度，可以表示更多的信息，如图 2所示，随着内核数K₁和K₂的增加，误差减小；另一方面，大量的内核将增加模型训练额外的成本.为了达到平衡，实验时选择K₁=64和K₂=64之后，模型的误差显著减慢.在这种配置下，可以得到96.84%的分类准确率(见表 5). K₁和K₂具有不同的影响性能(误差).这是因为第2个卷积层的输入是第1个卷积层的输出.经过第1层的卷积和最大池化操作之后，第2层的输入比第1层的输入更平滑.

CNN通过卷积层实现局部连接和权重共享，降低全连接网络因参数多而导致扩展性差的问题. CNN中卷积核的大小影响分类的准确率，图 3给出不同卷积核大小在PCNN中对人体运动状态识别的精度.

从图 3可以看出，当卷积核大小在3×3时，PCNN识别的精度较差，当卷积核大小增到3×9时识别的精度达到96.84%，继续增大窗口的大小，识别的精度提升不是很明显，但是随着窗口的增加，会导致计算负载上升，不利于向移动端扩展.

3.5 PCNN与VGG16运动状态识别率比较

VGG16^[21]是解决ImageNet中的1 000类图像分类和定位问题的深度卷积网络.本实验为验证PCNN和VGG16模型在人体运动状态识别准确率方面的差别，增加了PCNN的层数，使其与VGG16一致，如表 6所示，PCNN对人体运动状态识别准确率为97.89%，VGG16的准确率为97.85%.

通过表 6可以看出，在卷积层数相同，卷积核和池化核结构一致的情况下，由于PCNN使用部分权重共享，而VGG16使用全部权重共享，使得PCNN在人体运动状态识别方面要优于VGG16.

3.6 池化层的大小对分类结果的影响

下面评估PCNN在相同的配置情况下，不同大小的池化层对分类准确率的影响. PCNN结构如表 1所示，池化层大小为1×y(y从1变化到4)，其中1对应于没有最大池化层的情况.

识别结果如图 4所示.从图 4可以看出，在PCNN中有最大池化层的结果比没有最大池化层的结果好，因为最大池化层能够保持尺度不变.当将池化层的大小设置为2时，可以获得最佳结果，数据集的识别准确率从90.73%提高到96.84%.

3.7 相关文献的识别准确率对比

从数据采集过程中手机携带位置、识别运动状态的数量和运动状态识别准确率与近几年采用机器学习的文献进行比较.从表 7可以看出，采用PCNN有效提高了人体日常运动状态的识别准确率.

为了进一步验证PCNN的优势，复现表 7中文献的方法，使用分类模型评估方法中的精确率、召回率和F值(F-measure)3种评估方法，计算平均精确率、平均召回率和平均F值.采用10折交叉法对6种运动状态进行识别，识别的结果如表 8所示.从表 8可以看出，所提方法平均精确率、平均召回率和平均F值都高于其他方法.

通过以上实验和分析知，利用智能手机内置的加速度传感器和陀螺仪，采用PCNN识别方案，能有效识别人体日常6种运动状态.

4 总结与展望

在CNN的基础上，实现了基于PCNN识别人体运动状态系统.来自加速度传感器和陀螺仪的原始信号分别作为2个并联的CNN的输入，实现权重部分共享功能.实验的结果表明，该方法能够有效识别人体日常生活中的6种运动状态.

研究存在一定的局限性.需要更大的数据集对所提方法的稳定性进行验证，通过在多层中使用无监督训练和重复池化操作实现对PCNN进一步的改进.作为未来的工作，将研究基于该模型的迁移学习方法，对大规模数据进行运动状态识别.