机器人 2022, Vol. 44 Issue (5): 546-563  
0
引用本文
李纪桅, 张弼, 姚杰, 赵明, 徐壮, 赵新刚. 面向智能假肢手臂的生机接口系统与类神经协同控制[J]. 机器人, 2022, 44(5): 546-563.  
LI Jiwei, ZHANG Bi, YAO Jie, ZHAO Ming, XU Zhuang, ZHAO Xingang. Biomechanical Interface System and Neural-like Cooperative Control for the Intelligent Prosthetic Arm[J]. ROBOT, 2022, 44(5): 546-563.  

面向智能假肢手臂的生机接口系统与类神经协同控制
李纪桅1,2,3 , 张弼1,2 , 姚杰1,2 , 赵明1,2 , 徐壮1,2 , 赵新刚1,2     
1. 中国科学院沈阳自动化研究所机器人学国家重点实验室,辽宁 沈阳 110016;
2. 中国科学院机器人与智能制造创新研究院,辽宁 沈阳 110169;
3. 中国科学院大学,北京 100049
摘要:针对肢体残障患者的假肢控制问题,搭建了一种基于sEMG(表面肌电信号)的智能假肢手臂系统,实现手臂残障程度较高患者的手-肘协调控制。首先,基于肌肉协同理论,使用非负矩阵分解(NMF)方法提取肌肉协同作用,并进行手部动作识别以及肘关节的连续运动估计。其次,基于意图识别结果构建“前馈-反馈”控制框架,对受试者进行前馈监督与反馈检测;根据前馈-反馈结果调整期望的控制输入,提高假肢系统的舒适性与鲁棒性。然后,针对手部动作,构建一种自适应调整抓握力度的框架,通过力、位信息交替控制,实现不同刚度、不同形状物体的自适应抓握;对于肘部运动,设计一种基于识别结果的阻抗控制算法,实现手-肘一体化假肢的稳定的人机交互控制。最后,由6名健康受试者、1名手臂残障受试者对以上控制策略进行实验验证,对手臂整体运动实现了较为准确的意图识别,同时也完成了稳定的肘部屈伸以及手部抓取,做到了手-肘的一体化协调控制。最终该套系统在北京2022年冬残奥会实现了应用展示。
关键词智能假肢    表面肌电信号    阻抗控制    人机交互    
中图分类号:TP242.3            文献标志码:A            文章编号:1002-0446(2022)-05-0546-18
Biomechanical Interface System and Neural-like Cooperative Control for the Intelligent Prosthetic Arm
LI Jiwei1,2,3 , ZHANG Bi1,2 , YAO Jie1,2 , ZHAO Ming1,2 , XU Zhuang1,2 , ZHAO Xingang1,2     
1. State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China;
2. Institute of Robotics and Intelligent Manufacturing Innovation, Chinese Academy of Sciences, Shenyang 110169, China;
3. University of Chinese Academy of Sciences, Beijing 100049, China
Abstract: To address the problem of prosthetic limb control for patients with physical disability, an sEMG (surface electromyography) based intelligent prosthetic arm system is developed to achieve coordinated hand-elbow control for patients with a higher degree of arm disability. Firstly, the non-negative matrix factorization (NMF) method is applied to extracting muscle synergy based on the muscle synergy theory, and hand movement recognition and continuous motion estimation of the elbow joint are implemented. Secondly, a "feedforward-feedback" control framework is constructed based on the intention recognition results, and feedforward supervision and feedback detection are performed on the subjects to improve the comfort and robustness of the prosthetic system by adjusting the desired control input based on the feedforward-feedback results. Then, an adaptive grip force adjustment framework is constructed for hand movements to achieve adaptive grip of objects of different stiffness and shapes through alternating force and position information control; for elbow movements, an impedance control algorithm based on recognition results is designed to achieve stable human-machine interaction control of the hand-elbow integrated prosthesis. Finally, the above control strategy is experimentally verified by 6 healthy subjects and an arm handicapped subject in order to achieve more accurate intention recognition for the overall arm motion, and the result indicates that the proposed approach can complete stable elbow flexion and extension as well as hand grasping function to achieve coordinated control of the integrated hand-elbow. The system was realized in the Beijing 2022 Winter Paralympic Games for application demonstration.
Keywords: intelligent prosthetics    sEMG signal    impedance control    HMI (human-machine interaction)    

1 引言(Introduction)

据第二次全国残疾人抽样调查公布,我国肢体残疾人已超过2400万,肢体残疾使患者承受生活和心理上的双重压力[1]。作为替代肢体的假肢能够帮助患者复现肢体运动能力,但对现实假肢佩戴情况的调查表明,所有肢体残障者中已装配假肢的人数仅90万[2],这主要是由于传统假肢存在功能单一、运动不协调、适应性差、训练周期长等缺点[3]

目前商业化的智能假肢大多按照机电一体化思路设计,具有支撑、减震、位置检测等基本功能。哈尔滨工业大学与德国宇航中心联合研发了具有5个手指的HIT/DRL假肢手[4],假手集成了力和位置传感器,可以实现力-位混合控制及力反馈感知。英国Touch Bionics公司研发的i-LIMB Hand有5个手指[5],通过其手臂筒套中安置的电极采集表面肌电信号(sEMG),然后识别运动意图,控制仿生手执行相应动作。美国丹佛大学Krausz等[6]设计了一款高仿真度6自由度假肢手,该假肢手的每个手指的末端最大输出力约为10 N,手指的开/合角速度能达到3 rad/s。Smit等[7]设计了一款通过微型气缸驱动的全气动假肢手,该假肢手的食指、中指、无名指分别有2个主动自由度,小指有1个主动自由度,3指的抓握力可达60 N。Gu等[8]设计了一种柔性神经假肢手,通过4个通道肌电传感器采集sEMG,然后集成电容传感器进行压力测量,并使用电刺激实现触觉反馈,在灵巧性方面优于传统的刚性假肢手。目前已投入使用的肌电假肢还很少,且系统的稳定性/安全性受sEMG的非平稳性、时变性影响很大[9]

开发肌电假肢的关键环节是通过肌电信号精确识别出人体的运动意图,通常包括离散动作模态分类和关节连续运动量估计[10]。Englehart等[11]对比不同的sEMG特征对手部动作分类准确率的影响,采用线性判别分析(LDA)方法对所提取的时-频域特征进行动作分类,能够准确识别6种手腕动作。Lloyd等[12]使用卷积神经网络(CNN)进行动作分类,以屈伸表示手指状态,可以预测一些训练中没有出现过的新手势。Zhang等[13]提出一种描述表面肌电信号与腿部关节角度之间关系的$ m $阶非线性模型,对于不同速度、不同载荷等情况,利用带动量的变学习率BP(反向传播)神经网络进行模型估计,表现出很好的稳定性。Han等[14]提出一种基于Hill模型的状态空间模型用于人体连续运动估计,利用肌电特征构造测量方程,进而与前向的肌肉模型构成状态空间模型,并提出一种sEMG归一化方法消除外部负载影响。以上的研究成果表明,sEMG能够对人体意图进行解码。但残障受试者的情况与理想实验条件存在较大差别,李自由等[15]曾对肌电信号的非理想条件进行分析,并给出模式识别方面的相关处理办法。而残障受试者的残肢区域狭窄、肌电信号微弱,属于非理想因素的一种,因此,传统的基于特征值的方法不足以准确反映残障者的运动意图,需要一种从运动控制层面解释人体意图的识别方法。

从神经科学方面来说,肌肉协同是一种将任务层面的运动意图转化为更低水平的肌肉激活模式的机制,由于肌肉协同作用表现为一组肌肉在空间或时间上的连贯激活度[16-17],对于信号的变化具有更好的鲁棒性,因此可以将其用于人体运动意图的估计。Jiang等[18]研究肌电与手部运动学的映射精度与控制性能的关系,证明良好的在线肌电控制是通过用户与肌电控制器反馈的持续交互和适应来实现的。Luo等[19]通过非负矩阵分解(NMF)进行协同特征提取,对5种日常生活中的姿势的平均识别率保持在96% 以上,证明了肌肉协同作用对于手势识别的有效性。Antuvan等[20]使用极限学习机(ELM)进行动作分类时,发现协同特征的在线正确率优于传统肌电特征,达到91.79% 左右。Liu等[21]改进了通过融合肌电数据和IMU(惯性测量单元)数据基于肌肉协同作用来检测运动意图的方法,总体平均分类正确率达到94.5%。因此,肌肉协同作用基本能够正确反映出人体的运动意图,但对于肢体缺失的受试者,特别是无手-肘部神经记忆的情况,通过稀疏电极采集sEMG的方法无法提取到足够的运动信息,必须使用高密度传感器提高肌电信号的量级。肌肉协同作用的提取过程也适于在高维度、肌电信息耦合的情况下对肌电信号进行降维、信号维度重构。

为了改进受试者与假肢之间的信息交互,一些学者通过将假肢的状态以不同形式的信息进行反馈,来提高截肢患者在使用假肢时对其状态的感知。D'Anna等[22]通过在神经中植入多通道电极,使用神经内刺激的方法实时进行位置和触觉反馈,使截肢患者对于假肢手指的位置信息具有视觉以外的直观感觉。Zollo等[23]进行仿生滑动检测及编码,将力和滑动信息转换为神经内电极的电刺激信息,使截肢受试者感受到抓握时物体的滑移和反馈力。Furui等[24]从肌电信号中提取肌肉协同作用并进行组合,通过已学习的单个动作预测未学习的组合动作,然后根据肌肉协同作用和建模得到的修正向量实现当前受试者的动作估计,实现假手的平稳控制。以上研究虽然能够实现截肢患者与假肢间的感觉反馈,但都建立在进行刺入式电刺激手术的前提下,缺点在于手术植入神经接口容易引起神经炎性异物反应。此外,前人的研究大都专注于实现抓握功能,却没有考虑到患者截肢位置更高的情况,因此,当前的研究成果不够符合便携穿戴假肢系统的要求,同时刺入式电极对于本次冬残奥会的适配火炬手来说也不具备实施条件。

区别于现有的sEMG交互控制模式,本文的创新在于构建了适用于闭环神经操控的生机电接口系统,设计了包含“交互层-监督层-协调层-执行层”的控制架构,提升了人机交互系统的稳定性。具体工作包括以下3点:1) 验证利用肌肉协同矩阵进行手、肘运动识别的可行性,分析不同模型对于实验结果的影响;2) 构建“前馈-反馈”双层通路,进行受试者的前馈数据监督和反馈肌肉疲劳检测,从而针对受试者当前状态改变控制策略和控制参数;3) 构建手部力、位信息控制和肘部阻抗控制策略,实现自适应抓握功能,提高肘部控制柔顺性。上述方法能够完成稳定的假肢肘部屈伸和手部抓取功能,做到手-肘的一体化协调控制。基于本文交互框架的智能假肢成功适配北京冬残奥会火炬手,针对该受试者的右臂特定残障情况,使其能够自主控制假肢完成火炬的传递任务。

2 生机电一体化假肢系统设计(Design of the biomechatronics prosthetic system)

本节简要介绍智能假肢的硬件设计。图 1(a)展示了生机电一体化假肢系统的整体结构,由肘部转动关节、电源模组、主控单元、灵巧手4部分组成。假肢受腔通过连接件与转动关节进行连接,只需在粘贴肌电电极后再完成假肢受腔穿戴即可使用假肢。

图 1 生机电一体化假肢系统 Fig.1 The biomechatronics prosthetic system

1) 主控单元作为智能假肢的控制核心,承载了电源管理、传感器调理电路、电机驱动控制等重要的功能。由于假肢系统内部空间有限,出于系统集成化的考虑,使用功能分块设计、叠拼直连组合的方式,极大缩减了主控单元的体积。其中,控制器部分采用了嵌入式微控制器STM32F407VET6作为核心芯片,用于完成信息的接收和处理。图 1(b)所示为主控单元的硬件实物图。

2) 假肢系统使用24 V直流电池组作为电源,降压后分别为直流电机、主控板、灵巧手进行供电,电源模块可适应宽电压供电,供电范围为3.4~42 V,并包含4组DC-DC降压电路,分别稳定输出+8.5 V、+5 V、+3.3 V以及-5 V直流电压。经过测试,电池组可以为假肢持续不间断供电5 h,满足火炬传递任务需求。

3) 传感器调理模块用于采集人体残肢末端的肌电信息,进而解析出人体残肢的运动意图,由肌电传感器电极、分级放大电路、干扰抑制电路以及工频陷波电路等部分构成。肌电传感器电极由高导电率的银电极构成,直接用于人体皮肤表面以减小与皮肤的接触阻抗;分级放大电路用于将微弱的表面肌电信号放大至伏特级便于处理和识别,同时采用分级放大的方式可提高系统的输入电阻,防止有效信号发生失真;干扰抑制电路用于消除系统外部的干扰,如运动伪差、环境噪声等,并结合工频陷波电路,抑制环境中的50 Hz工频干扰,从而得到高质量的信号。系统输入噪声小于2 μV,共模抑制比大于100 dB,带宽大于4 kHz。

4) 驱动控制模块包括电机驱动器、通信单元、高精度A/D转换器以及集成控制器等几个部分。其中电机驱动器由三相桥式逆变电路构成,用于完成对电机的换相,实现各关节电机组件的操控;通信单元由CAN(控制器局域网络)通信电路和串口通信电路构成,用于实现电机驱动器的控制以及传感器数据的监测,并与上位机通信,保障系统安全性;高精度A/D转换器由24位高精度同步采样模数转换器构成,内含2阶抗混叠模拟滤波器,用于实时采集肌电传感器感受的肌电数据;集成控制器为嵌入式微控制系统,用于完成整个假肢系统的集成控制,包括产生驱动控制信号,实现控制模式切换等。

5) 灵巧手具有6个自由度和12个运动关节,通过布置在手掌内部的小型直线电机驱动,可实现各手指的多关节联合弯曲运动以及拇指的外展/内收运动,除拇指外的四指掌指关节的最大弯曲速度为260°/s,拇指掌指关节的最大弯曲速度为70°/s,最大外展/内收速度为107°/s,各手指的最大抓握力可达10 N。灵巧手总质量为530 g,具备轻便性,可实现多种手部动作,并且能够完成对火炬的快速稳定抓取。

6) 肘部转动关节由小型直流无刷电机驱动,通过与多组双联齿轮啮合的传动方式,将电机输出扭矩传递至肘关节处。齿轮组与相关支撑结构布置在受试者前臂残肢外侧,可在保证残肢活动范围不受限的前提下,提高假肢肘关节的输出扭矩,最大关节扭矩可达10 N$ \cdot $m。肘部转动关节通过齿状连杆与受腔连接,并通过机械限位控制肘关节在0~110°范围内运动,保证受试者的使用安全。此外,受腔内置高密度肌电传感器用于采集受试者残肢处的肌电信息。

3 基于肌肉协同作用的运动意图感知(Mo- tor intention perception based on muscle synergy)

本节主要介绍基于肌肉协同理论的人体运动意图解析的过程。首先,采集肱二头肌、肱三头肌、尺侧腕屈肌/残肢肌肉3部分肌肉群的高密度肌电信号;然后对原始肌电数据进行预处理,通过提取肌肉协同作用对预处理信号进行维度重构,对高密度肌电信号进行解耦,然后使用肌肉协同元作为数据源,进行手部动作分类以及肘关节连续运动估计。此外,选取3种典型的特征值作为对照组,用于对比特征值与肌肉协同作用的意图识别效果。

3.1 肌电信号预处理

sEMG是一种非平稳信号[10],为了提高信号质量,需要对采集的肌电数据进行处理才能作为后续工作的数据源。首先用Butter-Worth滤波器对肌电信号进行20~400 Hz的带通滤波处理,然后为保证所有数据均为正数,便于后续进行NMF分解以提取肌肉协同作用,对滤波后的数据进行最大最小归一化:

$ \begin{align} x^{*} =\frac{x-x_{\min}} {x_{\max} -x_{\min}} \end{align} $ (1)

其中,$ x^{*} $为归一化后的数据,$ x $为原始数据,$ x_{\max} $$ x_{\min} $分别为原始数据集的最大值和最小值。

为保证数据信息不丢失以及特征值提取的连续性,设置时间窗为250 ms,滑动窗为50 ms,滑动提取肌肉协同作用以及传统特征值,使用的传统特征值如下所示。

$ \begin{align} f_{{\rm{MAV}}} & =\frac{1}{n_{\rm w}} \sum _{i=1}^{n_{\rm w}} | {x_{i}} | \end{align} $ (2)
$ \begin{align} f_{{\rm{RMS}}} & =\sqrt{\frac{1}{n_{\rm w}} \sum _{i=1}^{n_{\rm w}} x_{i}^{2}} \end{align} $ (3)
$ \begin{align} f_{{\rm{WL}}} & =\sum _{i=1}^{n_{\rm w} -1} | x_{i+1} -x_{i} | \end{align} $ (4)

其中,$ f_{{\rm{MAV}}} $$ f_{{\rm{RMS}}} $$ f_{{\rm{WL}}} $分别为平均绝对值(mean absolute value)、均方根(root mean square)、波形长(waveform length),$ n_{\rm w} $为时间窗长度,$ x_{i} $为当前时间窗内的第$ i $个信号值。

3.2 提取肌肉协同作用

肌肉的活动状态可以表示为肌肉协同元和激活系数的线性组合,因此sEMG信号可以分解为协同矩阵和时间激活系数矩阵的乘积[20]

$ \begin{align} \mathit{\boldsymbol{M}}_{N\times T} =\mathit{\boldsymbol{W}}_{N\times k} \mathit{\boldsymbol{H}}_{k\times T} \end{align} $ (5)

其中,$ \mathit{\boldsymbol{M}} $为样本数据矩阵,$ \mathit{\boldsymbol{W}} $为肌肉协同矩阵,$ \mathit{\boldsymbol{H}} $为时间激活系数矩阵,$ N $为肌电信号的通道数,$ k $为肌肉协同元数量,$ T $为当前数据的样本数量。

提取肌肉协同作用的一般方法是进行矩阵分解,常见的肌肉协同作用提取方法有主成分分析(PCA)、因子分析(FA)、NMF。其中,NMF是将一个非负矩阵分解为基矩阵与系数矩阵乘积的形式,即非负矩阵中的元素可以由基矩阵中列向量的线性组合表示,这表明NMF方法的根本意图是使用维度较小的基矩阵和维度较大的系数矩阵逼近原非负矩阵,与本文中提取肌肉协同作用的理念相符,所以本文采取NMF方法作为肌肉协同作用的提取算法[25],针对式(5) 的矩阵分解问题,可以通过最小化原矩阵$ \mathit{\boldsymbol{M}} $和重构矩阵$ \mathit{\boldsymbol{WH}} $之间的欧氏距离获得最优的$ \mathit{\boldsymbol{W}} $$ \mathit{\boldsymbol{H}} $矩阵:

$ \begin{align} \min \left\| \frac{1}{2}{\mathit{\boldsymbol{M}}}-{\mathit{\boldsymbol{WH}}} \right\|^{2} \end{align} $ (6)

此外,当分解模块数较少时,数据分解出的模块是许多模块的叠加,不足以表现出原始信号的信息;而当分解模块数较多时,分解出的协同元存在冗余或重复的情况。为了选取最合适的肌肉协同元数量进行分解,选取方差占比率($ p_{\rm{VAF}} $)作为判断指标[26]

$ \begin{align} p_{\rm{VAF}} = 1-\frac{\sum (M_{ij} -\overline {M}_{ij})^{2}} {\sum M_{ij}^{2}} \end{align} $ (7)

其中,$ i=1, \cdots, N $$ j=1, \cdots, T $$ M_{ij} $为原始样本矩阵中的元素,$ \overline {M}_{ij} $为分解得到的重构矩阵(即分解后的$ \mathit{\boldsymbol{W}} $矩阵和$ \mathit{\boldsymbol{H}} $矩阵乘积)中的元素。

一般认为,当$ p_{\rm{VAF}} $值大于95%,且随着$ k $值的增大,$ p_{\rm{VAF}} $增加小于2% 时,$ k $为有效分解列数。因此,需要分别针对不同肌肉协同元数量$ k $进行非负矩阵分解,计算相应的$ p_{\rm{VAF}} $,选择合适的$ k $值。

3.3 基于肌肉协同作用的意图识别方法

首先,对于手部动作分类任务,右臂残障患者的残肢部分可用肌肉面积较小,传统的稀疏电极无法有效采集sEMG信息,因此需使用高密度肌电传感器包裹残肢部位。另一方面,高密度肌电传感器虽然能采集电极粘贴部位较多通道数量的数据,但并非其中的所有通道都与当前动作存在较高的相关性。使用传统提取方式对于所有通道进行特征值计算时,计算量级太高,同时蕴含较多的无效信息,因此通过提取肌肉协同作用,对耦合信号进行降维解耦,得到维度较低的数据作为意图识别的输入。

为了验证肌肉协同作用对于手部动作分类的效果,使用LDA方法、支持向量机(SVM)、决策树这3种分类器进行手部动作分类的验证。其中,LDA方法简单,通过最小化类内距离、最大化类间距离进行分类;SVM使用核函数的方法进行数据的非线性分类;决策树采用树状结构对数据集进行分类。分别使用传统特征值、肌肉协同元进行模型训练,并根据实验结果选择合适的分类器应用到假肢系统。

其次,针对肘关节运动预估问题,由于肢体残障受试者的患侧前臂缺失,无法通过IMU传感器或者Vicon动作捕捉设备采集到患侧的关节运动量,考虑到人体具有对称性,使用左臂的运动量数据作为镜像数据源,来估计右臂运动,通过采集受试者患侧肌电数据与健侧关节运动数据,并在时序上进行时间戳对齐,得到可靠的训练数据。

考虑到计算效率、主控板算力等因素,选取K近邻(KNN)算法、随机森林[27](RF)算法、反向传播(BP)神经网络[28]作为运动轨迹跟踪的模型。其中,KNN算法在执行回归任务时,将$ K $个样本的输出平均值作为预测结果;RF算法按照集成学习的思想将多个决策树组合,用于解决回归问题;BP神经网络利用信号的正向传播和误差的反向传播进行回归拟合。同样地,基于传统特征值、肌肉协同元进行模型验证,并对比选择出应用到假肢系统的算法。

4 基于人机闭环的神经交互控制(Neural interactive control based on human-machine closed loop)

为了确保受试者在火炬传递过程中平稳自如地使用该智能假肢手臂系统,必须提高肌电协作控制系统的鲁棒性。不同于以往增加触觉传感器、对受试者进行电刺激[22-23]等方式,本文只需采集现有的sEMG,不需要附加任何传感系统,极大地提高了假肢手臂系统的集成度,降低了控制任务的复杂度。

4.1 总体控制系统设计

基于前述的人体意图识别问题,构建出一种人机协作控制架构,如图 2所示。首先,基于肌肉协同作用进行意图识别,完成“交互层”的输入变量计算,得到当前手部动作类别$ a_{\rm d} $以及肘关节的预估期望角度$ y_{\rm d} $。然后根据前馈监督结果$ p $,对期望输入进行“监督层”的任务分析,同时引入肌肉疲劳检测反馈机制,综合当前肌肉协同作用、肌肉疲劳情况、假肢的实际肘关节角度$ y_{\rm a} $调整期望输入$ a_{\rm r} $$ y_{\rm r} $。其中,$ p $为肌肉协同作用相似度;$ F_{{\rm{fatigue}}} $为肌肉疲劳标志,反映当前肌肉是否处于疲劳状态;$ a_{\rm r} $$ y_{\rm r} $分别是经过任务分析后修正过的手部期望动作类别以及肘部期望关节角度。接下来,在“协调层”,对于手部控制,基于期望识别结果,结合手部传感器返回信息进行力、位信息的交替控制;而对于肘关节控制,根据得到的关节角度、关节估计力矩进行阻抗控制计算。最后通过“执行层”的底层控制得到相应的控制律对执行层进行控制。其中,$ q_{\rm a} $$ f_{\rm a} $分别表示手指当前角度、当前实际受力;$ \tau_{{\rm{est}}} $为根据当前肘关节角度计算出的肘关节估计力矩。

图 2 基于人机闭环的分层级式神经控制系统 Fig.2 The hierarchical neural control system based on human-machine closed loop

此外,“交互层”输入变量中关于手-肘意图识别结果的求解算法已在第3节介绍,“执行层”对于底层控制使用传统的位置控制以及力控制,以确保系统稳定运行,因此文中不再对这两层结构的算法内容进行过多赘述。

4.2 监督层任务分析

肌肉协同作用表示选择的各通道肌肉在当前运动模式下的激活程度,因此不同运动状态下的肌肉协同作用有所差异,这间接导致协同矩阵和时间激活系数矩阵并非一直不变,理论上来说,2个协同矩阵在相同运动模式下应具有极大程度的相似性,而由于肌电信号的非平稳性特点,在实际采集过程中肌肉激活情况容易受到电极偏移等非理想条件的影响,导致提取的协同矩阵发生不同程度的变化,因此需要引入前馈监督支路对当前肌肉协同作用进行分析。另一方面,由于假肢手臂本身具有一定重量,长时间的穿戴对人体属于额外的负荷,除控制假肢系统外,受试者本身也与假肢之间具有对抗作用,因此在使用假肢一段时间后,肌肉会发生疲劳,这种非理想条件下的意图识别结果会存在较大的不确定性,也会对整体控制框架的稳定性产生一定的影响,这就需要对当前肌肉的疲劳程度进行检测,通过引入肌肉疲劳反馈检测支路,避免将不稳定性较高的意图识别结果作为后续的控制输入。经过肌肉协同前馈、疲劳检测反馈支路后,即可进行当前控制周期下的任务分析,对当前控制任务进行适度调整。本节分别对控制框架“监督层”中的前馈数据监督、疲劳检测机制、任务分析这3部分进行详细介绍。

1) 基于肌肉协同作用的“前馈数据监督”

对于当前状态下提取的肌肉协同作用,将其作为前馈引到任务分析的输入中进行前馈监督环构建与任务判别分析,从肌肉协同矩阵与时间激活系数矩阵两方面衡量当前肌肉协同作用质量,具体如图 3所示。

图 3 基准协同下的前馈数据监督 Fig.3 The feedforward data supervision under benchmark synergy

首先在实验室理想条件下采集质量较高的肌电信号进行预处理,将所提取的协同矩阵$ \mathit{\boldsymbol{W}}_{\rm{standard}} $和时间激活矩阵$ \mathit{\boldsymbol{H}}_{\rm{standard}} $作为衡量基准。然后,对当前时间窗采集的sEMG进行非负矩阵分解,得到当前的协同矩阵$ \mathit{\boldsymbol{W}}_{{\rm{current}}} $和时间激活系数矩阵$ \mathit{\boldsymbol{H}}_{{\rm{current}}} $$ \mathit{\boldsymbol{W}}_{\rm{standard}} $中的$ k $个列向量代表当前运动模式下对应的$ k $种肌肉激活模态,$ \mathit{\boldsymbol{H}}_{{\rm{current}}} $中的$ k $个行向量表示这$ k $种肌肉激活模态在整个运动状态中在时间序列上的激活系数。

对比基准协同矩阵$ \mathit{\boldsymbol{W}}_{\rm{standard}} $与当前协同矩阵$ \mathit{\boldsymbol{W}}_{{\rm{current}}} $,计算协同矩阵相似性:

$ \begin{align} C_{\mathit{\boldsymbol{W}}} (i, j) =\frac{\mathit{\boldsymbol{W}}_{{\rm{current}}} (i)\cdot \mathit{\boldsymbol{W}}_{\rm{standard}} (j)}{\left\| \mathit{\boldsymbol{W}}_{{\rm{current}}} (i) \right\|\cdot \left\| \mathit{\boldsymbol{W}}_{\rm{standard}} (j) \right\|} \end{align} $ (8)

其中,$ i, j =1, 2, \cdots, k $$ \mathit{\boldsymbol{C}}_{\mathit{\boldsymbol{W}}} $$ k \times k $的方阵,表示当前受试者提取的协同矩阵的第$ i $列与基准协同矩阵的第$ j $列匹配后得到的向量相似度,矩阵中元素的取值范围均为0.0~1.0,元素的值越接近1说明对应的向量越相似,越接近0说明对应的向量相差越大。

同样地,对比基准时间激活系数矩阵$ \mathit{\boldsymbol{H}}_{\rm{standard}} $与当前时间激活系数矩阵$ \mathit{\boldsymbol{H}}_{{\rm{current}}} $,计算其相似性:

$ \begin{align} C_{\mathit{\boldsymbol{H}}} (i, j) =\frac{\mathit{\boldsymbol{H}}_{{\rm{current}}} (i)\cdot \mathit{\boldsymbol{H}}_{\rm{standard}} (j)}{\left\| \mathit{\boldsymbol{H}}_{{\rm{current}}} (i) \right\|\cdot \left\| \mathit{\boldsymbol{H}}_{\rm{standard}} (j) \right\|} \end{align} $ (9)

其中,$ i, j =1, 2, \cdots, k $$ \mathit{\boldsymbol{C}}_{\mathit{\boldsymbol{H}}} $$ k \times k $的方阵,表示当前受试者提取的时间激活系数矩阵的第$ i $行与基准时间激活系数矩阵的第$ j $行匹配后得到的向量相似度,类似于$ \mathit{\boldsymbol{C}}_{\mathit{\boldsymbol{W}}} $矩阵,$ \mathit{\boldsymbol{C}}_{\mathit{\boldsymbol{H}}} $中元素的值越接近1说明向量越相似,越接近0说明相差越大。

进一步,得到当前受试者的$ k $个协同列向量、$ k $个时间激活系数行向量与基准协同对应向量的最大相似度:

$ \begin{align} \mathit{\boldsymbol{V}}_{\mathit{\boldsymbol{W}}} =\left[\max \left({C}_{\mathit{\boldsymbol{W}}} [1, i]\right), \cdots, \max \left({C}_{\mathit{\boldsymbol{W}}} [k, i]\right)\right] \end{align} $ (10)
$ \begin{align} \mathit{\boldsymbol{V}}_{\mathit{\boldsymbol{H}}} =\left[\max \left({C}_{\mathit{\boldsymbol{H}}} [1, i]\right), \cdots, \max \left({C}_{\mathit{\boldsymbol{H}}} [k, i]\right)\right] \end{align} $ (11)

其中,$ i, j=1, 2, \cdots, k $$ \mathit{\boldsymbol{V}}_{{\mathit{\boldsymbol{W}}}} $$ \mathit{\boldsymbol{V}}_{{\mathit{\boldsymbol{H}}}} $$ \mathit{\boldsymbol{C}}_{{\mathit{\boldsymbol{W}}}} $$ \mathit{\boldsymbol{C}}_{{\mathit{\boldsymbol{H}}}} $矩阵中每行元素最大值组成的$ k $维行向量,分别表示$ \mathit{\boldsymbol{W}}_{{\rm{current}}} $的各列与$ \mathit{\boldsymbol{W}}_{\rm{standard}} $最接近的列向量的相似度,$ \mathit{\boldsymbol{H}}_{{\rm{current}}} $的各行与$ \mathit{\boldsymbol{H}}_{\rm{standard}} $最接近的行向量的相似度。

然后分别对向量$ \mathit{\boldsymbol{V}}_{{\mathit{\boldsymbol{W}}}} $$ \mathit{\boldsymbol{V}}_{{\mathit{\boldsymbol{H}}}} $中的元素进行均值求解,得到当前受试者与基准条件之间关于协同矩阵和时间激活系数矩阵的相似度$ p_{{\mathit{\boldsymbol{W}}}} $$ p_{{\mathit{\boldsymbol{H}}}} $,并对二者求均值,最终得到当前肌肉协同作用与基准肌肉协同作用的相似度$ p $

$ \begin{align} p_{{\mathit{\boldsymbol{W}}}} & = \left(\sum _{i=1}^k V_{{\mathit{\boldsymbol{W}}}} (i) \right)\bigg/k \end{align} $ (12)
$ \begin{align} p_{{\mathit{\boldsymbol{H}}}} & = \left(\sum _{i=1}^k V_{{\mathit{\boldsymbol{H}}}} (i) \right)\bigg/k \end{align} $ (13)
$ \begin{align} p & =(p_{{\mathit{\boldsymbol{W}}}} +p_{{\mathit{\boldsymbol{H}}}})/2 \end{align} $ (14)

2) 基于非理想因素的“疲劳检测机制”

目前已有的一些对于人体肌肉疲劳进行估计的模型需要依靠复杂的生物力学系统、肌肉力量测量方法等[29],尽管这类模型能够对人体的肌肉疲劳程度进行较为精准的预测,但是复杂度较高、对力传感器的需求较为强烈。而使用假肢进行火炬传递时大部分的时间都是受试者在保持抓握和托举状态,是一种肌肉持续发力的过程,一些常用的肌肉疲劳评估指标是对肌电信号提取频域特征,如平均功率(AP)、中值频率(MF)等,使用这种指标进行评估的方法较为适合于肌肉持续恒定发力的情况。本文选用中值频率作为疲劳指标,将一种专注于人体肌电信号的肌肉疲劳检测方法用于疲劳检测反馈支路,提高人机交互过程中意图识别的鲁棒性。

为避免初始sEMG信号的尖峰干扰,选择受试者在首次控制抬起假肢前臂到达肘部弯曲最大位置后开始进行肌肉疲劳数据的记录,从此时开始记录30 s内的数据作为基准,并对数据每10 s提取一次基准中值频率($ f_{{\rm{base}}}^{\rm MF} $)。对3次提取的基准中值频率计算平均值(mean)和标准差(std),根据后续数据的中值频率是否在均值的标准差范围上下浮动来检测当前肌肉是否已经处于疲劳状态:

$ \begin{align} \begin{cases} f_{\max}^{\rm MF} ={\rm{mean}} \left(f_{{\rm{base}}}^{\rm MF}\right)+2.5\times {\rm{std}} \left(f_{{\rm{base}}}^{\rm MF}\right) \\ f_{\min} ^{\rm MF} ={\rm{mean}} \left(f_{{\rm{base}}}^{\rm MF}\right)-2.5\times {\rm{std}} \left(f_{{\rm{base}}}^{\rm MF}\right) \end{cases} \end{align} $ (15)

由于肌肉的疲劳状态变化不是很快,中值频率也不会在较短时间内产生较大的变化,因此在计算$ f_{{\rm{base}}}^{\rm MF} $后,对每10 s的数据进行一次中值频率计算。对于每个通道,如果当前的中值频率值连续3次超出了设定的范围,则将相应通道的疲劳标志置为1;如果当前的中值频率值连续3次出现在设定的范围内,则表示相应通道解除疲劳状态,疲劳标志置为0。当3个大肌群信号所有通道中有80% 的疲劳标志为1时,则对应肌群判定处于疲劳状态,$ F_{{\rm{fatigue}}} $为1;反之,当肌群对应所有通道中有80% 的疲劳标志为0时,则对应肌群认为脱离疲劳状态,$ F_{{\rm{fatigue}}} $为0。

3) 基于前馈-反馈支路的“任务分析”

经过前馈-反馈支路的数据监督处理后,可以将协同相似度$ p $与疲劳标志位$ F_{{\rm{fatigue}}} $作为任务分析策略的输入,如图 4所示。根据经验设定相似度判别阈值$ p_{{\rm{threshold}}} $为0.85,当$ p\geqslant p_{{\rm{threshold}}} $,并且$ F_{{\rm{fatigue}}} =0 $时,认为当前肌肉协同为有效协同,此时的肌肉还没有达到疲劳状态,可以将预估的期望手部动作类别和肘关节角度作为控制输入,即$ y_{\rm r} =y_{\rm d} $$ a_{\rm r} =a_{\rm d} $;当$ p $的数值、$ F_{{\rm{fatigue}}} $不满足前述“且”判断,即当前sEMG提取出的肌肉协同作用与标准肌肉协同作用差距过大,或者肌肉已经出现疲劳状态时,数据易出现可靠性较低、误识别的问题,需要丢弃根据当前肌肉协同作用预估的意图识别结果,在肌肉从疲劳状态恢复之前,根据假肢反馈的当前状态规划当前控制周期的输入——手部类别按上一控制周期动作$ a_{\rm pre} $执行,肘关节电机根据反馈的当前位置$ y_{\rm a} $、预先规划的固定运动轨迹计算下一时刻的肘关节角度作为控制输入。此时,肌电信号只用作开关信号以决定假肢是否继续运动或停止,只有当肌肉从疲劳状态恢复并且肌肉协同数据有效时,才重新进行主动控制。

图 4 任务分析策略 Fig.4 The task analysis strategy
4.3 协调层交互控制

根据受控部位不同,将控制任务分为手部控制、肘关节控制,下面分别对2个不同部位的控制框架进行介绍。

1) 手部的力、位信息混合控制

经过任务分析后得到修正的分类结果,并根据分类动作进行控制,如图 5所示。

图 5 手部基于力、位信息的混合控制 Fig.5 The hand hybrid control based on force and position information

根据识别的当前动作类别,获取手指6个自由度的期望角度$ {\mathit{\boldsymbol{q}}}_{\rm d} $、力的期望值$ {\mathit{\boldsymbol{f}}}_{\rm d} $,根据灵巧手返回的当前手指实际位置$ {\mathit{\boldsymbol{q}}}_{\rm a} $计算位置误差:$ \varepsilon ={\mathit{\boldsymbol{q}}}_{\rm d} -{\mathit{\boldsymbol{q}}}_{\rm a} $,用于进行位置控制。在力信息、位置信息2个反馈环之间设置开关函数,并根据手指反馈的实际受力$ {\mathit{\boldsymbol{f}}}_{\rm a} $与设定的受力阈值$ {\mathit{\boldsymbol{f}}}_{{\rm{threshold}}} $之间的关系决定是否进行开关函数的切换。当$ f_{\rm a}(i) <f_{{\rm{threshold}}}(i) $时,手指实际位置$ q_{\rm a}(i) $与期望位置$ q_{\rm d}(i) $之间的偏差较大,开关函数切换到位置控制,以使其尽快达到期望位置。当$ f_{\rm a}(i)\geqslant f_{{\rm{threshold}}}(i) $时,当前手指实际位置已经接触被抓握物体表面,开关函数切换到力控制,通过动作类别变化调整期望力矩的增量:当动作$ a_{\rm r} $为抓握等动作时,力的增量为$ \varepsilon (i) f_{\rm d}(i) /q_{\rm d}(i) $;当动作$ a_{\rm r} $为休息时,力的增量为0,表示灵巧手保持在当前状态,完成当前动作任务。其中,$ i=1, \cdots, 6 $,表示手指的6个自由度。

2) 肘关节阻抗控制

为保证假肢使用者的舒适性、假肢的柔顺性,结合前述得到的期望角度$ y_{\rm r} $,构建肘部的阻抗控制框架,如图 6所示。

图 6 肘关节阻抗控制结构 Fig.6 The elbow impedance control structure

针对生机电一体化假肢的肘关节,内环建立基于力闭环的PD控制,阻抗计算环节作为控制系统外环,其外环的阻抗控制模型可以构建为

$ \begin{align} M_{\rm d} \ddot{e}+B_{\rm d} \dot{e}+K_{\rm d} e=\tau_{{\rm{ext}}} \end{align} $ (16)

其中,$ M_{\rm d} $$ B_{\rm d} $$ K_{\rm d} $分别表示系统的惯性参数、阻尼参数、刚度参数,$ e=y_{\rm r} -y_{\rm a} $,表示当前实际位置与期望位置的误差;$ \tau_{{\rm{ext}}} $为阻抗控制模型根据位置误差计算出的期望力矩。

然后,根据肘关节电机返回的角度值估计当前关节力矩$ \tau_{{\rm{est}}} $[30]

手臂的拉格朗日函数为

$ \begin{align} L=E_{\rm k} -E_{\rm p} =\frac{1}{2}ml^{2}\dot{\theta}^{2}-mgl\cos \theta \end{align} $ (17)

进一步,根据拉格朗日动力学方程:

$ \begin{align} \frac{\rm d}{{\rm d}x} \frac{\partial L}{\partial \dot{\theta}} -\frac{\partial L}{\partial \theta} =\tau \end{align} $ (18)

得到关节力矩表达式:

$ \begin{align} \tau_{{\rm{est}}} =ml^{2}\ddot{\theta} +mgl\sin \theta \end{align} $ (19)

其中,$ \tau_{{\rm{est}}} $表示关节力矩估计值,$ m $为前臂质量,$ l $为质心到肘关节轴心的距离,$ \theta $为肘部转动角度,$ \dot{\theta} $为角加速度,$ g $为重力加速度。根据人体各部位长度与质量的关系[31]$ m=M\times 1.62\% $$ l=l_{{\rm{arm}}} \times $ $ 45.74\% $$ M $为人体质量,$ l_{{\rm{arm}}} $为前臂长度。

关于假肢控制过程的相关角度定义如图 7所示,图 7(a)为前述的肘部转动角度$ \theta $,红色实线表示假肢前臂在任意时刻的位置,由于假肢受腔影响肩部活动,患侧穿戴假肢后上臂与躯干夹角忽略不计,则$ \theta $可近似为假肢前臂与垂直方向的夹角。图 7(b)为假肢灵巧手各手指对应的运动角度范围示意图,灵巧手大拇指变化范围为20°~60°,其余4指的运动范围均为0°~180°,即手部张开时手指为最大角度,手部握紧时手指为最小角度。

图 7 假肢控制过程的相关角度定义 Fig.7 The definition of relevant angles in the prosthesis control process

利用阻抗控制模型计算得到的期望力矩$ \tau_{{\rm{ext}}} $、估计力矩$ \tau_{{\rm{est}}} $,进行力闭环的PD控制:

$ \begin{align} F=k_{\rm p} \left(F_{{\rm{ext}}} -F_{{\rm{est}}}\right)+k_{\rm d} \left(\dot{F}_{{\rm{ext}}} -\dot{F}_{{\rm{est}}}\right) \end{align} $ (20)

其中,$ k_{\rm p} $为比例调节系数,$ k_{\rm d} $为微分调节系数。

5 实验结果与分析(Experimental results and analysis) 5.1 实验范式

针对以上算法首先进行模拟实验,以验证所提出的控制框架的可行性,后续会针对右臂残障的火炬手的适配情况进行介绍。共有6名肢体健康的男性受试者(年龄24$ \pm $0.3岁,身高175.8$ \pm $9.17 cm,体重72.27$ \pm $12.73 kg)参与了实验,按照以下实验范式进行数据采集。

1) 前臂数据采集

受试者首先如图 8(a)所示粘贴高密度肌电电极(残障患者对应粘贴在残肢处的肌肉),通过高密度肌电传感器采集前臂与手部动作相关肌肉的数据,采样频率为2000 Hz。每组实验中,受试者按照图 9所示顺序完成动作,每个动作持续5 s,每2个动作之间休息5 s,将图 9中所有动作的一次循环作为一组实验,每名受试者采集完一组数据后休息2 min,共采集5组。

图 8 肌电传感器电极及 Fig.8 Distribution of sEMG sensor electrodes and IMU
图 9 常见的5种手部动作 Fig.9 5 common hand movements

2) 上臂数据采集

采集完前臂肌肉数据后,经过5 min的充分休息,对受试者进行上臂肌肉的肌电数据以及关节角度采集。在受试者的肱二头肌肌群、肱三头肌肌群粘贴2片高密度肌电电极,采集频率为2000 Hz。然后将2个Noraxon MyoMotion传感器分别固定在上臂和手腕位置,采集用于模型训练的肘关节角度,采集频率为200 Hz,如图 8(b)所示。每组实验中,受试者以自然运动速度完成肘关节屈伸动作,往复运动60 s为一组,组间休息60 s后进行下一组采集,每名受试者共进行5组实验。

5.2 不同维度肌肉协同作用的$ p_{VAF} $计算

随机选择图 9中的动作③为对象,采集原始数据进行预处理,以得到的数据作为输入来提取肌肉协同元,图 10展示了$ p_{\rm{VAF}} $随着肌肉协同元的设定数值的变化趋势,可以看到,随着选取的肌肉协同元数量$ k $的增大,$ p_{\rm{VAF}} $也随之增大,当$ k=3 $时,$ p_{\rm{VAF}} $已经达到95% 以上,并且此时随着$ k $的增大,$ p_{\rm{VAF}} $的数值逐渐趋于100%,之后不再明显增长。因此,根据前述肌肉协同元数量的选取原则,后续工作中设定肌肉协同元的数量为3。

图 10 $ p_\text{VAF}$与肌肉协同元数量的关系 Fig.10 Relationship between $ p_\text{VAF}$ and the number of muscle synergy
5.3 不同分类模型的正确率比较

本文中所有动作分类的算法参数设置如下:LDA求解算法选择“batch”,最大迭代次数为200;SVM的核函数使用高斯核函数,并设置惩罚系数$ C= $ 1.0;决策树算法中树的最大深度设为5,避免发生过拟合。

对选定的3种分类算法,分别使用传统特征值以及肌肉协同作用作为输入数据,6名受试者的所有组别测试集上的平均分类正确率如表 1所示。

表 1 基于特征值和肌肉协同作用的手部动作平均分类正确率 Tab. 1 The average classification accuracy of hand movements based on features and muscle synergy

从所有受试者的测试结果来看,无论是基于特征值的方法,还是基于肌肉协同作用的方法,决策树的识别正确率高于SVM,而SVM的正确率普遍要高于LDA,从算法原理上来说这是合理的。此外,对于3种模型,所有受试者在特征值方法下的平均分类正确率分别是85.9%、88.9%、90.8%,在肌肉协同作用方法下的平均分类正确率分别是87.7%、90.1%、91.8%。其中只有受试者4,在使用SVM分类时,在特征值方法下平均正确率比在肌肉协同作用方法下高0.4%;对其余受试者,基于肌肉协同作用的方法的正确率均高于基于特征值的方法,因此认为可以将肌肉协同作用作为分类的输入数据进行肌电控制。

由于决策树方法下所有受试者的平均正确率高于SVM和LDA方法,因此为保证结果更准确、更稳定,最终选择决策树作为后续框架中的分类算法。

5.4 不同回归模型的均方根误差比较

本文中,所有肘关节估计任务的参数选择如下:KNN方法中的$ K $值选为5;随机森林方法中选择10个决策树作为弱分类器;BP算法中使用3层网络,隐含层神经元个数设置为20,学习步长为0.09,最大迭代学习次数为200,允许误差为$ 1\times 10^{-5} $。一般情况下,均方根误差($ e_{\rm{RMSE}} $)可以作为评估关节角度估计精度的指标[32],由于关节运动量在时间顺序上存在前后关联,因此对于实验数据进行手动分割,将每组数据的前面80% 作为训练集,后面20% 作为测试集进行$ e_{\rm{RMSE}} $计算,汇总6名受试者分别计算传统特征值以及肌肉协同作用作为输入数据时的所有组别的均方根误差,如表 2所示。

表 2 基于特征值和肌肉协同作用的肘关节角度$ e_\text{RMSE}$(°) Tab. 2 The $ e_\text{RMSE}$ of elbow angle based on features and muscle synergy (°)

根据表 2中的结果可以看到,对于6名受试者来说,对于特征值或是肌肉协同作用,KNN算法的均方根误差略高于RF算法,而RF算法的均方根误差略高于BP算法。此外,对于KNN、RF、BP这3种算法,使用肌肉协同作用进行肘关节运动估计时$ e_{\rm{RMSE}} $平均数值略小于使用传统特征值时的情况,说明可以将肌肉协同作用作为肘部运动估计的输入数据进行关节运动量的预测。

经过以上对比可以发现,使用传统特征值和肌肉协同作用进行运动估计时,BP算法的平均$ e_{\rm{RMSE}} $分别达到10.2°和9.4°,优于其他2种方法,因此选择BP算法作为整个控制框架的回归模型进行肘部运动预估。

随机选取受试者2使用BP网络进行肘关节运动估计,将结果绘制成波形,如图 11所示。根据图中的曲线可以看到,模型在测试集上对于肘关节的运动大致可以预测出其运动角度,不过由于模型的直接输出值存在较多抖动,不适合直接作为控制量,因此对估计值进行1 Hz的Butter-Worth低通滤波,进而得到较为平滑的控制曲线,作为最终的肘部运动意图识别结果引入控制框架。

图 11 受试者2的肘关节角度估计曲线 Fig.11 Elbow angle estimation curve of subject 2
5.5 前馈监督判别下的意图识别结果

分别对比6名受试者在有、无前馈监督情况下的意图识别结果,如图 12所示。

图 12 有、无前馈相似度监督情况下的识别结果对比 Fig.12 Comparison of the recognition results with and without feedforward similarity supervision

图 12(a)可以看出,对于手部动作,选择决策树进行分类,将筛选后的协同矩阵用于意图识别时,6名受试者的分类正确率相较于直接进行分类时普遍稍高一些;图 12(b)展示了BP网络作为预测模型时不同受试者肘关节角度的均方根误差,同样地,在计算相似度后,将根据判断条件获取的协同矩阵应用于模型计算,使所有受试者的均方根误差值有所减小。因此,通过进行前馈支路的肌肉协同作用监督,能够滤除质量差的数据,提高意图识别精度,有助于维持控制框架的鲁棒性。

5.6 肌肉疲劳结果分析

为验证肌肉疲劳算法的可行性,令受试者在站立状态下手持1.25 kg的哑铃片,保持前臂在水平位置10 s,然后放下休息10 s,如此循环6 min。图 13为随机选取的肱二头肌侧2个通道数据计算的中值频率以及疲劳标志变化曲线。其中,使用实验中前30 s的数据计算基准中值频率上、下限,分别在图中用绿色、红色虚线表示。从图 13可以看出,在300 s左右开始出现疲劳标志为1的情况,说明此时中值频率发生超出基准范围的情况,肌肉开始呈现出疲劳趋势;当时间达到400 s左右,中值频率大多时间均超出基准中值频率上限,疲劳标志置为1的时间增加;当时间达到700 s之后,中值频率大大超出基准范围,此时疲劳标志持续均为1,可以认定肌肉已经处于疲劳状态,因此,设计的判定标准可以对肌肉疲劳状态进行正确划分。

图 13 中值频率的变化趋势 Fig.13 Variation trend of the median frequency
5.7 手部力、位信息混合控制

为保证灵巧手抓握稳定,设定大拇指翻转角度为最小,如图 7(b)所示。各手指的抓握力范围均为0~10 N,即每根手指分别可提供最大10 N的握力。为测试控制方法对于不同形状、不同刚度物体的抓取效果,本次实验中选择塑料杯、空纸杯、乒乓球分别作为大刚度柱状体、小刚度柱状体、小刚度球体。所有物体进行抓握时,所有手指的期望位置均设置为最小值。

1) 大刚度柱状体(塑料杯)

图 14为抓握刚度较大的塑料杯时各手指的角度变化曲线以及受力变化曲线。

图 14 抓握大刚度柱状体时灵巧手的角度曲线和力曲线 Fig.14 Angle curve and force curve of the dexterous hand when grasping a large stiffness cylinder

首先进行位置控制,使灵巧手呈现收缩趋势,随着时间延长,各手指角度不断减小,当与物体接触后,角度不再需要太大变化,此后根据力传感器返回的信息控制抓握力的大小;在灵巧手与物体接触前,力传感器的数值在0附近波动,说明此时各手指没有接触到物体,当角度曲线出现拐点时,受力急剧增大,达到最大握力10 N后趋于平稳,说明此时受试者控制灵巧手对于刚度、重量较大的物体使用最大握力进行抓取。

2) 小刚度柱状体(纸杯)

图 15为抓握刚度较小、易形变的纸杯时灵巧手的角度变化以及受力变化。初始时控制灵巧手接近目标位置,此时手指角度不断减小,当手指接触物体后,反馈力逐渐增大,此时开关函数切换到力的控制支路,并根据受试者动作状态停止运动。通过对比角度变化范围可以看到,由于刚度不同,抓握纸杯时的角度变化相较于塑料杯稍大一些,手指状态稳定后的手指握力也稳定在2 N左右,说明对于形状相近、刚度不同的物体能够实现柔性抓取动作。

图 15 抓握小刚度柱状体时灵巧手的角度曲线和力曲线 Fig.15 Angle curve and force curve of the dexterous hand when grasping a small stiffness cylinder

3) 小刚度球体(乒乓球)

图 16为抓握刚度较小、形状为球形的乒乓球时手指的角度变化以及受力变化曲线。同样地,先对各手指进行位置控制,大拇指、食指、中指在接触到物体后受力增大,开关函数进行切换,受力达到1.3 N左右后停止运动;而小拇指、无名指由于没有与物体接触,受力不发生变化,因此一直运动到期望位置后停止,此时受试者完成对于乒乓球的抓取动作。对比纸杯与乒乓球的变化曲线可以看到,对于刚度接近、形状不同的情况,灵巧手能够针对不同形状完成自适应抓取动作,同时抓取力度能够保持在1.3 N左右。

图 16 抓握小刚度球体时灵巧手的角度曲线和力曲线 Fig.16 Angle curve and force curve of the dexterous hand when grasping a small stiffness sphere
5.8 肘关节基于估计结果的阻抗控制

1) 基于假肢肘关节实际角度的力矩估计

根据式(19),使用系统返回的肘关节转动角度计算关节估计力矩,图 17(a)为连续运动时当前返回的系统实际肘关节转动角度与对应的关节估计力矩曲线。从图中的曲线变化趋势可以看到,当关节角度增大时,受试者前臂抬起,肌肉处于发力状态,此时关节力矩应逐渐增大,当关节角度达到最大值时,关节估计力矩同样达到顶峰;当关节角度减小时,肌肉逐渐放松,关节力矩同样逐步减小,当手臂下垂至转动角度接近0时,关节力矩也达到最小值。同时,3个肘部运动周期的估计力矩峰值基本接近。

图 17 肘关节估计力矩与转动角度曲线 Fig.17 Curves of the elbow estimation torque and rotation angle

图 17(b)为运动过程中动作有停顿时的关节力矩估计曲线,当系统肘关节角度达到0.8 rad和1.4 rad时,保持静止不动,此时关节力矩也不再变化。因此,无论是在肘部连续运动情况下,还是在运动过程中有停顿的情况下,式(19) 都能正确估计关节力矩,可以将估计力矩值作为反馈量引入力控制框架。

2) 不同扰动类型下的跟踪实验

对肘关节电机给定幅值为90°的阶跃输入角度曲线进行跟踪测试,图 18为在阻抗控制模型下施加不同类型扰动时的跟踪效果,其中图 18(a)为施加2个不同方向随机外力时的跟踪曲线,此时扰动可近似看作脉冲干扰。当电机达到期望位置后,分别在1 s和3.5 s施加随机外力,此时电机跟随外力方向发生转动,电机的实际位置与期望位置发生偏差,当随机外力消失后,电机重新跟踪期望的阶跃输入,说明系统在受到随机外力时能够保持一定的柔顺性。

图 18 阻抗控制模型的抗扰动效果 Fig.18 The anti-disturbance effect of the impedance control model

图 18(b)为施加不同重量负载时的跟踪效果,此时扰动可近似看作阶跃干扰,当电机运动到期望输入位置后,在1 s和6 s分别对假肢系统的手部额外施加质量为3 kg和5 kg的负载,此时电机受到负载影响产生8°和13°的偏转,当施加的负载扰动取消后,电机又重新跟踪期望的阶跃输入并达到稳定,说明在阻抗控制模型下,系统受到不同重量的负载扰动后会产生不同程度的柔顺效果,提高了人机交互时的安全性。

5.9 假肢系统的总体性能测试

1) 面向不同任务时的肘部控制结果

为测试不同控制任务下假肢系统的控制效果,将BP网络的预测角度作为输入进行阻抗控制效果分析,分别测试肘部连续运动以及运动过程有停顿时的跟踪效果,如图 19所示。其中,图 19(a)为肘部连续进行屈/伸运动时的角度变化曲线,可以看到系统基本能够对期望输入进行跟踪;图 19(b)为屈/伸运动过程中受试者有意识控制停顿的情况下的角度变化曲线。从曲线变化可以看到,当期望角度不再变化时,假肢的肘关节能够维持在当前位置,同时,期望输入再次变化时,系统能够重新进行跟随。因此,假肢的控制框架不仅可以完成连续变化曲线的跟踪,还可以在期望输入不发生变化时保持系统的稳定,能够保证假肢系统满足各种不同的任务要求。

图 19 基于BP网络的估计角度阻抗控制结果 Fig.19 Impedance control results of the estimated angle based on BP network

2) 假肢任务完成率测试

为测试假肢系统的整体控制表现,设计假肢的任务完成率实验。针对肘部和手部运动,如图 20所示,分别设定3种不同目标高度(0.66 m、0.75 m、1 m),3种不同刚度、不同形状物体(塑料杯、纸杯、乒乓球)等条件,随机将一种高度和一个物体组合作为一次任务,如:抓取1 m高度上的纸杯。

图 20 测试任务设置(受试者需要对3种不同高度上的3种不同物体进行抓取) Fig.20 The test task setup (the subjects need to grasp 3 different objects at 3 different heights)

通过在电脑中随机选取高度和物体,可以生成9种不同的随机任务。然后将结果展示在屏幕上,受试者根据屏幕上的任务提示,控制假肢执行对应的随机任务。当受试者完成一次当前指示的任务时,认为任务成功,相反地,则认为本次任务失败。通过“任务完成率”来评价假肢系统中控制框架的性能,具体定义为随机任务的成功次数在随机任务总数中的占比,计算方法如下式:

$ \begin{align} \eta =\frac{n_{\rm s}} {n_{\rm t}} \times 100\% \end{align} $ (21)

其中,$ \eta $为任务完成率,$ n_{\rm s} $为随机任务成功次数,$ n_{\rm t} $为随机任务总数。

针对所提出的框架,为了验证假肢控制的有效性,针对以下4种情况进行任务完成率测试:(1) 无前馈支路、无反馈支路;(2) 有前馈支路、无反馈支路;(3) 无前馈支路、有反馈支路;(4) 有前馈支路、有反馈支路。其中,任务分析在框架内分别对应不进行判断、只根据相似度判断、只根据疲劳状态判断、同时根据相似度和疲劳状态判断。以上的每种情况均令受试者完成10组实验测试,每组测试中连续重复执行20次随机任务,每次随机任务给定10 s执行时间,组间休息30 s,则随机任务总数为200。

对6名正常受试者进行任务完成率测试,并将其结果汇总在表 3中。从表中可以看出,情况1~4对应的平均任务完成率分别达到83.83%、87.42%、89.42%、96.75%,情况4中所有受试者的任务完成率均达到95% 以上。对比4种情况下的任务完成率可以发现,通过添加“前馈-反馈”支路到控制框架,受试者能够控制假肢准确地完成所生成的随机任务,保证假肢控制的鲁棒性。

表 3 不同受试者在不同情况下的任务完成率(%) Tab. 3 The task completion rate of different subjects in different conditions (%)
6 火炬手的适配实验(Adaptation experiment on a torchbearer)

在不了解火炬手右臂具体残障程度以及右臂肌肉残存情况的前提下,首先使用肌电传感器采集了火炬手右臂的肱二头肌侧、肱三头肌侧、残肢截面3部分的表面肌电信号。如图 21(a)所示,使用稀疏电极采集火炬手的sEMG信号时,要求其交替完成发力、放松动作,然后对采集的数据进行波形分析,其中,肱二头肌和残肢部位的sEMG幅值变化较大,而肱三头肌的sEMG幅值变化较小,且肱三头肌对于肌肉激活变化不够敏感。如图 21(b)所示,分别对3部分肌肉进行快速傅里叶变换(FFT),得到肌电信号在频域的分布情况,对比发现受试者与肢体健康受试者的sEMG分布具有相似性,可以选用相同的预处理相关参数。经分析,火炬手对于其右臂肌肉虽然使用频率较低,但是仍能在皮肤表面获得sEMG数据,患侧表面肌电信号具有进行意图识别的可行性。

图 21 火炬手的表面肌电信号测试 Fig.21 Measurement of sEMG signal of a torchbearer

进一步地,由于火炬手残障部位肌肉残存情况异于肢体健康受试者,对于前述模拟实验的全部5种动作无法达到与正常受试者接近的识别正确率,因此选择火炬传递时关键的抓握、展开、休息这3个动作进行建模,测试其在仅有模式识别的“开环”情况下进行肌电假肢控制的可行性,对火炬手患侧采用与模拟实验相同的实验范式分别进行手部、肘部测试,结果如表 4表 5所示。对比表中数据可以看到,火炬手的识别结果与第5节中进行模拟实验的肢体健康受试者的识别结果具有相似的分布规律,对于手部和肘部测试,火炬手基于肌肉协同作用的识别结果均优于使用特征值时的识别结果。对于手部动作分类结果,决策树的正确率高于其他分类方法,肌肉协同作用作为输入时的平均分类正确率达到83.7%。对于肘部运动估计结果,BP算法的识别精度优于其他算法,肌肉协同作用作为输入时的$ e_{\rm{RMSE}} $达到13.61°。因此,对于火炬手而言,可以将决策树和BP算法作为框架中的意图识别方法。尽管如此,对比肢体健康受试者的结果可以发现,算法对火炬手的识别精度处于较低水平,单独使用模式识别方法无法保证操控假肢系统时的稳定性。

表 4 火炬手的动作分类正确率 Tab. 4 The classification accuracy of torchbearer movements
表 5 火炬手的肘关节角度$e_\text{RMSE} $(°) Tab. 5 $e_\text{RMSE} $ of the elbow angle of torchbearer (°)

另一方面,由于火炬手很少使用右臂,前臂大部分肌肉骨骼组织缺乏,残肢部位维度明显小于左侧正常手臂,实际测试过程中发现“开环控制”时的平均任务完成率仅有81.5%,因此仅通过模式识别无法稳定完成火炬传递任务,必须考虑使用高密度肌电传感器来提高数据维度,同时,添加“前馈-反馈”支路来提高任务完成率。此外,受试者右臂残障情况特殊,因此选择使用铸模方法定制个性化的假肢受腔,以保证穿戴时假肢手臂系统与人体足够贴合。

通过实验测试,在使用高密度肌电传感器后,火炬手的手部动作识别平均正确率达到88.73%,肘关节估计角度平均$ e_{\rm{RMSE}} $达到10.58°,而正常受试者的平均$ e_{\rm{RMSE}} $为9.4°,说明火炬手的意图识别效果仍低于肢体健康的受试者,因此通过添加“前馈数据监督支路”“反馈疲劳检测支路”可以更好地完成火炬手与肌电假肢之间的持续交互。如图 22所示,此处将完成火炬点燃、火炬持握、火种交接的完整火炬传递过程视为任务完成,经测试,任务完成率可达到95% 以上,实现良好的在线肌电控制,稳定完成火炬传递任务。

图 22 火炬传递过程 Fig.22 The process of torch relay

火炬手使用智能假肢手臂于北京2022年冬残奥会进行火炬传递的效果见链接:

1. http://www.sia.cas.cn/xwzx/spxw/202203/t20220309_6386783.html

2. http://www.sia.cas.cn/xwzx/spxw/202203/t20220309_6386782.html

7 结论(Conclusion)

针对手臂残障者的患侧肌肉情况,搭建基于sEMG的智能假肢手臂系统。针对残障者,基于肌肉协同理论进行意图识别,完成手-肘的行为感知,基于识别结果搭建“前馈-反馈”的控制框架,实现人体数据的前馈监督和肌肉疲劳的反馈检测,对控制任务进行调整,并根据控制任务完成手-肘一体化控制。实验结果表明,利用本文框架能够正确识别人体意图,通过判断受试者的状态进行任务调整,实现稳定的假肢控制,并且在北京2022年冬残奥会上完成火炬传递展示。后续工作中,将考虑改进算法提高意图识别精度,以及如何解决假肢使用时其他非理想因素的影响,诸如电极偏移、皮肤出汗、姿态变化等,进一步提高智能假肢手臂控制过程的鲁棒性以及使用便捷性[33],并探究将本文的控制框架应用到其他助行外骨骼的可行性[34]

参考文献(References)
[1]
陈新. 第二次全国残疾人抽样调查数据[J]. 中国生育健康杂志, 2008, 19(2): 68.
Chen X. Data of the second national sample survey of disabled persons[J]. Chinese Journal of Reproductive Health, 2008, 19(2): 68. DOI:10.3969/j.issn.1671-878X.2008.02.027
[2]
赵芳杰. 北京市肢体残疾人现状及假肢的需求分析[D]. 长春: 吉林大学, 2016.
Zhao F Z. The current status of physical disability and needs of prosthesis in Beijing[D]. Changchun: Jilin University, 2016.
[3]
Cordella F, Ciancio A L, Sacchetti R, et al. Literature review on needs of upper limb prosthesis users[J]. Frontiers in Neuroscience, 2016, 10. DOI:10.3389/fnins.2016.00209
[4]
Liu H, Meusel P, Hirzinger G, et al. The modular multisensory DLR-HIT-Hand: Hardware and software architecture[J]. IEEE/ASME Transactions on Mechatronics, 2008, 13(4): 461-469. DOI:10.1109/TMECH.2008.2000826
[5]
van der Niet O O, Reinders-Messelink H A, Bongers R M, et al. The i-LIMB hand and the DMC plus hand compared: A case report[J]. Prosthetics and Orthotics International, 2010, 34(2): 216-220. DOI:10.3109/03093641003767207
[6]
Krausz N E, Rorrer R A L, Weir R F. Design and fabrication of a six degree-of-freedom open source hand[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2016, 24(5): 562-572. DOI:10.1109/TNSRE.2015.2440177
[7]
Smit G, Plettenburg D H, van der Helm F C T. The lightweight Delft Cylinder Hand: First multi-articulating hand that meets the basic user requirements[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2015, 23(3): 431-440. DOI:10.1109/TNSRE.2014.2342158
[8]
Gu G Y, Zhang N B, Xu H P, et al. A soft neuroprosthetic hand providing simultaneous myoelectric control and tactile feedback[J]. Nature Biomedical Engineering, 2021. DOI:10.1038/s41551-021-00767-0
[9]
Artemiadis P K, Kyriakopoulos K J. An EMG-based robot control scheme robust to time-varying EMG signal features[J]. IEEE Transactions on Information Technology in Biomedicine, 2010, 14(3): 582-588. DOI:10.1109/TITB.2010.2040832
[10]
丁其川, 熊安斌, 赵新刚, 等. 基于表面肌电的运动意图识别方法研究及应用综述[J]. 自动化学报, 2016, 42(1): 13-25.
Ding Q C, Xiong A B, Zhao X G, et al. A review on researches and applications of sEMG-based motion intent recognition methods[J]. Acta Automatica Sinica, 2016, 42(1): 13-25.
[11]
Englehart K, Hudgin B, Parker P A. A wavelet-based continuous classification scheme for multifunction myoelectric control[J]. IEEE Transactions on Biomedical Engineering, 2001, 48(3): 302-311. DOI:10.1109/10.914793
[12]
Lloyd E, Jiang N. Convolution neural network for EMG-based finger gesture classification for novel and trained gestures[C]// IEEE International Conference on Systems, Man and Cybernetics. Piscataway, USA: IEEE, 2019: 3724-3728.
[13]
Zhang F, Li P F, Hou Z G, et al. sEMG-based continuous estimation of joint angles of human legs by using BP neural network[J]. Neurocomputing, 2012, 78(1): 139-148. DOI:10.1016/j.neucom.2011.05.033
[14]
Han J D, Ding Q C, Xiong A B, et al. A state-space EMG model for the estimation of continuous joint movements[J]. IEEE Transactions on Industrial Electronics, 2015, 62(7): 4267-4275. DOI:10.1109/TIE.2014.2387337
[15]
李自由, 赵新刚, 张弼, 等. 基于表面肌电的意图识别方法在非理想条件下的研究进展[J]. 自动化学报, 2021, 47(5): 955-969.
Li Z Y, Zhao X G, Zhang B, et al. Review of sEMG-based motion intent recognition methods in non-ideal conditions[J]. Acta Automatica Sinica, 2021, 47(5): 955-969. DOI:10.16383/j.aas.c200263
[16]
Ting L H, McKay J L. Neuromechanics of muscle synergies for posture and movement[J]. Current Opinion in Neurobiology, 2007, 17(6): 622-628. DOI:10.1016/j.conb.2008.01.002
[17]
d'Avella A, Saltiel P, Bizzi E. Combinations of muscle synergies in the construction of a natural motor behavior[J]. Nature Neuroscience, 2003, 6(3): 300-308. DOI:10.1038/nn1010
[18]
Jiang N, Vujaklija I, Rehbaum H, et al. Is accurate mapping of EMG signals on kinematics needed for precise online myoelectric control?[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2014, 22(3): 549-558. DOI:10.1109/TNSRE.2013.2287383
[19]
Luo X Y, Wu X Y, Chen L, et al. Synergistic myoelectrical activities of forearm muscles improving robust recognition of multi-fingered gestures[J]. Sensors, 2019, 19(3). DOI:10.3390/s19030610
[20]
Antuvan C W, Bisio F, Marini F, et al. Role of muscle synergies in real-time classification of upper limb motions using extreme learning machines[J]. Journal of NeuroEngineering and Rehabilitation, 2016, 13. DOI:10.1186/s12984-016-0183-0
[21]
Liu Y X, Wang R L, Gutierrez-Farewik E M. A muscle synergy-inspired method of detecting human movement intentions based on wearable sensor fusion[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2021, 29: 1089-1098. DOI:10.1109/TNSRE.2021.3087135
[22]
D'Anna E, Valle G, Mazzoni A, et al. A closed-loop hand prosthesis with simultaneous intraneural tactile and position feedback[J]. Science Robotics, 2019, 4(27). DOI:10.1126/scirobotics.aau8892
[23]
Zollo L, di Pino G, Ciancio A L, et al. Restoring tactile sensations via neural interfaces for real-time force-and-slippage closed-loop control of bionic hands[J]. Science Robotics, 2019, 4(27). DOI:10.1126/scirobotics.aau992
[24]
Furui A, Eto S, Nakagaki K, et al. A myoelectric prosthetic hand with muscle synergy-based motion determination and impedance model-based biomimetic control[J]. Science Robotics, 2019, 4(31). DOI:10.1126/scirobotics.aaw6339
[25]
Lee D D, Seung H S. Learning the parts of objects by non-negative matrix factorization[J]. Nature, 1999, 401(6755): 788-791. DOI:10.1038/44565
[26]
Clark D J, Ting L H, Zajac F E, et al. Merging of healthy motor modules predicts reduced locomotor performance and muscle coordination complexity post-stroke[J]. Journal of Neurophysiology, 2010, 103(2): 844-857. DOI:10.1152/jn.00825.2009
[27]
Breiman L. Random forests[J]. Machine Learning, 2001, 45(1): 5-32. DOI:10.1023/A:1010933404324
[28]
Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. Nature, 1986, 323(6088): 533-536. DOI:10.1038/323533a0
[29]
Ma L, Chablat D, Bennis F, et al. A new simple dynamic muscle fatigue model and its validation[J]. International Journal of Industrial Ergonomics, 2009, 39(1): 211-220. DOI:10.1016/j.ergon.2008.04.004
[30]
Chandra S, Hayashibe M, Thondiyath A. Muscle fatigue induced hand tremor clustering in dynamic laparoscopic manipulation[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2018, 50(12): 5420-5431.
[31]
de Leva P. Adjustments to Zatsiorsky-Seluyanov's segment inertia parameters[J]. Journal of Biomechanics, 1996, 29(9): 1223-1230. DOI:10.1016/0021-9290(95)00178-6
[32]
Ding Q C, Han J D, Zhao X G. Continuous estimation of human multi-joint angles from sEMG using a state-space model[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2017, 25(9): 1518-1528.
[33]
姜力, 杨斌, 黄琦, 等. 智能假肢手的生机电集成[J]. 机器人, 2017, 39(4): 387-394.
Jiang L, Yang B, Huang Q, et al. Biomechatronic integration of intelligent prosthetic hand[J]. Robot, 2017, 39(4): 387-394.
[34]
陈豫生, 张琴, 熊蔡华. 截瘫助行外骨骼研究综述: 从拟人设计依据到外骨骼研究现状[J]. 机器人, 2021, 43(5): 585-605.
Chen Y S, Zhang Q, Xiong C H. From anthropomorphic design basis to exoskeleton research status: A review on walking assist exoskeletons for paraplegics[J]. Robot, 2021, 43(05): 585-605.