文章快速检索  
  高级检索
1-Bit人机交互系统
程煜, 张鸣宇, 陶霖密
清华大学 信息科学技术学院, 北京 100084
基金项目: 国家863计划资助项目(2012AA011602);国家自然科学基金面上资助项目(61272232).    
摘要: 通过研制普适的非对称交互系统,解决运动能力障碍人群借助通用计算设备通过互联网进行交流这一问题。虚拟鼠标替代传统鼠标、中文输入法替代传统键盘输入功能、快捷键替代传统键盘快捷操作功能,作为交互系统的基础支持完全根据用户自身意志完成各类操作;配置1-Bit输入设备有效减轻了运动障碍人群的操作负担。基于上述方法,设计并开发实现了1-Bit人机交互系统,该系统能够利用1-Bit输入设备完成对普通计算机的操作。实验测试和分析表明,用户可以基于1-Bit输入设备操作电脑,包括文字输入、网页浏览、音视频播放、日常护理等功能,满足用户的日常电脑使用需求,同时该交互系统具有易于学习、功能方便扩展的特性。
关键词: 人机交互     脑机接口     虚拟鼠标     中文输入法     1-Bit交互系统    
One-Bit human-computer interactive system
CHENG Yu , ZHANG Mingyu, TAO Linmi    
School of Information Science and Technology, Tsinghua University, Beijing 100084, China
Abstract: Through developing a universal asymmetric interactive system, the obstacle of communication in the Internet among movement disability crowds through general computing equipment is solved. A virtual mouse took the place of the traditional mouse. A Chinese input method and shortcut keys were used instead of the original keyboard input. Users can operate computers according to their own will. The set of the one-Bit input device can further reduce the burden for the disabled people. Based on the above-mentioned method, a one-Bit interaction system was developed and implemented, which can manipulate computers by the one-Bit input device. The user tests and analysis of the system indicate that users can manipulate computers with multi-functions, including text entry, website browsing, audio and video play, and health care via one-Bit input device. The system is easy to learn and its functions can be developed and expanded easily, which meets the daily requirements for a user to operate a computer.
Key words: human-computer interaction     brain-computer interface     virtual mouse     Chinese input method     one-Bit interaction system    

当今社会随着互联网技术的快速发展,人与人之间沟通更多依赖于互联网电子通讯设备[1],然而一些人由于自身存在某种运动缺陷导致无法正常使用计算机,致使他们不能享受科技进步带来的良好交流体验。例如许多疾病患者,如脑瘫(CP)和萎缩性脊髓侧索硬化症(ALS)等多种运动神经元疾病[2],这些疾病不同程度损害了肌肉的神经通道,他们不能根据自身意愿进行有效的电脑操作[3]。针对重度残疾人群可以依靠脑电技术进行辅助交流。脑机接口BCI是一种基于脑电波的新型交互技术[4],它不依赖外周神经系统及肌肉组织,可以帮助行动不便但思维意识正常的患者,使其在一定程度上修复与外界的信息交流能力,从而改善他们的生活质量[5, 6]。我国从20世纪末期开始进入人口老龄化阶段[7],未来十几年老龄化将呈现加速发展态势,并将于2030年超过日本,成为全球老龄化程度最高的国家[8]。老人们部分或完全丧失劳动能力甚至自理能力,也急需为他们提供一种辅助交流手段以弥补他们自身的运动缺陷。

对此,许多研究者做了大量工作,徐静等[9]对儿童自闭症的交流进行了大量研究并提出较理想的解决方案,但对于其他运动障碍人群的帮助不够高效直接;王行愚等[10]将脑电技术成功应用于病人的生活辅助和康复训练、游戏娱乐等广泛领域但对用户限制较多,即用户只能完成固定活动;吴边等[11]设计的虚拟中文输入法虽然仅依靠与某种预期相关P300的产生,但在使用过程中需要多次在笔划与汉字之间切换,以保证该笔划下包含使用者预期的汉字,且当不会书汉字时将无法使用。目前社会上依托计算机设备的交流平台均是针对无运动障碍的健全人设计的,诸如各类电视电话会议、微博、微信、Facebook等,这些都不能满足运动障碍人群的需要。

本文将上述情况定义为:人们因神经肌肉通道受损导致运动障碍,从而造成难以使用计算机设备进行人与人之间的交流,形成了“非对称交流”这种模式,即“运动障碍人-计算机设备-网络-计算机设备-正常人”。本文从非对称交流需求出发,根据运动障碍人群自身情况繁多的特点,提出借助输入设备来扩展交互系统适用人群的方法,本文研制了一种人机交互系统,实验表明该系统可以为运动障碍人群提供交互帮助。

1 系统设计

本文将运动障碍的用户称之为“目标用户”,对他们来说,最重要的是拥有一种替代性的交流途径帮助他们表达自身的想法与诉求,且该表达途径应尽量利用目标用户现有的物理运动和思维能力。通过在协和医院调研、网上与病人沟通以及在病房中与家属和护工面对面交流后,从多个角度对目标用户交流的能力与特点进行分析,提出一种理论模型用以指导运动障碍人群使用的交互系统。该模型由6个元素组成,其中前3个元素从目标用户心理[12]角度出发,分别为系统可控性、认知直观性和交互独立性;后3个元素从辅助技术设计[13]角度出发,分别为功能可供性、系统鲁棒性和普遍适应性。同时,在调查研究中发现对于重度残疾人群来说,单一高精度的系统接口并不能满足他们的需求,接口必须适应于日常使用的计算机辅助设备[14]。基于以上6个元素,并结合目标用户自身存在运动障碍的特点,提出系统架构如图 1所示。

图 1 系统架构 Fig. 1 The system framework

如果对每一种运动障碍情况都单独设计一个交互系统,这无疑是资源的浪费,也给目标用户在经济和学习上带来巨大负担。因此,本文将输入输出设备与系统交互软件分离,不同的用户使用不同设备完成与同一辅助系统的交互,这种模式既满足了用户发展性需求、扩大了适用人群范围,又减少了软件系统更替带来的巨大代价,为目标用户节省了时间与金钱。

2 系统实现

根据需求分析和设计思路,本文实现了一种人机交互系统。考虑到目标用户输入带宽受运动障碍的影响,本文选择最困难的极限情况来完成系统,即仅使用1-Bit键盘信号作为系统输入。因此只要是能够发射或间接输出键盘信号的外围设备都可以作为该系统的输入设备。该系统依托基础模块:虚拟鼠标、虚拟中文键盘和快捷功能3个部分,支持了输入输出设备与交互软件的分离,且操作不受限于任何固定设置,同时高效、人性化的界面设计解放了目标用户物理运动障碍,为重度残疾人群交流打开了一扇新的窗户。

2.1 基础模块设计 2.1.1 虚拟鼠标

考虑到用户能力上的限制与已有的使用习惯,系统提供了虚拟鼠标,借鉴了物理鼠标的使用特点,利用界面设计辅助技术弥补目标用户在物理运动能力上的不足。虚拟鼠标由9个图标组成,每个图标对应一种系统功能。图标按照一定顺序轮流闪烁,用户在图标闪烁时发出选中信号来实现对应功能,因此,仅需要1-Bit的输入信号就可以触发有关功能。某功能对应图标在闪烁时被触发,屏幕上的光标就会向相应的方向移动或暂停,同时,鼠标轮转板也会跟随光标同步移动。该虚拟鼠标模块与物理鼠标一样,能够作为一种基础工具支持上层交互过程。额外的主菜单按钮、键盘按钮与护理按钮提供了功能组之间的切换,使用户能快速定位不同功能。

图 2 虚拟鼠标界面 Fig. 2 Interface of virtual mouse
2.1.2 虚拟中文键盘

物理键盘按键不仅小、多,且排列紧密,运动障碍人群无法进行有效操作,因此本文提供虚拟中文键盘来取代物理键盘,其输入为1-Bit的键盘信号。该虚拟中文键盘中,本文将备选的选项分别置于不同列,这些选项列将按照从左至右的顺序依次闪烁,当轮询到某一目标列时,用户发出输入信号选中这列内容。汉语拼音由声母、韵母和音调3个部分构成,为了使输入方法的选择最高效,本文对音调进行弱化处理。用户首先选择声母所在的组,然后系统会反馈可以与该组别当中声母组合的韵母组,用户选定相应的韵母组后会得到一系列拼音组合,选择目标拼音组合,系统就会呈现出该拼音下的所有常用汉字,最后一步的操作就是选择想要输出的汉字。另外该输入模块也提供了多种字母、数字、标点符号的输入,其交互方法与汉字输入的交互方法类似。除了汉字输入功能外,本文将其他使用频率较高的快捷功能进行整合以方便用户进行切换。

图 3 虚拟中文键盘界面 Fig. 3 Interface of Chinese input method
2.1.3 快捷功能

针对目标用户的常用功能,本文单独设计了网页浏览器、视频播放器、文档输入以及护理保障等快捷图标,以便用户更高效的实现预期目标。其中护理保障模块作为系统一项特色功能,即病人在一张表格内可自由选择当前所需完成的动作和想要表达的想法,如翻身、喝水、抬屁股、小便等。该表格根据病人真实使用图片卡整理设计完成。表格内每一种选项会按照一定的顺序轮流闪烁,用户可以在某一图标闪烁时发出选中信号来选择某项功能,因此仅需1-Bit的输入信号就可触发该模块提供的功能,选中后系统会自动进行语音播报以提醒护工或家属注意。

图 4 快捷图标 Fig. 4 Shortcut icon
2.2 整体设计与实现

由于交互系统仅仅需要1-Bit的输入信号,因此只要用户一个手指可以自发进行小幅度“按下”、“抬起”就可以使用外接数字键盘进行系统操作。在此,本文选用触摸式数字键盘作为输入设备,此种键盘对手指力量没有要求,能够很好地迎合重度残疾人群的实际情况,触摸式数字键盘如图 5所示。

图 5 触摸式数字键盘 Fig. 5 Touch numeric keyboard

针对运动能力稍强一些还可使用MYO腕带(手势控制臂环),只要动动手指或者手,就能操作该产品,与之发生互动。

如果用户丧失了微弱的运动能力,还可以使用“脑机接口”作为输入设备来进行系统操作,目前有NeuroSky MindWave Headset、NeuroSky Mindwave Mobile Myndplay Bundle以及Emotiv Epoc神经头盔等。

输出模块的整套设备包括一个平板电脑、液晶显示器和用于固定的轻便三角支架,其中显示器的角度和位置可以自由调整以迎合用户不同姿势的个性需求。

3 模拟用户测试

在医院调研后,根据用户实际情况将测试分为2个部分,具备一定活动能力的使用本文自主研发的触摸式数字键盘作为输入设备;丧失微弱活动能力的使用脑电控制系统,虽然系统仅需要1-Bit输入,但考虑到多电极的稳定性,本文选择使用Emotiv Epoc神经头盔,该头盔便携、佩戴舒适、安全系数高且可长时间使用的特点满足了用户日常使用需求,同时,Emotiv Epoc低廉的价格也保证了该产品能被广大用户所接受[15]

由于未签署任何测试协议,安全起见,本文通过正常人进行模拟测试。2位测试者之前都未接触过该交互系统,也没有经过任何“脑机接口”训练与测试。在正式测试开始前,2人首先熟悉了系统软件的使用,并进行了为期3个星期的Emotiv Epoc神经头盔使用性训练,训练结果显示,2人对于该神经头盔的正确使用率在90%以上,但他们并未使用该头盔进行交互系统的控制。

在实际测试中,2名测试者需要分别使用触摸式数字键盘和Emotiv Epoc头盔对交互系统进行操作,测试步骤如下:

1)选择浏览器按钮;

2)浏览一条新闻;

3)选择记事本按钮;

4)输入“你好!”并保存;

5)选择护理模块;

6)选择“身下有压物”护理提示。

本文记录下测试用户使用不同输入控制外设完成上述步骤所用的时间、步骤数以及每一步的操作结果[16]用于后续的数据分析。

用户测试所得数据如表 1。在最优情况下,用户完成上述活动的最少操作数为27。本文将精确度定义为用户能够使用外部输入设备完成目标操作的程度,具体的计算方法为完成某项活动的最少操作数与完成某项活动的实际操作数之比,在每一组测试中,分子相同,用户犯的错误越多,错误修正的代价越大,实际操作数越多,相应的操作精确度就越低。

表 1 测试数据 Table 1 Test data
用户 时间/s 操作数/次 精确度/%
键盘 脑机 键盘 脑机 键盘 脑机
257 580 29 36 93.1 86
250 649 27 39 100 79

使用数字键盘的平均操作精确度能达到95.5%。一方面说明系统设计上的直观性与人性化,另一方面也证明了整个系统的可控性,达到了让用户在较短的时间内理解系统功能与交互方式的基本要求。使用Emotiv Epoc头盔的用户测试数据来看,“脑机接口”作为输入控制外设是可行的,软件系统中的输入处理模块也起到应有的作用,然而“脑机接口”的使用效率与精确度仍有待提高。由于“脑机接口”在实际使用效率上一定程度也受用户个体因素的影响,有效的训练方法与系统的可控性密不可分。

4 结束语

本文做出了如下几方面的工作和创新:

1)根据目标用户情况复杂的特点提出了将输入输出设备与系统交互软件分离的设计思路,扩大了系统适用范围,降低了用户经济成本。

2)通过调研和分析,总结出运动障碍人群交流的需求并提出了非交互模型的6个元素,包括3个心理元素和3个技术元素。

3)设计完成了独立于具体任务的基础模块即虚拟鼠标和虚拟中文键盘,用户在使用这2个模块时不受限于任何特定环境或特定任务,满足用户交互需求的同时大大增强了用户心理成就感。

4)在极限条件即以1-Bit作为输入的情况下,实现了人机交互系统的研制,解决了重度残疾人群的交互问题。

然而系统现有的输入控制外设仅考虑了数字键盘与“脑机接口”,根据用户实际情况,可以加入对其他多种外设的引入,如蓝牙指环、肌电信号等。另外对于运动能力受限的人群,即健全人受到外界环境影响导致运动能力障碍,这类情况更复杂多样,但可将不同受限情况对应于运动能力障碍的不同程度和该障碍所持续的不同时长来理解,因此还可就交互模型适用于运动受限人群的非对称交流做进一步研究。

参考文献
[1] 傅铭今. 我国电子通信技术发展概貌[J]. 中国高新技术企业, 2013(9): 6-7.
[2] WOLPAW J R, BIRBAUMER N, MCFARLAND D J, et al. Brain-computer interfaces for communication and control[J]. Clinical Neurophysiology, 2002, 113(6): 767-791.
[3] WIJAYASEKARA D, MANIC M. Human machine interaction via brain activity monitoring[C] //2013 The 6th International Conference on Human System Interaction (HSI). Sopot: IEEE, 2013: 103-109.
[4] VOURVOPOULOS A, LIAROKAPIS F. Robot navigation using brain-computer interfaces[C]// 2012 IEEE 11th International Conference on Trust, Security and Privacy in Computing and Communications (TrustCom). Liverpool: IEEE, 2012: 1785-1792.
[5] 胡瑜, 陈涛. 基于C-C算法的混沌吸引子的相空间重构技术[J]. 电子测量与仪器学报, 2012, 26(5): 425-430.HU Yu, CHEN Tao. Phase-space reconstruction technology of chaotic attractor based on C-C method[J]. Journal of Electronic Measurement and Instrument, 2012, 26(5): 425-430.
[6] 李明爱, 马建勇, 杨金福. 基于小波包和熵准则的最优频段提取方法[J]. 仪器仪表学报, 2012, 33(8): 1721-1728. LI Ming'ai, MA Jianyong, YANG Jinfu. Optimal frequency band extraction method based on wavelet packet and entropy criterion[J]. Chinese Journal of Scientific Instrument, 2012, 33(8): 1721-1728.
[7] BARRO R, MANKIW N M, SALA-I-MARTIN X. Capital mobility in neoclassical models of growth[J]. The American Economic Review, 1995, 85(1): 103-115.
[8] BARRO R J. Health, human capital and economic growth[R]. Washington, DC: Pan American Health Organization, 1996.
[9] 徐静, 彭宗勤. 应用辅助沟通系统促进自闭症儿童语言和沟通能力的发展[J]. 中国组织工程研究与临床康复, 2007, 11(13): 2540-2543.XU Jing, PENG Zongqin. Improvement of language and communication ability in children with autism by assistant communication system[J]. Journal of Clinical Rehabilitative Tissue Engineering Research, 2007, 11(13): 2540-2543.
[10] 王行愚, 金晶, 张宇, 等. 脑控: 基于脑-机接口的人机融合控制[J]. 自动化学报, 2013, 39(3): 208-221. WANG Xingyu, JIN Jing, ZHANG Yu, et al. Brain control: human-computer integration control based on brain-computer interface[J]. Acta Automatica Sinica, 2013, 39(3): 208-221.
[11] 吴边, 苏煜, 张剑慧, 等. 基于P300电位的新型BCI中文输入虚拟键盘系统[J]. 电子学报, 2009, 37(8): 1733-1738. WU Bian, SU Yu, ZHANG Jianhui, et al. A virtual Chinese keyboard BCI system based on P300 potentials[J]. Acta Electronica Sinica, 2009, 37(8): 1733-1738.
[12] SUNDAR S S, XU Qian, BELLUR S. Designing interactivity in media interfaces: a communications perspective[C]//Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM, 2010: 2247-2256.
[13] HERSH M A, JOHNSON M A. On modelling assistive technology systems-Part I: modelling framework[J]. Technology and Disability, 2008, 20: 193-215.
[14] AL-GHAMDI N, AL-HUDHUD G, ALZAMEL M, et al. Trials and tribulations of BCI control applications[C]//2013 Science and Information Conference (SAI). London: IEEE, 2013: 212-217.
[15] VAN VLIET M, ROBBEN A, CHUMERIN N, et al. Designing a brain-computer interface controlled video-game using consumer grade EEG hardware[C]// 2012 ISSNIP Biosignals and Biorobotics Conference (BRC). Manaus: IEEE, 2012: 1-6.
[16] BIANCHI L, QUITADAMO L R, GARREFFA G, et al. Performances evaluation and optimization of brain computer interface systems in a copy spelling task[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2007, 15(2): 207-216.
DOI: 10.3969/j.issn.1673-4785.201501015
中国人工智能学会和哈尔滨工程大学联合主办。
0

文章信息

程煜, 张鸣宇, 陶霖密
CHENG Yu, ZHANG Mingyu, TAO Linmi
1-Bit人机交互系统
One-Bit human-computer interactive system
智能系统学报, 2015, 10(04): 528-532.
CAAI Transactions on Intelligent Systems, 2015, 10(04): 528-532.
DOI: 10.3969/j.issn.1673-4785.201501015

文章历史

收稿日期: 2015-01-16
网络出版日期: 2015-06-30

相关文章

工作空间