随着计算机技术、人工智能水平的快速进步,“以人为中心”的交互技术在指挥控制系统中的需求越来越高[1 − 2]。指挥控制系统是人与计算机之间的纽带,需要快速分析战场态势和情报,准确、高效下达控制命令。以往指挥控制系统的交互通道主要为鼠标、键盘、摸球等,指挥效率在一定程度上受到限制,无法满足未来战场的需求。如在操作摸球时,界面布局跨度大的情况下,操作员需要多次滑动摸球,既耗时又增加了操作员的交互负荷。
未来战场中,随着探测数据的多源性,敌方作战手段的多样性,可以从提高交互效率的角度提升战场反应速度,避免贻误战机。当前通信设备种类日益丰富,人机交互形式更加多样化,多点触控交互、语音交互、眼控、脑控等多种自然交互方式越来越受到人们的青睐[3]。人们不断挖掘可用的信息通道建立人与计算机之间的联系,以提高人机交互的效率和自然化。2013年,Umoove公司为三星GalaxyS4手机提供眼动追踪技术,拓展了眼动交互技术的应用平台[4]。2016年,Eyefluence公司在VR(Virtual Reality)眼镜上引入眼动技术,提升了虚拟世界的交互体验,降低了用户的学习成本[5]。2015年,Chen[6]、BOZOMITU等[7]开展了眼动-触控共同交互的眼控交互技术研究,在电子游戏和视频等场景中丰富了用户的交互通道。Lee等[8]同样基于眼控交互技术,设计出眼控-触控的界面交互方式。杨忠豪等[9]使用眼控技术开发残障人士的智能病房系统(EyeSmartWard)。朱麟文等[10]对视觉追踪技术控制鼠标做了大量的研究,推动了眼控鼠标交互的发展。2016年,七鑫易维为渐冻人研发了一款基于眼控交互的一体机,具备灵活、高效、操作便捷的特点。
眼控交互在商用领域已经取得了一定的成果,但在指挥控制系统中的应用还处在探索阶段。基于已有的研究成果,参考其眼控交互动作的设计原理和功能实现方式,结合指控系统的特定应用场景和用户需求,本文开展指控系统人机交互研究,针对典型任务场景,设计出一套指挥控制系统的眼控交互模式。通过模拟分析证实指控系统引入眼控交互技术,交互效率明显提高,人员操作负荷程度明显降低,用户使用沉浸感更强,对提升指控效率有明显作用。
1 眼势交互研究 1.1 眼势交互特征人眼的运动是一项复杂且精细的生理过程,主要包括注视、眼跳、平滑追随运动。这3种眼球运动模式是人机交互领域发展过程中一直被密切关注的,不仅可以帮助人们获取准确的信息,在维持视觉清晰度、保持平衡等与环境交互的环节中也发挥着重要的作用。
人眼长时间凝视某一物体的行为称为注视,人通过持续大约200~600 ms的注视行为看清物体[11]。但是在注视时,眼球并不完全静止,而是伴随着漂移、震颤和微眼跳。这一系列微小的眼部动作有助于降低视网膜的疲劳、维持视觉清晰度。注视的稳定性是保证清晰成像的关键,通常注视一个物体时间越长,眼球的漂移路径就更杂乱。
眼跳是注视点间的飞速跳跃运动,发生在注视点快速移动到下一个注视点的过程中。眼跳时眼球运动速度很快,能达到400~600 °/s,持续时间通常在30~120 ms之间,在眼跳过程中,图像在视网膜上移动较快,无法形成清晰的成像,人在这一过程中也不会获取到有效信息,所以人通常意识不到这种眼动模式。根据眼跳的诱因,主要有反射性眼跳和自主性眼跳,反射性眼跳是眼球对外界刺激的无意识反应,自主性眼跳是受个体控制的有意识眼球运动,通常出现在转移视线的过程中[12]。眼跳是人快速转移注视点的重要环节,通过一定的眼动追踪技术,可以清晰地观察到眼跳的发生。
眼球平滑追随运动是指人在注视一个移动目标时,通过平滑且连续的眼球运动来跟随目标的运动轨迹。眼动过程包括追踪目标的速度和方向,并通过调节眼球的水平和垂直位置来保持目标在视觉中心的焦点位置,眼球平滑追踪能够帮助我们在复杂的视觉环境中更准确地感知和理解目标的轨迹和细节,通常与眼球快速追随运动相对应,共同构成人眼复杂的视觉追随系统。有研究表明,观察目标运动速度在55'/s以内时,眼睛可以跟踪物体,当物体移动速度过快时,为了保持视觉清晰眼睛的追随运动就会有眼跳参与。
人眼在观察物体时,不论是静止或运动的,都需要多种眼部动作共同完成、结合3种眼球运动形式,才能够实现人眼对物体的凝视和连续观察,达到清晰的视觉输入。
1.2 指控系统眼势交互需求WIMP (Wndow, lcon, Menu, Pointing Device)是传统指控系统应用的图形界面范式,用户通过桌面的四大基本元件实现对设备的控制,实现交互功能。在数据源、数据量激增的背景下,人们越来越追求自然化、沉浸式的交互体验,传统交互方式的信息处理量已经无法满足用户的需求。Van Dam 在分析了 WIMP 界面的局限性后,第一次提出了Post–WIMP 界面[13],其具有交互混合性的特点,能够融合虚拟现实、语音交互、手势交互等交互技术,提供更加高效、自然的交互方式。基于Post–WIMP 界面开展指控系统眼势交互需求分析,能够将眼势交互与传统交互方式的优点充分结合,设计出更高效、简洁的指控系统交互方式。
眼势交互是发挥指挥控制效能的放大器。沉浸、自然、快速、自动的眼势交互可以根据指挥人员的重点关注信息,实时更新界面显示内容,按照指挥员的需求,自动推送项目信息,提高界面交互自然性、沉浸性,为指挥人员提供身临其境的战场态势感知。指挥员不需要移动视线使用鼠标点击页面,有效降低指挥员的操作负荷,且视线覆盖面广,可直达关注内容。突破鼠标操作存在范围限制,对于跨度较大的页面,避免出现多次移动鼠标的交互动作。
眼势交互则能够简化操作流程,提升指挥效率。眼势交互能够提升指挥控制系统的适应性。在某些特殊场量下,如航母、军舰、水下、指挥车等环境中,因颠簸、摇晃等因素的影响,操作人员使用鼠标、摸球、键盘等设备操控计算机非常困难,快速响应指挥命令,正确下发控制信息就更加困难。基于眼势交互用眼睛控制计算机,能够大幅提升指控系统的适应性,尤其是对恶劣环境的适应性,可以减少外界环境 对指挥效率的影响。眼势交互可以提升多模态交互支持。在多模态交互中,眼势交互可以与其他形式的交互方式相结合,例如语音交互、手势交互等,逐步实现非接触式指挥控制。指控系统能够根据流程实时更新界面内容,将操作人员从繁杂的操作指令中解放出来,降低误操作风险,提升操控准确率,提供更加丰富和灵活的用户体验。
2 指挥控制系统眼势交互行为分析眼睛是双向通道,不仅可以获取信息,还可以成为计算机的输入通道,向计算机发出指令。由于人眼的活动十分灵活,目前的交互都是通过预设定的动作或规则来实现眼势控制。本文以指挥控制系统为背景,通过大量的交互行为实验研究适合指挥控制系统操控的眼势指令。
2.1 交互方式设计考虑到指挥控制系统人机交互的特点,下达指令必须准确、快速,能够在准确的前提下尽可能提高人机交互效率。为提高操控的准确性,降低误操作带来的风险,需要提前设计眼势交互规则。设计原则初步如下:
1)交互结果准确性。指挥控制系统中,交互指令的准确下达和执行是首要的,是保证指挥流程准确、顺利完整的基本保障,为了保证交互的准确性甚至可以牺牲一定的交互舒适性。
2)交互友好性。指挥控制系统的眼势交互应有较低的学习成本,保证用户在使用过程中有较低的使用负荷;提供自然的交互手段,用户能够自然地使用本系统;提升交互效率,减少交互步骤,让用户和机器之间的交互更人性化。
3)避免米达斯接触效应。能够准确区分用户眼势动作是“有意识”还是“无意识”的交互行为,为了贴合设计原则2),本文将采用设置注视时间阈值与注视特定区域2种方式,进行“有意识”交互行为的判断。
4)支持用户自主选择。不同的指挥员有不同的指挥习惯,指挥控制系统中不仅仅有眼势交互通道,相同的指令下达有多种交互模式可供选择,用户能够根据自身的习惯和使用场景随时切换,减少,应较高学习成本带来的不适感,实现“以人为中心”的交互理念。
眼势交互过程中人眼会受到各种无法预测的刺激,会产生大量无法控制的眼动行为,眼势交互需要辨别非具有操控意图的眼动数据。根据使用场景,本文将用户的视野场景指定在部分界面区域,将用户眼势控制指令设定在这些区域内,通过历史经验与观察,用户在获取信息时,会自动地将视线保持在视野中央,为了减少无意识眼动对眼势控制准确率的影响,本文选取了4个区域作为眼势控制的目标区域,具体划分见图1。
|
图 1 指挥控制系统眼势控制目标区域划分图 Fig. 1 Command and control system eye potential control target zoning diagram |
其中A1区域为当前指挥流程切换控制区,用于控制流程界面前进、后退滑动;A2区域为指挥控制系统要素使用控制区,用于控制指挥流程的主要使用要素;A3区域为指挥模式切换区,用于切换不同的指挥场景;A4区域为操作确认区,对于重要指令,需要在A4区域中进行确认。
根据眼势行程复杂程度,主要有单行程眼势和多行程眼势2种模式。单行程眼势的活动区域为起始域和完成域,又可称为“两点”眼势,多行程眼势为活动域大于3个的眼势。如图2所示,行程1是一个以A为起始域,B为完成域的一个单行程眼势交互;同样行程2和行程3均可以代表一种单程眼势交互。本文中指挥控制系统眼势交互目标区域内的眼动行为主要为注视和单行程眼势,为了降低用户的用眼负荷以及学习成本,不涉及多行程眼势。
|
图 2 指挥控制系统单行程眼势控制图 Fig. 2 Command and control system single stroke eye gesture control diagram |
注视、眼睛平滑移动是人眼的主要活动方式,有意识眨眼是人可以控制的,结合已有的眼控交互成果,本文以这3个眼势动作为基础进行扩充,设计出指控系统眼势控制行为。
注视作为眼势交互的输入,是目前最成熟的方式,冯志成等[14]、李宏汀等[15]深入研究了注视在眼势交互中的应用价值,论证了触发时间阈值作为界面触发命令的有效性。眨眼动作更符合人眼的运动习惯,将有意识的眨眼作为交互命令的触发点,能够更准确地获取到用户的交互意图[16]。眼势交互是通过眼睛一连串的动作实现交互行为的,眼睛平滑移动是将眼动串联成眼势控制的粘合剂。相较传统机械交互,眼势交互具有不容易误操作、能够满足多种交互需求、交互效率高等优势[17]。指控系统中的交互可以分为两大类:查看态势信息和下达控制指令。本文选取常用的任务切换、界面切换、目标详情展示、目标选取操作确认共4种控制指令,选择识别准确率高的眼动行为以及用户的使用体验,设计出一套指挥控制系统眼势交互动作,每个指令的解释和眼势控制动作见表1。
|
|
表 1 指挥控制系统眼势操控指令说明表 Tab.1 Command and control system eye gesture manipulation command description |
其中A1~A4为眼势控制目标区域,眨眼记为B,注视记为F。
指挥控制系统对指令的正确性要求很高,故针对设计的眼势动作提出眼势交互行为识别流程设计。表1中提出的眼势操控指令主要由注视、眼跳和眨眼这3种行为组成,交互系统需要准确识别这3种基础的眼势动作,结合指挥控制系统的交互特点和4种眼势动作提出典型指控任务的眼势行为识别流程,见图3;眼势交互成功触发并完成交互控制的流程见图4。
|
图 3 指挥控制系统眼势交互流程图 Fig. 3 Command and control system eye gesture interaction flowchart |
|
图 4 指挥控制系统眼势行为控制流程说明图 Fig. 4 Command and control system eye behavior control process description diagram |
随着计算机技术的快速发展,指挥控制系统对交互模式和交互效率的要求越来越高,通过与传统的机械操控进行对比,验证本文提出的眼势交互方式能够提升指挥控制交互效率,降低操控人员使用负荷。
3.2 实验条件本实验使用控制变量法,模拟出指挥控制系统的机舱环境,包括灯光、温度、设备布局。邀请16位参试者,均为男性且具有相同程度指挥控制系统的实操经验,参加了眼势交互培训并熟悉指挥控制系统眼势操控流程,具有较好的理解力,可以按照要求顺利地完成交互实验,能够代表指挥控制系统的用户群体。基于3种典型任务场景,开展传统交互和眼势交互的对照实验,其中3种典型任务场景的交互复杂程度存在差异。使用的设备为 SMI公司的 ETG 2w眼睛式眼动仪,采样频率为60 Hz,用于采集眼势动作;戴尔27英寸显示屏,分辨率为
|
图 5 眼势交互软件流程设计图 Fig. 5 Eye gesture interaction software flow diagram |
利用ETG 2w眼动仪捕捉视线,确保被试者眼睛在眼动仪可捕捉的范围内,完成视线校准后,实验过程中不允许被试者移动设备,但可以进行轻微的头部活动。
正式实验前,每个被试者都了解实验流程,熟悉指挥控制流程并且经过初步的眼势交互练习。选取指挥控制系统中3个典型应用场景,每个参试者分别使用传统的机械操控和融合眼控交互的操控模式完成场景任务,在其他条件没有差别的情况下,对比2种操控模式的交互效率、交互负荷、交互体验感。
3.4 实验结果分析1)交互响应准确率
准确率是眼控交互动作得到正确响应的概率,是交互稳定性和安全性的保障。将表1中的眼势交互动作拆分为有意识眨眼、带阈值的注视和视线滑动3种眼动行为,可通过眼动行为动作正确识别来衡量。眼动行为准确率交互实验设置交互时间阈值为5 s,5 s未完成眼势交互动作、触发其他眼动行为或响应延迟未完成动作识别视为失败,5 s内完成眼动行为视为成功。16位参试者对3个眼动行为分别进行80次交互实验,统计结果为:有意识眨眼准确率为98.6%,带阈值注视准确率为99.2%,视线滑动准确率为96.5%。
本文眼势交互需要用到的眼动行为准确率均大于95%。带阈值的注视行为交互准确率达到99.2%,取决于该行为的成熟研究成果;有意识眨眼的准确率达到98.6%,是由于有意识眨眼和无意识的眨眼行为在机器识别时,还存在一定的误判;执行视线滑动动作时,由于视线落点的控制存在一定的难度,用户的交互习惯还没有充分养成,当用户多次训练后,识别准确率有明显的提高。参试者在眼动行为未执行成功后,立即重新执行该动作,能够较好地完成该动作。综合来说,本文针对指挥控制系统提出的眼动行为能够满足交互需求。
2)交互用时
记录16位参试者分别完成3种典型应用场景的任务交互用时数据,数据处理后仅统计人机交互用时,去除任务中必要的流程耗时,数据信息见表2。
|
|
表 2 三种典型任务场景两种交互方式用时统计表 Tab.2 Statistics of the time spent on the two types of interactions for three typical task scenarios |
3种任务场景的2种交互方式互为配对样本,均满足正态分布且通过方差齐性检验。对3组样本进行T检验,其结果见表3,T检验结果箱线图见图6。
|
|
表 3 交互用时T检验结果汇总表 Tab.3 Summary of T-test results for interaction time |
|
图 6 交互用时T检验箱线图 Fig. 6 T-test box plots of interaction times diagram |
由表3可知,3种典型任务场景中,p值均小于显著水平0.05,故3种典型任务场景下,均拒绝传统交互与眼控交互用时均值无差异的假设,认为传统交互与眼势交互用时均值存在显著差异。由于3个T值均大于0,结合图6中T检验可视化箱线图,可以得出传统交互完成3种典型任务的交互用时均值均大于眼势交互。
3种典型任务场景中引入眼势交互后,指挥流程耗时均更短,在不同复杂程度的任务流程中,眼势交互的表现也有一定差别。任务场景3的交互复杂程度比任务1和任务2更简单,任务1和任务2的交互复杂程度相同,表4对3个任务场景下2种交互平均耗时提升率进行统计,可以得出对于交互流程复杂的场景,眼势交互的优势更明显。
|
|
表 4 3种典型任务场景两种交互模式平均耗时提升率统计表 Tab.4 Statistics of average time consumption improvement rate for three typical task scenarios and two interaction modes |
3)交互负荷量
本文采用NASA任务负荷指数量表(NASA–TLX)[18]收集参试者使用眼势交互和传统机械交互完成3个典型任务时负荷的主观评价信息,包含脑力需求(Mental Demand,MD)、身体负担(Physical Demand,PD)、时间需求(Temporal Demand,TD)、个人表现(Performance,PE)、努力程度(Effort,EF)、挫败感(Frustration,FR)6个维度。首先参试者通过两两比较的方法选出本次实验中影响较大的维度,统计每个维度出现的频率,计算得到每个维度在负荷程度指标中的权重。参试者再根据实验中交互的主观体验,基于百分制对6个维度进行打分,打分单位为5。最后根据权重和打分结果,得出使用2种交互方式的负荷指数[19]。通过统计参试者对6个维度的两两比较结果,计算得出每个维度的权重分别为:0.254、0.025、0.325、0.096、0.233、0.067,每位参试者的负荷指数计算式为:
| $ \begin{split} &LoadLevel = 0.254 \times MD + 0.025 \times PD + 0.325 \times TD + \\ &0.096 \times PE + 0.233 \times EF + 0.067 \times FR。\\[-1pt] \end{split} $ | (1) |
按照式(1)可以计算出每位参试者分别使用2种交互方式后的负荷程度得分,2组交互方式负荷程度得分为配对样本,通过正态分布和方差齐性检验,使用T检验且结合图7,得到T值为
|
图 7 参试者交互负荷程度T检验双侧检验图 Fig. 7 Bilateraltest plot of participant interaction load level T-test diagram |
本文基于指挥控制系统对自然人机交互的需求,在传统指挥模式下,融入眼势交互方式,针对典型任务场景,设计了眼势控制动作。通过配对实验证明在指挥控制系统中融入眼势控制指令,能够缩短任务交互时,尤其是交互流程复杂的任务场景,且有效降低人员操控负荷程度,提升人员交互体验感,对提升指挥效率有明显效果。未来,眼势交互会以更自然、便捷的方式融入指挥控制系统,如何进一步提升眼势交互准确率,如何提高眼势交互与其他通道信息整合精确度,真正做到“以用户为中心”的交互模式,还需要更深入的研究。
| [1] |
REN F J, BAO Y W. A review on human-computer interaction and intelligent robots[J]. International Journal of Information Technology & Decision Making, 2020, 19(1): 5-47. |
| [2] |
宁云晖, 陈科, 尤岳, 等. 自适应智能人机交互在水下指挥控制系统的应用[J]. 指挥控制与仿真, 2024, 46(2): 24-28. NING Y H, CHEN K, YOU Y, et al. Application of adaptive intelligent human-machine interaction in underwater command and control systems[J]. Command Control & Simulation, 2024, 46(2): 24-28. DOI:10.3969/j.issn.1673-3819.2024.02.004 |
| [3] |
BLACKLER A, POPOVIC V, MAHAR D. Investigating users` intuitive interaction with complex aetefacts[J]. Applied Ergonomics, 2010, 41(1): 72-92. DOI:10.1016/j.apergo.2009.04.010 |
| [4] |
林敏. 基于眼动信息的人机交互关键技术研究[D]. 上海: 上海大学, 2014.
|
| [5] |
罗颖. 基于增强现实的交护界面设计研究[D].武汉: 华中科技大学, 2012.
|
| [6] |
CHEN Y, TSAI M J. Eye-hand coordination strategies during active video game playing: An eye-tracking study[J]. Computers in Human Behavior, 2015, 51: 8-14. DOI:10.1016/j.chb.2015.04.045 |
| [7] |
BOZOMITU R G, PSRIC A, TRNICERIU D, et al. Development of an eye tracking-based human-computer interface for real-time applications[J]. Sensors (Basel, Switzerland), 2019, 19(16), 3630.
|
| [8] |
LEE H, LIM S Y, LEE I, et al. Multi-modal user interaction method based on gaze tracking and gesture recognition[J]. Signal Processing Image Communication, 2013, 28(2): 114-126. |
| [9] |
杨忠豪. 面向残疾人的眼动交互技术研究[D]. 杭州: 浙江大学, 2015.
|
| [10] |
朱麒文, 闫隆鑫, 张若兰, 等. 基于视线追踪的眼控鼠标设计[J]. 电子器件, 2016, 39(2): 235-241. ZHU L W, YAN L X, ZHANG R L, et al. Design of eye-controlled mouse based on eye tracking technology[J]. Chinese Journal of Electron Devices, 2016, 39(2): 235-241. DOI:10.3969/j.issn.1005-9490.2016.02.001 |
| [11] |
YOUNG L R , SHEENA D . Survey of eye movement recording methods[J]. Behavior Research Methods, 1975, 7(5): 397–429.
|
| [12] |
高闯. 眼动实验原理, 眼动的神经机制、研究方法与技术[M]. 武汉: 华中师范大学出版社, 2012.
|
| [13] |
石磊, 邓昌智, 戴国忠. 一种Post-WIMP界面: PGIS的实现[J]. 中国图象图形学报, 2010, 15(7): 8. SHI L, DENG C Z, DAI G Z. Implementation of PGIS: A type of WIMP user interface[J]. Journal of Image and Graphics, 2010, 15(7): 8. DOI:10.11834/jig.20100715 |
| [14] |
冯成志. 眼动人机交互[M]. 苏州: 苏州大学出版社, 2010.
|
| [15] |
李宏汀, 徐源, 田雨, 等. 激发点击的不同注视时间参数对眼控交互操作绩效的影响[J]. 人类工效学, 2017, 23(2): 45-49. LI H T, XU Y, TIAN Y, et al. The Influence of fixation time parameter of activated clicks on eye-controlled interaction operation perfoemance[J]. Chinese Journal Journal of Ergonomics, 2017, 23(2): 45-49. DOI:10.13837/j.issn.1006-8309.2017.02.0008 |
| [16] |
袁春兴. 基于眼动的人机自然交互[D]. 长沙: 国防科学技术大学, 2015.
|
| [17] |
朱潇潇. 基于眼势的眼控界面交互设计研究[D]. 南京: 东南大学, 2019.
|
| [18] |
季春兰. 高中生认知负荷量表的编制及其相关研究[D]. 南京: 南京师范大学, 2011.
|
| [19] |
HART S G , STAVELAND L E. Development of NASA-TLX (Task Load Index): Results of empirical and theoretical research[J]. Advances in Psychology, 1988, 52(6): 139-183. |
2025, Vol. 47

