文章快速检索  
  高级检索
基于空间映射的视觉注意力分配预测模型
吴旭, 完颜笑如, 庄达民    
北京航空航天大学 航空科学与工程学院, 北京 100191
摘要:为预测飞行员视觉注意力分配,在SEEV(Salient Effort Expectancy Value)模型和多因素模型的基础上引入注意控制空间和资源分配空间的概念.前者描述了影响注意力分配因素,而后者则反应了兴趣区域所获得的注意资源.并通过空间映射建立注意力分配的预测模型,应用模糊层次分析的方法对模型进行结算.为验证预测模型效度,采用16名被试在飞行模拟器上开展基于异常信息恢复的工效学实验,通过眼动追踪装置记录注视点分布作为注意力分配指标.被试需要根据实验条件对主飞行显示器仿真界面中的目标信息状态进行监视,并通过驾驶杆的指定操作对异常信息进行响应.实验结果表明,注意力分配预测模型的理论结果与工效实验中注视点分布的实验结果显著相关且吻合较好,验证了预测模型的可用性.
关键词视觉注意力分配     数学模型     眼动追踪     注视点分布     人机工效    
Pilot visual attention allocation modeling based on spatial mapping
Wu Xu, Wanyan Xiaoru, Zhuang Damin     
School of Aeronautic Science and Engineering, Beijing University of Aeronautics and Astronautics, Beijing 100191, China
Abstract:To investigate pilot visual attention allocation, salient-expectancy-effort-value (SEEV) model and multiple factor model were applied to introduce the concept of attention control space and resource allocation space. The former space described the influencing factors of attention allocation while the latter one depicted the attention resource allocated to certain area of interest. A new forecast mathematical model was established based on spatial mapping and calculated in the method of fuzzy analytic hierarchy process. In order to verify the effectiveness of the new model, sixteen subjects were recruited in an ergonomics experiment to perform an unusual attitude recovery task in a high fidelity flight simulator. As evaluation index of attention allocation, the fixation distribution of subjects was recorded by eye-movement tracking device. The subjects were required to monitor the state of information targets presented on the primary flight display simulation interface according to the current experiment condition and respond to unusual information by the corresponding operation of the steering wheel. The experiment results reveal good agreement and significant correlation with the theoretical model and hence validate the effectiveness of model.
Key words: visual attention allocation     mathematical modeling     eye-movement tracking     fixation distribution     ergonomics    

随着飞行器的人机交互程度和智能化程度不断提升,飞行任务逐渐趋于复杂和多样化,飞行员在航空系统中所承担的角色也从系统的操作者变成了监控者和决策者[1,2].在此背景下飞行员在认知方面的问题日益突出,因此研究飞行员注意力分配机理并开展相应工效学应用研究对于保障飞行安全、减少人为失误、优化显控界面设计,具有重要的理论意义和工程应用前景[3].

由于飞行任务及飞行环境所具有的复杂性和危险性,对飞行员认知行为进行全面而深入地建模研究历来都受到航空工效学界的重视.近年来国内外学者对注意力分配的认知建模先后进行了不同程度的研究.Senders通过引入信息带宽的概念建立了第一个仪表监视行为的量化模型,其研究发现作业人员的视觉扫视行为可用仪表带宽来解释[4].随后,Carbonell和Sheridan等人通过引入仪表信息价值因素对Senders的模型进行完善[5,6].而Bohnen等人将报警率和信息带宽的概念区分开,认为视觉注意力分配是基于探测时间采样,并修正了Senders的模型[7].Wickens等人则将影响注意力分配的因素理解为信息突显性、努力、期望以及价值,并通过线性加权的方法建立了SEEV(Salient Effort Expectancy Value)模型,随后为预测飞行员对突发事件的注意捕捉能力提出了Noticing-SEEV模型[8,9].Miller等人为研究合成视景系统的可用性,在SEEV模型的基础上加入信息含量因素,并基于界面生态学优化了该模型[10]. 此外,Matsui等人应用模糊控制模型来解释与注意机制相关的心理状态及思维活动,并给出了汽车驾驶员的注意力分配模型[11].完颜笑如等人应用模糊控制模型来量化仪表信息重要度的认知过程,并提出了基于混合熵最大化的注意力分配模型,该模型综合考虑了信息重要度、潜在认知概率和信息检出效率对飞行员注意力分配策略的影响[12].吴旭等人从信息加工的两条通路入手,针对SEEV模型和混合熵模型所存在的局限性,提出了一个多因素条件下的注意力分配模型[3].由于该模型所采用的数学公式制约了模型的完善与优化,在考虑新的影响因素特别是脑力负荷时模型的效度有待进一步验证.

为此,本研究在多因素注意力分配模型的基础上,引入注意控制空间和资源分配空间,将与注意相关的多因素归纳为注意控制空间的一组基底,将脑力负荷描述为制约注意控制空间到资源分配空间映射的影响因素.将注意力分配推广到空间映射的思想便于模型的建立和优化.由于认知过程存在一定模糊性,则可以根据模糊层次分析方法建立递阶结构模型,从而对研究所提出模型进行结算并预测出注意力分配的情况.为验证模型效度,本研究在飞行模拟器上开展不同脑力负荷水平下异常信息恢复的飞行仿真任务,结合眼动测量所获得的注意力分配实验值与理论模型预测值进行比较. 1 基于空间映射的注意力分配模型

通过定义注意控制空间和资源分配空间,将注意力分配机制描述为这两个空间上的映射关系,并结合模糊层次分析的方法进行结算,从而预测出各兴趣区域所获得注意资源的分配情况. 1.1 注意控制空间建模

一般认为注意控制机制由两条通路组成:一条是自上而下的注意,是系统的一种自动的搜索或选择性控制;另一条是自下而上的注意,由输入特征驱动[13].多因素注意力分配模型将影响注意分配的因素归纳为信息发生概率、信息重要度、信息突显性以及努力[3],则由这些因素所张成的线性空间记为注意控制空间Φ.于是,在t时刻n个兴趣区域(AOI,Area of Interest)中所包含的信息在空间Φ上的状态水平为

其中,(j(t))是空间Φ上一组维度为m的基底;cij(t)是其展开系数.前者是由影响注意力分配的因素所构成的,而后者则是对这些影响因素的数值量化.在一般的航空人机交互系统中,沿用多因素模型中的4个因素,并记作{j*(t)}={信息突显性,努力,发生概率,重要度}为注意控制空间Φ上的基本基底. 1.2 资源分配空间建模

根据Tombu等人提出的中枢能量共享理论,注意被看作是对刺激进行归类和识别的认知资源或能力[14].在一段时间内可利用的认知资源量一部分由个体的唤醒水平ω所决定,根据Matsui的观点,视觉信息认知资源是与脑唤醒水平以及注意控制机制密切相关的[11].那么,定义n个兴趣区域中视觉信息所获得的认知资源构成了资源分配空间Ψ,则空间Ψ中的状态水平可表示为

其中,φi(t)表示在t时刻视觉信息在空间Φ上的状态;ξ(ω)则是由脑唤醒水平决定的算子:

ξ(ω)将空间Φ映射到空间Ψ,表示认知资源水平对注意力控制空间Φ基底的权重量化,故:

为了模型的规范和统一,适当选取空间Φ的基底{j(t)}构成一组标准正交基.同时将展开系数cij(t)进行归一化处理,使得空间Φ上每个维度的基底对所有兴趣区域评价程度的总和为1,即

不失一般性,假设在作业过程中的较小时间段内,空间Φ上状态水平φi(t)不随时间变化,算子ξ(ω)也不随脑唤醒水平变化,并且为了模型的简化将空间Φ的基底{j(t)}选为自然基底,那么AOIi获得的注意资源分配为

注意到此时:

这说明作业人员对n个兴趣区域按照其认知水平进行资源分配,并且资源总和为1. 1.3 基于模糊层次分析的注意力分配模型结算

根据前面提出的注意力控制空间和资源分配空间,应用模糊层次分析的方法预测注意力资源分配,建立如图 1所示的多层次递阶结构模型.其中注意控制空间Φ描述了方案层到准则层的关系,资源分配空间Ψ则描述了从方案层到目标层的关系,算子ξ(ω)定义了准则层到目标层的权重关系,从而将空间Φ映射到空间Ψ.

图 1 注意力分配多层次递阶结构模型 Fig. 1 Hierarchical structure model of attention allocation

根据多层次递阶结构模型建立模糊互补矩阵,模糊互补矩阵R表示针对上一层次某元素,本层次与之有关的元素之间相对优度的比较.设上层次的元素Bj同下一层次中的元素C1,C2,…,Cn有联系,则模糊互补矩阵可表示为

其中Rjik元素表示元素Ci和元素Ck相对比上一层元素Bj进行比较时,元素Ci和元素Ck具有模糊关系“CiCk重要得多”的隶属度.为了定量描述这种相对优度,采用0.1~0.9的一位小数给予数量标度,数值越大表示重要程度越高.根据上述的数字标度理论,将方案层C及准则层B的元素相对上一层进行比较,分别得到模糊互补矩阵RBCjRAB.

由于研究问题的复杂性和认知的模糊性,使得构造出来的模糊互补矩阵往往不具有一致性.这时可应用模糊矩阵一致性的充要条件进行调整,具体的调整步骤参考文献[15].

在单一准则下确定方案的优度值.根据模糊互补矩阵的元素与权重关系式给出排序方法,则设方案层优度值wji

准则层优度值为

根据层次总优度对方案层排序.在单一准则优度值排序的基础上,计算诸方案的总体优度值,则AOIi所获得注意力资源的比例为

2 工效学实验方法 2.1 被 试

实验被试为16名北京航空航天大学在校研究生(12男4女),具有航空知识背景,年龄在23~28岁之间(均值=24.8,标准差=1.3),右利手,视力或矫正视力正常,无色盲色弱. 2.2 实验仪器

实验在飞行模拟器上进行,实验界面选用空客A320主飞行显示界面,应用专业仪表仿真软件GL Studio快速构建并绘制,如图 2所示.实验采用非接触式红外眼动仪Smart Eye Pro 5.9记录被试的注视情况.

图 2 实验界面 Fig. 2 Experiment interface
2.3 实验设计

16名被试需要参与两组不同脑力负荷下的飞行模拟实验,完成对主飞行显示器中异常信息恢复的实验任务[16].参照文献[17]中的方法,实验采用时间压力来控制脑力负荷水平,在低时间压力下,异常信息呈现2 s;在高时间压力下,异常信息呈现1 s.目标信息选用5个主飞行仪表信息:空速、高度、俯仰、滚转和航向,异常状态信息等概率随机发生,同一时间允许一个异常状态信息发生.为消除实验顺序及疲劳造成的误差,实验按照拉丁方设计进行.根据文献[3]实验界面的兴趣区域划分如图 2所示,注意到AOI2包含了姿态表中的滚转和俯仰两个仪表信息. 2.4 实验步骤

实验前被试需要熟悉飞行模拟器并练习实验任务操作.实验任务中异常状态发生时,相应的仪表信息会超出正常数值范围并伴随颜色变化,被试需要通过推/拉或旋转驾驶盘对不同的异常信息做出不同的操作进行响应并恢复异常.被试需要在不同时间压力下合理分配注意力来完成实验任务.每组实验持续10 min,两组实验间隔5 min,实验过程中眼动仪处于实时追踪状态. 3 结 果 3.1 注意力分配的理论预测值与眼动追踪实验值

根据建立的注意力分配预测模型,可知本实验中兴趣区域个数n=4,且根据式(2)选取{j*(t)}为注意力控制空间的基底,则注意控制空间维度m=4.

根据式(11)分别建立模糊互补矩阵RBCjRAB,矩阵元素的确定依据多因素模型中属性值的量化以及上述数字标度理论.以RBC2为例,由于2(t)描述了努力因素对注意力分配的影响,根据多因素模型中的量化依据[3],努力的属性值由兴趣区域间的平均相对距离D(cm)量化.通过测量得出DAOIi=(10.1,8.7,13.1,12.9),则根据数字标度理论得出矩阵:

经过一致性检验,则根据式(12)~式(16)可以计算出在不同时间压力水平下单一层次的优度值wji和wj以及方案层的总优度值ψi,即为注意资源分配比例的理论预测值.

依据实验所采用眼动仪的工作原理,定义被试对某兴趣区域的注视点个数与总注视点个数之比为该信息的注意力分配比例的眼动实验值.注意力分配的理论模型值和眼动实验值详见表 1.

表 1 注意力分配比例理论值和实验值(均值±标准差) Table 1 Theoretical and experimental results of percentage attention allocation:mean ± standard deviation %
兴趣区域 低时间压力高时间压力
理论值实验值理论值实验值
122.821.9±1.722.720.8±2.6
231.532.3±2.432.034.2±3.7
324.124.7±2.523.423.6±2.6
421.621.1±1.721.921.6±1.4
3.2 注意力分配理论值与实验值的回归分析

一元回归分析表明:在不同时间压力水平下,注意资源分配的理论预测值与被试眼动追踪值的相关系数分别为r=0.924,0.912,残差分别为R2=0.854 3,0.831 3,相关性均显著p<0.01,见图 3.

图 3 注意力分配的理论值与实验值的回归分析 Fig. 3 Regression analysis between theoretical and experimental results of attention allocation

通过理论模型值和眼动实验值的对比,可以看出不同时间压力条件下二者的变化趋势是相一致的,显然兴趣区域2获得了更多的注意资源.并且在两种设定的时间压力下,注意资源的分配存在一定差异,即随时间压力水平的增加,注意资源更倾向于分配到高价值高期望的兴趣区域. 4 讨 论

本研究在提出注意控制空间和资源分配空间的基础上建立注意力分配的数学模型,并根据模糊层次分析的方法对模型进行结算.通过在飞行模拟器上开展异常状态信息恢复任务的工效学实验,测量并记录了被试的注视点分布情况,在一定程度上验证了预测模型的可用性.

该预测模型在SEEV模型和多因素模型的基础上,将注意力分配机制理解为注意控制空间到资源分配空间的映射.模型将影响注意力分配的因素理解为注意控制空间的基底,从信息加工的两条通路入手提取了信息突显性、努力、重要度和发生概率4个主要因素,然而注意控制空间并不局限在这4个维度,为模型优化提供了便利.模型将认知过程中脑唤醒水平理解为空间映射算子的影响因素,在不同脑唤醒程度中注意控制空间的基底对注意资源分配的影响程度是不同的,即注意力分配因素的影响程度是随脑唤醒程度而变化的.

实验结果表明在脑唤醒水平较低的状态下自下而上的加工方式往往占据主动,而当脑唤醒水平升高时由于额外的注意资源不断减少,更多的注意资源被用来加工更重要的信息,此时自上而下的加工方式则成为主导.这与认知负载理论的观点是相一致的,低负荷时认知资源溢出用来加工无关的信息,从而突显的兴趣区域更容易吸引注意,而在高负荷时认知资源高度集中在与任务相关性较高的信息,从而会克服自下而上的加工方式使得更重要的信息得到及时的加工[18].

该预测模型借助模糊层次分析的方法进行数值计算,这符合认知过程中的不确定性.然而此方法仍然存在以下不足之处:一是在较少兴趣区域的结算中误差较大;二是在模糊互补矩阵的构造中数值标度的局限性.由于本研究着重于理论模型的建立,对模型结算仅提供了一种可行的方法,至于模型的推广和优化拟在后续的工作中进一步研究.此外,由于本研究采用的被试为没有飞行经验的研究生,故本实验结果与选用飞行员被试的实验结果相比存在差异,注意力分配机制中的个体差异性也将在后续研究中加以考虑. 5 结 论

1) 在研究设计的工效实验条件下,所建立的注意力分配预测模型的理论值与被试注视点分布的实验值显著相关,且可解释模型的水平高于80%.

2) 基于空间映射的建模方法和模糊层次分析的结算方法,解决了SEEV模型以及多因素模型中存在的因素量化的局限性.

3) 脑力负荷在一定程度上对注意机制产生影响,当脑唤醒水平较低时,注意控制以自下而上的加工为主导;当脑唤醒水平较高时,注意控制以自上而下的加工为主导.

参考文献
[1] 郭小朝,刘宝善,马雪松,等.歼击机座舱通用显示信息及其优先级的确定[J].中华航空航天医学杂志,2006,17(4):260-263 Guo Xiaochao,Liu Baoshan,Ma Xuesong,et al.General information of display and its priority for advanced fighter cockpit[J].Chinese Journal of Aerospace Medicine,2006,17(4):260-263(in Chinese)
Cited By in Cnki (6)
[2] 完颜笑如,庄达民,刘伟.脑力负荷对前注意加工的影响与分析[J].北京航空航天大学学报,2012,38(4):497-501 Wanyan Xiaoru,Zhuang Damin,Liu Wei.Analysis on effect of mental workload on preattentive processing[J].Journal of Beijing University of Aeronautics and Astronautics,2012,38(4):497-501(in Chinese)
Cited By in Cnki (2)
[3] 吴旭,完颜笑如,庄达民.多因素条件下注意力分配建模[J].北京航空航天大学学报,2013,39(8):1086-1090 Wu Xu,Wanyan Xiaoru,Zhuang Damin.Attention allocation modeling under multi-factor condition[J].Journal of Beijing University of Aeronautics and Astronautics,2013,39(8):1086-1090(in Chinese)
Cited By in Cnki
[4] Senders J W.The human operator as a monitor and controller of multidegree of freedom systems[J].IEEE Transactions on Human Factors in Electronics,1964,5(1):2-5
Click to display the text
[5] Carbonell J R.A queueing model of many-instrument visual sampling[J].IEEE Transactions on Human Factors in Electronics,1966,7(4):157-164
Click to display the text
[6] Sheridan T B.On how often the supervisor should sample[J].IEEE Transactions on Systems Science and Cybernetics,1970,6(2):140-145
Click to display the text
[7] Bohnen H,Leermakers M.Sampling behavior in a four instrument monitoring task[J].IEEE Transactions on Systems,Man and Cybernetics,1991,21(4):893-897
Click to display the text
[8] Wickens C D,Alexander A L.Attentional tunneling and task management in synthetic vision displays[J].International Journal of Aviation Psychology,2009,19(2):182-199
Click to display the text
[9] Wickens C D,McCarley J S,Steelman-Allen K S.NT-SEEV:a model of attention capture and noticing on the flight deck[J].Proceedings of the Human Factors and Ergonomics Society Annual Meeting,2009,53(12):769-773
Click to display the text
[10] Miller S M,Kirlik A,Kosorukoff A.Ecological validity as a mediator of visual attention allocation in human-machine systems[R].NASA-04-6,2004
[11] Matsui N,Bamba E.Consideration of the attention allocation problem on the basis of fuzzy entropy[J].Association Symposium of Measurement and Automatic Control,1996, 22(12):27-32
Click to display the text
[12] Wanyan X R,Zhuang D M,Wei H Y,et al.Pilot attention allocation model based on fuzzy theory[J].Computers & Mathematics with Applications,2011,62(7):2727-2735
Click to display the text
[13] 庄达民,完颜笑如.飞行员注意力分配理论与应用[M].北京:科学出版社,2013:31-45 Zhuang Damin,Wanyan Xiaoru.Pilot attention allocation theory and applications[M].Beijing:Science Press,2013:31-45(in Chinese)
[14] Tombu M,Seiffert A E.Attentional costs in multiple-object tracking[J].Cognition,2008,108(1):1-25
Click to display the text
[15] 张吉军.模糊层次分析法[J].模糊系统与数学,2000,14(2):80-88 Zhang Jijun.Fuzzy analytic hierarchy process[J].Fuzzy System and Mathematics,2000,14(2):80-88(in Chinese)
Cited By in Cnki (688)
[16] Wei H Y,Zhuang D M,Wanyan X R,et al.An experimental analysis of situation awareness for cockpit display interface evaluation based on flight simulation[J].Chinese Journal of Aeronautics,2013,26(4):884-889
Click to display the text
[17] Rice S,Keller D,Trafimow D.Time pressure heuristics can improve performance due to increased consistency[J].The Journal of General Psychology,2012,139(4):273-288
Click to display the text
[18] Lavie N.Attention,distraction,and cognitive control under load[J].Current Directions in Psychological Science,2010,19(3):143-148
Click to display the text
http://dx.doi.org/10.13700/j.bh.1001-5965.2014.0001
北京航空航天大学主办。
0

文章信息

吴旭, 完颜笑如, 庄达民
Wu Xu, Wanyan Xiaoru, Zhuang Damin
基于空间映射的视觉注意力分配预测模型
Pilot visual attention allocation modeling based on spatial mapping
北京航空航天大学学报, 2014, 40(12): 1713-1718
Journal of Beijing University of Aeronautics and Astronsutics, 2014, 40(12): 1713-1718.
http://dx.doi.org/10.13700/j.bh.1001-5965.2014.0001

文章历史

收稿日期:2014-01-08
网络出版日期: 2014-05-26

相关文章

工作空间