Temporal attention memory network for evaluating air traffic controller cognitive load
-
摘要:
为提升复杂工作情境下认知状态监测的准确性与实时性，本文围绕空中交通管制任务中认知负荷的识别问题，提出了一种时序注意力记忆网络(temporal attention memory network, TAM-Net)。该方法面向脑电信号的动态特征建模，融合代理注意力机制与注意力长短期记忆网络细胞单元。前者通过代理标记在保持全局建模能力的同时有效降低计算开销，后者则增强了模型对长时间序列及复杂依赖关系的记忆与表达能力。实验使用自采集的EEG数据集，结果显示，TAM-Net在两类任务中均显著优于对比模型。研究结果表明，TAM-Net能够有效捕捉复杂时序依赖特征，为认知负荷的精准监测和实时调控提供了新方法和技术支持。
Abstract:To improve the accuracy and real-time performance of cognitive state monitoring in complex work scenarios, this paper focuses on cognitive load recognition in air traffic control tasks and proposes a temporal attention memory network (TAM-Net). The method models the dynamic features of electroencephalography (EEG) signals by integrating a surrogate attention mechanism and attentional long short-term memory (LSTM) units. The surrogate attention mechanism effectively reduces computational overhead while maintaining global modeling capabilities through surrogate tokens, and the attentional LSTM units enhance the model’s capacity for memory and representation of long sequences and complex dependencies. Experiments were conducted on a self-collected EEG dataset, and the results show that TAM-Net considerably outperforms comparative models in two types of tasks. These findings indicate that TAM-Net can effectively capture complex temporal dependency features, providing a new methodology and technical support for precise cognitive load monitoring and real-time regulation.
-
认知负荷(Cognitive Load)理论由Sweller在20世纪80年代提出，用以解释人类在信息处理过程中因工作记忆容量有限而导致的负荷水平[1]。认知负荷评估方法主要包括主观问卷和行为指标[2]。主观问卷(如NASA任务负荷指数，NASA-TLX)通过被试自我报告来量化其感知负荷水平，使用方便但易受情绪与记忆偏差影响[3]。行为指标则通过记录任务完成时间、错误率和反应时间来间接评估负荷水平，虽然较为客观，但难以实现对复杂、持续性任务中瞬时负荷变化的灵敏捕捉[3]。
近年来，生理信号测量在认知负荷评估中日益受到重视，其中脑电信号(electroencephalography, EEG)因其高时间分辨率和对微小状态变化的敏感度，被广泛用于实时监测认知负荷[4]。研究发现，EEG信号在不同负荷水平下的频段功率(如α波、β波)存在显著差异，从而可用于实时、客观地测量认知负荷水平[5-6]。此外，心率变异性与皮肤电导等生理指标也可作为补充，通过监测自主神经系统与交感神经活动的变化，为认知负荷的多模态、立体化评估提供了可能[7]。
在认知负荷检测中，EEG具有独特优势。基于EEG的认知负荷检测已在多种应用场景中展开，如自动驾驶[8-9]、智能教育系统[10-11]、认知能力评估等[12-13]。例如，在驾驶任务中，EEG已被用于检测驾驶员在复杂路况下的认知负荷变化[8]；在教育领域，EEG可用于实时监控学习者在学习过程中的负荷水平，为个性化教学策略的制定提供参考[11]；在情报测试中，EEG信号的时频特征以及网络连接性指标可有效预测测试过程中认知负荷的波动[13-14]。
空中交通管制员的认知负荷是影响航空运行安全的重要因素，高负荷状态可能导致决策迟滞或失误，进而引发安全风险[15]。为了应对这一挑战，现有方法围绕多种生理与心理测量手段展开研究，例如传统方法使用生理和生化指标进行评估，但具有准确率低、延迟高的特点[16]；利用功能性近红外光谱(functional near-infrared spectroscopy, fNIRS)监测脑部血氧动态，虽可减少佩戴不适，却在时空分辨率方面存在缺陷，难以精准刻画快速的认知负荷变化[17]；采用虚拟现实结合眼动追踪，则能在高度仿真的交互环境下评估管制员情绪与负荷的耦合，但定量化与实时监控能力仍显不足[18]。此外，语音分析方法可在较自然的任务流程中检测管制员负荷，却易受个体差异与环境噪声干扰，并且对复杂时序依赖的把握尚显不足。相较之下，EEG因其高时间分辨率与对脑部活动的直接测量优势[19]，在实时捕捉管制员认知状态方面表现突出。
因此，本文提出了一种基于时序注意力记忆网络(temporal attention memory network，TAM-Net)的空管员认知负荷检测方法。该方法通过构建适用于EEG信号动态特征的深层网络，利用代理注意力机制模块对当前时间步的特征矩阵进行高效建模，同时采用注意力LSTM细胞单元将时序神经网络与注意力机制有机融合，优化了传统时序模型的门控更新过程，从而显著增强了对长序列和复杂依赖关系的记忆能力。
本文提出TAM-Net模型，针对空管实际场景需求，实现了对管制员认知负荷状态的高效精准检测。创新性结合代理注意力机制与注意力LSTM单元，在显著降低计算成本的同时，强化了模型对长时间序列和复杂依赖关系的建模能力。基于自采EEG数据集完成系统化验证，通过二分类及五分类实验证明了该方法在监测与调控中的技术优越性。
1. 相关工作
1.1 脑电认知负荷识别
EEG信号因其非侵入性、高时间分辨率和敏感性，成为当前认知负荷识别领域的重要研究手段。传统EEG识别方法依赖手工提取特征，如支持向量机(support vector machine, SVM)[20]、K近邻[21]以及线性判别分析[22]、随机森林[23]等。尽管方法简单、易于训练，但特征选取主观性强，且对复杂数据的拟合能力不足。随着深度学习的兴起，卷积神经网络(convolutional neural network, CNN)等深度结构因其出色的自动特征提取与端到端训练能力被广泛用于EEG信号分析任务。在此基础上，Shah等提出Multi-branch 3D CNN[24]网络对EEG信号进行多维分析，Jin等[25]提出基于深度可分离卷积的迁移学习方法，有效实现跨时间段的认知负荷分类；Kuanar等[26]使用深度递归神经网络处理EEG信号在认知状态识别中存在的跨个体差异性和高噪声问题，有效提升了模型的鲁棒性。
针对飞行任务，EEG信号与认知负荷的关联已得到广泛证实，如Liu等[27]研究表明EEG信号与NASA-TLX评估结果高度相关，具备实时监测空管员认知状态的潜力。Zhou等[28]采用混合深度学习方法进行EEG特征提取和负荷分类，但目前飞行认知负荷检测方法在空管环境应用中仍存在无法提取长程依赖的问题。
1.2 注意力机制
注意力机制最初由 Bahdanau 等[29]提出，用于神经机器翻译任务。该研究突破性地引入了“软对齐”方法，使得模型可以在生成目标单词时动态关注源句子中相关部分，而不必显式划分片段。这种机制解决了编码器−解码器结构中固定长度向量的瓶颈问题，为神经网络翻译带来了性能提升。
近年来，注意力机制逐步发展并广泛应用于深度学习的不同领域。Shen等[30]提出了一种线性注意力机制，大幅降低了计算成本，同时保持了全局信息捕获能力，为大规模图像处理和目标检测提供了更高效的解决方案。在医学领域，Gonçalves 等[31]强调了注意力机制在疾病检测和医学图像分析中的高效性。通过将注意力模块集成到深度学习架构中，模型能够更好地聚焦于关键区域，显著提升诊断的精确度和鲁棒性。
总的来说，注意力机制通过其动态特性和广泛的适用性，极大地推动了深度学习的发展和实际任务的解决。
2. 时序注意力记忆网络
本研究提出了一种创新的深度学习模型——时序注意力记忆网络(temporal memory attention network，TAM-Net)，专为EEG的时序特征建模和复杂依赖关系捕捉设计，如图1所示。TAM-Net以模块化设计为核心，通过代理注意力机制与注意力LSTM细胞单元结合，构建了神经网络架构，从而充分挖掘EEG信号在复杂任务场景中的动态特征。该网络不仅提取局部特征，还能够整合长时间序列的全局模式，使网络能够适应不同任务复杂度，同时能够处理不同时间尺度的依赖关系。
图 1 所提出方法的整体流程和架构Fig. 1 Overall process and architecture of the proposed method
下载:
全尺寸图片
2.1 代理注意力
注意力机制是现代深度学习模型的重要组成部分。通过Softmax函数加权输入特征，可以有效捕捉序列中的全局上下文信息，其高表达能力能够建模复杂的依赖关系。然而，Softmax机制的计算复杂度高，导致在处理长序列时时间和内存消耗急剧增加。
为解决上述问题，提取每个时间步输入信息的特征图，基于Han等的研究[32]，通过建立代理注意力模块，实现了加权特征矩阵的提取。代理标记通过对查询矩阵的压缩提取全局信息，与键值矩阵交互后将信息传递给查询，形成桥梁作用。这种机制在高效压缩全局信息的同时保留了全局上下文建模能力。
在代理注意力中，核心计算包含3个关键变量：代理矩阵$ {\boldsymbol{A}} $、中间结果$ {{\boldsymbol{O}}}^{\mathrm{A}} $和最终输出${\boldsymbol{ O}} $。它们的计算过程如下：
对于代理矩阵${\boldsymbol{ A}} $，在每个滑动窗口上进行池化操作，公式表达为
$$ {\boldsymbol{A}}=\text{pooling}({\boldsymbol{Q}})=\underset{i,j}{{\mathrm{max}}}\,{Q}_{i,j} $$ (1) 式中：$ {\boldsymbol{Q}} $为查询矩阵，通过对$ {\boldsymbol{Q}} $进行最大池化操作生成$ {\boldsymbol{A}} $。池化操作可以压缩全局信息，并显著降低计算复杂度。
中间结果$ {{\boldsymbol{O}}}^{\mathrm{A}} $是代理注意力的计算输出：
$$ {{\boldsymbol{O}}}^{{{{\mathrm{A}}}}}=\sigma ({\boldsymbol{Q}}{{\boldsymbol{A}}}^{{\mathrm{T}}}+{{\boldsymbol{B}}}_{2})\cdot \sigma ({\boldsymbol{A}}{{\boldsymbol{K}}}^{{\mathrm{T}}}+{{\boldsymbol{B}}}_{1})\cdot {\boldsymbol{V}} $$ (2) 式中：$ {\boldsymbol{K}} $为键矩阵，两个经过Softmax激活的注意力权重相乘后作用于值矩阵 $ {\boldsymbol{V}} $，生成中间结果$ {{\boldsymbol{O}}}^{\mathrm{A}} $。
最终输出${\boldsymbol{ O}} $，公式表达为
$$ {\boldsymbol{O}}={{\boldsymbol{O}}}^{\mathrm{A}}+\mathrm{DWC}({\boldsymbol{V}}) $$ (3) 通过结合中间结果$ {{\boldsymbol{O}}}^{\mathrm{A}} $和深度可分卷积结果$ \mathrm{DWC}({\boldsymbol{V}}) $生成$ {\boldsymbol{O}} $。深度可分卷积操作作用于值矩阵$ {\boldsymbol{V}} $，提取局部特征，进一步增强模型的表示能力。
代理注意力模块在保持高效计算的同时，显著提升了注意力机制对输入EEG数据特征的表达能力，特别是在处理需要计算大量特征图的长序列任务时表现优异。
2.2 注意力LSTM细胞单元
EEG信号作为一种典型的时序数据，具有长时间依赖性、复杂的动态变化和多频段特性，这些特点对模型的时序建模能力提出了较高要求。传统的时序神经网络在短时间序列建模方面表现良好，但在处理超长序列时，难以精准捕捉EEG信号中的复杂依赖关系。为此受到Beck等[33]工作的启发，设计了注意力LSTM细胞单元，通过QKV进一步地对门控单元加权。
引入 QKV 更新门控单元：借鉴自注意力机制的 Query(查询)、Key(键)和 Value(值)表示方法，增强了模型对不同时间步之间复杂依赖关系的捕捉能力。
矩阵形式的内存结构：将传统LSTM的标量内存扩展为矩阵内存，提升了模型在并行化计算和信息存储方面的能力，使其更适合处理大规模EEG信号数据。
以下是注意力细胞单元的核心计算流程：
$$ \begin{gathered} {\boldsymbol{C}}_t={\boldsymbol{f}}_t {\boldsymbol{C}}_{t-1}+{\boldsymbol{i}}_t {\boldsymbol{v}}_t {\boldsymbol{k}}_t^{{\mathrm{T}}} \\ {\boldsymbol{h}}_t={\boldsymbol{o}}_t {\boldsymbol{q}}_t {\boldsymbol{c}}_t \\ {\boldsymbol{q}}_t={\boldsymbol{W}}_q {\boldsymbol{x}}_t+{\boldsymbol{b}}_q \\ {\boldsymbol{k}}_t=\frac{1}{\sqrt{d}} {\boldsymbol{W}}_k {\boldsymbol{x}}_t+{\boldsymbol{b}}_k \\ {\boldsymbol{v}}T_t={\boldsymbol{W}}_v {\boldsymbol{x}}_t+{\boldsymbol{b}}_v \\ {\boldsymbol{i}}_t=\exp \left(\tilde{{\boldsymbol{i}}}_t\right) \\ {\boldsymbol{f}}_t=\sigma\left(\tilde{{\boldsymbol{f}}}_t\right) \quad \text { 或 } \quad {\boldsymbol{f}}_t=\exp \left(\tilde{{\boldsymbol{f}}}_t\right) \\ {\boldsymbol{o}}_t=\sigma\left(\tilde{{\boldsymbol{o}}}_t\right) \end{gathered} $$ (4) 类似于传统LSTM网络，门控单元接收来自上一细胞单元的隐状态，具体的输入门控单元的内容为
$$ \begin{aligned}& & {\tilde{{\boldsymbol{i}}}}_{t}&={\boldsymbol{w}}_{i}^{\rm T}{{\boldsymbol{x}}}_{t}+{{{\boldsymbol{w}}}^{\prime}}_{i}^{\rm T }{{\boldsymbol{h}}}_{t-1}+{{\boldsymbol{b}}}_{i} \\ & & {\tilde{{\boldsymbol{f}}}}_{t}&={\boldsymbol{w}}_{f}^{\rm T }{{\boldsymbol{x}}}_{t}+{{{\boldsymbol{w}}}^{\prime}}_{f}^{\rm T }{{\boldsymbol{h}}}_{t-1}+{{\boldsymbol{b}}}_{f} \\ & & {\tilde{{\boldsymbol{o}}}}_{t}&={\boldsymbol{w}}_{o}^{\rm T }{{\boldsymbol{x}}}_{t}+{{{\boldsymbol{w}}}^{\prime}}_{o}^{\rm T }{{\boldsymbol{h}}}_{t-1}+{{\boldsymbol{b}}}_{o} \end{aligned} $$ (5) 输入序列$ {\textit{z}}\left(t\right) $定义为$ {\textit{z}}\left(t\right)=\left[{x}_{t};\;{x}_{t+1};\;\cdots ; \;{x}_{t+T-1}\right]\in {{{{\bf{R}}}}}^{{\mathrm{T}}} $，$ {{\boldsymbol{h}}}_{t} $、${{\boldsymbol{C}}}_{t} $为t时刻的隐藏状态和细胞状态，$ {{\boldsymbol{i}}}_{t} $、${{\boldsymbol{f}}}_{{t}} $、${{\boldsymbol{o}}}_{t} $代表输入门、遗忘门和输出门，$ {{\boldsymbol{q}}}_{t} $、$ {{\boldsymbol{k}}}_{t} $、${{\boldsymbol{v}}}_{t} $分别代表键、值、查询3个投影向量。$ {{\boldsymbol{W}}}_{q}$、${{\boldsymbol{W}}}_{k} $、${{\boldsymbol{W}}}_{v} $ 和 $ {{\boldsymbol{b}}}_{q} $、${{\boldsymbol{b}}}_{k} $、${{\boldsymbol{b}}}_{v} $为将输入$ {{\boldsymbol{x}}}_{t} $映射到对应向量空间的权重矩阵和偏置项。$ \sigma \left(\cdot \right) $为Sigmoid函数。
在计算流程中，Query、Key和Value的生成与门控单元协同作用，有效提升了模型对复杂时间序列的建模能力。Query用于捕捉当前时间步的关注点，Key 衡量时间步间的匹配程度，Value则携带具体信息用于更新记忆单元状态。通过Query和Key的匹配，模型动态选择相关的Value进行记忆更新，使其能够在时间步间灵活调整信息流，聚焦于与任务最相关的信息。
通过结合QKV机制和矩阵内存，实现了动态信息选择与高效记忆更新，在捕捉EEG信号的复杂动态变化和多频段特性方面表现出显著优势，为任务建模提供了坚实支持。
通过上述设计，注意力细胞单元能够更好地适应EEG信号的复杂性。其矩阵形式的内存不仅提升了信息存储能力，还能够有效捕捉多频段、多时间尺度的EEG信号特征，为实验中的复杂依赖关系建模提供了有力支持。
3. 实验结果与分析
3.1 数据集
3.1.1 数据采集方式
本研究选取某空管分局的在职空管员作为实验被试。这些空管员均具备丰富的实战经验，能够熟练应对空中交通管制中的复杂情境。为确保实验期间的最佳生理和认知状态，所有参与者被要求在实验前保持充足的睡眠。所有参与者均自愿签署了书面知情同意书。本研究的实验过程及数据采集严格遵守相关伦理法规和规定，并遵循涉及人类参与者的伦理研究准则。通过高仿真实验任务(如图2所示)，研究能够更真实地反映任务负荷变化对EEG信号的影响规律，并确保数据的可靠性和实验结果的实际适用性。实验中，空管员需要完成包括航班监控、冲突检测与解决、多任务管理等高仿真任务，其场景与实际工作高度一致。
图 2 数据采集场景Fig. 2 Data collection scenario下载:
全尺寸图片
3.1.2 实验设计
本研究通过设计5个实验场景，逐步提高任务复杂度和负荷水平，以研究任务复杂度、航班数量及突发事件等因素对空管员认知负荷的影响，进而探讨EEG信号与认知负荷的动态变化关系，如图3所示。这些场景既反映了空管任务的核心挑战，又通过逐步递增的设计覆盖了从无负荷到高负荷的完整任务谱系，如图4所示。
图 3 任务采集示意Fig. 3 Schematic diagram of task collection下载:
全尺寸图片
图 4 数据采集流程Fig. 4 Data collection process下载:
全尺寸图片
本研究设计5种实验场景以分析不同任务负荷下空管员的EEG信号特征，如表1所示。场景1(静息状态)：空管员无任务，仅采集EEG基线数据。场景2(低负荷)：管理6个离港和6个进港航班，仅涉及基础监控(评分10.33)。场景3(中等负荷)：管理9个离港和8个进港航班，并调整部分航路(评分28.33)。场景4(高负荷)：短时间内管理21个离港和8个进港航班，快速解决航路冲突，认知负荷显著增加(评分60.67)。场景 5(突发事件)：管理17个航班，并应对紧急迫降或通信中断等突发状况(评分78.33)，用于分析高压环境下的认知负荷动态变化。
表 1 实验场景设置Table 1 Experimental scenario settings场景 练习 负荷 进离港
航班比例总航
班数NASA-TXL
评分场景 1 静息 极低 无 0 无 场景 2 PX25-12P02 较低 6/6 12 10.33 场景 3 PX25-17M01 较高 9/8 17 28.33 场景 4 TWR401-07-1 过载 21/8 30 60.67 场景 5 PX25-17M01 特情 9/8 17 78.33 预实验表明，经过适当长度的组间休息，每个场景的被试负荷与该场景的排序无关。该实验设计能够确保数据的客观性和稳定性。实验流程分为两轮：第1轮按照“场景1→场景2→场景3→场景4→场景5”的顺序进行，逐步增加任务复杂度，用于观察EEG信号在不同任务负荷下的变化；第2轮调整为“场景5→场景4→场景3→场景2→场景1”，以验证实验结果的稳定性，消除顺序效应的影响。每个场景的任务持续15 min，场景之间安排10 min的休息时间，确保空管员认知状态的恢复。
通过静息与任务场景的结合，实验全面覆盖从无负荷到高负荷的多种情境，能够系统地分析任务复杂度对EEG信号的动态影响，为认知负荷的评估和监测提供科学依据。
3.2 训练设置
实验中，使用短时傅里叶变换对输入的EEG数据进行时频分析，提取多频段能量特征，以量化信号频域特性。所有模型的超参数均经过调整以实现最佳性能。数据集按照8∶1∶1的比例划分为训练集、验证集和测试集，以确保数据利用的充分性和模型评估的客观性。训练过程中采用交叉熵损失函数作为优化目标，全面衡量分类误差，同时使用分类准确率 (accuracy)、精确率 (precision)、召回率 (recall) 和F1分数 (F1-score) 作为评估指标，以多维度验证模型性能。训练过程中模型使用Adam优化器，学习率设置为
0.0001 ，训练200轮。模型的训练过程在验证集上实时监控，当验证损失在连续10个训练周期内未下降时提前终止训练，以提高训练效率并避免过拟合。所有实验均在运行Windows操作系统的硬件平台上完成，具体配置包括一台配备NVIDIA GeForce RTX 3060 GPU和Intel Core i7-12700 CPU的计算机，能够支持本模型的训练和大规模EEG信号数据处理。
3.3 实验结果
本研究评估了TAM-Net在认知负荷分类任务中的性能，并与其他模型进行了全面对比，分析了其在二分类和五分类任务中的优势和不足，并对两个关键模块进行了消融实验。
3.3.1 二分类结果
在二分类任务中，为了分析不同负荷水平对EEG信号分类的影响，实验将5个场景划分为低负荷和高负荷两类。其中，场景1(静息状态)、场景2(低负荷)和场景3(中等负荷)定义为低负荷情境，主要代表空管员在相对轻松或常规任务下的认知负荷水平；而场景4(高负荷)和场景5(突发事件)则归为高负荷情境。通过这一划分，二分类任务能够有效评估模型在区分低负荷与高负荷状态下的分类性能，同时为进一步研究EEG信号特征在不同负荷间的动态变化提供依据。使用的对比方法包括SVM[34]、CNN[35]、ConvNet[36]、FBCNet[37]、DeepCNN[36]、LSTM[38]、EEGNet[39]、Multi-branch 3D CNN[24]、EEGNet-LSTM [40]、Brain-Connectivity-Based machine learning[41]、RADWT[42]。
根据实验结果，不同方法在各项性能指标上表现出明显差异，如表2所示。具体的数据分布特征如图5所示。传统方法中，SVM在准确率、精确率、召回率及F1分数方面的表现均相对有限。而基于深度学习的模型则表现出明显优势，例如CNN模型的准确率提升至78.9%，ConvNet达到89.1%，表明卷积结构在特征提取上的显著贡献。更深层次的网络结构，如FBCNet、DeepCNN和LSTM，在处理EEG数据时的准确率均超过92%，精确率和召回率指标也随之提升。近期提出的先进模型EEGNet和Multi-branch 3D CNN的准确率分别达到92.9%和93.7%，而EEGNet-LSTM结合卷积与时序建模能力，准确率达93.1%，展现出明显的综合优势。近两年的研究中，Brain-Connectivity-Based machine learning和RADWT的实验数据也有较高的准确率。
表 2 二分类对比实验Table 2 Results of the binary classification comparison experiment% 模型 准确率 精确率 召回率 F1 SVM[34] 72.6 75.3 70.5 72.7 CNN[35] 78.9 77.5 81.0 79.2 ConvNet[36] 89.1 88.9 89.5 89.2 FBCNet[37] 92.2 91.8 93.0 92.4 DeepCNN[36] 92.4 91.6 93.1 92.3 LSTM[38] 92.6 92.0 93.5 92.7 EEGNet[39] 92.9 93.0 93.2 93.1 MB3D[24] 93.7 93.2 94.0 93.6 EEGNet-LSTM[40] 93.1 93.9 90.5 92.2 BCBML[41] 91.5 92.0 90.5 91.2 RADWT[42] 93.3 94.0 92.6 93.2 TAM-Net 97.7 97.5 97.8 97.6 注：加粗表示最优结果。 
图 5 所提出的模型与比较方法之间的准确率分布箱线Fig. 5 Box plot of accuracy distribution between the proposed model and comparison methods下载:
全尺寸图片
尽管上述深度学习模型已有不错表现，本研究提出的TAM-Net模型进一步实现了更为显著的性能提升，取得准确率为97.7%，精确率为97.5%，召回率97.8%和F1分数97.6%的结果。与表现较为突出的EEGNet-LSTM方法相比，TAM-Net准确率提升约4.6个百分点，F1分数则提升5个百分点。对比近两年的方法在各项参数上同样有显著提高。
TAM-Net之所以能取得这一突破，主要得益于其独特的代理注意力机制和注意力LSTM单元，能够有效捕捉到长序列EEG信号中更为精细的时间关联和重要空间特征信息，使得各项分类指标获得了整体显著提高。这充分体现出TAM-Net在EEG信号分类任务中的优势与实用价值。
3.3.2 五分类结果
在五分类任务中，实验设计基于5种不同的认知负荷等级，分别对应静息状态(Class 0)及4个递增复杂度的任务场景(Class 1~Class 4)，绘制了不同被试在多种负荷下的脑区激活图，对比分析发现，在相同实验条件下，参与者所激活的脑区具有较高的一致性，其中前额叶皮层、顶叶皮层激活较为明显，如图6所示。这一现象提示了脑电活动在特定实验任务中的稳定性，表明实验范式具有良好的可重复性与可靠性。
图 6 不同实验情景的脑电激活图Fig. 6 EEG activation maps for different experimental scenarios下载:
全尺寸图片
根据五分类实验结果，各方法的性能表现差异显著，如表3所示。深度学习方法中CNN和ConvNet分别达到67.8%和78.4%的准确率，而深层网络DeepCNN与LSTM则进一步提高，准确率分别达到80%以上。EEGNet与EEGNet-LSTM模型表现相对突出，准确率分别达到84.7%和89.1%。近两年的研究BCBML和RADWT准确率分别为88.2%和88.5%，尽管准确率提升不明显，但精确率提升明显。本研究提出的TAM-Net通过有效捕捉更精细的时序特征与依赖关系，准确率显著提高至93.5%，F1分数达到93.7%。其中在高负荷场景(Class 4)中表现最佳，分类准确率为96.6%，F1分数为96.0%。对于中等复杂度的任务场景(Class 2和Class 3)，TAM-Net分别实现了92.7%和95.0%的F1，具体如表4所示，展现了在处理复杂负荷等级分类任务中的鲁棒性。通过对五分类任务的进一步分析发现，分类错误主要集中在相邻负荷等级之间，例如Class 1误分类为Class 0或Class 2的概率较高。这表明TAM-Net在处理特征变化幅度较小的类别时，仍有改进空间。
表 3 五分类对比实验Table 3 Results of the five-class classification comparison experiment% 模型 准确率 精确率 召回率 F1 SVM[34] 62.6 57.9 66.8 62.0 CNN[35] 67.8 69.6 77.8 73.5 ConvNet[36] 78.4 68.4 81.0 74.2 FBCNet[37] 72.3 87.3 75.6 81.0 DeepCNN[36] 85.5 78.2 89.7 83.6 LSTM[38] 82.2 80.8 85.7 83.2 EEGNet[39] 84.7 90.7 78.7 84.3 EEGNet-LSTM[24] 89.1 84.0 94.7 89.0 MB3D[40] 90.3 81.7 95.7 88.1 BCBML[41] 88.2 89.0 87.5 88.3 RADWT[42] 88.5 88.3 88.2 88.6 TAM-Net 93.5 93.8 93.7 93.7 注：加粗表示最优结果。 表 4 模型在5个类别上的分类结果Table 4 Classification results of the model across five categories% 指标 Class 0 Class 1 Class 2 Class 3 Class 4 Overall 准确率 92.7 89.1 94.4 95.1 96.6 93.5 精确率 94.3 93.7 91.0 94.9 95.4 93.8 召回率 92.7 89.1 94.4 95.1 96.6 93.7 F1 93.5 91.3 92.7 95.0 96.0 93.7 3.3.3 消融实验
去除代理注意力机制后，模型的整体性能下降，尤其是精确度和F1得分降低，表明该机制在全局信息建模中起到了关键作用。代理注意力通过优化计算效率，使模型在降低计算成本的同时增强对EEG信号的特征捕捉能力，其缺失导致分类效果削弱。另一方面，将注意力LSTM细胞单元替换为传统LSTM后，召回率下降明显，表明注意力LSTM在建模长时间依赖关系、优化信息流传递方面发挥了重要作用。相比传统LSTM，该模块能够更有效地关注关键时间步，提升模型在复杂负荷状态下的识别能力。
为了验证TAM-Net各模块的作用，本研究进行了消融实验，重点考察代理注意力机制和注意力LSTM细胞单元对分类性能的影响，结果如图7所示。
图 7 消融实验结果Fig. 7 Ablation study results bar chart下载:
全尺寸图片
实验结果表明，完整的TAM-Net在所有指标上均优于去除任一模块的变体，验证了代理注意力与注意力LSTM的协同作用对于提升分类性能的关键性。这两个模块共同优化了特征提取和时序建模，使TAM-Net在复杂任务场景下保持高效的分类能力。
4. 结束语
空中交通管制员的认知负荷评估对航空运行效率和空域安全至关重要。本文提出了时序注意力记忆网络(TAM-Net)，结合代理注意力机制与注意力LSTM细胞单元，高效建模EEG动态特征，实现了对复杂任务场景下认知负荷的精准评估。实验结果表明，TAM-Net在认知负荷分类任务中优于传统方法和现有深度学习模型，尤其在高负荷任务中表现出卓越的稳定性和鲁棒性。该方法可用于空管员认知负荷的实时监测和任务优化，为航空安全管理提供技术支持，并可推广至自动驾驶、智能教育等认知状态评估领域。
-
图 1 所提出方法的整体流程和架构
Fig. 1 Overall process and architecture of the proposed method
下载:
全尺寸图片
图 2 数据采集场景
Fig. 2 Data collection scenario
下载:
全尺寸图片
图 3 任务采集示意
Fig. 3 Schematic diagram of task collection
下载:
全尺寸图片
图 4 数据采集流程
Fig. 4 Data collection process
下载:
全尺寸图片
图 5 所提出的模型与比较方法之间的准确率分布箱线
Fig. 5 Box plot of accuracy distribution between the proposed model and comparison methods
下载:
全尺寸图片
图 6 不同实验情景的脑电激活图
Fig. 6 EEG activation maps for different experimental scenarios
下载:
全尺寸图片
图 7 消融实验结果
Fig. 7 Ablation study results bar chart
下载:
全尺寸图片
表 1 实验场景设置
Table 1 Experimental scenario settings
场景 练习 负荷 进离港
航班比例总航
班数NASA-TXL
评分场景 1 静息 极低 无 0 无 场景 2 PX25-12P02 较低 6/6 12 10.33 场景 3 PX25-17M01 较高 9/8 17 28.33 场景 4 TWR401-07-1 过载 21/8 30 60.67 场景 5 PX25-17M01 特情 9/8 17 78.33 表 2 二分类对比实验
Table 2 Results of the binary classification comparison experiment
% 模型 准确率 精确率 召回率 F1 SVM[34] 72.6 75.3 70.5 72.7 CNN[35] 78.9 77.5 81.0 79.2 ConvNet[36] 89.1 88.9 89.5 89.2 FBCNet[37] 92.2 91.8 93.0 92.4 DeepCNN[36] 92.4 91.6 93.1 92.3 LSTM[38] 92.6 92.0 93.5 92.7 EEGNet[39] 92.9 93.0 93.2 93.1 MB3D[24] 93.7 93.2 94.0 93.6 EEGNet-LSTM[40] 93.1 93.9 90.5 92.2 BCBML[41] 91.5 92.0 90.5 91.2 RADWT[42] 93.3 94.0 92.6 93.2 TAM-Net 97.7 97.5 97.8 97.6 注：加粗表示最优结果。 表 3 五分类对比实验
Table 3 Results of the five-class classification comparison experiment
% 模型 准确率 精确率 召回率 F1 SVM[34] 62.6 57.9 66.8 62.0 CNN[35] 67.8 69.6 77.8 73.5 ConvNet[36] 78.4 68.4 81.0 74.2 FBCNet[37] 72.3 87.3 75.6 81.0 DeepCNN[36] 85.5 78.2 89.7 83.6 LSTM[38] 82.2 80.8 85.7 83.2 EEGNet[39] 84.7 90.7 78.7 84.3 EEGNet-LSTM[24] 89.1 84.0 94.7 89.0 MB3D[40] 90.3 81.7 95.7 88.1 BCBML[41] 88.2 89.0 87.5 88.3 RADWT[42] 88.5 88.3 88.2 88.6 TAM-Net 93.5 93.8 93.7 93.7 注：加粗表示最优结果。 表 4 模型在5个类别上的分类结果
Table 4 Classification results of the model across five categories
% 指标 Class 0 Class 1 Class 2 Class 3 Class 4 Overall 准确率 92.7 89.1 94.4 95.1 96.6 93.5 精确率 94.3 93.7 91.0 94.9 95.4 93.8 召回率 92.7 89.1 94.4 95.1 96.6 93.7 F1 93.5 91.3 92.7 95.0 96.0 93.7 -
[1] DE JONG T. Cognitive load theory, educational research, and instructional design: some food for thought[J]. Instructional science, 2010, 38(2): 105−134. doi: 10.1007/s11251-009-9110-0 [2] 陈巧芬. 认知负荷理论及其发展[J]. 现代教育技术, 2007, 17(9): 16−19, 15. CHEN Qiaofen. Cognitive load theory and its development[J]. Modern educational technology, 2007, 17(9): 16−19, 15. [3] SWELLER J, VAN MERRIËNBOER J J G, PAAS F. Cognitive architecture and instructional design: 20Years later[J]. Educational psychology review, 2019, 31(2): 261−292. doi: 10.1007/s10648-019-09465-5 [4] 任立海, 聂珍龙, 于潇, 等. 基于脑电信号的不良驾驶状态识别研究综述[J]. 中国公路学报, 2024, 37(8): 216−230. REN Lihai, NIE Zhenlong, YU Xiao, et al. Review on recognition of unsatisfactory driving status based on electroencephalogram[J]. China journal of highway and transport, 2024, 37(8): 216−230. [5] ANTONENKO P, PAAS F, GRABNER R, et al. Using electroencephalography to measure cognitive load[J]. Educational psychology review, 2010, 22(4): 425−438. doi: 10.1007/s10648-010-9130-y [6] 梁明晶, 王璐, 温昕, 等. 多特征融合的脑电情绪分类[J]. 计算机工程与应用, 2023, 59(5): 155−159. doi: 10.3778/j.issn.1002-8331.2110-0068 LIANG Mingjing, WANG Lu, WEN Xin, et al. EEG emotion classification based on multi-feature fusion[J]. Computer engineering and applications, 2023, 59(5): 155−159. doi: 10.3778/j.issn.1002-8331.2110-0068 [7] VANNESTE P, RAES A, MORTON J, et al. Towards measuring cognitive load through multimodal physiological data[J]. Cognition, technology & work, 2021, 23(3): 567−585. doi: 10.1007/s10111-020-00641-0 [8] BARUA S, AHMED M U, BEGUM S. Classifying drivers' cognitive load using EEG signals[M]//pHealth 2017. Windsor: IOS Press, 2017: 99−106. [9] AYARE P. Cognitive load detection for advanced driver assistance systems[D]. Canada: University of Windsor, 2019. [10] YOO G, KIM H, HONG S. Prediction of cognitive load from electroencephalography signals using long short-term memory network[J]. Bioengineering, 2023, 10(3): 361. doi: 10.3390/bioengineering10030361 [11] KYNDT E, DOCHY F, STRUYVEN K, et al. The perception of workload and task complexity and its influence on students’ approaches to learning: a study in higher education[J]. European journal of psychology of education, 2011, 26(3): 393−415. doi: 10.1007/s10212-010-0053-2 [12] ELKERDAWY M, ELHALABY M, HASSAN A, et al. Building cognitive profiles of learners using EEG[C]//2020 11th International Conference on Information and Communication Systems. Piscataway: IEEE, 2020: 27−32. [13] FRIEDMAN N, FEKETE T, GAL K, et al. EEG-based prediction of cognitive load in intelligence tests[J]. Frontiers in human neuroscience, 2019, 13: 191. doi: 10.3389/fnhum.2019.00191 [14] 许子明, 牛一帆, 温旭云, 等. 基于脑电信号的认知负荷评估综述[J]. 航天医学与医学工程, 2021, 34(4): 339−348. doi: 10.16289/j.cnki.1002-0837.2021.04.008 XU Ziming, NIU Yifan, WEN Xuyun, et al. A review of cognitive workload assessment based on EEG[J]. Space medicine & medical engineering, 2021, 34(4): 339−348. doi: 10.16289/j.cnki.1002-0837.2021.04.008 [15] 李葳宁, 韩宗昌, 邢晨光. 基于脑电信号的飞行员认知负荷实时监测评估系统[J]. 航空科学技术, 2024, 35(11): 95−103. doi: 10.19452/j.issn1007-5453.2024.11.012 LI Weining, HAN Zongchang, XING Chenguang. Real-time mental workload monitoring and evaluation system based on EEG signals of pilots[J]. Aeronautical science and technology, 2024, 35(11): 95−103. doi: 10.19452/j.issn1007-5453.2024.11.012 [16] WIEDIARTINI, CIPTOMULYONO U, DEWI R S. Physiological and biochemical measures of mental workload of air traffic controllers: a systematic literature review[C]//Proceedings of the International Conference on Industrial Engineering and Operations Management. [S.l.]: IEOM Society International, 2021: 2026−2037. [17] HARRISON J, İZZETOĞLU K, AYAZ H, et al. Cognitive workload and learning assessment during the implementation of a next-generation air traffic control technology using functional near-infrared spectroscopy[J]. IEEE transactions on human-machine systems, 2014, 44(4): 429−440. doi: 10.1109/THMS.2014.2319822 [18] TRUSCHZINSKI M, BETELLA A, BRUNNETT G, et al. Emotional and cognitive influences in air traffic controller tasks: an investigation using a virtual environment?[J]. Applied ergonomics, 2018, 69: 1−9. doi: 10.1016/j.apergo.2017.12.019 [19] 曾令李, 刘迎欣, 于扬, 等. 一种基于脑电信号特征融合的认知负荷评估方法: CN115054271B[P]. 2024−11−08. [20] LIU Yang, SHI Shanshan, SONG Yu, et al. EEG based mental workload assessment by power spectral density feature[C]//2022 IEEE International Conference on Mechatronics and Automation. Piscataway: IEEE, 2022: 450−454. [21] YEDUKONDALU J, SHARMA L D. Cognitive load detection using Binary salp swarm algorithm for feature selection[C]//2022 IEEE 6th Conference on Information and Communication Technology. Piscataway: IEEE, 2023: 1−5. [22] TREMMEL C, HERFF C, SATO T, et al. Estimating cognitive workload in an interactive virtual reality environment using EEG[J]. Frontiers in human neuroscience, 2019, 13: 401. doi: 10.3389/fnhum.2019.00401 [23] 孟荣华, 李子奇, 吴正佳, 等. 基于装配任务与EEG功率信息特征的操作员认知负荷研究[J]. 机械设计, 2022, 39(11): 60−70. doi: 10.13841/j.cnki.jxsj.2022.11.021 MENG Ronghua, LI Ziqi, WU Zhengjia, et al. Study on cognitive load of operators based on assembly task and EEG power information features[J]. Journal of machine design, 2022, 39(11): 60−70. doi: 10.13841/j.cnki.jxsj.2022.11.021 [24] ZHAO Xinqiao, ZHANG Hongmiao, ZHU Guilin, et al. A multi-branch 3D convolutional neural network for EEG-based motor imagery classification[J]. IEEE transactions on neural systems and rehabilitation engineering, 2019, 27(10): 2164−2177. doi: 10.1109/TNSRE.2019.2938295 [25] JIN Lin, QU Hongquan, PANG Liping, et al. Identifying stable EEG patterns over time for mental workload recognition using transfer DS-CNN framework[J]. Biomedical signal processing and control, 2024, 89: 105662. doi: 10.1016/j.bspc.2023.105662 [26] KUANAR S, ATHITSOS V, PRADHAN N, et al. Cognitive analysis of working memory load from eeg, by a deep recurrent neural network[C]//2018 IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway: IEEE, 2018: 2576−2580. [27] LIU Y, TRAPSILAWATI F, HOU X, et al. EEG-based mental workload recognition in human factors evaluation of future air traffic control systems[M]//Transdisciplinary Engineering: A Paradigm Shift. [S.l.]: IOS Press, 2017: 357−364. [28] ZHOU Yueying, JIANG Junji, WANG Lijun, et al. Enhanced cognitive load detection in air traffic control operators using EEG and a hybrid deep learning approach[J]. IEEE access, 2025, 13: 12127−12137. doi: 10.1109/ACCESS.2025.3530091 [29] BAHDANAU D, CHO K, BENGIO Y. Neural machine translation by jointly learning to align and translate[EB/OL]. (2014−09−01)[2025−01−01]. https://arxiv.org/abs/1409.0473. [30] SHEN Zhuoran, ZHANG Mingyuan, ZHAO Haiyu, et al. Efficient attention: attention with linear complexities[C]//2021 IEEE Winter Conference on Applications of Computer Vision. Piscataway: IEEE, 2021: 3530−3538. [31] GONÇALVES T, RIO-TORTO I, TEIXEIRA L F, et al. A survey on attention mechanisms for medical applications: are we moving toward better algorithms?[J]. IEEE access, 2022, 10: 98909−98935. doi: 10.1109/ACCESS.2022.3206449 [32] HAN Dongchen, YE Tianzhu, HAN Yizeng, et al. Agent Attention: On theIntegration ofSoftmax andLinear Attention[C]//Computer Vision–ECCV 2024. Cham: Springer, 2025: 124−140. [33] BECK M, PÖPPEL K, SPANRING M, et al. xLSTM: extended long short-term memory[EB/OL]. (2024−05−07)[2025−01−01]. https://arxiv.org/abs/2405.04517. [34] CORTES C, VAPNIK V. Support-vector networks[J]. Machine learning, 1995, 20(3): 273−297. doi: 10.1023/A:1022627411411 [35] LECUN Y, BOSER B, DENKER J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural computation, 1989, 1(4): 541−551. doi: 10.1162/neco.1989.1.4.541 [36] SCHIRRMEISTER R T, SPRINGENBERG J T, FIEDERER L D J, et al. Deep learning with convolutional neural networks for EEG decoding and visualization[J]. Human brain mapping, 2017, 38(11): 5391−5420. doi: 10.1002/hbm.23730 [37] MANE R, CHEW E, CHUA K, et al. FBCNet: a multi-view convolutional neural network for brain-computer interface[EB/OL]. (2021−05−17)[2025−01−01]. https://arxiv.org/abs/2104.01233. [38] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural computation, 1997, 9(8): 1735−1780. doi: 10.1162/neco.1997.9.8.1735 [39] LAWHERN V J, SOLON A J, WAYTOWICH N R, et al. EEGNet: a compact convolutional neural network for EEG-based brain–computer interfaces[J]. Journal of neural engineering, 2018, 15(5): 056013. doi: 10.1088/1741-2552/aace8c [40] DE OLIVEIRA I H, RODRIGUES A C. Empirical comparison of deep learning methods for EEG decoding[J]. Frontiers in neuroscience, 2023, 16: 1003984. doi: 10.3389/fnins.2022.1003984 [41] SAFARI M, SHALBAF R, BAGHERZADEH S, et al. Classification of mental workload using brain connectivity and machine learning on electroencephalogram data[J]. Scientific reports, 2024, 14: 9153. doi: 10.1038/s41598-024-59652-w [42] GHASIMI A, SHAMEKHI S. Enhanced EEG-based cognitive workload detection using RADWT and machine learning[J]. Neuroscience, 2025, 569: 231−244. doi: 10.1016/j.neuroscience.2025.01.068
