0 引言

情绪在人类大脑的高级认知和加工中起着关键作用，深刻影响着人们的日常生活和工作，对人的社会互动和心理健康起着重要的导向作用^[1]。近年来，随着神经成像技术的发展，fNIRS作为一种非侵入性的大脑活动监测技术，在情绪识别领域得到了广泛应用^[2]。fNIRS通过检测血氧浓度的变化来反映大脑局部的神经活动，具有安全、便捷、适用性广泛等优点。例如，fNIRS通过测量氧合血红蛋白和去氧血红蛋白的浓度变化，提供对大脑局部神经活动的反映^[3]。fNIRS技术拥有高空间分辨率，能有效避免运动伪影干扰，同时得益于其便携性与成本效益优势，在临床与应用研究领域得到广泛运用^[4]。fNIRS的特点使其在神经科学研究和实际应用中显示出巨大的潜力。然而，收集大量高质量的fNIRS数据往往面临操作复杂、耗时长等挑战，这在一定程度上限制了深度学习模型在情绪识别中的应用。

在fNIRS情绪识别领域，许多研究者已经开展了大量工作。Saba等^[5]使用近红外光谱(near-infrared spectroscopy，NIRS)监测受试者前额叶皮层的活动，并用不同情感的音乐进行刺激。研究结果显示，前额叶皮层作为情感解码的脑区，其二分类正确率高达94.8%。姜劲等^[6]利用fNIRS技术，针对图片引发的情绪状态、唤醒度、愉悦度这三个目标，在支持向量机(support vector machine, SVM)模型上的平均性能分别达到了81%、79.89%和68%。Hu等^[7]首次使用fNIRS信号对离散的正面情绪进行分类识别，并采用SVM进行实验，平均准确率为73.79%，为实现更细粒度的积极情绪分类的情绪识别系统提供了支持。Si等^[8]采用fNIRS技术对受试者进行三种不同视频的情绪诱发实验，并获取相应信号，构建了双分支联合网络模型，实现了较高的分类准确率，证明了fNIRS在情感解码方面具有卓越能力。2023年，Jin等^[9]在多通道时间序列数据上应用多头注意力机制，引入CNN-Transformer网络在三元情感识别方面取得了较高的准确率。尽管这些研究取得了一定的成果，但数据量有限和数据质量问题仍然是领域发展的瓶颈。

为了克服数据量有限对模型训练的影响，数据增强技术被广泛应用于机器学习领域。在计算机视觉领域，数据增强的本质是人为引入视觉上的先验知识，可以很好地提升模型的性能，目前基本成为模型的标配^[10]。Eitan等^[11]利用蒙特卡罗模拟和参数头部模型生成一个全面的合成数据集，从而解决高质量神经成像数据集的稀缺性。生成对抗网络(generative adversarial network，GAN)作为一种数据增强方法，通过生成与真实数据相似的合成数据，能够显著提升模型的性能^[12]。在fNIRS数据增强方面，Tomoyuki等^[13]使用生成对抗网络对功能性近红外光谱的运动任务进行数据增强，结果表明WGAN(Wasserstein generative adversarial network, WGAN)生成的fNIRS数据的平均时间剖面与实际测量数据相似，通过将生成的数据作为训练数据的一部分，显著提高了对四种不同任务类型的分类准确性，验证了GAN在fNIRS领域进行数据扩增的可行性与有效性。

传统的GAN在生成高质量样本时训练不稳定，容易造成模态坍塌，特别是在处理复杂的fNIRS情绪数据上显得尤为困难。为此，本文提出了一种基于贝叶斯优化梯度惩罚的生成对抗网络，旨在通过生成高质量的fNIRS数据来增强数据集，从而提高情绪识别的准确性。与传统的GAN相比，BO-WGAN-GP结合了贝叶斯优化和梯度惩罚机制，能够更有效地生成高质量的合成数据。

1 方法 1.1 GAN

GAN基于对抗训练的思想，由两个相互竞争的神经网络组成，这种竞争性使其能够模仿任何数据分布。GAN架构由生成器和鉴别器组成，生成器尝试将随机噪声转换为看起来像是从原始数据集中采样的观测值，而鉴别器则试图预测一个观测值是来自原始数据集还是生成器的伪造品。GAN的工作步骤如下：1) 生成器接受随机噪声并返回一个fNIRS信号。2) 生成的fNIRS信号与真实数据集中的信号一起输入鉴别器中。3) 鉴别器接收真实和生成的fNIRS信号，输出一个介于0到1之间的概率值，并通过阈值0.5将其转化为二元分类结果，其中1表示信号被判定为真实，0表示信号被判定为伪造。

1.2 贝叶斯优化

超参数优化已经成为大多数机器学习流程中不可或缺的一步。贝叶斯优化利用贝叶斯技术对目标函数进行优化，始于对目标函数的先验估计，并通过收集新数据进行后验更新。其过程是首先在搜索空间选择一组初始超参数。由于直接计算目标函数代价高昂，利用替代函数(如高斯过程回归)拟合目标函数。随着新采样数据的获取，替代函数不断更新，将先验知识转化为后验知识。通过优化采样函数选择新采样点，改进目标函数的估计和优化。通过这种循环迭代，贝叶斯优化能够高效地找到最佳超参数组合，加速模型的训练和优化。期望改进函数(expected improvement, EI)定义为

$ E I(x)=E\left[\max \left(0, f(x)-f\left(x^{+}\right)\right)\right], $

(1)

其中：E为期望运算符；f(x)表示在点x处的目标函数值；f(x⁺)为当前最优解的目标函数值。贝叶斯优化通过这一迭代过程，逐步逼近目标函数的最优解。

1.3 BO-WGAN-GP模型的构建

虽然GAN具有出色的生成性能，但在训练过程中经常面临收敛困难、模态崩溃和梯度消失等问题。训练的不稳定性是由对抗性训练引起的主要问题，特别是在最初的GAN中。为了解决这些问题，研究人员通过改变GAN结构或损失函数来提高训练的稳定性。针对梯度消失问题，Arjovsky等^[14]提出了Wasserstein生成对抗网络。WGAN引入了Wasserstein距离，放弃了KL散度和JS散度，以更稳定和可解释的方式优化生成器和判别器，从而有效解决了传统GAN模型中的梯度消失、训练不稳定以及模态崩溃等问题。Wasserstein距离定义为

$ W\left(P_r, P_g\right)=\inf\limits _{\gamma \sim \Pi\left(P_r, P_g\right)} E_{(x, y)-\gamma}[\|x-y\|], $

(2)

其中：Π(P_r, P_g)表示从概率P_g到P_r的所有可能分布，而W(P_r, P_g)代表所有可能的分布中‖x-y‖的最小期望值距离。

由于$\inf\limits _{\gamma \sim \Pi\left(P_r, P_g\right)} $没办法直接求解，因此通过已有的定理将其转化为

$ W\left(P_r, P_g\right)=\frac{1}{K} \sup\limits _{\|f\|_L<K} E_{x \sim P_r}[f(x)]-E_{x \sim P_g}[f(x)] 。$

(3)

最后, WGAN的损失函数为

$ W\left(P_r, P_g\right)=\frac{1}{K} \max\limits _{\mathbf{1} f_w \|_L<K} E_{x \sim P_r}\left[f_w(x)\right]-E_{x \sim P_g}\left[f_w(x)\right] 。$

(4)

于是，可以把函数f表示为一个参数的神经网络，为了满足‖f_w‖_L < K，将神经网络的所有参数w都拉伸到[-c, c]中，所以一定满足Lipschitz连续条件。因此，构造一个含参数w、最后一层不是非线性激活层的判别器网络f_w，在限制权重范数不超过某个范围的条件下，使得

$ L=E_{x \sim P_r}\left[f_w(x)\right]-E_{x \sim P_g}\left[f_w(x)\right] $

(5)

尽可能取最大值，此时的L就可以近似为真实分布P_r与生成分布P_g之间的Wasserstein距离，判别器的损失函数为

$ E_{x \sim P_g}\left[f_w(x)\right]-E_{x \sim P_r}\left[f_w(x)\right], $

(6)

生成器的损失函数为

$ -E_{x \sim P}\left[f_w(x)\right] 。$

(7)

WGAN仍存在不稳定的训练问题，比如模式崩溃和梯度消失。WGAN-GP(wasserstein generative adversarial network with gradient penalty, WGAN-GP)通过使用梯度惩罚来代替权重剪裁，可以有效地解决这些问题。梯度惩罚的方式是在损失函数中添加一个额外的正则化项，该项惩罚判别器在输入样本处的梯度模长偏离1，这可以强制判别器保持Lipschitz连续性，同时避免权重剪裁可能导致的不稳定性问题。WGAN-GP生成器和鉴别器的损失函数分别为

$ -E_{x \sim P_g}[D(x)], $

(8)

$ \begin{aligned} & E_{x \sim P_g}[D(x)]-E_{x \sim P_r}[D(x)]+ \\ & \lambda E_{x \sim x}\left[\left\|\nabla_x D(x)\right\|_p-1\right] 。\end{aligned} $

(9)

在训练过程中，生成器的目标是最小化生成数据和真实数据之间的Wasserstein距离。鉴别器损失则包含两部分：对生成数据的损失和对真实数据的损失。具体来说，对生成数据的损失基于生成器生成数据的Wasserstein距离，而对真实数据的损失则是用Wasserstein距离测量判别器在真实数据和生成数据之间的差异。为了确保梯度平滑性，并提高训练的稳定性和收敛速度，额外的梯度惩罚项被加入鉴别器损失中。

为进一步改进基于梯度惩罚的WGAN模型的性能和泛化能力，模型引入了贝叶斯优化技术。通过贝叶斯优化，可以自动调整关键超参数，如生成器和鉴别器的学习率，从而提升模型性能。这种优化策略能使模型更加精细地探索超参数空间，减少人工调参过程，并增强模型的泛化能力。在接下来的训练中，贝叶斯优化将自动调整和优化生成器和鉴别器的学习率，以进一步提升WGAN-GP的性能。通过不断优化和迭代，基于贝叶斯优化的WGAN-GP模型能够生成高质量的fNIRS情绪数据，并有效反映不同情绪状态的特征。在本文中被称为BO-WGAN-GP，网络架构如图 1所示。

2 实验 2.1 数据

本文使用自建fNIRS情绪数据集，采集了28名受试者观看12个时长为3 min的情绪视频的fNIRS数据。实验范式如图 2所示。实验设计包含4个组块，每组块进行3次实验，共12次。视频按正性、中性和负性情绪随机播放。每次实验前，进行120 s基线休息，确保状态一致。随后展示1 s情绪提示词，并通过45 s“+”符号调节情绪，以稳定情绪状态。接着播放180 s情绪视频，结束后进行15 s短暂休息，并进入120 s后休息阶段。实验流程标准化、系统化，精确控制情绪诱发过程，确保情绪被准确激发，为后续数据分析提供可靠基础。

2.2 数据预处理

为了提升情绪识别分类模型的效能，根据之前的研究方法^[15]采用了一系列步骤对fNIRS数据进行预处理。在Matlab环境下，借助NIRS_KIT工具导入并预处理原始信号。具体流程包括：通过时域形变与重建技术自动检测并修复因头部移动产生的伪影，利用一阶差分法去除信号漂移，旨在降低技术和生理噪声的影响^[16]。此外，应用带阻滤波器组，有效剔除与呼吸、Mayer波以及心跳相关的频率噪声。对于每次实验中180 s的任务状态fNIRS信号，以10 s的滑动窗口进行无重叠切割^[17]。经过这一系列处理，最终获得6 048个精准的数据样本，每个样本的尺寸为32×277(32是通道数，277是时间点数)。

2.3 BO-WGAN-GP网络参数配置

BO-WGAN-GP网络参数配置如表 1所示。其中，G表示生成器，D表示鉴别器，长短时记忆(long short-term memory, LSTM)层的参数hs表示隐藏单元的数量，nl表示LSTM层的深度，卷积层的参数ic、oc、ks、pad分别表示输入通道数、输出通道数、卷积核大小和填充值，Linera(G), Linear(D)分别为生成器和鉴别器中的全连接层，λ是梯度惩罚项的超参数。

2.4 分类器

分类器使用自主构建的基于时间动态特征的情绪识别模型(temporal dynamics emotion recognition model, TDERM)架构，其结构如图 3所示。TDERM架构包含卷积神经网络-多尺度注意力机制(convolutional neural network-multi-scale attention，CNN-MSA)模块、长短期记忆-多尺度注意力机制(long short-term memory-multi-scale attention, LSTM-MSA)模块、全局时间特征提取模块(Mean模块)以及分类模块四部分。预处理后的fNIRS二维数据首先分别输入CNN-MSA模块、LSTM-MSA模块以及全局时间特征提取模块，从而提取出空间特征、时间特征和全局时间特征。其次，将这些特征整合拼接，最终输入分类模块的全连接层进行分类。

2.5 实验设置

实验将数据样本按8 ∶1 ∶1的比例划分为训练集、验证集和测试集。在训练阶段使用学习率为0.000 1的Adam优化器，批大小设置为16。设置了200轮epoch并结合早停机制，如果验证集损失在连续10轮内未降低，则停止训练。损失函数使用交叉熵损失函数。交叉熵损失函数适用于多分类任务，其公式为

$ Loss=-\sum\limits_{i=1}^N y_{i 1} \log y_{i 2} \text {, } $

(10)

其中：N=3(类别数量)；y_i1是实际类别的one-hot编码；y_i2是模型预测的概率分布。评估方法采用测试集准确率作为性能指标。在Python环境下进行数据分析，以PyTorch框架构建模型，通过NVIDIA RTX 4060 GPU加速训练。

3 结果与分析

实验基于28名受试者的fNIRS情绪数据，旨在验证所提方法的可行性与有效性。本文构建了基于贝叶斯优化的WGAN-GP网络，用于对原始fNIRS数据进行数据扩增。通过TDERM方法对原始数据与生成数据混合后的数据进行情绪分类。为进一步验证BO-WGAN-GP生成数据的泛化性，分别在DBJNET和CNN-Transformer两种分类模型上进行数据增强前后的分类性能对比。最后在TDERM上与主流生成对抗网络方法进行对比实验。

3.1 不同指标下的数据生成

fNIRS数据包括HbO₂(氧合血红蛋白)和HbR(脱氧血红蛋白)。本文针对HbO₂和HbR这两种指标进行数据的生成。表 2展示了在这两种指标下，生成器(generator, G)和鉴别器(discriminator, D)的模型学习率。

生成对抗网络通常用鉴别器损失评价网络性能。BO-WGAN-GP模型在自建fNIRS情绪数据集中、HbO₂和HbR两种指标下，三种情绪的鉴别器损失学习曲线如图 4、5所示。

图 4和图 5展示了BO-WGAN-GP模型在自建数据集HbO₂和HbR两个指标下，不同情绪(正性、中性、负性)的鉴别器损失学习曲线。两种指标下的鉴别器损失变化趋势相似。随着迭代次数的增加，鉴别器损失值在初始阶段急剧下降，但很快回升至-2.5以上。在前1 000次迭代中，鉴别器损失率从急剧下降逐渐回升至-1.5，表明网络在不断调整权重以适应真实数据和生成数据的分布，结果展示了良好的收敛特性。迭代到1 200次后，损失率在0上下波动并逐渐趋近于0，表示生成数据分布越来越接近真实数据分布，模型生成的样本质量有所提升。

整个训练过程中，鉴别器损失率的快速收敛和训练的稳定性得益于梯度惩罚(gradient penalty, GP)在梯度计算中的作用。梯度惩罚通过在损失函数中添加正则项，有效抑制了梯度爆炸和消失，使模型在复杂数据分布下保持良好的收敛性能和稳定性，为进一步优化和应用提供了坚实基础。

3.2 逐步添加生成数据的分类结果

本文分别在自建fNIRS情绪数据集的HbO₂和HbR两个指标上进行数据增强与情绪分类实验，并使用TDERM作为分类器进行三种不同情绪的分类。自建数据集中共有6 048个样本，正性、中性和负性情绪各有2 016个。实验分别生成了0、504、1 008、1 512和2 016个不同情绪的人工情绪样本。然后将生成的人工样本分别添加到原始训练数据集中对其进行增强，其中2 016代表fNIRS数据集上每种情绪的1倍数据。

根据表 3的数据显示，随着模型生成的人工样本逐步添加到fNIRS情绪数据集的HbO₂和HbR两个指标上，平均分类准确率都有所增长。当没有添加人工样本时，HbO₂的分类准确率为94.27%，而HbR的分类准确率为98.20%。当添加了504个人工样本后，HbO₂的分类准确率显著提升至97.92%，而HbR的准确率略微下降至97.75%。这表明适量的样本增强对提升情绪分类效果有积极作用。继续增加人工样本至1 008个时，HbO₂的准确率下降至96.88%，而HbR的准确率提升至99.31%。这说明数据增强对不同指标的影响效果有所差异。当样本增加至1 512个时，HbO₂和HbR的准确率分别为96.73%和97.20%，显示进一步增加样本量可能会带来边际效应减少甚至略有负面影响。最终，添加2 016个人工样本后，HbO₂和HbR的分类准确率分别为96.69%和98.50%，显示总体准确率有所提升，但不同指标的效果可能不同。在HbO₂指标下，每种情绪添加504个生成样本时，情绪分类准确率最高；而在HbR指标下，每种情绪添加1 008个生成样本时，情绪分类准确率最高。这表明BO-WGAN-GP生成的人工样本能有效增强训练数据集并提升情绪识别性能。

为了更全面地验证BO-WGAN-GP生成模型在不同分类器下的识别能力，并进一步探讨数据增强对模型性能的影响，分别采用DBJNET模型^[8]和CNN-Transformer模型^[9]在不同生成样本数量的fNIRS情绪数据集上进行类实验。数据增强前后的分类准确率结果如图 6所示。结果表明，无论使用哪种分类器，经过BO-WGAN-GP模型进行数据增强后，分类性能均有所提升，进一步验证了该生成模型在提高情绪分类准确率方面的有效性。

3.3 消融实验

为了深入探讨贝叶斯优化在WGAN-GP中的作用，本文在HbO₂和HbR两个指标上分别使用带有和不带贝叶斯优化的WGAN-GP对原始数据集进行扩增，并在TDERM模型上进行消融实验。实验结果表示，当使用不带贝叶斯优化的WGAN-GP进行数据扩增时，TDERM模型在HbO₂和HbR上的分类准确率分别为95.37%和97.58%；而在引入贝叶斯优化的WGAN-GP扩增后，分类准确率分别提升至96.69%和98.50%。这一结果表明，贝叶斯优化显著提升了数据生成的质量，并有效增强了情绪分类的整体性能，验证了其在提升模型泛化能力和数据有效性方面的关键作用。

3.4 与现有模型对比

为了进一步验证所提模型的有效性与可行性，本文采用三种常见的生成对抗网络模型(GAN、WGAN、DCGAN)和近几年提出的两种模型(StyleGAN3、Trans-CNN GAN)进行了对比实验。在HbO₂和HbR两个指标下，针对每种情绪类别(正性、中性和负性)，分别添加504、1 008、1 512和2 016个生成样本，使用TDERM模型对增强后的数据集进行了情绪分类实验，最终的平均分类准确率见表 4(黑体数据表示最优结果)。

实验结果显示，随着生成样本数量的增加，各模型的准确率整体有所提升，尤其在生成1 008个及以上样本时，本文所提模型在HbO₂和HbR两项指标下表现最为稳定且优越。在三种经典生成模型中，DCGAN的表现尤为突出，尤其是在HbR数据集上，生成2 016个样本时，本文的准确率达到了98.50%。StyleGAN3则表现相对均衡，在各情绪类别上均取得了较好的成绩，但其在HbR数据的生成效果略低于本文模型。Trans-CNN GAN虽然在小样本情况下表现欠佳，但在生成1 008个样本时，HbO₂指标表现大幅提升，显示出较好的样本适应能力。

通过实验结果的对比，本文提出的BO-WGAN-GP模型在HbO₂和HbR两个指标下均展现了强大的泛化能力和较高的情绪识别准确率。特别是在生成1 008个样本时，该模型分别取得了96.88%(HbO₂)和99.31%(HbR)的最高准确率，充分证明了其在增强fNIRS情绪数据集上的卓越表现。因此，BO-WGAN-GP模型在fNIRS情绪识别任务中展现了优异的性能，验证了其有效性与可行性。

4 结语

本文提出了BO-WGAN-GP模型，并使用该模型对自建fNIRS情绪数据集中的HbO₂和HbR指标进行了数据增强。在TDERM分类模型下，通过逐步加入生成的数据进行了情绪分类实验，并在最新的fNIRS情绪识别模型上进行了验证。此外，还与现有的生成对抗网络模型进行了对比。结果表明，BO-WGAN-GP模型生成的样本数据显著提高了fNIRS情绪三分类识别的准确率，验证了该模型在提升情绪识别任务分类准确率方面的有效性。