0 引言

近年来，随着机器学习技术的不断进步和普及，越来越多的检测系统采用了机器学习算法来检测恶意流量，增强了检测的速度及准确度^[1-2]。这也导致了针对机器学习的检测对抗技术快速发展^[3]。

目前恶意流量检测对抗技术主要针对网络入侵检测系统(network intrusion detection system, NIDS)，围绕NIDS的技术缺陷或检测盲点等展开研究，常用的方法包括流量混淆和对抗样本攻击等^[4]。对抗样本攻击是指在原始数据中添加微小扰动来误导检测系统进行错误分类的攻击手段。机器学习技术的固有缺陷导致基于简单分类器模型的NIDS容易受到混淆或伪装流量的欺骗，从而无法准确识别恶意流量对抗样本^[5]。

对抗样本最初是计算机视觉领域进行的研究。2013年，Szegedy等^[6]首次使用MINIST数据集发现了图片对抗样本。Goodfellow等^[7]研究了对抗样本攻击的原理，并提出了快速梯度符号法(fast gradient sign method, FGSM)用于生成对抗样本。随后定向攻击方法I-FGSM^[8]被提出，该方法能通过迭代计算误导模型预测出特定的结果。2018年，Xiao等^[9]提出了AdvGAN模型，首次通过训练GAN网络实现了图像对抗样本的自动生成。随着技术的发展，对抗样本的研究与应用慢慢拓展到了其他领域，其中就包括网络安全领域。文献[10]针对LeNet-5网络分类模型，在Moore数据集上采用FGSM、DeepFool、C&W 3种攻击方法生成网络伪装流量使模型进行错误分类，证实了网络流量对抗样本攻击的可行性，但该实验采用的是白盒无目标攻击，不符合实际网络环境，且没有考虑生成对抗样本的约束条件，可能导致生成的流量对抗样本失效。文献[11]同样基于GAN的思想提出MNF-GAN模型，首次将网络流量作为原始样本来生成对抗样本，但仅讨论了缓冲区溢出漏洞攻击网络流量的生成方法。文献[12-14]针对僵尸网络流量进行了对抗样本生成研究。文献与AdvGAN模型针对黑盒模型攻击的算法相似，核心思想是训练一个局部替代模型来拟合目标模型以达成黑盒攻击的目的，但为此需要与目标模型进行大量交互，且生成的对抗样本可迁移性较差。

针对上述问题，本文对基于GAN生成对抗样本的方法进行了研究，设计了一种网络流量生成模型ReN-GAN。该模型能够参照目标流量特征快速自动生成伪装流量对抗样本，并根据对抗样本可迁移原理实现黑盒攻击。主要工作如下。

1) 针对流量样本的特点，设计了一套添加扰动的约束机制，以确保生成的伪装流量具有与原始流量相似的功能性，在规避检测的同时不影响其可行性。同时，在模型训练过程中引入了动量迭代的方法，减少局部扰动对模型参数迭代的干扰，提高生成对抗样本的泛化能力。

2) 结合元学习理念对训练流程进行了改进。同步训练生成对抗网络与元学习网络，利用元学习网络确定集成检测模型中的参数，使集成模型能更有效地捕捉各模型的共同决策边界，从而优化生成器的初始参数，使其生成的初始扰动更易于微调，提高了生成对抗样本的可迁移性。

3) 采用NSL-KDD数据集和4种常用的流量检测模型进行实验，验证所提出模型的性能。实验结果表明，ReN-GAN模型可以在保证原始流量特性的前提下生成伪装流量对抗样本，比其他方法显著缩短了生成时间，并且生成的对抗样本具有良好的可迁移性，黑盒模型的平均逃逸率达到了54.1%。此外，实验选取了基于DNN的分类器作为攻击目标进行训练，结果表明，ReN-GAN仅需5次迭代就能生成逃逸率为62%的伪装流量，大幅减少了所需交互次数。

1 相关知识 1.1 生成对抗网络

2014年Goodfellow等^[15]提出了生成对抗网络(generative adversarial networks, GANs)。该框架同时训练生成模型G和判别模型D，生成模型G将随机噪声z作为输入，生成尽可能真实的样本；而判别模型D则尽可能准确地区分真实样本x与生成样本G(z)，两者在对抗训练中相互优化，其训练目标用数学语言描述为

$ \begin{align*} & \min\nolimits _{G} \max\nolimits _{D} V(D, G)=\mathbb{E}_{x \sim p_{\text {data }}(x)}[\log D(x)]+ \\ & \mathbb{E}_{z \sim p_{G}(z)}[\log (1-D(G(z)))] 。\end{align*} $

(1)

GANs的核心思想在于通过对抗性的训练过程推动生成模型学习复杂的数据分布，从而生成高质量的数据样本。

1.2 MI-FGSM算法

FGSM通过单步梯度上升生成扰动，旨在快速增加模型损失以提升误分类概率，该方法简便但攻击成功率较低。I-FGSM在FGSM的基础上进行迭代计算，让分类模型将样本分类到目标类别，提高攻击成功率，但会陷入局部最优和模型“过拟合”等问题导致生成样本可迁移性差。为了提高对抗样本的可迁移性，文献[13]提出了MI-FGSM方法，在扰动迭代过程中引入了Momentun变量，扰动生成的数学表达式为

$ g_{t+1} =\mu g_{t}+\frac{\nabla_{x} L\left(x_{t}^{\mathrm{adv}}, y\right)}{\nabla_{x} L\left(x_{t}^{\mathrm{adv}}, y\right)_{1}}, $

(2)

$ x_{t+1}^{\mathrm{adv}} =x_{t}+\alpha \operatorname{sign}\left(g_{t+1}\right), $

(3)

式中：μ为动量因子，表示当前梯度动量项对下一次梯度动量项的影响程度。通过将动量与梯度上升相结合，使扰动g_t+1在梯度方向积累速度矢量，减小每次迭代的变化幅度，有助于避免陷入局部最优解。

1.3 元学习

元学习是机器学习领域的一项重要技术，旨在赋予模型调整超参数的能力，以便在面对新任务或新领域时快速学习。传统机器学习关注的是模型在测试集上的应用效果，元学习不仅学习数据映射关系，还学习如何从训练数据中高效地推断出新任务的学习策略。

元学习有多种实现方法，如MAML和Reptile等。相较于其他方法，Reptile算法^[14]不涉及复杂的二阶梯度计算或其他优化技巧，在计算上具有较高的效率。本文选用Reptile算法对模型进行改进。

算法将模型参数更新分为快速权重更新和慢速权重更新两部分。在快速权重更新阶段，模型参数根据任务集合中各任务的损失函数L_τ进行训练更新，得到临时模型的参数为$\widetilde{\boldsymbol{\phi}}$。在慢速权重更新阶段，直接使用$\widetilde{\phi}-\phi$作为权重更新的方向来更新一次初始模型参数$\phi$。

通过训练后可以得到一组优化的初始模型参数集，从而使模型在面对新任务时能够快速收敛，即使仅使用少量数据也能实现良好的学习效果。这有助于解决网络流量样本不平衡的问题。

2 对抗样本生成方法 2.1 数据预处理及约束规则设定

网络流量数据集中包括文字特征和数字特征，对文字特征使用one-hot编码进行处理，对数字特征则进行最大最小归一化处理，如式(4)所示，将样本转化为一维向量输入模型，

$ X^{*}=\left(X-X_{\min }\right) /\left(X_{\max }-X_{\min }\right) 。$

(4)

对CNN等以图片作为输入的网络还需要对特征进行填充、删减组成二维方阵，与255相乘得到灰度图作为输入。

每个流量样本的各个特征都具有特定的含义，在生成对抗样本的过程中，修改原始样本的特征值可能导致网络流量的功能丧失。恶意流量对抗样本攻击的实施者必须具备完备的领域知识，包括了解协议规范、字段结构、数据格式等。针对不同类型的流量，算法需要制定不同的约束机制以确保添加的噪声不会导致协议解析错误或流量丢失。对此，文献[11]提出弱相关的概念，将经过修改后不会对数据流的正常功能造成显著影响的数据位确定为弱相关位。基于此概念，可以构建掩模来指导噪声的添加过程。在添加噪声过程中，先将生成噪声和掩模进行按位“与”计算，使弱相关位以外的数据全部置零，确保加噪后只有被标记为弱相关的数据位被修改，保留原始样本的功能行为。但该文献仅对缓冲区溢出漏洞攻击网络流量确立了掩模，不具有普遍性。

本文采用NSL-KDD数据集作为实验数据，对各类流量进行了特征分析以确定其弱相关特征，并细化了加噪规则，提出了一套约束机制以确保生成对抗样本的真实性，具体约束机制如下。

1) 分类制定掩模

数据集中流量样本的特征分为固有特征、内容特征、基于时间的特征和基于主机的特征^[16]。基于上述弱相关的概念，本文分析了DoS、Probe、U2R和R2L四种恶意流量的弱相关特征，并分别设计了对应的掩模策略，其中U2R与R2L的弱相关特征一致，采用相同掩模，具体见图 1。在扰动生成后，首先将生成的对抗样本与相应的掩模进行按位“与”操作，再将修改后的扰动与原始样本进行叠加，仅调整弱相关特征的值，保证生成的对抗样本在逃避检测的同时具有可执行性和攻击性。

2) 对特征值进行约束

所有数值型特征已确定取值范围，加入扰动后利用Clip函数进行约束处理，将特征值约束在规定范围内，同时对离散型数值特征进行向下取整操作。对标志特征需要进行特定值约束处理。在NSL-KDD数据集中存在5个二进制标志特征：Land、Logged in、Root shell、Is Host Logins和Is Guest Login，这些标志特征的值在添加扰动后按四舍五入法进行处理。错误片段数量特征Wrong Fragment的取值范围为0~3，分别表示通信过程中出现0个、1个、2个、3个及以上错误片段，在添加扰动后需要对其进行就近取整处理。

3) 对扰动进行约束

利用生成对抗网络对抗训练的优势，使生成的对抗样本逼近真实数据的分布特征，从而使扰动尽可能地保持流量样本的原始特征数据，提高对抗样本的真实性。

在扰动迭代的过程中，采用正则化约束来限制扰动的幅度，其数学表达式为

$ \Delta G(x)_{t}=\nabla_{x} L /\left\|\nabla_{x} L\right\|_{1}, $

式中：$\Delta G(x)$ 表示在第t次迭代时扰动的更新量；$\nabla_{x} L$ 表示损失函数L相对于输入x的梯度；$\left\|\nabla_{x} L\right\|_{1}$则表示梯度的L₁范数，以此作为步长的缩放因子来约束扰动的大小。

2.2 融合元学习的集成模型设计

集成的方法已被广泛用于理论研究和实际开发当中，针对对抗样本攻击可迁移的性质，本文构建集成模型进行训练，利用元学习的思想自动调整集成模型参数使其能学习多个模型的决策边界，并且对新模型也有较好的学习能力。通过这种方法生成的多个模型都包含有较高对抗性的样本，同时生成的对抗样本有更好的可迁移性，提高了对黑盒模型的攻击能力。

模型集成的方法如下：假定对n个模型$\left\{M_{1}, \cdots\right.$，$\left.M_{i}, \cdots, M_{n}\right\}$进行集成，对于给定的输入样本X，第i个模型的预测logits向量表示为$\boldsymbol{l}_{i}(X)$。整合所有模型的logits向量为

$ \boldsymbol{l}(X)=\sum\limits_{i=1}^{n} p_{i} \boldsymbol{l}_{i}(X), $

式中：p_i为每个模型的概率参数，用于衡量在样本X附近集成模型对每个模型决策边界的拟合程度，$p_{i} \geqslant 0$ 且$\sum\limits_{i=1}^{n} p_{i}=1$，通过元学习网络进行调整。直接对logits应用Softmax函数可以得到预测的分类类别。本文定义Softmax交叉熵损失计算为

$ L(X, y)=l_{y} \log (\operatorname{Softmax}(l(X))), $

式中：$\boldsymbol{l}_{y}$表示攻击标签y的独特编码。对于集成模型中每个单独的模型来说，当输入某一样本后生成的损失越小，说明该模型将该样本分类到目标标签下的可能性越大，进而表示生成的对抗样本对该模型的攻击能力越强，因此可以通过降低该模型的权重，使对抗样本更专注对其他模型的攻击。据此元学习网络的赋权任务可定义为

$ T=\max \left\{\left(L_{1}, p_{1}, \cdots, L_{H}, p_{H}\right) ; M(x)\right\}, $

式中：M(x)表示模型的输入；H表示数据集大小；L_i为第i个模型得到的交叉熵损失。本文采用BP神经网络作为元学习定参网络，用于实现对某一对抗样本能自动生成对应的概率参数来更新集成模型中各模型权重。元学习网络在训练过程中通过最大化集成模型损失函数学习最佳的赋权方式，这个过程可以视为对抗性训练的一种形式，旨在增强集成模型对对抗样本攻击的防御能力。模型总体结构如图 2所示。

2.3 ReN-GAN模型设计

本文设计了一种对抗样本生成模型ReN-GAN(reptile-based network-traffic-sample GAN)，其总体框架如图 3所示。ReN-GAN主要由生成器G、判别器D以及集成模型三部分组成。生成器G不再以噪声作为输入，而是以原始样本x作为输入，迭代输出扰动G(x)，将扰动进行约束后加入原样本得到生成样本x+G(x)，之后将x+G(x)作为输入分别传给判别器D和集成模型；D的作用是区分真实样本与生成样本，得到损失函数L_GAN，使生成样本尽可能接近真实样本；集成模型输出损失函数L_adv为预测结果与目标标签之间的距离。

损失函数表示为

$ \begin{gathered} L_{\mathrm{GAN}}=E_{x} \log D(x)+E_{x} \log (1-D(x+G(x))), \\ L_{\mathrm{adv}}=E_{x} f(G(x), y), \end{gathered} $

其中：y为攻击的标签；f为模型的目标函数。损失函数L_adv将生成的样本被错误地分类到目标y中。最终的损失函数表示为

$ { Loss }=L_{\mathrm{adv}}+\alpha L_{\mathrm{GAN}}, $

式中：α为权重参数。ReN-GAN在训练过程中，通过对生成的扰动进行更新，再反向传播更新生成模型参数，同时为了避免迭代陷入局部最优，本文采用在扰动更新过程中加入动量的方法，尽可能避免生成对抗样本对某一模型“过拟合”，提高对抗样本的可迁移性。最终通过训练求解argmin_Gmax_DL，得到能够对指定恶意流量自动进行伪装的生成模型，同时判别器可以帮助筛选生成的样本，只保留那些能够欺骗判别器的样本，这样可以确保生成的样本更加符合真实数据的分布。模型的具体训练算法如下。

算法1  模型训练算法

输入：数据集D_data，迭代次数T，动量因子μ，步长β, ζ, $\epsilon$，约束范围ξ。

输出：元学习模型参数$\phi$，GAN模型参数θ。

1) 随机初始化参数，设定meta_batch_size=30

2) for x in meta_batch do

3)   生成$x_{j}+G\left(x_{j}\right)$

4)   计算各检测模型$L_{i}\left(x_{j}, y\right)$，进行1次快速权重更新$\widetilde{\phi} \leftarrow \widetilde{\phi}+\phi_{j}$

5)   for t in T do

6)     计算损失函数Loss

7)     更新扰动$G(x)_{t+1}=\mu G(x)_{t}+\frac{\nabla_{x} L}{\nabla_{x} L_{1}}$

8)     更新样本$x_{t+1}^*={Clip}_{\xi}\left(x_t^*+\beta \operatorname{sign}\left(G(x)_{t+1}\right)\right)$

9)   end for

10)    反向传播更新1次G参数θ_G

11)    更新1次D参数$\theta_{D} \leftarrow \theta_{D}-\zeta \nabla_{\theta_{D}} L_{D}(x, y)$

12) end for

13) 更新BP网络参数$\phi \leftarrow \phi+\epsilon(\widetilde{\phi}-\phi)$并重置$\widetilde{\phi}$

//每个meta_batch训练结束后进行1次慢速权重更新

14) 生成新的概率参数对集成模型进行更新

15) end for

3 实验与分析 3.1 数据集及模型配置

本文使用NSL-KDD数据集对ReN-GAN模型进行训练与评估。该数据集对KDD99数据集进行了精简和改进，平衡了数据集中不同类型攻击的分布^[17]。NSL-KDD数据集中包含了正常流量以及Probe、Denial of Service (DoS)、Remote to Local(R2L)和User to Root(U2R)4种恶意流量，每个样本都包含41个特征。这些特征被划分为4个主要类别，分别为固有特征、内容特征、基于时间特征、基于主机特征。

为了便于模型训练并更真实地评价模型性能，实验从NSL-KDD训练集的每一类流量中分别划分出50%的样本构成训练子集，用于集成模型中各模型的预训练。剩余的流量样本则构成了用于训练ReN-GAN模型的训练子集。

实验先采用CNN模型^[18]、CNN+LSTM模型^[19]和GRU+RNN模型^[20]构建集成模型，利用同一训练子集分别对其进行训练，得到准确率分别为94.14%、95.54%和97.66%。之后使用另一部分训练子集对ReN-GAN模型进行训练，模型中的生成器G由四层全连接神经网络构成，隐藏层神经元个数分别为64、32、64；判别器D采用五层全连接神经网络，隐藏层神经元个数分别为64、32、16、8。在神经网络中采用ReLU作为隐藏层的激活函数，并使用Adam优化器训练网络以提高收敛速度，判别器设置梯度裁剪阈值为0.05。

3.2 评价指标

在本文中，恶意流量伪装流量被定义为一种特殊的对抗样本，它不仅在功能上与原始恶意流量相似，而且能够误导目标检测模型将其错误地识别为真实的正常流量。因此采用了逃逸率和保真率作为衡量模型性能的关键指标。

逃逸率表示检测模型误将恶意流量识别成正常流量的概率，逃逸率数值越高说明对抗样本攻击能力越强，定义为

$ \text { 逃逸率 }=F P /(F P+T N) , $

式中：FP为误报的负样本数量；TN为负样本被正确识别的数量。

保真率指被判别器识别为正常流量的概率，反映了原始流量在添加扰动后在保持其原始恶意特征的同时，对正常流量模式的模仿程度，值越大说明生成的伪装流量具有更强的隐匿性和可行性。

3.3 实验结果及分析

实验首先对ReN-GAN模型生成的伪装流量进行了分析，评估其对集成模型的攻击能力，在相同的约束条件下，分别将ReN-GAN模型生成的对抗样本同FGSM和I-FGSM方法生成的对抗样本输入集成模型中进行检测，并比较它们的逃逸率。在实验中设定I-FGSM的迭代次数为10。实验结果见表 1。

从表 1中可以看出ReN-GAN模型比FGSM方法表现出较高的对抗样本逃逸率，且大幅缩短了生成对抗样本所需的时间。这表明ReN-GAN模型在生成对抗样本方面具有较强的性能和潜力，可以有效地攻击集成模型。同时，为了确保ReN-GAN模型生成对抗样本的保真率，实验采用随机抽样的方法，从测试集中随机选择100个恶意流量样本进行伪装。

随后将这些伪装流量样本输入判别器中进行判别，并与使用FGSM方法和AdvGAN对抗攻击算法生成的伪装流量进行对比实验。实验结果如图 4所示，采用FGSM和AdvGAN算法生成的对抗样本保真率分别为23%和38%，而使用ReN-GAN模型生成的对抗样本保真率为98%。这些结果表明，ReN-GAN模型在生成高保真率的对抗样本方面具有显著优势，明显优于传统的FGSM方法和AdvGAN模型，即判别器有较高概率将ReN-GAN模型生成伪装流量样本识别为真实样本。采用本文制定的加噪约束机制，可以在保留流量原始功能的同时避免被检测模型识别为虚假流量，这进一步表明ReN-GAN模型在生成对抗样本时能够更好地保留原始流量的特征，使得对抗样本更具有可行性和隐蔽性。

为了评估生成的对抗样本在不同检测系统间的迁移能力，利用ReN-GAN模型对数据集中的恶意网络流量进行伪装处理。实验结果表明，经过伪装的恶意流量在面对多种检测模型时，其逃逸率均有显著提升。以分布式拒绝服务(DoS)攻击流量的伪装为例，对比分析伪装前后的样本在不同检测模型中的逃逸率变化情况，具体结果如图 5所示。

从图 5中可以看出，ReN-GAN模型可以在确保流量原始功能的前提下对其进行有效的伪装，大幅度提高原始恶意流量逃逸率。可以看出ReN-GAN模型针对集成模型生成的对抗样本有着较好的可迁移性，在四种模型上的平均逃逸率为54.1%，特别在面对基于SVM的IDS时逃逸率高达61.1%。这说明利用ReN-GAN模型对恶意流量进行伪装后，有较高的概率能够直接逃逸黑盒模型的检测而不需要与黑盒模型进行额外交互。如果没有成功则需进一步采用零阶优化算法ZOO或MI-FGSM等方法来持续进行攻击，这样就会与目标判别模型产生交互。为了验证ReN-GAN模型在减少交互次数方面的优越性，将逃逸失败的样本以基于DNN的分类器作为攻击目标进行迭代加噪，并与文献[11]提出生成对抗样本的方法进行对比，比较不同迭代次数下生成对抗样本的逃逸率，结果如表 2所示。

结果表明，ReN-GAN模型生成的伪装流量在仅迭代5次后就具有较高逃逸率，优于文献[11]中提出的方法，凸显了ReN-GAN模型在减少必要交互次数方面的优势，可以在较少的查询次数下实现较高的逃逸率，降低了资源消耗及被检测系统识别的风险。

4 结语

本文受到元学习思想的启发，以生成对抗网络原理为基础提出了一种新的恶意流量对抗样本生成框架。该框架对GAN网络和元学习网络进行同步训练，利用元学习网络为集成模型确定参数，使其能够充分学习多个模型的决策边界，指导扰动更新方向。在训练过程中，通过引入动量的方法，进一步提高了对集成模型生成对抗样本的可迁移性。此外，本文还确立了加噪规则和扰动约束方法，以确保生成伪装流量具有真实性和可行性。实验结果表明，针对不同的黑盒模型，所提出的ReN-GAN模型能有效对原始流量进行伪装，提高其逃逸率，且对于特定的检测模型，在仅进行少量交互的情况下也能显著提高伪装流量逃逸率。在未来的工作中，如何优化模型，实现自动添加扰动，最大限度地保留流量的原始功能仍待研究。同时本文实验使用的是开源数据集，对于真实的网络流量伪装效果还需进一步研究。此外，基于机器学习的恶意流量检测器难以抵御对抗样本攻击，在未来工作中还需探究对抗防御的方法，借助生成的对抗样本找到更好的训练方法或其他防御手段，以提高检测模型对对抗样本攻击的防御能力。