2. 山西大学 大数据科学与产业研究院,山西 太原 030006
2. Institute of Big Data Science and Industry, Shanxi University, Taiyuan 030006, China
没有网络安全就没有国家安全,网络安全已成为信息时代国家安全的基石。然而随着网络规模的日益扩大以及网络恶意行为的复杂化与智能化,传统以入侵检测系统为核心的单点防御体系暴露出越来越多的弊端。单点检测方式本质上是通过单个节点的信息做出判断,会形成“安全信息孤岛”,无法从整个网络层面做出准确的决策,因此面对复杂的网络恶意活动时会产生大量的误报、漏报。
安全态势评估通过技术手段从时间和空间维度来感知并获取安全相关元素,综合分析安全信息以准确判断安全状况。随后国内外许多研究人员将态势评估的思想及方法应用到网络安全领域,设计和实现了许多高效网络安全态势评估系统。
1995年Endsley[1]将态势感知概括为态势觉察、态势理解、态势投射3个过程。1999年Bass[2]首次提出网络安全态势感知,本质上是融合多源入侵检测系统的结果,识别网络中的攻击活动,评估网络运行状况。2002年陈继军[3]提出权系数理论原则,用于确定各传感器的系数。2005年诸葛建伟等[4]引入D-S证据理论,构建决策引擎判断网络状况。2006年陈秀真等[5]提出了层次化安全威胁评估模型,通过网络流量信息及入侵检测报警信息,对网络运行状况进行评估。2008年马琳茹等[6]通过指数加权规则,将不同的传感器赋予不同的信任以改进D-S证据理论。2009年韦勇等[7]从节点脆弱性和攻击威胁等角度,基于D-S证据理论算法,构建网络安全态势评估模型。
2016年刘效武等[8]构建了一个融合−感知−决策−控制的态势认知融合感控模型,对网络状况进行评估。2018年Wang Huan等[9]使用混淆矩阵最大特征值对应的特征向量确定主机态势的参数,对网络运行状况进行评估。2018年龚俭等[10]认为网络安全态势感知(network security situation awareness, NSSA)是认知网络系统安全状态的过程,包含原始数据测量、语义提取、融合处理、异常识别、态势获取等内容。2018年Zhao Dongmei等[11]通过粗糙集属性简约算法提取核心属性,并使用粒子群优化算法优化径向基神经网络识别网络攻击。2018年陈维鹏等[12]将网络态势等级进行划分,通过模拟退火算法优化BP(back propagation)神经网络参数,确定网络空间态势感知等级。2019年贾焰等[13]对网络安全态势感知概念、网络安全态势关键技术等方面的研究现状进行深入剖析。2019年Xi Rongrong等[14]从威胁、脆弱性和稳定性3个维度评估网络的安全状况,并在决策层面将结果进行融合来衡量整个网络的安全状况。2020年Zheng Weifa等[15]使用D-S证据理论融合主机防火墙数据、web防火墙数据和入侵检测数据,对网络安全性进行评估。
通过对以上学术成果的综合分析,本文构成出基于多源异构数据融合的网络安全态势评估体系,主要工作如下:
1)提出了包含流量探测模块、属性提炼模块、决策引擎模块、多源融合模块、态势评估模块等5大模块的网络安全态势评估体系。
2)以入侵检测系统(Snort)报警规则为标尺,提炼网络威胁等级划分原则。
3)使用层次化网络安全威胁评估方法,依次评估服务层、主机层、网络层态势。
1 网络安全态势评估体系本文提出的基于多源异构数据融合的网络安全态势评估体系包含流量探测模块、属性提炼模块、决策引擎模块、多源融合模块和态势评估模块等5大模块。如图1所示,5个模块构建时吻合信息安全管理中安全基础、识别认定、检测评估、安全防护4个维度,充分考虑可用性、可控性、保密性等信息安全要求。如图2所示:1) 流量探测模块是在网络中部署多个探测器,以全面地获取网络信息;2) 属性提炼模块是基于恶意活动特征,准确地构造有助于提高识别攻击类型的核心属性;3) 决策引擎模块是利用网络数据,科学地训练由核心属性到攻击类型的模型;4) 多源融合模块是巧妙地融合决策引擎的输出结果,有效提升识别攻击类型的性能;5) 态势评估模块是基于融合结果,直观地展示网络运行状态。
Download:
|
|
Download:
|
|
信息在网络中以流量包为单元,在2台设备之间进行传递,流量包由一台主机发出,途径路由器、交换机、防火墙、网卡等设备,到达另一台主机。流量探测模块将在以上设备中部署多个探测器,尽可能全面地获取网络数据。
常用的探测器分以下2类:1) 网络流量探测器,这类探测器通常部署在局域网入口路由器上,可以全面地、实时地获取所有流入、流出局域网的网络流量,并发送至数据处理中心;2) 入侵检测系统,入侵检测系统实时检测网络流量信息,并与规则库中的报警规则进行匹配,一旦发现异常流量,将发出对应的警告信息。
1.2 属性提炼模块属性提炼模块根据网络恶意活动的特征,准确地构造有助于提高识别攻击类型的核心属性。
Netflow、Snort、Suricata探测器获得的基础属性如表1~3所示。1) 将其中数值型数据进行归一化处理,避免数值变化较大的属性覆盖数值较小的属性,使得数值变化较小的属性失去作用;2)将非数值型属性编码成向量,使得计算机能够处理。
由于其侧重点各异,不同探测器将获取到不同属性的网络数据。因此本文设计不同的统计算法,以高效地提炼不同探测器的属性:1)研究发现如果直接使用Netflow和Suricata中的地址属性、端口属性、应用服务属性和时间属性进行攻击识别,效果不明显,因此借助统计算法融合以上4类属性生成网络连接属性[16-19](如表4),其他属性保留;2) Snort和Suricata为入侵检测系统,其所产生的报警信息是其核心要素,因此针对性地设计统计算法提炼报警数量与报警类别属性。
决策引擎模块的功能是通过有效训练,准确地学习出从各探测器核心属性到攻击类型的模型。神经网络是一个优秀的分类模型,学者们常用此模型作为决策引擎[11, 20],本文采用BP神经网络作为决策引擎。
BP神经网络由输入层、隐藏层、输出层构成。Robert Hecht Nielson[21]证明,只包含一个隐藏层的网络可以逼近闭合区间内的任一连续函数,因此BP神经网络能够实现由属性到攻击类型的映射。
含有1层隐藏层的BP神经网络训练过程如下,输入层有m个神经元,隐藏层有h个神经元,输出层有n个神经元,激活函数为f(x),隐藏层神经元输出为D=(d1,d2,…,dh)T,输入层与隐藏层之间的权值为
隐藏层第j个节点的输出值为
${d_j} = f\Bigg( {\displaystyle\sum\limits_{i = 1}^m {{x_i}{w_{ji}}} } \Bigg),1 \leqslant j \leqslant h$ | (1) |
输出层第k个节点的输出值为
${\widehat y_k} = f\Bigg( {\displaystyle\sum\limits_{j = 1}^h {{d_j}{v_{kj}}} } \Bigg),1 \leqslant k \leqslant n$ | (2) |
均方误差为
${{E}} = \dfrac{1}{2}\displaystyle\sum\limits_{k = 1}^n {{{\left( {{{\widehat y}_k} - {y_k}} \right)}^2}} $ | (3) |
Download:
|
|
输出层及隐藏层各神经元的权值调整为
$\Delta {v_{kj}} = - \eta \dfrac{{\partial {{E}}}}{{\partial {v_{kj}}}} = - \eta \dfrac{{\partial {{E}}}}{{\partial {{\widehat y}_k}}}\dfrac{{\partial {{\widehat y}_k}}}{{\partial {v_{kj}}}} = - \eta ({\widehat y_k} - {y_k}){f^{'}}\Bigg(\displaystyle\sum\limits_{j = 1}^h {{d_j}{v_{kj}}} \Bigg){d_j}$ | (4) |
$ \begin{split} \Delta {w_{ji}} = & - \eta \dfrac{{\partial {{E}}}}{{\partial {w_{ji}}}} = - \eta \Bigg( {\displaystyle\sum\limits_{k = 1}^n {\dfrac{{\partial {{E}}}}{{\partial {{\widehat y}_k}}}\dfrac{{\partial {{\widehat y}_k}}}{{\partial {d_j}}}} } \Bigg)\dfrac{{\partial {d_j}}}{{\partial {w_{ji}}}} =\\ & - \eta \Bigg( {\displaystyle\sum\limits_{k = 1}^n {\left( {{{\widehat y}_k} - {y_k}} \right)} {f^{'}}\Bigg(\displaystyle\sum\limits_{j = 1}^h {{d_j}{v_{kj}}} \Bigg){v_{kj}}} \Bigg){f^{'}}\Bigg( {\displaystyle\sum\limits_{i = 1}^m {{x_i}{w_{ji}}} } \Bigg){x_i}\quad \end{split} $ | (5) |
多源融合模块将有机地融合所有决策引擎的输出结果,进一步提高识别攻击的性能。融合算法将各个决策引擎的输出结果作为融合因子,将相同安全事件组合处理得到融合结果。本文使用指数加权D-S证据理论融合决策引擎输出结果,并利用粒子群优化算法确定指数权重(particle swarm optimization-dempster shafer, PSO-DS)。
指数加权D-S证据理论为
$m({A_i}) = \dfrac{{{m_1}{{\left( {{A_i}} \right)}^{{w_{1i}}}}{m_2}{{\left( {{A_i}} \right)}^{{w_{2i}}}} \cdots {m_g}{{\left( {{A_i}} \right)}^{{w_{gi}}}}}}{K}$ | (6) |
$K = \displaystyle\sum\limits_{i = 1}^n {{m_1}{{\left( {{A_i}} \right)}^{{w_{1i}}}}{m_2}{{\left( {{A_i}} \right)}^{{w_{2i}}}} \cdots {m_g}{{\left( {{A_i}} \right)}^{{w_{gi}}}}} $ | (7) |
式中:g为数据源个数;n为攻击类型个数;
使用粒子群优化算法搜索指数权值:
${v_{td}} = {c_3}{v_{td}} + {c_1}{r_1}({p_{td}} - {x_{td}}) + {c_2}{r_2}({g_{td}} - {x_{td}})$ | (8) |
${x_{(t + 1)d}} = {x_{td}} + {v_{td}}$ | (9) |
式中:d为优化空间维度;
$\arg \min \Bigg( {\displaystyle\sum\limits_{i = 1}^n {{{\left( {m\left( {{A_i}} \right) - {y_i}} \right)}^2}} } \Bigg)$ | (10) |
态势评估模块的功能是基于多源融合模块的输出结果,有效地评估网络态势。可分为攻击威胁量化和态势评估2个内容。
1.5.1 攻击威胁量化量化影响态势变化的关键因子(如:攻击威胁因子),是科学评估网络运行状态的基础。其中攻击威胁因子量化是目前研究的一个难点,本文使用权系数理论量化攻击威胁。经过划分威胁等级和威胁等级量化2个步骤得到攻击威胁因子值。
1) 划分威胁等级
Snort作为一个常用的入侵检测系统,受到用户的广泛认可。根据危害大小,Snort能够对攻击威胁定性分析,表5列出了攻击威胁等级的核心内容。深入剖析威胁等级划分机理,本文提出了攻击威胁等级划分原则。
①威胁等级划分机理
如表5所示,攻击严重程度为高的攻击基本上是获取计算机控制权限、木马、执行代码等恶意活动,此类攻击会威胁主机系统安全;攻击严重程度为中的攻击以获取系统内部信息和消耗网络带宽为目的,这类攻击不会对主机系统造成破坏;严重程度为低的攻击以网络扫描、获取网络信息为目的,这类攻击对网络造成较轻影响。
②威胁等级划分原则
通过对Snort划分攻击威胁等级机理的深入研究,本文提出了攻击威胁等级划分原则,如表6所示。
2) 威胁等级量化
本文将权系数理论[3]与攻击威胁等级划分原则有机结合以量化威胁等级。权系数分布函数如图4所示,横轴是排队等级(威胁等级),纵轴是对应的权系数(威胁值)。
Download:
|
|
为简化量化过程,将权系数函数离散化处理得到权系数公式,n为攻击等级个数,
权系数为
$ {W_i} = \left\{ {\begin{aligned} &{\dfrac{1}{2} + \dfrac{{\sqrt { - 2\ln \dfrac{{2i}}{n}} }}{6}, \quad\;1 \leqslant i < \dfrac{n}{2} }\\ &{\dfrac{1}{2}, \;\;\;\quad i = \dfrac{n}{2} }\\ &{\dfrac{1}{2} - \dfrac{{\sqrt { - 2\ln \left( {2 - \dfrac{{2i}}{n}} \right)} }}{6} ,\quad \dfrac{n}{2} < i < n} \end{aligned}} \right.$ | (11) |
本文采用层次化网络安全威胁评估模型,将网络自底向上分为服务层、主机层和网络层。按照层次关系,以攻击对网络造成的危害程度为核心评估安全态势,如图5所示。
Download:
|
|
1) 服务层态势
攻击威胁因子和攻击概率等态势因子会影响服务态势,服务态势随着网络运行状况实时发生变化,在时间窗口
${s_{kj}}\left( t \right) = \displaystyle\sum\limits_{i = 1}^g {m\left( {{\rm{attac}}{{\rm{k}}_i}} \right) {{10}^{f\left( {{\rm{attac}}{{\rm{k}}_i}} \right)}}} $ | (12) |
式中:g为该时间窗口内的攻击总数;
2) 主机层态势
主机的态势情况由主机上运行的服务态势及其在主机上的重要性决定,在时间窗口
${h_k}(t) = f\left( {{{ {{S}} }_k}\left( t \right), {{V}} (t)} \right) = { {{S}} _k}\left( t \right) { {{V}} _k}(t)$ | (13) |
${v_{kj}} = \dfrac{{s{u_{kj}}s{f_{kj}}}}{{\displaystyle\sum\limits_{j = 1}^n {s{u_{kj}}s{f_{kj}}} }}$ | (14) |
3) 网络层态势
网络层态势是由网络中每台主机的态势及每台主机的权值决定的,整个网络的态势为
${{N}}(t) = f( {{H}} (t), {{L}} (t)) = {{H}} (t) {{L}} (t)$ | (15) |
${l_k} = \dfrac{{h{u_k}h{f_k}}}{{\displaystyle\sum\limits_{k = 1}^m {h{u_k}h{f_k}} }}$ | (16) |
式中:m为该网络中的主机数量,
通过态势评估策略,将网络的安全状况及其演化状况准确地计算出来。如若发生威胁,管理员可以根据网络态势变化曲线及时地掌握网络状况,根据层次图由上到下依次分析网络层态势−主机层态势−服务层态势,追根溯源,准确快速的定位问题根源,从而采取有效地措施,保护网络安全。
2 实验分析如图6所示,根据实验需求,部署Netflow,以获取网络中流量的信息(如端口号、流量包大小、发包速度等),并部署Snort、Suricata等入侵检测工具,当发现异常流量则发出警告信息。实验中BP神经网络包含2层隐藏层,每层32个神经元。粒子群优化算法群体规模为100,在[0,1]内搜索确定D-S指数权重。
Download:
|
|
流量数据使用澳大利亚新南威尔逊大学安全实验室的UNSW-NB15流量包的5%用作本实验的数据,此流量包包含2天的流量包和攻击信息,混合了正常网络流量和综合性攻击流量,更符合现代真实的流量场景,而且网络规模更大,主机数量更多,攻击类型更加丰富,如表7所示。
图7~12展示了决策引擎和融合算法的实验结果。分析可知来自不同探测器数据对于识别各类攻击各有优势,Netflow数据源对于识别Analysis、Normal准确率较高;Snort数据源对于区分Backdoor、Worm攻击效果很好;Suricata可以很好地识别Dos。融合算法集成了各数据源识别攻击的优势,提高了决策效果。
Download:
|
|
Download:
|
|
Download:
|
|
Download:
|
|
Download:
|
|
如表8所示,与其他结果相比,本文选用的PSO-DS融合算法准确率高,并且误警率降低,充分证明了多点融合体系有效集成各单点检测的优势,显著提高识别各攻击类型的能力;针对误警率较高的问题,本文查阅了使用此数据集的研究成果,如表9所示,均存在误警率较高问题。
Download:
|
|
在网络中重放了UNSW-NB15中2015-2-17日的部分流量数据,该段时间持续33 000 s,每5 min为一个时间窗口,共110个时间窗口,如横坐标10对应第10个时间窗口的态势值。使用本文提出的网络攻击威胁划分原则及权系数理论得到攻击因子,按照评估体系进行评估。某一主机上DNS、HTTP、SMTP 3种服务的态势情况如图13所示。
Download:
|
|
该日此主机上HTTP服务遭受到了2次强烈的攻击、4次中度攻击、多次轻度攻击,管理员应该注意该主机HTTP服务的使用情况、该主机是否在访问非法网站、是否受到web攻击,并采取相应对策。
2.2.2 主机层态势主机层态势与运行在主机上服务态势及各个服务重要度相关,根据服务的用户数量和使用频率确定服务的权值。由图14可知,主机1受到了2次强烈的攻击,并受到了多次小规模攻击;主机2受到了2次强烈的攻击;主机3受到了5次强烈的网络攻击;网络管理员应该特别注意此两台主机的运行状况。
Download:
|
|
根据主机的用户数量与频率,确定主机的权值。根据主机的权值和主机的态势情况,计算得到整个网络的运行态势。由图15所示,该网络一天内持续受到攻击,产生4次较大波动,网络管理员应该查看这几个时间段内主机的运行情况,找到异常主机。此流量包一天内一直遭受到大量攻击,网络态势图符合流量包攻击情况,准确地展示出当天网络的运行状况。
Download:
|
|
本文借鉴多源融合策略,充分利用层次化网络评估方法,提出了一个网络安全态势评估体系。1) 在网络中部署Netflow、Snort、Suricata探测器全面地获取网络数据;2) 基于恶意活动的特点,提炼有助于提高区别攻击类型的核心属性;3) 使用BP神经网络分别对数据进行决策;4) 利用PSO-DS方法对各BP神经网络分类结果进行有机融合;5) 使用层次化网络评估方法,直观展现网络态势。实验结果证明,不同探测器获得的网络信息对于识别不同攻击的优势不同,多点检测体系有机融合各单点检测的优势,显著提高识别各攻击类型的能力。
今后的研究将拓展到态势预测,通过态势曲线的变化趋势,对态势曲线的未来走向进行预测,以达到提前防护的目标。
[1] | ENDSLEY MR. Toward a theory of situation awareness in dynamic system[J]. Human factors: the journal of the human factors and ergonomics society, 1995, 37(1): 32-6. DOI:10.1518/001872095779049543 (0) |
[2] | BASS T. Intrusion detection systems and multisensor data fusion[J]. Communications of the ACM, 2000, 43(4): 99-105. DOI:10.1145/332051.332079 (0) |
[3] |
陈继军. 多传感器管理及信息融合[D]. 西安: 西北工业大学, 2002, 49−55. CHEN Jijun. Multi-Sensor administration and information fusion[D]. Xi’an: Northwestern Polytechnical University, 2002: 49–55. (0) |
[4] |
诸葛建伟, 王大为, 陈昱, 等. 基于D-S证据理论的网络异常检测方法[J]. 软件学报, 2006, 17(3): 463-471. ZHUGE Jianwei, WANG Dawei, CHEN Yu, et al. A network anomaly detector based on the D-S evidence theory[J]. Journal of software, 2006, 17(3): 463-471. DOI:10.1360/jos170463 (0) |
[5] |
陈秀真, 郑庆华, 管晓宏, 等. 层次化网络安全威胁态势量化评估方法[J]. 软件学报, 2006, 17(4): 885-897. CHEN Xiuzhen, ZHENG Qinghua, GUAN Xiaohong, et al. A network anomaly detector based on the D-S evidence theory[J]. Journal of software, 2006, 17(4): 885-897. DOI:10.1360/jos170885 (0) |
[6] |
马琳茹, 杨林, 王建新. 多源异构安全信息融合关联技术研究系[J]. 系统仿真学报, 2008, 20(4): 981-989. MA Linru, YANG Lin, WANG Jianxin. Research on security information fusion from multiple heterogeneous sensors[J]. Journal of system simulation, 2008, 20(4): 981-989. (0) |
[7] |
韦勇, 连一峰, 冯登国. 基于信息融合的网络安全态势评估模型[J]. 计算机研究与发展, 2009, 46(3): 353-362. WEI Yong, LIAN Yifeng, FENG Dengguo. A network security situational awareness model based on information fusion[J]. Journal of computer research and development, 2009, 46(3): 353-362. (0) |
[8] |
刘效武, 王慧强, 吕宏武, 等. 网络安全态势认知融合感控模型[J]. 软件学报, 2016, 27(8): 2099-2114. LIU Xiaowu, WANG Huiqiang, LU Hongwu, et al. Fusion-based cognitive awareness-control model for network security situation[J]. Journal of software, 2016, 27(8): 2099-2114. (0) |
[9] | WANG Huan, CHEN Zhanfang, FENG Xin, et al. Research on network security situation assessment and quantification method based on analytic hierarchy process[J]. Wireless personal communications, 2018, 102(2): 1401-1420. DOI:10.1007/s11277-017-5202-3 (0) |
[10] |
龚俭, 臧小冬, 苏琪, 等. 网络安全态势感知综述[J]. 软件学报, 2017, 28(4): 1010-1026. GONG Jian, ZANG Xiaodong, SU Qi, et al. Survey of network security situation awareness[J]. Journal of software, 2017, 28(4): 1010-1026. (0) |
[11] | ZHAO Dongmei, LIU Jinxing. Study on network security situation awareness based on particle swarm optimization algorithm[J]. Computers and industrial engineering, 2018, 125: 764-775. DOI:10.1016/j.cie.2018.01.006 (0) |
[12] |
陈维鹏, 敖志刚, 郭杰, 等. 基于改进的BP神经网络的网络空间态势感知系统安全评估[J]. 计算机科学, 2018, 45(11A): 345-347, 341. CHEN Weipeng, AO Zhigang, GUO Jie, et al. Research on cyberspace situation awareness security assessment based on improved BP neural network[J]. Computer science, 2018, 45(11A): 345-347, 341. (0) |
[13] |
贾焰, 韩伟红, 杨行. 网络安全态势感知研究现状与发展趋势[J]. 广州大学学报(自然科学版), 2019, 18(3): 1-10. JIA Yan, HAN Weihong, YANG Xing. Summary of network security situation assessment[J]. Journal of Guangzhou University (natural science edition), 2019, 18(3): 1-10. DOI:10.3969/j.issn.1671-4229.2019.03.001 (0) |
[14] | XI Rongrong, YUN Xiaochun, HAO Zhiyu. Framework for risk assessment in cyber situational awareness[J]. Iet information security, 2019, 13(2): 149-156. DOI:10.1049/iet-ifs.2018.5189 (0) |
[15] | ZHENG Weifa. Research on situation awareness of network security assessment based on dempster-shafer[C]//2019 International Conference on Computer Science Communication and Network Security. France: Edition Diffusion Press Sciences, 2020: 131–136. (0) |
[16] | MOUSTAFA N, SLAY J. UNSW-NB15: a comprehensive data set for network intrusion detection systems (UNSW-NB15 network data set)[C]//Proceedings of 2015 Military Communications and Information Systems Conference. Canberra, Australia: IEEE, 2015: 1–6. (0) |
[17] | MOUSTAFA N, SLAY J. The evaluation of network anomaly detection systems: statistical analysis of the UNSW-NB15 data set and the comparison with the KDD99 data set[J]. Information security journal: a global perspective, 2016, 25(1/2/3): 18-31. (0) |
[18] | MOUSTAFA N, SLAY J, CREECH G. Novel geometric area analysis technique for anomaly detection using trapezoidal area estimation on large-scale networks[J]. IEEE transactions on big data, 2019, 5(4): 481-494. DOI:10.1109/TBDATA.2017.2715166 (0) |
[19] | MOUSTAFA N, CREECH G, SLAY J. Big data analytics for intrusion detection system: statistical decision-making using finite dirichlet mixture models[M]. CARRASCOSA I P, KALUTARAGE H K, HUANG Yan. Data Analytics and Decision Support for Cybersecurity. Cham: Springer, 2017: 127-156. (0) |
[20] |
甘文道, 周城, 宋波. 基于RAN-RBF神经网络的网络安全态势预测模型[J]. 计算机科学, 2016,43(11A): 388-392. GAN Wendao, ZHOU Cheng, SONG Bo. Network security situation prediction model based on RAN-RBF neural network[J]. Computer science, 2016,43(11A): 388-392. (0) |
[21] | HECHT-NIELSEN R. Theory of the backpropagation neural network[C]//Proceedings of the International 1989 Joint Conference on Neural Networks. Washington, USA: IEEE, 1989: 593–605. (0) |