2017, Vol. 63
文章信息
- 何剑峰, 罗豫, 李俊娥, 刘剑, 袁凯, 吴亦贝, 彭弼君, 王宇飞
- HE Jianfeng, LUO Yu, LI June, LIU Jian, YUAN Kai, WU Yibei, PENG Bijun, WANG Yufei
- 电力调度数据网仿真建模及路由协议攻击影响
- Simulation of Power Dispatching Data Network and the Influence of Routing Protocol Attacks
- 武汉大学学报(理学版), 2017, 63(2): 163-171
- Journal of Wuhan University(Natural Science Edition), 2017, 63(2): 163-171
- http://dx.doi.org/10.14188/j.1671-8836.2017.02.010
-
文章历史
- 收稿日期：2016-06-13
引用本文
|
2. 国网河南省电力公司信息 通信公司，河南 郑州 450000;
3. 武汉大学 计算机学院, 湖北 武汉 430072;
4. 武汉大学 空天信息安全与可信计算教育部重点实验室，湖北 武汉 430072;
5. 全球能源互联网研究院，北京 102209
2. Information and Communication Company, State Grid Henan Electric Power Company, Zhengzhou 450000, Henan, China;
3. School of Computer, Wuhan University, Wuhan 430072, Hubei, China;
4. Key Laboratory of Aerospace Information security and trusted computing Ministry of Education, Wuhan University, Wuhan 430072, Hubei, China;
5. Global Energy Interconnection Research Institute, Beijing 102209
一个实时、可靠的信息系统是实现智能电网的基础[1].电力调度数据网肩负着传输电力生产运行相关的实时/非实时信息的重要责任，其安全性能关系到电力系统的安全稳定运行.研究在路由协议攻击下的电力调度数据网的通信传输性能对于电力通信安全防护架构的建立具有重要意义[2].实验和建模仿真是两种主要的研究方法，但电力通信中的许多重要参数与性能只有在故障或攻击下才能得到，性能分析变得尤为困难[3].所以在大多数情况下，仿真建模是仅有的并可得出较为准确结果的研究分析方法.
国内外学者针对电力调度数据网的仿真建模开展了一系列研究.文献[4]提出运用复杂网络理论从结构的角度分析电力调度数据网的复杂性及脆弱性，得出了电力调度数据网的脆弱性与其网络结构有很大的联系的结论.文献[5]在OMNET++仿真软件中实现了MPLS (multi-protocol label switching)、VPN (virtual private network)、BGP (border gateway protocol) 等重要协议的仿真模型，并实现了在简单的网络模型中的电力调度数据网业务通信传输.文献[6]介绍一种基于OPNET的电力调度数据网的仿真模型建立方法，以及基于该仿真模型进行的设备故障仿真、为新业务上线仿真预演和网络扩容仿真等场景的研究方法；文献[7]在OPNET软件中实现了配电网集抄业务的数据建模，建立了一个拓扑较为简单的电力调度数据网仿真模型，为今后电力调度数据网业务的流量仿真建模提供了方法.
对于电力通信中的网络攻击仿真研究目前工作较少，文献[8]在OPNET软件中基于一个简单的网络拓扑，建立了DOS攻击的仿真场景，仿真验证了DOS攻击在网络中带来的拒绝服务的影响.文献[9]与文献[10]分析了OSPF (open shortest path first) 协议基于加密验证、泛洪机制、分层路由的三层安全机制，总结了在网络中针对OSPF脆弱性的通过篡改Hello报文、利用UPDATE报文攻击、资源消耗攻击三种主要的网络攻击手段，为该协议的改进与相关网络安全防护措施提供了基础，但没有进行仿真建模.
现有研究存在着以下不足：1) 大部分文献搭建的电力调度数据网模型只是一个简单的拓扑结构符合的网络模型，仿真中网络各节点的地理位置、设备链路型号没有贴近于一个真实的网络环境，导致仿真结果与实际情况还存在一定的误差；2) 对网络攻击下的电力调度数据网通信的研究基于理论分析，而没有搭建一个实际的网络仿真模型更准确地研究网络攻击对通信传输的影响.因此，有必要建立一个基于实际组网方案的电力调度数据网仿真模型，并就网络攻击对其通信性能的影响进行研究，这对于网络风险预控和应急响应方案设计等具有重要的参考价值.
1 某省电力调度数据网通信架构根据2015年数据，某省电力调度数据网规模覆盖省调、10个地调、60个省直调发电厂、20个500 kV变电站及180个省调直调的220 kV变电站.
1.1 网络拓扑该省电力调度数据网采用高可靠结构设计，核心层由省调中心 (主备双台路由器)、备调中心 (双台路由器)4个节点组成，骨干层由10个地调 (各两台路由器) 和2个核心变电站 (各一台路由器)12个骨干节点组成.骨干网络拓扑形成4个环型双归网络，骨干节点各路由器以备份链路与备调中心路由器相连以增加各地通信抗毁性.具体设备配置及链路带宽如图 1所示[11].
|
| 图 1 某省电力调度数据网拓扑图 Figure 1 The topology of a provincial power dispatching data network |
电力调度数据网主要承载电力二次系统安全分区中的安全Ⅰ区 (实时控制区) 与安全Ⅱ区 (非控制生产区) 的业务.各类业务的信息流量大小预估值如表 1所示[12].
| kb/s | |||
| 业务类型 | 发电厂 | 变电站 | 地调 |
| SCADA数据 | 8 | 9.6 | - |
| 电力市场实时信息 | 64 | - | - |
| 功角测量 | 256 | 256 | - |
| 安稳控制信息 | 64 | 64 | - |
| 电能量计量系统 | 9.6 | 9.6 | 256 |
| 故障录波信息 | 64 | 64 | - |
| EMS系统准实时数据 | - | - | 128 |
| 网络状态监测 | 0.4 | 0.4 | 0.4 |
| 远传调度操作票 | 10 | 10 | - |
该省电力调度数据网上以安全区划分为基础，共规划实时、非实时两个MPLS VPN[13]，分别涵盖两个安全区业务.不同业务系统运行于不同的虚拟专网中，VPN之间限制访问，实现安全隔离.
2 电力调度数据网仿真建模OPNET采用三层 (Network、Node和Process) 建模机制[14]，模型库涵盖了丰富的网络协议、应用、设备等.基于上文的某省调度数据网通信系统结构，在OPNET软件中搭建该电力调度数据网的仿真模型.
2.1 省调中心网络仿真模型省调通信模型由双台路由器、内部局域网 (用于放置省调各业务主站) 以及备调双台路由器组成 (路由器型号为思科7 609，OPNET中模型为CS_7609_9s_a2_ae8_fr4_sl8_adv)，省调双台与备调双台间使用1 000 M光纤 (1 000 BaseX) 与622 M/POS链路 (PPP_SONET_OC12) 连接，拓扑结构仿真模型如图 2所示.
|
| 图 2 省调中心网络 (a) 及内部局域网 (b) 仿真模型 Figure 2 The simulation model of provincial dispatching (a) center network and the internal LAN (b) |
如图 3所示，地调中心包含各业务主站、交换机及路由器.主路由器以622M/POS链路与其他地调主路由相连，组成电力调度数据网骨干层网络.主、备路由器之间配置HSRP协议并以1 000 M光纤相连，同时主、备路由器通过155 M/POS链路 (PPP_SONET_OC3) 与省备调路由器直接相连，形成备份链路，增大传输可靠性.地调既承担自身与省调的业务通信，也要承担该地区的省直调厂站与省调间的业务通信，各地调平均承担6个电厂、23个变电站的业务通信.
|
| 图 3 地调中心 (a) 及内部局域网 (b) 模型 Figure 3 The simulation model of municipal dispatching center network (a) and the internal LAN (b) |
核心变电站通信网络的搭建基于IEC 61850通信规约，建立逻辑上的三层变电站系统[15].图 4所示为变电站分层结构，各层安放智能电子设备 (intelligent electronic device，IED) 以实现变电站自动化.以IEC 61850中提出的D2-1变电站为例进行建模，图 5是D2-1变电站通信网基本结构，其网络拓扑图见文献[16].
|
| 图 4 变电站分层结构 Figure 4 Three-tier structure of substation |
|
| 图 5 D2-1类型变电站通信拓扑图 Figure 5 The communication topology of D2-1 Substation |
设定各间隔中包含MU IED、断路器IED (过程层)、保护控制IED (间隔层) 各一个，用一个交换机将它们连接至中央交换机；IEC61850规定站内报文直接映射至数据链路层，IED节点直接取用OPNET中三层模型ethernet_station.站控层需与调度中心通信，取用七层模型ethernet_wkstn，以TCP/IP传输业务.变电站网络模型及各间隔内部模型如图 6，其链路带宽设定为100 Mb/s.
|
| 图 6 变电站网络 (a) 及各间隔内部 (b) 网络模型 Figure 6 The network simulation of substaion (a) and gaps (b) |
站控层对全站过程层IED上传数据进行处理，将业务数据经交换机与CE (customer edge) 路由器发送至PE (provider edge) 路由器，进而至调度中心.变电站业务分为内部通信和与调度中心通信.
1) 变电站内部通信
报文特性如表 2所示，仿真设定采样值及设备状态信息从0秒开始上传，10秒时F1间隔发生故障，跳闸信息从P & C IED传至断路器IED，断路器在10~11 s返回一个GOOSE报文给P & C IED，并且10~11 s时，FTP文件传输开始运行[16].
| 报文类型 | 报文内容 | 大小 | 报文间隔时间 |
| 采样值上传 | MU向站控层传输采样值 | 171字节 | 0.25 ms |
| 设备状态信息 | 全站IED向站控层服务器传输设备状态信息 | 256字节 | 20 ms |
| 跳闸命令 | 间隔内的P & C IED向本间隔内及母线间隔内的断路器IED发送跳闸命令 | 16字节 | 某时刻产生一次 |
| 跳闸回传信息 | 断路器IED收到跳闸命令后向P & C IED返回的一个GOOSE报文 | 64字节 | 跳闸命令到达时产生 |
| 文件传输 | 服务器向各主站传送的大容量文件，是各业务主站与调度中心通信所需的业务原始数据 | 1 M字节 | 300 s |
2) 变电站与省调通信
仿真设定站控层各业务主站从15秒将数据通过中央交换机与CE路由器传输至该变电站PE路由器.主站至交换机至CE这一传输段利用VLAN (虚拟局域网) 的划分可将分属于两个VPN的报文发送给对应的CE路由器.
2.4 网络配置如图 7所示，模型包含1个省调中心 (图中0)、10个地调中心 (1~10局域网内)、2个核心变电站 (根据其实际地理位置，分别在1与8内).
|
| 图 7 电力调度数据网骨干网网络模型 Figure 7 The simulation model of the network |
主要的配置过程分两步：1) MPLS VPN配置；2) 各路由的IP地址及网络协议等配置.配置完成后的网络模型如图 8(图中彩色线为配置VPN后产生的标签交换路径).
|
| 图 8 配置MPLS VPN后的带有标签交换路径的网络模型 Figure 8 The simulation model of the network after configuring the MPLS VPN |
|
| 图 9 主要业务定义 Figure 9 The data definition of main business |
以SCADA (实时监控) 实时监控数据为例，如图 10所示.其他8种业务建模同SCADA，不一一列出.
|
| 图 10 变电站SCADA数据定义 Figure 10 The SCADA data of a power station |
电力调度数据网骨干网的基本路由协议是OSPF，它能使各路由器交换、保存网络的链路状况并建立数据库来获知整个网络拓扑，据此完成路由计算[9].其安全机制是电力通信安全重要环节.文献[17]指出OSPF存在如下几种主要攻击.
1) 篡改Hello报文攻击
OSPF路由器周期性地接收与发送Hello报文，以发现与维护邻居关系.Hello报文中参数错误，会使该报文被邻居路由器丢弃，造成邻居Down.
2) 利用UPDATE报文攻击
攻击者可通过假扮成一个OSPF路由器来注入虚假链路状况，造成OSPF路由域的混乱.
3) 资源消耗攻击
通过不间断的大量发送各种类型的OSPF报文 (如发送包含超长邻居列表的Hello报文)，邻居路由器将需为邻居列表依次创建邻居关系而造成资源耗竭，导致无法工作.
上述3种攻击对调度网业务的影响具有相似性，均会导致骨干网路由器选路异常，本文仅以篡改Hello报文攻击为例进行仿真分析.
3.1 篡改Hello报文的仿真配置依靠Hello报文的发送来建立和维护邻居关系是OSPF的重要机制.Hello报文会被设定一个周期时间 (Hello Interval，默认为10 s) 向邻居路由器发送，而同样会被设定一个接受时间 (Router Dead Interval，默认为40 s)，如果在这个时间内没有收到邻居路由器发送来的Hello报文，则会认为该邻居路由器“死亡”，中断与他的通信.
通过篡改骨干网路由器上的Hello报文发送时间间隔，使其大于其邻居路由器上所设置Router Dead Interval默认值40 s，将会使得该路由器在骨干网的该OSPF区域内被孤立.本文仿真配置由10改为45，如图 11和图 12.
|
| 图 11 Hello报文时间默认参数 Figure 11 The default parameter of Hello message |
|
| 图 12 篡改后的Hello报文参数 Figure 12 Tampered the default parameter of Hello message |
本文仿真基于以下三种攻击场景：省调路由器、地调与核心变电站路由器被攻击.
变电站路由器被攻击后，站内网络通信性能及变电站与调度中心之间的通信性能仿真结果如图 13和图 14.可以看出，当变电站路由器被攻击后，站内MU IED采样值、各设备状态信息、跳闸命令传输正常，以太网整体时延在0.04 ms以内，满足站内通信需求.服务器至各主站的文件传输虽然在设定时间内传输完毕，但主站至调度数据网的流量为0.说明当变电站路由器被攻击时，站内业务依然保持较好的传输性能，但由于变电站路由器的单一性，其与调度中心的通信中断.
|
| 图 13 站内网络通信性能 Figure 13 Network performance in substation |
|
| 图 14 变电站与调度中心的通信性能 Figure 14 Communication performance between substation and dispatching center |
省调路由器被攻击后的仿真结果如图 15.可以看出，当省调SD1路由器被攻击后，网络中最大时延增大了20%，但业务通信量保持不变，网络中最大链路带宽使用率上升.这是由于当SD1停止工作后，连接该路由器的地调1报文会改变传输路径，由1-2-3传输.传输距离增大使得时延增大，又使地调3-省调的骨干链路形成一定的“重载”，导致网络中最大链路带宽使用率增大.但时延仍在毫秒级，仍可保持正常的业务通信.而当省调双台路由器均被攻击时，全网各节点均失去与省调的通信，业务通信量为0，时延无穷大.
|
| 图 15 省调中心的通信性能 Figure 15 Communication performance of provincial dispatching center |
图 16是地调1路由器被攻击后的性能参数变化情况，当地调主路由器被攻击后，由于热备份协议HSRP的生效，数据传输任务转移至备份路由器与备份链路，使得时延略微增大，仍可保持业务通信.当地调双台路由器均被攻击时，该地失去与省调的通信，业务通信量为0，时延无穷大.
|
| 图 16 地调与省调的通信性能 Figure 16 Communication performance between municipal dispatching center and provincial dispatching center |
各类攻击场景下对业务通信的影响总结见表 3.
| 攻击场所 | 破坏程度 | 对通信骨干网络的影响 | 时延变化 | 通信保持 |
| 省调中心 | SD1路由器 | 部分流量传输路径的改变； 网络可靠性降低； 负载不均衡 (SD2侧增大) 整体时延略微增大； |
整体 时延 增大 20% |
能 |
| 双台路由器 | 省调失去与其他所有地区骨干 节点业务通信； |
趋于 无穷 |
不能 | |
| 地调中心 | 主路由器 | 部分流量传输路径的改变； 网络可靠性降低； 业务经备份链路传输； 当地通信时延增大； |
整体 时延 增大 20% |
能 |
| 双台路 由器 |
部分流量传输路径的改变； 整体网络可靠性降低； 该地与省调通信中断； |
趋于 无穷 |
不能 | |
| 核心变电站 | 主路由器 | 部分流量传输路径的改变； 整体网络可靠性降低； 变电站调度业务通信中断； |
趋于无穷 | 不能 |
仿真结果表明：对于只配置了单台路由器的变电站来说，一旦路由器被成功攻击，将直接失去与省调的通信，影响较大.对于地调与省调来说，在单台路由器网络攻击下，网络仍能保持较好的通信性能.而虽然大范围攻击在当前的安防工作下较难发生，但是当省调或地调双台路由攻击一旦发生，将会中断一个地区电力通信业务的传输.因此，对于电力调度数据网来说，保证主、备两台路由器不能同时被攻击是其需要始终维持的安全防护底线.
4 结论OSPF协议是电力调度数据网骨干网所使用的基本路由协议，该协议已被证明可以被攻击而导致路由器失效或路由选择混乱.在当前严峻的网络安全威胁形势下，必须考虑攻击状态下调度数据网的生存性问题.本文在OPNET仿真软件中搭建了一个基于某省真实环境的调度数据网仿真模型，通过对OSPF协议中的Hello报文进行篡改的方式对该调度数据网模型进行网络攻击仿真，总结了在不同攻击场景下对通信传输性能的影响.
网络仿真是研究大型通信网络特性的一种重要方法，可以帮助网络规划和运行部门发现网络的不足和寻求解决方案.然而，过去在我国通信网建设、特别是电力通信网络建设中几乎未被利用.本文设计的仿真分析方法、对路由协议攻击影响的研究方法和结论可为电力调度数据网运维部门改进网络安全性能提供很好的参考.
| [1] | 孙晶. 智能电网及其通信技术[J]. 电力系统通信, 2010, 31(12) : 1–3. SUN J. The Telecommunication technology used in smart grid[J]. Telecommunications for Electric Power System, 2010, 31(12) : 1–3(Ch). |
| [2] | ZHANG B W, BAILLIEUI J. Communication and Control Protocols for Load Networks in the Smart Grid[C/OL].[2016-03-02]. http://www.nt.ntnu.no/users/skoge/prost/proceedings/ifac2014/media/files/1695.pdf. |
| [3] | 廖晨淞, 童晓阳. OPNET仿真及其在电力系统通信研究中的应用[J]. 电气应用, 2010(9) : 52–56. LIAO C S, TONG X Y. OPNET simulation and the application in power system communication[J]. Electrotechnical Application, 2010(9) : 52–56(Ch). |
| [4] | 胡娟, 李智欢, 段献忠. 电力调度数据网结构特性分析[J]. 中国电机工程学报, 2009(4) : 53–59. HU J, LI Z H, DUAN X Z. Structural feature analysis of the electric power dispatching data network[J]. Proceedings of the CSEE, 2009(4) : 53–59(Ch). |
| [5] | 刘守逸.电力调度数据网网络仿真系统设计与实现[D].沈阳:东北大学, 2013. LIU S Y.Design and Implementation of Simulation System for Electric Power Dispatching Data Network[D].Shenyang: Northeastern University, 2013(Ch). http://www.cnki.com.cn/Article/CJFDTOTAL-NFDW201403019.htm |
| [6] | 江泽鑫, 梁智强. 电力调度数据网的网络仿真研究[J]. 南方电网技术, 2014(3) : 95–99. JIANG Z X, LIANG Z Q. Simulation research of power dispatching data network[J]. Southern Power System Technology, 2014(3) : 95–99(Ch). |
| [7] | 杨光敏, 蔡光卉, 常俊, 等. 基于OPNET的智能配网AMR业务建模研究及仿真[J]. 电力系统通信, 2012(10) : 82–87. YANG G M, CAI G H, CHANG J, et al. Simulation and study of smart distribution network AMR service modeling based on OPNET[J]. Telecommunications for Electric Power System, 2012(10) : 82–87(Ch). |
| [8] | 张文娟, 赵荣彩, 张铮, 等. 一种基于OPNET的DoS攻击模拟技术[J]. 信息工程大学报, 2009(3) : 412–414. ZHANG W J, ZHAO R C, ZHANG Z, et al. DoS attack simulation technology based on OPNET[J]. Journal of Information Engineering University, 2009(3) : 412–414(Ch). |
| [9] | MCEACHEN J C, CHESSER R L. Vulnerabilities in the Open Shortest Path First Interior Gateway Protocol[DB/OL].[2016-03-02]. http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=904121. DOI: 10.1109/MILCOM.2000.904121. |
| [10] | WANGM H. The Security analysis and attacks detection of OSPF routing protocol[C]// International Conference on Intelligent Computation Technology and Automation. Washington D C: IEEE Computer Soceity, 2014:836-839. DOI:10.1109/ICICTA.2014.200. |
| [11] | 薛永强, 郭一兵, 雒宏锦. MPLS VPN在山西电力调度数据网的应用[J]. 电力学报, 2007(1) : 68–71. XUE Y Q, GUO Y B, LUO H J. Research on applying MPLS VPN to shanxi power dispatching data network[J]. Journal of Electric Power, 2007(1) : 68–71(Ch). |
| [12] | 齐聪.鹰潭地区电力调度数据网组网分析及规划[D].南昌:南昌大学, 2012. QI C.Analysis and planning on Electric Power Dispatching Data Network of Yingtan[D]. Nanchang: Nanchang University, 2012(Ch). http://cn.bing.com/academic/profile?id=8ef0bb2cdb5d0787a6d71f6383724aa4&encoded=0&v=paper_preview&mkt=zh-cn |
| [13] | 彭清卿, 向力, 卢长燕, 等. 国家电力调度数据网组网研究[J]. 电力系统自动化, 2004(8) : 10–14. PENG Q Q, XIANG L, LU C Y, et al. Research on the network of national power dispatching data network[J]. Automation of Electric Power Systems, 2004(8) : 10–14(Ch). |
| [14] | 陈敏. OPNET网络仿真[M]. 北京: 清华大学出版社, 2004. CHEN M. OPNET Network Simulation[M]. Beijing: Tsinghua University Press, 2004(Ch). |
| [15] | ZHANG J, GUNTER C A.IEC 61850-Communication Networks and Systems in Substations: An Overview of Computer Science[DB/OL].[2016-02-02].https://www.researchgate.net/publication/229008227_IEC_61850-Communication_Networks_and_Systems_in_Substations_An_Overview_of_Computer_Science. |
| [16] | 张志丹, 黄小庆, 曹一家, 等. 基于虚拟局域网的变电站综合数据流分析与通信网络仿真[J]. 电网技术, 2011(5) : 204–209. ZHANG Z D, HUANG X Q, CAO Y J, et al. Comprehensive data flow analysis and communication network simulation for virtual local area network-based substation[J]. Power System Technology, 2011(5) : 204–209(Ch). |
| [17] | 钟廷龙, 李鑫. OSPF路由协议安全性分析[J]. 微计算机信息, 2005(14) : 15–17. ZHONG T L, LI X. The security analysis for OSPF routing protocol[J]. Microcomputer Information, 2005(14) : 15–17(Ch). |