舰船科学技术  2021, Vol. 43 Issue (6): 130-133    DOI: 10.3404/j.issn.1672-7649.2021.06.024   PDF    
高可靠性舰艇网络组网方案研究
胡士毅, 袁国材, 范颖     
中国船舶集团有限公司 第七二二研究所,湖北 武汉 430205
摘要: 舰艇网络业务种类多,工作环境复杂,传统的组网方案倾向于划分为作战/通信/平台等若干个分散部署的专用网络,专用网络体制之间的不兼容带来了整个舰艇网络架构的臃肿、互联互通的困难和可靠性上的降低。为了解决这些问题,需要研究新一代的、采用统一的高可靠性的扁平化网络架构,以实现多种业务在统一网络平台上的分布式接入、交换和路由。本文借鉴成熟的商用IP网络的组网技术,针对舰艇网络的特定需求,讨论了2种高可靠性的组网方案,即设备堆叠和MPLS EVPN,并通过故障恢复时间试验,对它们进行分析和比较。试验证明,这2种组网方案各有优缺点,但都能更好地满足舰艇网络的组网需求,具有广泛的应用前景。
关键词: 设备堆叠     MPLS标签     EVPN多归    
Research on high reliable shipboard networking scheme
HU Shi-yi, YUAN Guo-cai, FAN Ying     
The 722 Research Institute of CSSC, Wuhan 430205, China
Abstract: There are many kinds of shipboard network services and complex working environment, the legacy networking schemes tend to be divided into operational/communication/platforms and other decentralized dedicated networks. The incompatibility between the specialized network systems brings about the bloated structure of the whole shipboard network, the difficulty of interconnection and the reduction of reliability.In order to solve these problems, it is necessary to study a new generation of flat network architecture with unified high reliability to realize distributed access, switching and routing of various services on unified network platform. According to the specific requirements of shipboard network, this paper draws lessons from the mature networking technology of commercial IP networks, and discusses two kinds of high reliability networking schemes, namely, device stacking and MPLS EVPN, and analyzes and compares them through fault recovery time test.The test results show that the two schemes have their own advantages and disadvantages, but they can better meet the needs of shipboard network, and have a wide application prospect.
Key words: device stacking     MPLS label     EVPN multihoming    
0 引 言

舰艇网络是舰艇信息系统的重要基础设施,面向作战/平台/通信/航保等多种应用需求,业务种类多、服务质量要求差异大。随着舰艇装备的不断升级换代,基于信息系统的体系作战对舰艇网络的集成度和可靠性提出了更高的要求。提高集成度意味着统一的网络拓扑,更少的网络层级,更少的部署空间,更高的端口密度和交换容量,部署面向全舰的网络基础服务设施。统一的网络拓扑有利于打破“烟囱”式垂直系统和分散部署的各种专用网络。通过VLAN和VPN等虚拟网络技术,各应用系统的业务和流量可按需互联互通和安全隔离,部署差异化的QOS和安全性策略。传统的舰艇网络分为接入/汇聚/核心三级架构,集成度提高以后,可简化为接入/核心两级架构,可以显著减少电缆数量、设备数量和设备占用空间,提升网络资源利用率。

与此同时,网络的高可靠性一直是体系作战的核心诉求之一。在复杂恶劣的作战环境中,舰艇网络各节点和链路发生故障时,如何增强抗毁能力,减少网络故障恢复时间,成为舰艇网络设计的重要目标。传统的舰艇网络各业务系统单独组网,可靠性保护机制互不兼容,比如对于二层业务来说,有的网络采用以太网环网保护机制,有的网络采用MSTP生成树保护机制。构建统一的网络拓扑以后,各种二三层单播/组播/广播业务流量均在接入/核心两级架构中混合传输,如何提供统一的高可靠性,是一个比较大的技术挑战。这主要表现在2个方面:

1)在三级架构中,核心层部署三层路由协议及三层保护协议,汇聚层部署二层交换协议及二层保护协议,因此发生故障时,二层保护协议和三层保护协议一般同时触发,不存在协议同步的问题。而在两级网络架构中,汇聚层被简化,二层流量汇聚点上移到核心层,核心层既要承担三层路由功能又要承担二层交换功能,因此核心层发生故障时,会同时触发二层保护协议和三层保护协议,存在协议同步的问题,显著增加了故障保护的难度。

2)由于电子设备和武器系统的升级,信息节点之间传输速率越来越快,对网络故障恢复时间的要求也越来越高,不少故障场景的恢复时间需要达到50 ms以下,达到甚至超过了电信核心网络的可靠性要求。

传统以太网组网一般采用MSTP作为二层保护协议,采用OSPF和VRRP作为三层保护协议,但存在链路阻塞和收敛速度较慢的问题。本文针对两级扁平化的组网需求,讨论了2种目前常用的高可靠性组网方案:一种是基于设备堆叠技术,另一种是基于MPLS EVPN技术。本文分别讨论这2种方案,并对2种方案的优缺点进行分析和评估。

1 设备堆叠 1.1 方案概述

2台核心交换机虚拟成一个堆叠组,堆叠组内采用2条以上的堆叠线缆互联,堆叠组之间通过链路聚合的方式互联。舰艇平台的业务通过接入交换机接入网络,接入交换机通过链路聚合的方式双归接入核心层堆叠组。典型组网方案如图1所示。

图 1 设备堆叠组网 Fig. 1 Device stacking network

2台相同容量的核心交换机堆叠以后可看作1台2倍容量的核心交换机。堆叠支持跨设备链路聚合(Eth-Trunk)技术,可以将不同成员交换机上的物理以太端口配置成一个聚合端口。这样即使某台成员交换机故障或聚合链路其中一条链路出现故障,也不会导致聚合链路完全失效,从而保证了数据流量的可靠传输,不但解决了堆叠设备单点失效的问题,还极大提高了全网的可靠性。通过堆叠和跨设备链路聚合技术,图1中复杂的网状拓扑可等效为图2的链状拓扑,因此二三层业务的冗余保护不再需要部署MSTP和VRRP协议。

图 2 设备堆叠组网等效图 Fig. 2 Equivalent diagram of device stacking network
1.2 业务转发及故障处理

对于二层单播/广播业务,可在接入交换机与核心交换机之间、核心交换机之间开启VLAN透传功能。对于三层单播业务,可在核心交换机上配置IP网关,开启OSPF路由协议,并配置相应的BFD双向快速检测机制。对于组播业务,可在核心交换机上配置PIM组播路由协议和IGMP组播管理协议,并在接入交换机上配置IGMP Snooping防止组播报文在VLAN内广播。

网络故障处理由设备堆叠协议完成,设备堆叠协议主要功能包括主备选举、转发表同步和协议状态同步,分4种情况讨论:

1)接入交换机与核心交换机互联链路故障

接入交换机与核心交换机互联链路采用了链路聚合机制,由设备堆叠协议将跨设备的物理端口虚拟到一个链路聚合组中,通过默认的哈希算法将流量均匀地分担到聚合组链路上,任一链路故障可自动切换到其他冗余链路上传输。

2)核心交换机堆叠链路故障

核心交换机堆叠链路负责传输设备堆叠协议的控制报文和数据报文,控制报文主要包括主备心跳报文检测、二三层转发表的同步和协议状态的同步信令,因此堆叠链路发生故障可能产生双主故障(即同时存在2个主交换机),导致整个网络状态异常。所以核心交换机上需部署多条冗余堆叠链路,并配置双主检测功能。

3)核心交换机互联链路故障

核心交换机互联链路采用了链路聚合机制,由设备堆叠协议将跨设备的物理端口虚拟到一个链路聚合组中,通过默认的哈希算法将流量均匀地分担到聚合组链路上,任一链路故障可自动切换到其他冗余链路上传输。

4)核心交换机宕机故障

设备堆叠协议中的核心交换机分为主备2种角色,主用交换机负责运行控制协议,计算二三层转发表,并将转发表项同步给备用交换机,备用交换机负责检测和备份主用交换机的控制协议状态,执行二三层转发表。因此,如果备用交换机宕机,堆叠组的控制协议不受影响,仅仅通过链路聚合机制,可将流量切换到主用交换机的链路;如果主用交换机宕机,备用交换机通过主备选举升为主用交换机,激活备份的控制协议,重新计算二三层转发表的出口,将流量切换到备用交换机。

2 MPLS EVPN 2.1 方案概述

该方案采用数据中心网络中常用的MPLS EVPN网络架构。MPLS EVPN通过以下特性支持高可靠性组网:

1)采用扩展的BGP作为服务信令协议,使不同站点间的MAC地址/IP地址学习和发布过程从数据平面转移到控制平面,由此带来的好处是,本地接口发生故障,只需回撤BGP路由,大大加快了MAC地址的刷新速度,缩短了业务故障恢复时间。

2)EVPN采用MPLS标签分发作为数据平面,因此具备50ms电信级故障恢复能力。

3)EVPN自带接入交换机多归接入核心交换机的解决方案,支持高可靠性冗余连接。

核心交换机两两互联构成全连接拓扑的核心层,接入交换机作为用户设备,双归接入核心层。典型组网方案如图3所示。

图 3 MPLS EVPN组网 Fig. 3 MPLS EVPN network
2.2 业务转发及故障处理

EVPN采用集成路由和桥接(IRB)接口将二层网络和三层网络紧密结合,IRB接口可以分布式部署在与核心交换机的下行汇聚端口上,因此在双归接入的应用场景中,不再需要部署复杂的VRRP冗余网关。EVPN的三层网关对内负责各二层广播域之间的三层路由,对外负责与非EVPN的网络三层互通。EVPN的三层网关之间使用扩展BGP协议控制路由信息的引入和发布,控制粒度可以细化到某一条特定的IP前缀,因此具备较好的灵活性和安全性。

对于二层单播/广播业务,接入交换机只需配置VLAN二层转发功能,核心交换机配置与VLAN绑定的EVPN实例。对于三层单播业务,可在核心交换机的EVPN实例上配置IP网关,并配置相应的BFD双向快速检测机制。对于组播业务,可在核心交换机的EVPN实例上配置IGMP Snooping和IGMP Proxy功能,并在接入交换机上配置IGMP Snooping,控制组播源的报文仅发送给需要这些报文的设备。

在网络故障处理方面,主要依靠BFD双向快速检测进行故障快速检测,然后采用扩展的BGP协议快速发布MAC/IP路由的更新消息,分4种情况讨论:

1)接入交换机与核心交换机互联链路故障

接入交换机与核心交换机互联链路采用了EVPN多归技术,任一链路发生故障即时发布BGP撤销类型的以太自动发现路由,向对端通告不可达状态。当对端收到以太自动发现路由后,自动切换到其他冗余链路上传输,这样可以避免逐条发送MAC/IP路由撤销信息,大大减少了收敛时间。

2)核心交换机互联链路故障

核心交换机之间配置BGP路由协议和标签分发协议LDP,并配置BFD for BGP和BFD for LDP,BFD心跳检测间隔时间最快可达3.3 ms。发生链路故障时,BFD快速检测到链路故障,并上报给BGP协议和LDP协议,然后BGP和LDP协议联动,实现MPLS快速重路由功能,将流量快速切换到冗余链路上。

3)核心交换机宕机故障

EVPN多归接入组的核心交换机分为主备2种角色。如果备用交换机宕机通过跨设备链路聚合机制,可将流量切换到主用交换机的链路。如果主用交换机宕机,备用交换机通过主备选举机制升为主用交换机,将流量切换到备用交换机的链路,同时,BFD快速检测到宕机故障后通知对端核心交换机,实现MPLS快速重路由功能,将对端发送的流量快速切换到备用交换机。

3 故障恢复时间试验

为了比较2种方案的故障恢复时间,按照图1图2搭建试验环境,使用网络测试仪模拟二三层单播/组播/广播混合流量,分别产生1.2节和2.2节所述故障场景各5次,通过统计发生故障时丢包数计算平均故障恢复时间。试验结果如表1所示。

表 1 故障恢复时间试验 Tab.1 Failure recovery time test

表1可以看出,MPLS EVPN方案的平均故障恢复时间为10.2ms,所有故障场景的恢复时间均小于50ms,设备堆叠方案的平均故障恢复时间为66.2ms,部分组播业务的故障恢复时间大于50ms,因此MPLS EVPN方案明显优于设备堆叠方案。这主要是因为设备堆叠本质上还是一种设备级的冗余保护机制,而MPLS EVPN采用的是网络级的冗余保护机制。在故障检测方面,MPLS EVPN采用了BFD快速检测,可以显著缩短故障检测时间;在故障恢复方面,MPLS EVPN采用了快速重路由技术,将预先计算的备份路径写入路由表,省去了传统IP路由协议重新学习路由的时间,使流量能够更快地切换到备份路径。

4 方案比较分析

MPLS EVPN方案的优点如下:

1)故障恢复时间更短,可以达到50 ms以内;

2)设备之间采用标准协议,不同厂家的设备可以混合组网;

3)设备之间支持任意拓扑结构,扩展性好。

MPLS EVPN方案的缺点主要是IP/MPLS控制信令的配置比较复杂,组网成本较高。

相比之下,设备堆叠方案的优点在于配置简单,组网成本不高,但存在如下缺点:

1)设备之间采用私有协议,不同厂家的设备不能混合组网;

2)设备之间的堆叠链路不能中断,否则会产生双主故障引起网络状态混乱;

3)堆叠数量有限制,并且堆叠拓扑只支持环状和链状拓扑,不支持网状拓扑;

4)故障恢复时间较长,部分场景不能达到50 ms以内。

5 结 语

舰艇网络技术近十年间的演进,是在传统以太网向以数据中心为主的SDN网络转型的大背景下展开的。本文讨论了2种常见的组网方案:设备堆叠和MPLS EVPN,前者是主要是从设备层面对可靠性进行增强,后者则是随着SDN网络兴起的一种新型网络架构,因为转发层使用了MPLS技术,所以具备端到端的高可靠性。实际上,随着SDN网络的进一步发展,一些控制信令更简单的端到端转发技术正逐渐兴起,比如IPv6版本的SR分段路由技术(SRv6),由于使用了源路由技术,SRv6核心交换机上不需要维护复杂的路径状态,使用和维护更加简单。因此,如何在舰艇网络中部署包括SRv6在内的下一代SDN网络技术,进一步提高舰艇网络的可靠性和可用性,是未来值得研究的方向之一。

参考文献
[1]
张晨. 云数据中心网络与SDN技术架构与实现[M]. 北京: 机械工业出版社, 2018.
[2]
Antonio Sanchez-Monge, Krzysztof Grzegorz Szarkowicz. MPLS在SDN时代的应用[M]. 北京: 人民邮电出版社, 2017.
[3]
国际互联网工程任务组(IETF). Requirements for Ethernet VPN(rfc7209)[S]. 2014.
International Internet Engineering Task Force(IETF). Requirements for ethernet VPN(rfc7209)[S]. 2014.
[4]
国际互联网工程任务组(IETF). BGP MPLS-Based Ethernet VPN(rfc7432)[S]. 2015.
International Internet Engineering Task Force(IETF). BGP MPLS-Based ethernet VPN(rfc7432)[S]. 2015.
[5]
华为技术有限公司. NE20E-S4 V800R011C00SPC200产品文档[Z]. 2017.
Huawei Technology Limited. NE20E-S4 V800R011C00SPC200 product documentation[Z]. 2017.
[6]
宋修军. 基于分布式交换机跨网络堆叠的研究与实现[D]. 南京: 南京邮电大学. 2016.
Song Xiujun. Research and Implementation of Cross-network Stacking Based on Distributed Switch[D]. Nanjing: Nanjing University of Posts and Telecommunications. 2016.
[7]
祝陈. 浅谈交换机的级联与堆叠的不同应用[J]. 数字技术与应用, 2010(5): 93-95.
Zhu Chen. The different applications of cascading and stacking of switches[J]. Digital technology and applications, 2010(5): 93-95.
[8]
张军, 缪克银. 舰船通信网络对抗过程中抗毁性估计模型仿真[J]. 舰船科学技术, 2017(8): 70-72.
Zhang Jun, Miu Ke-yin. Simulation of invulnerability estimation model of ship communication network during confrontation[J]. Ship Science and Technology, 2017(8): 70-72. DOI:10.3404/j.issn.1672-7649.2017.08.015