近几年，伴随《推进互联网协议第六版（IPv6）规模部署行动计划》、《教育信息化2.0》以及《教育现代化2035》一系列重磅文件颁布，IPv6在国内高校范围内获得大面积重点部署。截止2021年11月，我国IPv6互联网活跃用户达到5.685亿，占比约56%，其中双一流大学网站IPv6占比更是达到了近85%^[1]，高校数据中心IPv6网络的管理与运维等问题也随之变为热点与难点，如基于IPv6的攻击已经开始出现，分布式拒绝服务攻击、网络穿透攻击、IPv6加密蠕虫等开始出现于安全媒体，但却没有引起安全界的重视^[2]。

通过建设IPv6网络日志采集平台，采集高校数据中心IPv6网络流量日志、域名系统（domain name system，DNS）日志以及相关网络设备、安全设备等日志，对IPv6地址、端口、应用协议等日志数据进行可视化监控、查询，构建一套以IPv6为研究核心的网络管理运维的可视化的监控体系。在网络安全管理方面，通过日志平台综合分析，能及时了解校园网网络状态、攻击来源、受攻击情况，建立威胁可视化及分析能力，检测出潜在的、恶意的攻击行为^[3]，实现高校数据中心IPv6管理与运维工作的规范化，为高校更好地建设、管理与应用数据中心IPv6网络提供数据依据。

1.   IPv6网络日志采集平台构建

IPv6网络日志采集平台主要采用Cloudera公司的CDH-Hadoop作为核心基础搭建。主要功能是对IPv6网络日志进行数据采集、解析、存储及大数据分析计算，并对日志进行相应的操作和统计，把检测IPv6数据包产生的报警和日志以各种丰富的格式进行记录，以方便查询和分析，可以为网络分析提供依据^[4]。

1.1   CDH-Hadoop概述

Hadoop是一种开源的分布式编程软件框架, 同时还是可以开发运行分布式应用程序、处理大数据的平台，它的2个核心组成部分为HDFS和Map Reduce^[5]。

Hadoop本身是分布式架构，而且本身包括的管理组件数量很多，因而相应的部署和运维的门槛较高，所以市场出现了很多不同公司基于Hadoop再开发的产品。部署较多的有Cloudera公司的CDH、华为的MRS云服务、新华三的H3C DataEngine大数据平台等发行版本。

1.2   平台设计原则

IPv6集成了 IPsec协议，基于IPsec协议可实现IPv6网络的加密通信，但请求注解(request for comments，RFC）规定默认关闭IPsec协议，从而保证了IPv6网络日志采集的数据为非加密数据。本文设计的数据中心IPv6网络日志采集平台主要是采集各类网络设备、系统本身记录存储的IPv6网络相关日志，并进行存储、解析、查询与分析。

高校数据中心IPv6网络日志包括防火墙日志、DNS日志、网站应用级入侵防御系统（web application firewall,WAF）日志以及深度报文检测(deep packet inspection,DPI)设备日志等多种数据源日志，数据量大，且不同厂商日志数据节点分散、格式不统一。从多源IPv6网络日志的特征考虑，平台设计需要满足系统的可扩展性、兼容性以及高效性。

平台进行数据采集设计时，要拥有通用且集成接口，以确保可以兼容各类网络以及安全设备，保障平台未来发展的可扩展性。

平台进行数据解析设计时，应着重考量具备不同的取值方式、兼容不同类型的数据源、过滤冗余数据、提取关键信息的能力。

平台进行数据分析设计时，由于多源IPv6网络日志数据量大，产生的周期短，因此系统需要具备针对海量数据的高速分析处理能力^[6]。

1.3   平台整体架构

IPv6网络日志采集平台由数据采集平台和数据分析平台两部分组成。数据采集平台为数据处理部分，采用Cloudera商用Hadoop集群搭建^[7]；数据分析平台为应用部分，利用B/S架构进行设计开发，采取可编辑式的可视化界面实现数据可视化展现及监控。具体架构如图1所示。

图  1  IPv6网络日志采集平台架构

下载: 全尺寸图片

1.4   平台工作原理

将数据中心核心交换机流量日志数据、DNS解析日志数据、防火墙流量日志数据的syslog通过用户数据报协议(user datagram protocol, UDP)的方式发送到数据采集平台的Flume组件，进行协议解析并将数据以副本的方式存储到数据采集平台的HDFS分布式文件系统上；WAF日志数据以及DPI设备数据库所存储关系型日志数据，则是通过Sqoop组建进行数据导入，进入数据采集平台的Hive中。工作原理如图2所示。

图  2  平台工作原理

下载: 全尺寸图片

所采集到的日志数据，利用数据采集平台进行数据的解析，并进行存储。为了方便对数据采集平台中日志的有效分析及利用，开发日志数据采集平台的数据分析平台功能。

1.5   数据采集平台

数据采集平台部署了Hadoop集群的Flume、Sqoop、HDFS、Hive、Spark等组件，如图3所示，主要功能是采集、解析以及存储IPv6网络日志数据。

图  3  CDH-Hadoop集群各组件运行情况

下载: 全尺寸图片

1.5.1   数据采集

1) 原始日志数据采集

Flume组件是Cloudera提供的日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，主要实时采集非关系型的原始日志数据。

IPv6网络日志采集平台，原始日志数据采集部分就是通过Flume组件对IPv6 的DNS日志、防火墙的日志进行采集。图4为Flume采集过程。

图  4  Flume采集过程

下载: 全尺寸图片

以下是采集过程中所涉及到的配置，业务信息已进行脱敏处理。

① 采集防火墙日志的Flume组件配置

# r4 config

a1.sources.r4.type = syslogudp

a1.sources.r4.channels = c4

a1.sources.r4.host = 0.0.0.0

a1.sources.r4.port = 600

a1.sources.r4.keepFields = true

# c4 config

a1.channels.c4.type = memory

a1.channels.c4.capacity = 10000

a1.channels.c4.transactionCapacity = 1000

# k4 config

a1.sinks.k4.type = FlumeHDFSPathSink

a1.sinks.k4.path = hdfs://xxx.xxx.xxx.xxx:xxxx/user/hdfs/firewall_数据中心_9010/

a1.sinks.k4.rollTimeType = minute

a1.sinks.k4.rollTimePeriod = 10

a1.sinks.k4.batchSize = 100

a1.sinks.k4.isCompress = 0

a1.sinks.k4.channel = c4

② 采集DNSv6日志的Flume组件配置

# r8 DNSv6日志

a1.sources.r8.type = syslogudp

a1.sources.r8.channels = c8

a1.sources.r8.host = 0.0.0.0

a1.sources.r8.port = 621

# c8 config

a1.channels.c8.type = memory

a1.channels.c8.capacity = 10000

a1.channels.c8.transactionCapacity = 1000

# k8 config

a1.sinks.k8.type = FlumeHDFSPathSink

a1.sinks.k8.path = hdfs:// xxx.xxx.xxx.xxx:xxxx/user/hdfs/DNSV6/

a1.sinks.k8.rollTimeType = minute

a1.sinks.k8.rollTimePeriod = 5

a1.sinks.k8.batchSize = 100

a1.sinks.k8.isCompress = 0

a1.sinks.k8.channel = c8

2) 关系数据库日志数据采集

Sqoop组件是一个数据传输工具，专为大数据批量传输设计， 主要用于分布式存储系统与关系型数据库间的数据传递^[8]，在数据源与Hadoop之间进行数据转移时，可以保障数据处理的安全。

由于学校的WAF以及DPI设备均是采用MySQL数据库来存储相关日志，因此数据采集平台通过Sqoop组件对WAF日志数据、DPI日志数据进行采集，导入到Hadoop的 HDFS、HIVE 等数据存储系统。图5为Sqoop导入过程。

图  5  Sqoop导入过程

下载: 全尺寸图片

1.5.2   数据存储

HDFS分布式文件系统提供海量数据分布式存储，由主节点和多个子节点组成，数据存储具有高可靠性和完整性。HDFS基于移动计算的批处理技术，数据的访问采取一次写入多次读取的模式，保证数据的一致性和高吞吐率^[5]。

IPv6网络日志采集平台通过Flume组件所采集到的日志数据会直接存储在HDFS分布式文件系统的不同目录当中，利用开发的数据分析平台对HDFS目录进行查询分析，如图6所示。

图  6  查看HDFS上存储的原始日志格式

下载: 全尺寸图片

1.5.3   数据仓库

Hive是Hadoop的数据仓库工具， 将结构化的数据文件映射为一张数据库表，使用HDFS作为存储底层，Map Reduce作为执行底层，并提供简单的查询功能^[8]。

数据采集平台经过模板对原始日志的处理加工后的数据最终会通过Hive进入数据仓库，以满足Spark SQL的计算需求，如图7所示。

图  7  查看经过解析处理后的日志格式

下载: 全尺寸图片

1.6   数据分析平台

数据分析平台采用B/S架构设计，业务层采用Python Django框架开发，平台存储采用MySQL数据库，表现层使用包括jQuery、Bootstrap、 ECharts等前端技术实现交互，底层通过Java开放的JAR与Hadoop的Spark相关组件进行调度。Spark是基于Map Reduce实现的分布式计算框架，将任务的中间输出及结果保存在内存中， 能更好地适用于数据挖掘与机器学习等需要迭代的环境^[8]。

数据分析平台总体功能划分为数据解析功能、数据查询功能以及数据分析功能。部署环境在Linux操作系统（Ubuntu 14.0.4+）Docker模式下一键式安装和管理。

1.6.1   数据解析

数据解析功能主要是采用图形化界面的操作方式，通过调用已建立的Spark离线任务、Spark Streaming流式任务将采集防火墙、DNS的IPv6非结构化网络日志数据解析为结构化数据，存储到Hive数据库中，如图8所示。

图  8  日志解析模块

下载: 全尺寸图片

1.6.2   数据查询

1) 防火墙IPv6流量访问明细查询

可以实时查询并展示防火墙中保存的IPv6访问数据，包括源地址、目的地址和目的端口，对热点业务进行分析，如图9所示。

2) WAF IPv6流量过滤明细查询

可以实时查询并展示WAF中保存的IPv6攻击数据，包括源地址与端口、目的地址与端口，对攻击进行分析溯源。如图10所示。

1.6.3   数据分析

采用图形化界面操作，通过调用Spark SQL对异构数据源（Hive、MySQL）进行数据抽取转换、处理以及分析计算，并将最终结果输出到结构化数据库Hive中，如图11所示。另外表1为经过计算后的样例数据。

图  9  防火墙IPv6流量访问明细查询

下载: 全尺寸图片

图  10  WAF IPv6流量访问明细查询

下载: 全尺寸图片

图  11  通过Spark SQL的技术结果预览

下载: 全尺寸图片

2.   可视化监控分析

对IPv6网络流量日志解析获取时间、协议、应用、源地址及端口号和目的地址及端口号等相关数据，并进行联合数据分析。通过分析结果的可视化展示，可以效率化分析研判网络安全威胁^[9]，使高校数据中心运维人员通过更直观地发现IPv6流量传输的规律、分析某段时间内网络的负载情况、观察上网用户的行为趋势、发现网络中的异常甚至防范网络攻击等。从而方便运维人员对IPv6网络的管理和运维^[10]。

本文结合数据可视化监控需求和数据变化影响关系，利用JAVA开发语言中的可视化展现插件，与日志分析平台进行融合，开发设计可视化监控分析功能，形成具有编辑能力的数据展示监控平台。

具体功能如下：

1) 高校数据中心24 h内IPv6源地址访问分析

可以展示访问数据中心的来源地址数据，统计IPv6地址来源详情，如图12。

图  12  数据中心24 h内IPv6源地址访问分析

下载: 全尺寸图片

2) 高校数据中心24 h内IPv6 目的地址访问分析

可以展示数据中心内部地址被访问详情，统计内部IPv6业务访问情况，如图13。

图  13  数据中心24 h内IPv6目的地址访问分析

下载: 全尺寸图片

3)高校数据中心24 h内IPv6端口访问分析

可以展示数据中心内部端口被访问详情，统计未知端口被扫描和攻击情况，如图14。

图  14  数据中心24 h内IPv6端口访问分析

下载: 全尺寸图片

4)高校数据中心24 h内IPv6 地址攻击详情

可以展示数据中心内部地址被攻击详情，及时对攻击主机进行加固和安全防护，如图15。

图  15  数据中心24 h内IPv6 地址攻击详情

下载: 全尺寸图片

5)高校数据中心24 h内IPv6源地址攻击详情

可以展示IPv6地址攻击数据中心内部详情，对攻击来源进行溯源和封堵，如图16。　　　　　　　

图  16  数据中心24 h内IPv6 源地址攻击详情

下载: 全尺寸图片

3.   结论

随着IPv6协议不断完善和国内外对IPv6网络及应用的加快推进和部署，对于走在科技前沿的高等院校来说，将迎来IPv6网络及应用的快速建设和全面实施。由于当下主流的网络与安全的软硬件设备都对IPv6协议有较好支持，设计实现的数据中心IPv6网络日志采集平台，能够实时统一采集存储各类软硬件IPv6日志信息，快速高效查询分析日志信息，既减轻高校数据中心IPv6网络管理运维的工作体量与复杂度，又可通过对日志数据的关联分析，为IPv6网络攻击的检测预警工作提供依据。未来可采集更多类型的数据中心网络及应用的IPv6日志，继续对日志数据进行深度挖掘与分析，为高校数据中心IPv6网络的管理运维和安全监测提供全面详细的数据支撑。