舰船科学技术  2018, Vol. 40 Issue (2): 90-95   PDF    
基于云计算的海洋综合性试验船大数据处理模式探讨
李刚, 黄斌, 颜耀, 张国政     
连云港杰瑞深软科技有限公司,江苏 连云港 222000
摘要: 为探索智能船舶在信息化和智能化应用上的深度,对其中的海洋综合性试验船的智能化改造进行具体研究,来推动智能船舶的良性发展。海洋综合性试验船的发展正由信息化向智能化转变,而试验数据的利用频率越来越高,以云计算为平台,预测技术为核心的智能试验船发展必将产生重要影响。为构建合理的海洋综合性试验船云计算模型架构,将参照它在信息化建设中存在的问题,将复杂的、异构的大数据进行信息融合,并根据这些特点,对海洋综合性试验船大数据处理模式的应用可行性分析,继而提出合理的云数据平台架构,满足海洋综合性试验船日常的数据分析,最后,结合实际应用,验证了该方法的有效性,提高了海洋综合性试验船的信息处理效率。
关键词: 云计算     大数据     云计算框架     数据处理    
Studies of ocean scientific-research shipbig datainformation processing model based on cloud computation
LI Gang, HUANG Bin, YAN Yao, ZHANG Guo-zheng     
Lianyungang Jari Deep-Software Technology Limited Company, Lianyungang 222000, China
Abstract: By exploring the intelligent ship‘s informatization and intelligentize, specially in the ocean scientific-research ship, soas to promote the development of the intelligent ship.Oceanscientific-research shipis turning from informationization to intelligentize, the big data of oceanscientific-research shipis used frequencily, the big data’s application plays an important role in theintelligent ship, the core technology mainly includes the cloud computation and intelligent prediction.To build a reasonable cloud computing model architecture of the oceanscientific-research ship, it will refer to theexisting problems and character.based on the current situation, it can verify the feasibility of the big data processing model, and then it puts forward areasonable cloud data platform architecture and meets the daily data analysis, at last, it can be usedin the practical application, the test result proves the effectiveness of the proposed method.it improve the efficiency of the information processing of oceanscientific-research ship.
Key words: cloud computation     big data     cloud computation framework     data processing    
0 引 言

随着云计算、大数据分析、深度学习等高新技术的快速发展,信息化产业领域变革也在进行之中,也推动了制造工业等相关领域的智能化革命。德国人优先提出了“工业4.0”,加速传统工业的服务化转型,我国则推出了《中国制造2025》,加快高新信息技术和生产制造的深度结合,推动智能制造发展。而高新技术船舶则是重点发展对象之一。

目前我国船舶制造业的发展还有很大提升空间,正由自动化产线向智能化生产转变,针对这一情况,船舶行业将率先对高新船舶的智能化方面做尝试,以带动这个行业的良性发展。依据智能船舶大数据来探索制造业的新的发展模式和新的价值,创造适合我国行情的船舶4.0。而海洋性综合试验船(后文简称试验船)信息化基础较为完善,可在此基础上进行深度开发,为智能化道路的探索做出贡献。

智能船舶的发展依托云计算、大数据分析等相关技术,具备数据的实时传输、高计算、远程共享、数学建模等功能应用。考虑试验船的云计算应用处于初级阶段,拟结合试验船本身的数据特征来设计试验船的大数据处理架构,提高试验船的工作效率[1-2]

1 试验船信息化基础概述

试验船的信息化基础是该船的重要组成部分,目前的建设成果主要是解决试验船的数字化和信息化,而对大数据的信息融合则处在了瓶颈阶段,探索解决这类数据处理问题,成为了试验船目前的一个重要研究方向。

试验船信息化基础架构一般由“后端平台”,“四系统”组成,具体如图1所示。目前传统的试验船IT建设模式依据这4个子系统独立建设,各应用平台在数据融合和数据交互上存在很大难度。

图 1 试验船信息化基础架构 Fig. 1 The infrastructure of Ocean Scientific-Research Ship's informatization

“后端平台”是整个IT建设的核心部分,将前端采集的各类别数据按照业务需求进行分类应用和存储。

“四系统”是指试验船智能信息化系统下辖的4个应用系统,分别是试验单元系统、公共信息服务系统、作业监控系统、远程交互系统。试验单元系统主要是在海洋环境下,对各试验物理条件中设备的行为及环境信息的研究,具体以各试验船自身的业务决定。公共信息服务系统,则是对试验船人员和设备的管理业务应用,包括静态管理和动态管理,静态管理部分是指该试验船的相关登记资料,动态管理则是对运行过程中,船舶交通系统中存在的情况进行实时通知和管理。作业监控系统,是指对试验船工作情况下,设备以及物理环境的实时监控,做到监督船舶的航行情况。远程交互系统,则是试验船对外信息交互的有效方式,可将试验船的实时情况及时发送至离岸指挥中心,做好信息的及时共享。

图2为试验船信息化基础建设中常规的前端采集单元分布情况描述。

图 2 试验船信息化基础建设常规采集单元 Fig. 2 The acquisition unit of Ocean Scientific-Research Ship's information foundation
2 试验船的大数据 2.1 试验船大数据分类

为了更好地解决大数据处理问题,在介绍完试验船信息化基础建设情况下,将对试验船的大数据进行研究,首先要搞清试验船数据的主要类型,它包括动态数据和基础数据2个方面。表1为试验船大数据的相关特征情况的描述。

表 1 试验船数据基本情况 Tab.1 The description of Ocean Scientific-Research Ship's base data
2.2 试验船大数据特点

参照试验船数据类型,对这些数据类型进行特征分析。而随着试验船信息化升级改造,其数据量将呈几何级的增加,无论是存储还是管理,都是一个难题,根据试验船数据类型的分析研究,可推测出其具有如下特点。

1)异构,由于试验船本身的应用系统及业务系统有不同,对应的存储方式和数据库也存在不同,实验平台的不同,也导致了基础操作系统的不同。同时,船岸各自的数据中心也相对独立,数据源也相对独立,试验船的大数据形成了一个大型的异构环境。

2)复杂度高,由于试验船每天的数据至少以TB级别递增进行存储,待处理数据空间复杂度高,而针对试验部分数据,和业务应用有关,结合对应的算法,时间复杂度也高。基础网、试验网等数据类型对应了不同的数据管理模式,对于整个试验船本身来说,大数据的管理难度越来越高。

试验船大数据的大、杂给信息的融合增加了难度,传统的IT建设模式已不能解决。

2.3 试验船大数据业务系统现状

由于目前国内试验船对其大数据的处理模式没有统一标准,同1艘试验船的业务应用不同,对应大数据的处理模式也不同,这在大数据的管理方面会存在一些难题,主要表现在以下几个方面:

1)所选数据库不同(Oracle、SQL server等),及所选的软硬件平台存在差异;

2)由于数据库的不同,对应语义也可能存在同名不同功能;

3)在数据共享方面存在操作难度;

4)数据资源的分散,造船了提取数据的时间量增大及应用的效率变低。

综上所诉,一个统一的高效的数据库处理模式成为迫切要解决的问题,而基于云计算的大数据处理方式可成为一种有效的解决方式,解决大数据的存储、共享和应用。

3 基于云计算的试验船大数据处理模式 3.1 可行性分析

云计算基于网络,根据用户所需提供数据资源,该数据资源的网络称为“云”,具有大规模、虚拟化、通用性、扩展性、高可靠性等特点,有公有云和私有云之分。

“试验船云”将采用私有云的虚拟化技术、分布计算的技术,依据试验资源信息,构建试验船的云库,按需使用,高效共享。与传统的数据处理模式相比,“试验船云”将更自动化和智能化,在复杂度高的大数据面前,可以更高效的数据迁移和配置,后台的分析和处理效率也更快,借助成熟的开源技术,也能更好的将分散资源进行集中化处理。

1)试验船舶高端升级改造在国家“十三五”规划,“中国制造2025”重要产业的顶层设计中有提到,即建设成高效开发试验数据价值、协同管理、综合服务等多功能的高端船舶。

2)云计算技术目前较为成熟,平台建设的难度低,IBM、微软、中国移动、阿里巴巴、华为等公司已有稳定的应用平台,且开源的云平台技术也很成熟。

3)试验船本身基于云计算模式信息处理的可行性比较分析。

表 2 试验船基于云计算比较情况分析 Tab.2 The situation analysis between tradition and cloud computing on Ocean Scientific-Research Ship information construction
3.2 基于云计算的试验船大数据信息处理模式 3.2.1 “试验船云”的整体框架

在对目前较已成熟的云计算技术的研究之后,综合本行业特点,提出了一个基于云计算的试验船大数据处理平台的整体架构,并在此基础上进行数据价值挖掘,搭建一套数据功能架构[3, 4]

“试验船云”云平台主要有基础层、数据层、计算层、应用层、用户层5个部分组成,具体描述见图3

图 3 “试验船云”云计算模型整体框架 Fig. 3 The overall framework of Ocean Scientific-Research Ship's cloud computing model

基础层是“试验船云”的重要组成,支撑了整个云平台的运行。其根据业务应用功能及安全通航需求来提供必备的虚拟硬件,先对各计算域、存储域等设备进行虚拟化处理,将各个节点资源汇入至一体化的网络平台之中,进而虚拟出一个基于云计算的试验船大数据处理平台。

数据层则根据试验船的应用功能及基本航行,选取不同的前端感知设备,将所需的前端设备数据建立云数据库,进而进行调度和分配。

计算层将从数据层中提取有效信息,进而构造数据分析和挖掘的处理应用系统,以获得有效的数据信息,挖掘数据价值。

应用层则结合信息化建设顶层设计的理念,实现基于云计算的试验船大数据综合服务平台,对试验船各应用业务起到重要帮助作用,及完善数据信息要素,做到实时统一的大数据集中管理。

用户层主要包括为试验船服务的对象及试验船业务的服务对象,通过各用户背景不同,提供不同的服务,旨在提高试验船的管理效率。

3.2.2 “试验船云”大数据的功能架构

在“试验船云”整体框架结构完成后,对大数据处理部分将进行优化处理,借助云计算的优势,深度挖掘数据价值,做到辅助决策,从顶层运维角度来管理试验船,做到对船舶的智慧运营。“试验船云”大数据的功能架构分为大数据汇聚层、大数据计算层、大数据服务层、大数据辅助决策。

图 4 “试验船云”大数据功能框架 Fig. 4 The big data functional framework of Ocean Scientific-Research Ship

试验船的大数据汇聚层,主要解决前端感知层各应用数据信息的采集,再通过数据网关来解决异构问题。

大数据计算层是功能架构的核心,计算层依据应用的业务情况搭建大数据库,选择目前较为成熟技术的Hadoop开源平台,基于HDMS实现大数据数据库的分布式文件系统,再利用Hbase来完成各种物理数据的存储,考虑数据的实时性和批量性,将采用Mapreduce和spark流等相关技术。Hive主要功能为数据的分析和数据的查询,为大数据数据库的各种存储表建立索引关系。

大数据服务层则是依托云计算平台衍生出的高级应用服务,利用大数据优势,进行数据信息挖掘,通过数据服务,进而完成整个试验船管理的辅助决策。

大数据决策层,则是依托服务层平台的数据,综合判断,形成一些处理方案和试验的相关优化工作,高效的对船上资源进行调度,也优化了管理流程,是试验船智慧运营的一种方式。

3.2.3 试验台云化应用情况

由于整个试验船的云计算改造,建设工期较长,本次合作项目是国内某试验船的某个试验平台云化改造,配置了1套云平台软件系统、1套工作台(硬盘、服务器、瘦客户端等),保障了云管理服务器至其他服务器的1 Gb网络,存储服务器到云工作站点10 Gb网络。

试验船借助云化试验平台,综合优势较为明显,具体表现如表3所示。图5图6则为云化后的该试验平台应用界面,通过本次初级阶段的项目应用,对试验船来说,大大提高了工作人员的工作效率,也为后期试验船整体云化改造奠定了坚实的基础[5-6]

表 3 试验平台云化优点分析 Tab.3 The analysis of the cloud platform

图 5 云化试验平台实时数据 Fig. 5 The real-time data of the cloud platform

图 6 云化试验平台辅助评估 Fig. 6 The assistant decision making of the cloud platform
4 结 语

本文基于云计算技术、结合大数据的应用背景,同时以预测和评估决策为技术核心,提出了一种适用于试验船的信息化升级方案,并对试验船的信息化基础建设、大数据分类情况和大数据特征进行了详细分析。以及在工程项目中进行应用,取得了较好结果。

在以后的项目开发和深度研究中,将以此基础进行再一步的优化,完善云计算模型的细节,优化辅助决策的应用,为试验船的大数据处理提供更为有效的处理方式,推动试验船的信息化发展,为智能船舶领域做出一定的贡献。

参考文献
[1] 李光正, 宋新刚, 徐瑜. 基于" 工业4.0”的智能船舶系统探讨[J]. 船舶工程, 2015 (11): 58–60.
[2] 刘世江. 运用云计算技术构建" 智慧海事云”[J]. 信息通信技术, 2013 (1): 53–56.
[3] 姜毅, 王伟军, 曹丽, 等. 基于开源软件的私有云计算平台构建, 2013(1): 68–75.
[4] 刘宇. 企业私有云平台构建技术研究[J].2011(6): 37–41.
[5] 罗亮, 吴文俊, 张飞. 面向云数据中心的能耗建模方法[J]. 软件学报, 2014 (25): 1372–1386.
[6] 张小庆, 何忠堂, 李春林. 云计算系统中数据中心的节能算法研究[J]. 计算机应用研究, 2013, 3 (4): 961–964.