在水、陆、空三类物流系统中,水运一直以运量大、占用陆地资源少、单位能耗最低、对环境污染较小等优势占据独特地位,在整个物流体系中发挥了极大的作用。
然而,面对需求的急速增长,原有的水运方式的瓶颈逐渐显现,例如资源整合度不够,重复利用,效率低等。现阶段国内跨区域水运信息管理服务系统尚没有实现整合,部门、区域间职能重叠交叉,数据无法共享,统一规划进展十分缓慢,顶层设计欠缺,一些关键技术研究不够深入,极大地制约了船运行业的发展。因此加快跨区域型船联网的建设势在必行[1]。
本文研究了船联网的体系结构、信息资源规划和数据共享机制,在此基础上,设计并实现了跨区域型船联网数据资源整合及统一管理系统。
1 船联网体系结构 1.1 物联网技术物联网利用具有感知能力、执行能力和处理能力的传感器设备,通过互联网实现实体信息的采集、协同、处理和传输[2]。物联网是开放型架构,支持各种以互联网为基础的应用,具有智能处理、可靠传输、全面感知的特征。物联网通用结构体系分为应用层、传输层和感知层,并结合安全标准及保障体系。
1)应用层。该层以计算机技术、云计算技术为基础,实现对海量数据的及时处理,保障人与物之间的沟通。该层的关键是将信息技术和行业进行融合,实现数据的共享,主要应用于环境监测、智能交通、医疗等领域。
2)网络层。该层的主要作用是连接感知层和应用层,实现对感知层采集信息数据的实时传送。该层分为核心网、承载网和接入网,其中,对于接入网而言,有无线接入和有线接入2种方式。在整个物联网体系中,网络层的标准化程度最成熟。
3)感知层,该层是物联网体系中的核心部分,实现全面感知功能。主要利用RFID读写、传感器、M2M终端、GPS、北斗定位等方式实现外界信息的感知、识别和采集。和传统信息采集系统相比,感知层具有更敏感、更全面的感知能力,同时,具有低功耗、低成本的优势。
4)安全标准及保障体系,该体系为物联网系统的正常运行提供安全措施。物联网的每一层都有其自身的安全需求和对应的安全架构,由于物联网是几个层面的融合体,所以,除了每层存在安全问题之外,对于整个物联网系统而言,也需要考虑其安全架构,应建立相应的安全标准和保障体系,完善安全防护措施,提升保障水平。
1.2 船联网结构跨区域型船联网结构主要由展示层、应用层、数据层、网络层和感知5个层次组成[3]。各层的主要功能如下所述:
1)展示层。该层是面向用户的服务窗口,为系统用户提供界面友好、风格统一的虚拟平台,实现各应用系统的功能和界面整合,为用户提供综合信息服务。该层主要通过船载智能终端、广播、智能手机、公共信息平台、网站、AIS、VHF等信息发布设备,以按需推送或者主动推送的方式为用户提供各种服务。
2)应用层。该层利用云计算技术、大数据技术和中间件等,对数据层数据进行分析、处理及计算等工作,为船舶管理部门、船舶航运企业等提供跨区域、跨系统的信息服务,提高各业务流程的效率。该层主要由物流信息系统、监测预警平台、公共信息平台和跨区域交通控制平台等组成。
3)数据层。该层是整个跨区域船联网的数据资源整合及统一管理系统的核心,主要责任是对感知层获取的数据进行存储、管理和分析,同时,为上层提供数据服务。该层主要由跨区域数据集群、跨区域数据交换、跨区域数据服务、跨区域数据分析、跨区域数据管控和跨区域数据共享等6个平台组成。
4)网络层。该层是整个跨区域船联网的数据资源整合及统一管理系统的基础,也是船联网中各个应用平台的基础。根据水上通信的需求和船联网链路的移动性、脆弱性等特点,船联网的网络层由核心网络层和接入网络层构成,其中,核心网络层主要包括航运主管部门间的网络和各数据中心间的网络,接入网络层主要包括船岸通信、船船通信、感知设备与数据中心间的通信。通过建立统一、合理、可靠的基础网络层,实现信息的共享和交换,为数据层、应用层等提供服务支撑。
5)感知层。该层主要是利用传感器、RFID、GPS、AIS、北斗、智能视频检测分析等高精度感知技术和船载终端、智能岸基、视频图像识别等船舶运行状态感知设备,准确快速获取船舶运行环境、船舶状态、基础设备等信息,并将获取的信息发送到船联网中的公共信息平台、物流信息平台、船舶航行预警平台等系统,实现船舶运行环境的信息实时采集、分析、处理及检测功能,为船联网提供数据支撑。
2 数据资源整合及统一管理系统 2.1 数据资源整合船联网数据资源整合及数据管理系统的基础是信息资源的规划(Information Resource Planning,IRP),如图 1所示。跨区域型船联网IRP主要面对水上运输业,以水上运输业务为基础,对数据和业务架构进行规划,定义数据模型,确定数据对象和关系,建立数据模型,支持资源共享,优化资源流程,为数据整合和管理奠定基础[4]。
系统以TOGAF作为参考模型,采用OSMA方法对业务流程、服务等进行分析,采用ADM方法建立系统架构,包括数据架构、技术架构、应用架构和业务架构。
TOGAF主要包括基本框架、ADM架构方法、参考模型。其中,ADM方法属于迭代开发方式的一种,具体步骤包含预备阶段、业务架构、系统架构、解决方案、规划迁移、需求管理等阶段。
船联网TOGAF框架分为如下3个阶段:
1)准备阶段,对用户需求进行调研,了解当前现状和目标,掌握架构建立的约束条件及需要遵循的原则。
2)规划阶段,主要是对系统架构、业务架构和技术架构进行具体规划,其中,系统架构包含了应用及数据两大部分;业务架构是利用需求分析得出系统的目标业务,进而得到业务功能、组成及流程等;技术架构是系统实现的技术支撑,包含物理技术和逻辑技术等构件。
3)实现阶段,该阶段是指定规范和标准,给出具体措施和解决方案。
2.2 数据共享策略和机制跨区域船联网数据资源共享主要通过数据服务和交换平台实现跨业务、跨区域的数据共享。数据共享策略主要分为批量加载和实时同步2种。
1)批量数据共享策略。该策略适用于主数据管理、源数据获取和数据容灾等应用场景。批量数据共享策略通过数据加载、转换和抽取等过程实现数据同步或异步的数据获取、清洗、交换和聚合,以此来支撑数据的分析和共享应用。
2)实时数据同步策略。该策略以SOA架构为基础,将数据以接口的形式提供给业务系统,这样可以在数据不落地的前提下实现数据的实时获取及跨业务协同。
数据共享机制包括分类分级、内容更新和请求共享机制。
1)分类分级数据共享机制。分类是根据主航运数据模型将数据资源分为基础数据、环境数据、业务数据和感知数据。分级是在每类数据中,计算数据共享需求热度,以此为基础来划分数据等级。
2)内容更新机制。通过数据ETL和同步结合的模式,实现节点待同步数据更新到数据中心。
3)请求共享机制。通过数据ETL和同步结合的模式,实现从中心节点交换数据到本地。
3 系统设计跨区域型船联网的数据资源整合及统一管理系统架构如图 2所示,对于数据资源首先要进行抽取,再进行数据清洗,然后对数据格式进行统一化处理,以保证数据在处理过程中的健壮性,并以面向主题方式对数据进行加载和存储。涉及技术方法如下:
1)实时数据同步。以数据库实时日志为基础,实现数据的在线采集、处理和分析,并将信息以事务作为基本单位进行实时数据同步,从而达到目标数据库和源数据库的同步。
2)增量数据处理。在船联网中,需要处理海量数据,增量数据处理技术能够有效降低基础设施的使用率。增量数据处理主要利用时间戳、日志对比和全表对比等技术实现变化数据的捕获。
3)数据清洗技术。对于不能满足要求的数据,需要进行清洗和转换处理。系统对数据进行组件化处理,以便于数据的加工和转换。
4)异步装载技术。在目标数据库进行数据装载过程中,通常存在I/O操作瓶颈的问题,为此,先利用缓存实现数据传输,再根据数据库写入情况,利用队列机制实现数据异步装载操作。
4 结语在物联网技术广泛应用于船舶管理领域的背景下,如何提高跨区域型船联网数据资源整合及统一管理系统的数据协同和共享能力是本文研究的重点。本文将资源规划和数据共享机制应用于系统中,有效提高了系统的性能。
[1] | 董耀华, 孙伟, 董丽华, 张成雷. 我国内河"船联网"建设研究[J]. 水运工程, 2012 (8): 145–149. |
[2] | 樊娜, 赵祥模, 王青龙. 船联网数据融合的信任模型[J]. 交通运输工程学报, 2013, 13 (3): 121–126. |
[3] | BUCKL S, ERNST A M, MATTHES F. Using enterprise architecture management patterns to complement TOGAF[J]. IEEE International, 2009 (9): 34–41. |
[4] | DEAN J, GHEMAWAT S. Mapreduce:simplified data processing on large clusters[J]. Communications of the ACM, 2008, 51 (1): 107–113. DOI: 10.1145/1327452 |