舰船科学技术  2023, Vol. 45 Issue (13): 170-173    DOI: 10.3404/j.issn.1672-7649.2023.13.035   PDF    
云计算环境下舰船控制系统大数据有效存储方法
王颖     
江苏航运职业技术学院,江苏 南通 226010
摘要: 船舶控制系统大数据存储节点数量较多,节点分布不均,影响负载均衡性,导致数据存储过程中存在安全性与容错性差等问题,为此研究云计算环境下舰船控制系统大数据有效存储方法。构建云计算环境下船舶控制系统大数据存储架构,利用分布式大数据存储层中的管理引擎采集舰船控制系统数据;通过MapReduce分布式并行模型将所采集的数据划分至分布式数据库内;针对分布式数据库内的数据,采用安全容错存储算法将待存储的数据均匀地划分至相应的硬件层中计算机服务器节点内,完成舰船控制系统数据有效存储。实验结果显示该方法能够实现不同存储节点负载均衡,且具有较好的大数据存储性能。
关键词: 云计算环境     舰船控制系统     大数据存储     MapReduce     分布式并行化     安全容错    
Research on effective storage methods for big data in ship control systems in cloud computing environment
WANG Ying     
Jiangsu Shipping College, Nantong 226010, China
Abstract: The ship control system has a large number of big data storage nodes and uneven distribution of nodes, which can affect load balancing and lead to issues such as poor security and fault tolerance in the data storage process. Therefore, an effective storage method for ship control system big data in cloud computing environment is studied. Build a big data storage architecture for ship control systems in a cloud computing environment, utilizing management engines in the distributed big data storage layer to collect big data from ship control systems in the application layer; Divide the collected ship control system big data into distributed databases through the MapReduce distributed parallel model; For the data in the distributed database, a secure fault-tolerant storage algorithm is used to evenly divide the ship control system big data to be stored into corresponding hardware layer computer server nodes, achieving effective storage of ship control system data. The experimental results show that this method can achieve load balancing among different storage nodes and has good big data storage performance.
Key words: cloud computing environment     ship control system     big data storage     MapReduce     distributed parallelization     security fault tolerance    
0 引 言

舰船控制系统主要功能是实现舰船的导航、通信、目标识别、武器发射与辅助决策等[1]。云计算环境下的舰船控制系统大数据存储方法可以利用云计算的优势,将数据存储在云端,通过分布式存储技术实现数据的高可靠性、高可用性和高性能。同时,云计算环境下的舰船控制系统大数据存储方法还可以提供灵活的存储容量,为舰船控制系统提供更加便捷的数据存储和管理服务。随着信息技术的不断发展,舰船控制系统中的数据量越来越大,如何高效地存储和管理这些数据成为了一个重要的问题。舰船控制系统中包含大量不同结构、不同类型的数据,这些数据对于舰船航行至关重要,因此需研究一种有效存储方式实现舰船控制系统大数据的安全存储。

徐丽[2]基于随机系统分析密度演化基础原理,提出数据存储方法,提升数据存储效率。该方法在存储过程中未考虑数据的安全性,因此有一定概率数据丢失问题产生。王甜宇等[3]在研究数据存储过程中,引入区块链技术。该方法有效提升了数据存储的安全性,但数据存储效率较差。刘艳等[4]针对大数据存储问题,提出分布式存储技术。该方法在应用过程中存在容错性较差的问题。针对上述文献中存在的问题,本文研究云计算环境下舰船控制系统大数据有效存储方法,实现大数据有效存储。

1 舰船控制系统大数据有效存储方法 1.1 云计算存储架构设计

基于云计算技术与舰船控制系统大数据存储的实际需求,以及舰船控制系统中数据的异构性等特征,设计云计算环境下舰船控制系统大数据存储架构,如图1所示。

图 1 云计算环境下舰船控制系统大数据存储架构 Fig. 1 Big data storage architecture of ship control system in cloud computing environment

综合考虑舰船控制系统数据存储需求,利用云计算平台与云存储技术,将数据存储架构划分为3个层次,其中分布式大数据存储层是核心,其在应用层中所包含的舰船控制系统内采集数据,利用MapReduce分布式并行模型实现数据的划分,利用安全容错存储算法将待存储的数据均匀地划分至相对应的硬件层中计算服务器节点内[5],由此完成数据的有效存储。同时,所设计的云计算环境下舰船控制系统大数据存储架构可有效实现大数据高效与安全存储的需求。

利用Hadoop存储舰船控制系统内的各类不同结构的数据信息。Hadoop系统中包含可应用的各类操作命令与应用程序接口,为数据的存储与处理提供支撑。

1.2 分布式存储的MapReduce模型

为提升云存储环境下数据存储的效率,构建MapReduce分布式并行模型[6],在用户访问舰船控制系统大数据过程中,利用MapReduce模型实现数据的加载、查询与分选等。图2为数据存储过程中的MapReduce数据流。

图 2 数据存储过程中的MapReduce数据流 Fig. 2 MapReduce data flow during data storage process

在Map环节(分布式输入)中,MapReduce模型将输入的数据划分为大小一致的片段,将不同片段转换为若干键值对 $ \left\langle {{K_1},{V_1}} \right\rangle $ ,将其作为输入,获取中间结果 $ \left\langle {{K_2},{V_2}} \right\rangle $ 。对中间结果排序,得到 $ \left\langle {{K_2},list\left( {{V_2}} \right)} \right\rangle $ 元组,并将其作为输出。

在Reduce环节(分布式输出)中,利用自行设定的Reduce函数,以 $ \left\langle {{K_2},list\left( {{V_2}} \right)} \right\rangle $ 为输入,通过计算获取键值 $ \left\langle {{K_3},{V_3}} \right\rangle $ ,并将其作为输出,输出至分布式数据库内。

1.3 分布式大数据安全容错存储算法

随着云计算技术的发展和应用场景的变化,传统的计算和存储资源可能无法满足实时的数据处理需求,因此需要使用弹性计算及安全容错存储算法保证系统的高可用性和高性能。云计算数据弹性指的是在云计算环境下,应用弹性计算和存储资源满足不断变化的数据处理需求。在数据存储节点获取数据存储请求的条件下,分布式数据存储保持不间断请求状态[7],利用数据存储梯度与存储强度指数计算模型,在计算结果符合相应标准的条件下,完成数据存储。若计算结果不符合相关标准,则循环运行数据存储梯度与存储强度指数计算模型,实现大数据存储。

一般情况下,数据存储过程可划分为3个环节,第一环节主要完成舰船控制系统大数据的高精度访问,是数据存储中最重要的环节;第二环节的主要功能是实现前一环节与后一环节间的缓冲;第三环节的主要功能是存储归档。

$ G\left( x \right) $ 为船控制系统大数据的利用概率 $ T\left( x \right) $ 为舰船控制系统大数据的弹性, $ Q\left[ {T\left( x \right)} \right] $ 为舰船控制系统大数据利用概率的弹性期望值,两者之间具有倒数相关性,由此得到数据期望利用概率为:

$ Q\left[ {G\left( x \right)} \right] = \frac{{\lambda - {\lambda ^2}Q{{\left[ {T\left( x \right)} \right]}^2} - Q\left[ {T\left( x \right)} \right]}}{{Q\left[ {T\left( x \right)} \right]}} \text{。}$ (1)

其中: $ \lambda $ 为舰船控制系统大数据的服从指数。

若式(1)计算结果为负数,说明数据存储过程中的流畅度与拥塞度之间具有反比例相关性,存储过程继续。若式(1)计算结果为正数,则需控制数据的服务质量,在调控数据粒度后继续存储过程。

式(1)所得结果对于分布式数据存储过程中的流畅度产生直接影响,数据粒度越小,造成大数据期望利用概率越大,因此需要通过粒度 $ \beta $ 控制数据的弹性 $ T\left( x \right) $ ,由此降低数据存储空间占用率,提升数据存储的流畅度。

将当前数据存储接入粒度设定为 $ \delta $ ,则后续时刻 $ T\left( x \right) $ 符合下式:

$ T\left( x \right) = \int {Q\left[ {G\left( x \right)} \right]} {\text{d}}x + \beta \text{。}$ (2)

$ \Delta $ 表示存储梯度,由于数据分布式存储过程中存储点带宽并不是无限的,同时 $ \Delta $ 能够高效覆盖 $ T\left( x \right) $ ,因此通过式(3)描述与之相对的系统大数据弹性的覆盖相关性:

$ T{\left( x \right)^*} = \beta \sqrt {{\Delta ^2}T{{\left( x \right)}^2}}\text{,} $ (3)

基于式(3)能够获取数据分布式存储强度指数:

$ \delta = \frac{{Q\left[ {G\left( x \right)} \right] - T{{\left( x \right)}^*}}}{{1 - T{{\left( x \right)}^*}Q{{\left[ {G\left( x \right)} \right]}^2} - Q\left[ {G\left( x \right)} \right]}}\text{,} $ (4)

根据式(4)得到, $ \Delta $ $ T\left( x \right) $ 之间符合式(5)标准,由此得到 $ \Delta $ $ T\left( x \right) $ 的最优相关性:

$ T\left( x \right) = \left( {1 - \Delta } \right)\left( {\sqrt {1 - \Delta \delta } } \right)\text{,} $ (5)

依照式(5)的计算结果,在此条件下存储舰船控制系统大数据,得到其最终存储结果:

$ X = Q\left[ {G\left( x \right)} \right] \times \Delta \times \delta \times T\left( x \right) \text{。}$ (6)

式(6)即为云存储环境下存储舰船控制系统大数据安全容错存储结果。在云计算环境下,弹性计算和安全容错存储算法的应用可以提高数据处理的效率和速度,实现大规模数据的并行处理和存储。

2 实验结果

为验证本文所设计的云计算环境下舰船控制系统大数据有效存储方法在实际数据存储中的应用效果,采集舰船控制系统内的各类数据构建测试数据集(其中包含文本文件子集、视频文件子集、图像文件子集、CAD文件子集、CAE文件子集与BOM表子集等)作为实验数据,实验参数如表1所示。

表 1 实验参数 Tab.1 Experimental parameters
2.1 负载均衡性仿真

对比本文方法应用前后,研究对象的测试数据集在存储过程中的负载分配性能,结果如图3所示。

图 3 不同存储节点的负载状态 Fig. 3 Load status of different storage nodes

分析图3(a)可得,采用本文方法进行数据存储前,各存储节点的负载值上限达到67%左右,不同存储节点的负载值波动范围在67%~2%之间。而采用本文方法进行数据存储后,各存储节点的负载值均控制在45%以下,波动范围则在45%~30%之间。分析图3(b)可得,采用本文方法进行数据存储前,各存储节点的负载值上限达到85%左右,不同存储节点的负载值波动范围在85%~3%之间。而采用本文方法进行数据存储后,各存储节点的负载值均控制在45%以下,波动范围则在45%~28%之间。对比可知,采用本文方法后,各存储节点的负载均衡性显著提升,并没有出现单一存储节点的过载问题,说明本文方法具有较好的负载均衡性。

2.2 存储性能分析

有效计算比反映数据存储性能,指标值越高表示数据存储性能越好。对比采用本文方法前后不同测试子集数据存储过程中的有效计算比,结果如图4所示。

图 4 有效计算比 Fig. 4 Effective calculation ratio

分析图4可知,采用本文方法前,不同测试子集数据存储过程中的有效计算比在0.4~0.6之间,均值约为0.48;采用本文方法后,不同测试子集数据存储过程中的有效计算比在0.5~0.8之间,均值约为0.62,与采用本文方法前相比提升0.14。说明采用本文方法进行数据存储具有较好的大数据存储性能。

3 结 语

本文研究云计算环境下舰船控制系统大数据有效存储方法,引入MapReduce模型与安全容错存储算法实现大数据存储。实验结果显示,本文方法具有较好的大数据存储性能,数据负载均衡性较好。

参考文献
[1]
刘世缘, 李云春, 陈晨, 等. 面向大数据存储的主动与被动相结合的性能评测方法体系结构与实现[J]. 计算机工程与科学, 2022, 44(4): 584-593.
Liu Shiyuan, Li Yunchun, Chen Chen, et al. Architecture combining active & passive performance evaluation methods and its implementation for big data storage[J]. Computer Engineering and Science, 2022, 44(4): 584-593.
[2]
徐丽. 基于密度演化的分布式大数据云存储方法仿真[J]. 计算机仿真, 2021, 38(7): 424-428.
Xu Li. Simulation of distributed large data cloud storage method based on density evolution[J]. Computer Simulation, 2021, 38(7): 424-428.
[3]
王甜宇, 张柯欣, 孙艳秋, 等. 基于区块链的中医药大数据云存储共享方案研究[J]. 中华中医药学刊, 2022, 40(2): 132-135.
WANG Tianyu, ZHANG Kexin, SUN Yanqiu, et al. Research on traditional chinese medicine big data cloud storage and sharing scheme based on blockchain[J]. Chinese Archives of Traditional Chinese Medicine, 2022, 40(2): 132-135.
[4]
刘艳, 曹晓倩. 海量视频数据分布式存储性能优化方法研究[J]. 计算机应用研究, 2021, 38(6): 1734-1738.
Liu Yan, Cao Xiaoqian. Research on performance optimization of distributed storage of massive video data[J]. Application Research of Computers, 2021, 38(6): 1734-1738.
[5]
宋元, 周丹媛, 石文昌. 增强OpenStack Swift云存储系统安全功能的方法[J]. 吉林大学学报(工学版), 2021, 51(1): 314-322.
SONG Yuan, ZHOU Dan-yuan, SHI Wen-chang. Method to enhance security function of OpenStack Swift cloud storage system[J]. Journal of Jilin University(Engineering and Technology Edition), 2021, 51(1): 314-322.
[6]
史骁, 宋永浩, 郑晓辉, 等. 面向强一致性的分布式对象存储的I/O并行性优化[J]. 高技术通讯, 2020, 30(2): 109-119.
Shi Xiao, Song Yonghao, Zheng Xiaohui, et al. An approach to improve I/O parallelism for strong consistent distributed object storage[J]. Chinese High Technology Letters, 2020, 30(2): 109-119.
[7]
曹布阳, 冯华森, 梁峻浩, 等. 利用Hilbert曲线与Cassandra技术实现时空大数据存储与索引[J]. 武汉大学学报(信息科学版), 2021, 46(5): 620-629.
CAO Bu-yang, FENG Hua-sen, LIANG Jun-hao, et al. Hilbert Curve and Cassandra Based Indexing and Storing Approach for Large-Scale Spatiotemporal Data[J]. Geomatics and Information Science of Wuhan University, 2021, 46(5): 620-629.