舰船科学技术  2023, Vol. 45 Issue (12): 136-139    DOI: 10.3404/j.issn.1672-7619.2023.12.026   PDF    
舰船监控网络异构监控数据自适应存储方法
李辉燕1, 肖新华2     
1. 湖北理工学院 计算机学院,湖北 黄石 435600;
2. 湖北理工学院 机电工程学院,湖北 黄石 435600
摘要: 为快速有效存储舰船监控网络异构监控数据,提出舰船监控网络异构监控数据存储方法。此方法主要用于优化舰船监控网络监控数据云存储平台的存储效果,多个舰船监控设备,经多个虚拟网关在数据接口层统一接口的使用下,将异构监控数据发送至数据处理层;数据处理层使用基于聚类的异构监控数据分类方法,将异构监控数据按照来源分类;分类后数据发送至分布式数据存储层,使用基于自适应分配的异构监控数据存储方法,结合分布式数据存储模型的可用容量与带宽状态,将分类后监控数据以自适应分配方式,存储于性能最优的存储模型,完成自适应分配存储。实验结果表明,此方法具备舰船监控网络异构监控数据自适应存储能力,存储效率、成功率显著提高。
关键词: 舰船监控网络     异构监控数据     自适应存储     数据分类     云存储    
Adaptive storage method for heterogeneous monitoring data in ship monitoring network
LI Hui-yan1, XIAO Xin-hua2     
1. Computer School of Hubei Polytechnic University, Huangshi 435600, China;
2. Mechanical Engineering School of Hubei Polytechnic University, Huangshi 435600, China
Abstract: To quickly and effectively store heterogeneous monitoring data in ship monitoring networks, a storage method for heterogeneous monitoring data in ship monitoring networks is proposed. This method is mainly used to optimize the storage effect of the ship monitoring network monitoring data cloud storage platform. Multiple ship monitoring devices send heterogeneous monitoring data to the data processing layer through multiple virtual gateways under the unified interface of the data interface layer. The data processing layer uses a clustering based heterogeneous monitoring data classification method to classify heterogeneous monitoring data by source. After classification, the data is sent to the distributed data storage layer. Using a heterogeneous monitoring data storage method based on adaptive allocation, combined with the available capacity and bandwidth status of the distributed data storage model, the classified monitoring data is adaptively allocated and stored in the storage model with the best performance, completing the adaptive allocation and storage. The experimental results show that this method has the ability to adaptively store heterogeneous monitoring data in ship monitoring networks, with significant storage efficiency and success rate.
Key words: ship monitoring network     heterogeneous monitoring data     adaptive storage     data classification     cloud storage    
0 引 言

舰船监控设备类型存在多源化、异构性特征,如何将此类异构类监控数据进行自适应存储,从而提高舰船监控网络异构监控数据的存储效率与存储效果,是当下舰船监控网络异构监控数据存储管理的重点问题[1-3]

目前的存储技术中,针对舰船监控网络异构监控数据而言,并不具备有效的解决方法[4]。在其他领域中的异构数据存储研究中,李鸿飞等[5]研究了协同数据管理方法,此方法虽被验证可实现异构数据混合存储,但存储耗时较多。沈志宏等[6]设计了一种异构数据智能融合管理系统,此系统在异构数据管理问题中具备较好的使用效果,但目前异构监控数据大多存储于云存储平台,若将此系统使用于云存储平台,系统兼容性、集成性等多种问题都有待深入分析,且系统类技术研发成本高。

为此,本文研究一种舰船监控网络异构监控数据自适应存储方法,主要针对基于云存储模式的舰船监控网络数据管理问题,进行自适应存储研究,完成舰船监控网络异构监控数据的高效、自适应存储。

1 舰船监控网络异构监控数据存储方法 1.1 基于云存储的舰船监控网络异构监控数据自适应存储方法技术架构

云存储属于一种服务模式,是云计算的核心技术之一。其可以利用多种软件与技术,把异构监控数据执行集成管理,构建统一的存储资源库,用于存储大规模异构监控数据[7]。目前各大监控领域均使用云存储平台,实现大规模监控数据的统一管理。本文研究的舰船监控网络异构监控数据存储方法,为基于云存储的舰船监控网络异构监控数据自适应存储方法,其主要用于优化舰船监控网络数据云存储平台的数据存储效果。图1为基于云存储的舰船监控网络异构监控数据自适应存储方法技术架构图。基于云存储的舰船监控网络异构监控数据自适应存储方法中,虚拟网关层、数据接口层、数据处理层、分布式数据存储层是此方法运行时技术架构的四大核心层。

图 1 基于云存储的舰船监控网络异构监控数据自适应存储方法技术架构 Fig. 1 Technical architecture of adaptive storage method for heterogeneous monitoring data of ship monitoring network based on cloud storage

图2为各个分布式数据存储逻辑示意图。考虑异构监控数据的规模较大,且类型较多,若仅使用一个数据存储模型存储全部异构监控数据,便会出现存储进程瘫痪问题,为此,结合集群概念,为了实现舰船监控网络异构监控数据的有效存储,在基于云存储的舰船监控网络异构监控数据自适应存储方法技术架构中,设置多个分布式数据存储模型。

图 2 分布式数据存储逻辑示意图 Fig. 2 Distributed data storage logic diagram
1.2 基于聚类的异构监控数据分类方法

设置舰船监控网络异构监控数据矩阵为:

$ A = \alpha {\left( {b,I} \right)^{ - 1}}。$ (1)

其中: $ b $ $ I $ 分别为舰船监控网络检索模糊域,异构监控数据分块匹配集; $ \alpha $ 为异构监控数据相异度矩阵。

设置舰船监控网络异构监控数据特征分布域为:

$ {J_{sm}} = {B_{sm}}A\left( {1 - \frac{{2{\text{π}} b + {E_{sm}}}}{{{\beta _{sm}}}}} \right) 。$ (2)

其中: $ {B_{sm}} $ $ {\beta _{sm}} $ 分别为异构监控数据并行规划聚类加权输出幅值、聚类自适应调节参数; $ {E_{sm}} $ 为不等式约束。

引入均值加权方法,设置异构监控数据聚类中心中时间窗口为:

$ t = {J_{sm}}\left( {\frac{{{t_1}}}{{{t_2}}}} \right)。$ (3)

其中: $ {t_1} $ $ {t_2} $ 依次是异构监控数据出现时间、聚类时间。使用式(3)便可获取不同时间窗口条件下,舰船监控网络各个虚拟网关链路的异构监控数据特征分布域 $ {J_{sm}} $ 信息。

为区分异构监控数据来源,便需要对异构监控数据进行聚类,结合所提取的 $ {J_{sm}} $ ,分析异构监控数据传输的虚拟网关链路信道功率谱密度:

$ \eta = \frac{{{A^2}}}{{k\left[ {F - \left( {t - 1} \right){J_{sm}}} \right]}}。$ (4)

其中: $ k $ $ F $ 依次为采样频率、互功率谱估计值。

引入时间翻转处理方法、相空间重构方法,完成异构监控数据时空加权处理。则加权后异构监控数据为:

$ E\left( m \right) = \frac{{x\left( m \right) - c\left( m \right)}}{\eta } 。$ (5)

其中:x(m),c(m)分别是空间异构监控数据样本点数目、回归参数。

提取异构监控数据的均值特征量,将其设成数据并行聚类目标函数 $ S $ ,则

$ S = \frac{g}{{E\left( m \right)}}\left( {\phi + {V_j} + N} \right) 。$ (6)

其中: $ g $ $ \phi $ 依次为聚类扰动距离、舰船监控网络子带中心频率;Vj $ N $ 依次为不同聚类中心时间尺度值、线性约束参量。

舰船监控网络异构监控数据融合分类集合为:

$ {A'_\zeta } = - \sum\limits_\zeta {{V_j} - S} 。$ (7)

其中, $ \zeta $ 为舰船监控网络异构监控数据的种类数目。

1.3 基于自适应分配的异构监控数据存储方法

结合所分类的 $ \zeta $ 种舰船监控网络异构监控数据样本,设置最后用于存储异构监控数据的分布式数据存储模型数目为 $ \zeta $ 。但为了保证舰船监控网络异构监控数据可有效存储,需要保证分布式数据存储模型的可用存储空间充足。为此,使用基于性能分析的异构监控数据自适应分配存储方法,结合分布式数据存储模型的内存状态,分析其可用性能,从而完成异构监控数据自适应分配存储。针对随机一个分布式数据存储模型Oj而言,设置其可用内存带宽是UjOj可用存储的性能指标设成 $ {\rho _j} $ $ {\rho _j} $ 只用于描述Oj的目前可用带宽能够支持的存储空间,并不能体现Oj能够提供可用存储空间的整体状态。为此,引入调节因子 $ w $

$ w = \frac{{\bar D}}{{{D_j}}} ,$ (8)
$ \bar D = \frac{{\displaystyle\sum\limits_{j = 1}^\zeta {{D_j}} }}{\zeta },$ (9)
$ {\rho '_j} = w \cdot {\rho _j} 。$ (10)

其中: $ {D_j} $ $ \bar D $ 分别为Oj的可用容量、分布式数据存储层中全部存储模型的可用容量均值。 $ j \in \zeta $ $ w $ 数值小于1时,表示Oj目前可用存储空间,比分布式数据存储层可用存储空间均值 $ \bar U $ 大,则Oj的存储空间可存储异构监控数据。

反之,表示Oj目前可用存储空间,比分布式数据存储层可用存储空间均值小,则Oj用于存储异构监控数据,便会出现存储失败问题。

$ {\rho '_j} $ 是可体现分布式数据存储模型Oj加权性能指标,此指标与Oj目前单位带宽能够运行的存储空间存在关联性,将Oj可用存储空间与分布式数据存储层可用存储空间相除,此比值与 $ {\rho '_j} $ 也存在关联性。为此,在分配存储异构监控数据时,优先存储于 $ {\rho '_j} $ 数值小的分布式数据存储模型。

设置分布式数据存储层存储异构监控数据时,整体存储性能指标为:

$ \bar \rho = \frac{{\displaystyle\sum\limits_{j = 1}^\zeta {{D_j}} }}{{\displaystyle\sum\limits_{j = 1}^\zeta {{U_j}} }},$ (11)
$ {\rho _{diff}} = {\rho '_j} - \bar \rho。$ (12)

其中, $ {\rho _{diff}} $ $ {\rho '_j} $ $ \bar \rho $ 的差值,针对 $ {O_j} $ 而言,若 $ {\rho _{diff}} $ 数值较靠近于0值,那么Oj的存储性能较好,在存储异构监控数据时优先使用。

设置需要存储的异构监控数据为 $ {A'_j} $ ,其数据长度与此数据存储需消耗内存带宽依次为ZjRj,则此数据在Oj中存储分配的数据容量为xjxj必须具备的条件为:

$\left\{ \begin{aligned} & 0 \leqslant {x_j} \leqslant {Z_j}{\rm{\text{£}\neg }}{D_j} - {x_j} \geqslant 0,\\ & {{U_j} - \displaystyle\frac{{{x_j}}}{{{Z_j}}} \cdot {R_j} \geqslant 0},\\ & {\rm{min}}\left( {\left| {{\rho _{diff}}} \right|} \right)。\end{aligned}\right. $ (13)

满足式(13)条件的分布式数据存储模型为最优存储模型,不仅可保证异构监控数据有效存储,且保证分布式数据存储模型之间的合理分配。

2 仿真实验 2.1 实验环境设计

设置舰船监控网络异构监控数据存储时,云存储平台的分布式数据存储层中,存在15个分布数据存储模型。分布式数据存储层可用存储空间、带宽依次是150 GB、150 MB,15个分布式数据存储模型中,仅有8个模型的存储性能可满足异构监控数据存储需求。需要存储的舰船监控网络异构监控数据的文件长度是0.15~10.5 GB。设置表1所示舰船监控网络异构监控数据样本,作为本文方法的实验目标。

表 1 随机异构监控数据文件 Tab.1 Details of random heterogeneous monitoring data files
2.2 异构监控数据存储效果测试

使用本文方法存储表1的6种异构监控数据,存储请求命中率如图3所示。存储请求命中率用于体现异构监控数据存储成功率,存储请求命中率越接近1,表示分布式数据存储模型被有效分配存储数据的效果越高,存储成功率越高。从图3可知,异构监控数据存储请求命中率数值最大值为0.99,命中率较高,使用本文方法后,舰船监控网络异构监控数据可被成功分配存储。

图 3 异构监控数据存储请求命中率测试结果 Fig. 3 Heterogeneous monitoring data storage hit rate test results

结合表1数据可知,所需存储的异构监控数据长度范围为2~10 GB,不同异构监控数据长度条件中,异构监控数据存储写入效率的变化,结果如图4所示。可知,随着异构监控数据长度增大,存储耗时逐渐增多,但最大值为50 ms左右,存储速度较快。而使用本文方法前,存储耗时随着数据长度增大而增多,存储耗时最大值超过600 ms,数据存储效率低。

图 4 本文方法使用前后存储写入效率 Fig. 4 Storage hit rate before using the method in this article

测试本文方法使用后,云存储平台所存储的异构监控数据分布状态,以此分析本文方法对异构监控数据分类效果。测试结果如图5所示,可知,本文方法使用后,异构监控数据存储时,数据分类明确,不存在数据混杂状态,优化了异构监控数据存储效果。

图 5 本文方法使用后异构监控数据存储状态 Fig. 5 Heterogeneous monitoring data storage status after using the method in this article
3 结 语

本文研究舰船监控网络异构监控数据自适应存储方法,结合云存储平台的技术架构,从异构监控数据分类、数据存储模型自适应分配存储角度,优化云存储平台对舰船监控网络异构监控数据的存储效果。

1)异构监控数据存储请求命中率数值最大值为0.99,能够自适应分配存储模型,响应异构监控数据存储请求,从而提高存储请求命中率,提高了异构监控数据存储成功率。

2)不同长度异构监控数据存储耗时对比中,耗时最大值为50 ms左右,和使用前相比,本文方法可缩短异构监控数据存储耗时,提高异构监控数据存储速度。

3)异构监控数据可实现分类存储,优化数据存储状态。

参考文献
[1]
胡琦, 朱国情, 陈于涛. 船舶监控系统运行数据抽取与分析方案设计[J]. 船海工程, 2020, 49(3): 112-116+120. DOI:10.3963/j.issn.1671-7953.2020.03.024
[2]
毕振波, 张世友, 杨花, 等. 基于浅层机器学习的视频监控船舶检测综述[J]. 系统仿真学报, 2021, 33(12): 2792-2807.
[3]
卢运娇, 罗思思. 木质渔船机舱水位监控系统设计[J]. 船海工程, 2020, 49(1): 90-93.
[4]
周毅, 李萌, 张海涛, 等. 船岸一体化数据管理系统的网络安全技术[J]. 船海工程, 2021, 50(3): 73-76.
[5]
李鸿飞, 杜溢墨, 曾熠, 等. 异构混合存储的软硬件协同数据放置策略[J]. 国防科技大学学报, 2020, 42(2): 64-71.
[6]
沈志宏, 赵子豪, 王华进, 等. PandaDB: 一种异构数据智能融合管理系统[J]. 软件学报, 2021, 32(3): 763-780.
[7]
孙超, 肖文名, 曾乐, 等. 海量监视数据云存储服务模型的设计与实现[J]. 武汉大学学报(信息科学版), 2020, 45(7): 1099-1106.