2. 湖北理工学院 机电工程学院,湖北 黄石 435600
2. Mechanical Engineering School of Hubei Polytechnic University, Huangshi 435600, China
舰船监控设备类型存在多源化、异构性特征,如何将此类异构类监控数据进行自适应存储,从而提高舰船监控网络异构监控数据的存储效率与存储效果,是当下舰船监控网络异构监控数据存储管理的重点问题[1-3]。
目前的存储技术中,针对舰船监控网络异构监控数据而言,并不具备有效的解决方法[4]。在其他领域中的异构数据存储研究中,李鸿飞等[5]研究了协同数据管理方法,此方法虽被验证可实现异构数据混合存储,但存储耗时较多。沈志宏等[6]设计了一种异构数据智能融合管理系统,此系统在异构数据管理问题中具备较好的使用效果,但目前异构监控数据大多存储于云存储平台,若将此系统使用于云存储平台,系统兼容性、集成性等多种问题都有待深入分析,且系统类技术研发成本高。
为此,本文研究一种舰船监控网络异构监控数据自适应存储方法,主要针对基于云存储模式的舰船监控网络数据管理问题,进行自适应存储研究,完成舰船监控网络异构监控数据的高效、自适应存储。
1 舰船监控网络异构监控数据存储方法 1.1 基于云存储的舰船监控网络异构监控数据自适应存储方法技术架构云存储属于一种服务模式,是云计算的核心技术之一。其可以利用多种软件与技术,把异构监控数据执行集成管理,构建统一的存储资源库,用于存储大规模异构监控数据[7]。目前各大监控领域均使用云存储平台,实现大规模监控数据的统一管理。本文研究的舰船监控网络异构监控数据存储方法,为基于云存储的舰船监控网络异构监控数据自适应存储方法,其主要用于优化舰船监控网络数据云存储平台的数据存储效果。图1为基于云存储的舰船监控网络异构监控数据自适应存储方法技术架构图。基于云存储的舰船监控网络异构监控数据自适应存储方法中,虚拟网关层、数据接口层、数据处理层、分布式数据存储层是此方法运行时技术架构的四大核心层。
图2为各个分布式数据存储逻辑示意图。考虑异构监控数据的规模较大,且类型较多,若仅使用一个数据存储模型存储全部异构监控数据,便会出现存储进程瘫痪问题,为此,结合集群概念,为了实现舰船监控网络异构监控数据的有效存储,在基于云存储的舰船监控网络异构监控数据自适应存储方法技术架构中,设置多个分布式数据存储模型。
设置舰船监控网络异构监控数据矩阵为:
$ A = \alpha {\left( {b,I} \right)^{ - 1}}。$ | (1) |
其中:
设置舰船监控网络异构监控数据特征分布域为:
$ {J_{sm}} = {B_{sm}}A\left( {1 - \frac{{2{\text{π}} b + {E_{sm}}}}{{{\beta _{sm}}}}} \right) 。$ | (2) |
其中:
引入均值加权方法,设置异构监控数据聚类中心中时间窗口为:
$ t = {J_{sm}}\left( {\frac{{{t_1}}}{{{t_2}}}} \right)。$ | (3) |
其中:
为区分异构监控数据来源,便需要对异构监控数据进行聚类,结合所提取的
$ \eta = \frac{{{A^2}}}{{k\left[ {F - \left( {t - 1} \right){J_{sm}}} \right]}}。$ | (4) |
其中:
引入时间翻转处理方法、相空间重构方法,完成异构监控数据时空加权处理。则加权后异构监控数据为:
$ E\left( m \right) = \frac{{x\left( m \right) - c\left( m \right)}}{\eta } 。$ | (5) |
其中:x(m),c(m)分别是空间异构监控数据样本点数目、回归参数。
提取异构监控数据的均值特征量,将其设成数据并行聚类目标函数
$ S = \frac{g}{{E\left( m \right)}}\left( {\phi + {V_j} + N} \right) 。$ | (6) |
其中:
舰船监控网络异构监控数据融合分类集合为:
$ {A'_\zeta } = - \sum\limits_\zeta {{V_j} - S} 。$ | (7) |
其中,
结合所分类的
$ w = \frac{{\bar D}}{{{D_j}}} ,$ | (8) |
$ \bar D = \frac{{\displaystyle\sum\limits_{j = 1}^\zeta {{D_j}} }}{\zeta },$ | (9) |
$ {\rho '_j} = w \cdot {\rho _j} 。$ | (10) |
其中:
反之,表示Oj目前可用存储空间,比分布式数据存储层可用存储空间均值小,则Oj用于存储异构监控数据,便会出现存储失败问题。
设置分布式数据存储层存储异构监控数据时,整体存储性能指标为:
$ \bar \rho = \frac{{\displaystyle\sum\limits_{j = 1}^\zeta {{D_j}} }}{{\displaystyle\sum\limits_{j = 1}^\zeta {{U_j}} }},$ | (11) |
$ {\rho _{diff}} = {\rho '_j} - \bar \rho。$ | (12) |
其中,
设置需要存储的异构监控数据为
$\left\{ \begin{aligned} & 0 \leqslant {x_j} \leqslant {Z_j}{\rm{\text{£}\neg }}{D_j} - {x_j} \geqslant 0,\\ & {{U_j} - \displaystyle\frac{{{x_j}}}{{{Z_j}}} \cdot {R_j} \geqslant 0},\\ & {\rm{min}}\left( {\left| {{\rho _{diff}}} \right|} \right)。\end{aligned}\right. $ | (13) |
满足式(13)条件的分布式数据存储模型为最优存储模型,不仅可保证异构监控数据有效存储,且保证分布式数据存储模型之间的合理分配。
2 仿真实验 2.1 实验环境设计设置舰船监控网络异构监控数据存储时,云存储平台的分布式数据存储层中,存在15个分布数据存储模型。分布式数据存储层可用存储空间、带宽依次是150 GB、150 MB,15个分布式数据存储模型中,仅有8个模型的存储性能可满足异构监控数据存储需求。需要存储的舰船监控网络异构监控数据的文件长度是0.15~10.5 GB。设置表1所示舰船监控网络异构监控数据样本,作为本文方法的实验目标。
使用本文方法存储表1的6种异构监控数据,存储请求命中率如图3所示。存储请求命中率用于体现异构监控数据存储成功率,存储请求命中率越接近1,表示分布式数据存储模型被有效分配存储数据的效果越高,存储成功率越高。从图3可知,异构监控数据存储请求命中率数值最大值为0.99,命中率较高,使用本文方法后,舰船监控网络异构监控数据可被成功分配存储。
结合表1数据可知,所需存储的异构监控数据长度范围为2~10 GB,不同异构监控数据长度条件中,异构监控数据存储写入效率的变化,结果如图4所示。可知,随着异构监控数据长度增大,存储耗时逐渐增多,但最大值为50 ms左右,存储速度较快。而使用本文方法前,存储耗时随着数据长度增大而增多,存储耗时最大值超过600 ms,数据存储效率低。
测试本文方法使用后,云存储平台所存储的异构监控数据分布状态,以此分析本文方法对异构监控数据分类效果。测试结果如图5所示,可知,本文方法使用后,异构监控数据存储时,数据分类明确,不存在数据混杂状态,优化了异构监控数据存储效果。
本文研究舰船监控网络异构监控数据自适应存储方法,结合云存储平台的技术架构,从异构监控数据分类、数据存储模型自适应分配存储角度,优化云存储平台对舰船监控网络异构监控数据的存储效果。
1)异构监控数据存储请求命中率数值最大值为0.99,能够自适应分配存储模型,响应异构监控数据存储请求,从而提高存储请求命中率,提高了异构监控数据存储成功率。
2)不同长度异构监控数据存储耗时对比中,耗时最大值为50 ms左右,和使用前相比,本文方法可缩短异构监控数据存储耗时,提高异构监控数据存储速度。
3)异构监控数据可实现分类存储,优化数据存储状态。
[1] |
胡琦, 朱国情, 陈于涛. 船舶监控系统运行数据抽取与分析方案设计[J]. 船海工程, 2020, 49(3): 112-116+120. DOI:10.3963/j.issn.1671-7953.2020.03.024 |
[2] |
毕振波, 张世友, 杨花, 等. 基于浅层机器学习的视频监控船舶检测综述[J]. 系统仿真学报, 2021, 33(12): 2792-2807. |
[3] |
卢运娇, 罗思思. 木质渔船机舱水位监控系统设计[J]. 船海工程, 2020, 49(1): 90-93. |
[4] |
周毅, 李萌, 张海涛, 等. 船岸一体化数据管理系统的网络安全技术[J]. 船海工程, 2021, 50(3): 73-76. |
[5] |
李鸿飞, 杜溢墨, 曾熠, 等. 异构混合存储的软硬件协同数据放置策略[J]. 国防科技大学学报, 2020, 42(2): 64-71. |
[6] |
沈志宏, 赵子豪, 王华进, 等. PandaDB: 一种异构数据智能融合管理系统[J]. 软件学报, 2021, 32(3): 763-780. |
[7] |
孙超, 肖文名, 曾乐, 等. 海量监视数据云存储服务模型的设计与实现[J]. 武汉大学学报(信息科学版), 2020, 45(7): 1099-1106. |