海洋大数据的使用管理涉及国内十多个国家部委、央企集团和军队等,海洋大数据领域资源共享是个公认的难题[1]。海洋大数据智能分析系统[2]由多源异构引接汇聚子系统、异构数据存储子系统、海洋大数据治理子系统、海洋大数据分析子系统、可视化分析子系统、统一访问门户子系统等[3]组成,整合多源异构数据引接、超融合共享存储[4 − 5]、高通量实时流数据处理[6]、海量动态目标高效渲染及实时展示等技术,实现海洋大数据引接、存储、分析、可视化等功能。
船舶与海洋大数据算法模型资源共享系统基于海洋大数据智能分析系统构建。船舶与海洋大数据算法模型资源共享系统以通用大数据分析架构[7]为基础,研制船舶与海洋大数据应用相关的领域专用算法模型,推动形成良好的船舶行业与海洋领域算法模型资源共享[8]生态环境,系统以对外提供Restful API编程接口的方式,支撑基于云服务的船舶与海洋外部智慧应用系统快速高效研制。
1 系统构建船舶与海洋大数据算法模型资源共享系统基于海洋大数据智能分析系统的“统一访问门户子系统”和“行业分析子系统”进行构建,如图1所示。船舶与海洋大数据算法模型资源共享系统主要使用海洋大数据智能分析系统的接口21、接口22进行数据访问交互,2个接口数据传输规则如表1所示。
在海洋大数据智能分析系统的基础上,设计了海洋环境综合观测[9]、海洋目标识别跟踪[10 − 16]、风机故障诊断等3类10个示范性对外服务模型的Restful API接口,为外部应用系统提供智能分析计算及数据访问服务,如表2所示。服务模型接口的具体互联网地址,可配置为互联网公网IP地址或内部局域网IP地址。外部船舶与海洋应用系统可通过互联网远程调用云端API的方式访问船舶与海洋大数据算法模型资源共享系统的算法模型资源,实现船舶行业和海洋领域专用算法模型资源高效共享。
共享的算法模型资源,可通过跨域资源集成方式,按需扩展到整个船舶行业和海洋领域。对于已共享的算法模型资源,也可由不同的领域专家提供不同的优化版本,由船舶与海洋算法模型资源共享系统集成后供不同用户选择使用。
2 性能测试及分析 2.1 系统部署海洋大数据智能分析系统的硬件部署架构如图2所示,采用防火墙、VPN、访问程序权限控制等方式解决安全保密问题。
系统共部署了1 036 TB的磁盘存储空间,包括结构化和非结构化共享服务集群2个部分,共有360个 CPU物理计算核心、10块Tesla V100显卡,CPU采用虚拟化技术管理,典型的CPU型号包括Intel Xeon Gold 6248R等。船舶与海洋大数据算法模型资源共享系统性能测试基于图2的部署架构开展。
2.2 系统结构化性能测试及分析船舶与海洋大数据算法模型资源共享系统结构化性能测试采用的软件环境为Centos7.7、MySql5.7、Tomcat8,使用Java自定义脚本作为测试工具进行测试,测试硬件资源如表3所示。
测试方法为设计编写一个独立的Java脚本,通过多线程实现随机的API 调用,根据实际情况模拟多个用户、多种语言案例和不同的时间间隔。测试调用案例为5种语言集成案例:Java语言海流预测、Python语言航迹预测、R语言测试案例、C语言测试案例、Scala语言风速案例5种。测试时记录每次API调用时返回的日志信息,包括用户名、调用时间、调用案例、返回结果等。
多编程语言模型共享服务间隔60 s、90 s、120 s、150 s,分别进行1 h并发性能测试,每隔10 min记录一次CPU使用率。多编程语言模型共享服务并发稳定性测试,连续测试24 h,记录CPU平均使用率。
测试结果表明,船舶与海洋大数据算法模型资源共享系统在提供结构化数据算法模型服务时CPU运行稳定未过载,具备提供船舶行业和海洋领域专用结构化数据算法模型的共享服务能力,且结构化数据算法模型共享服务性能稳定。
2.3 系统非结构化性能测试及分析船舶与海洋大数据算法模型资源共享系统非结构化性能测试采用的软件环境为Centos7.7、Docker19.03、Kubernetes1.17 、Rancher2.2、Postgresql12.3,使用Jmeter5.4测试工具进行测试,测试硬件资源如表4所示。
非结构化性能测试案例为YOLOV5-GPU,在单个副本包含6核CPU和1个GPU的情况下,进行10、20、30、40个并发案例测试,记录CPU、GPU的使用率情况。
在并发数为10、间隔60 s的典型负载情况下,非结构化模型共享服务的吞吐量与GPU数量的关系如图3所示。可以看出,系统非结构化数据算法模型的共享服务能力具有可扩展性。
非结构化共享服务稳定性测试,使用1个节点训练(K8s3)及5个节点模型预测服务的混合模式,在所有节点均使用最大资源24核CPU和1个GPU的情况下,连续测试24 h,记录CPU、GPU平均使用率。
测试结果表明,船舶与海洋大数据算法模型资源共享系统在提供非结构化数据算法模型服务时,CPU和GPU运行稳定、负载均衡未过载,具备提供船舶和海洋领域专用非结构化数据算法模型的共享服务能力,且非结构化数据算法模型共享服务性能稳定。
3 结 语本文构建了船舶与海洋大数据算法模型资源共享系统,解决海洋领域跨域算法模型资源共享的问题。该系统支持船舶和海洋领域专用算法模型资源的跨域集成和共享,对外提供Restful API接口供外部应用系统远程高效编程调用,支持多用户访问,可同时为结构化与非结构化数据算法模型资源提供常态化服务,极大提升了船舶行业和海洋领域应用系统关键模块的研制效率。该系统中的算法模型资源可扩充,可以通过源代码或二进制库等方式进行持续集成,在达成算法模型资源共享服务目标的前提下,较好地保护了模型算法原有的知识产权。测试结果表明,船舶与海洋大数据算法模型资源共享系统在并发性能测试、可扩展性测试及稳定性测试中都取得了很好的表现,系统服务算法模型种类、数量可扩充,并发服务用户性能可扩展,并可连续长时间稳定提供船舶行业与海洋领域专用算法模型资源共享服务。
[1] |
洪阳, 侯雪燕. 海洋大数据平台建设及应用[J]. 卫星应用, 2016(6): 26-30. |
[2] |
杨镇宇, 石刘, 高峰, 等. 海洋大数据智能分析系统[J]. 舰船科学技术, 2021, 43(S1): 92-100. |
[3] |
刘振宇. 利用Nginx实现网站负载均衡[J]. 中国管理信息化, 2012, 15(16): 96-96. |
[4] |
NECHITAYLO A A, VASILCHUK O I, GNUTOVA A A. Description and formation of the database perimeter for systematisation and storage of multi-structured data[J]. Information Technology and Nanotechnology, 2019.
|
[5] |
HUANG D , DU Y , HE Q , et al. Migration Algorithm for Big Marine Data in Hybrid Cloud Storage[J]. Journal of Computer Research and Development, 2014.
|
[6] |
夏俊鸾, 邵赛赛. Spark Streaming: 大规模流式数据处理的新贵[J]. 程序员, 2014(2): 44-47. |
[7] |
侯雪燕, 郭振华, 崔要奎, 等. 海洋大数据: 内涵、应用及平台建设[J]. 海洋通报, 2017, 36(4): 361-369. |
[8] |
何子明. 关于海洋大数据平台数据共享技术研究[J]. 计算机产品与流通, 2020(2): 150-150. |
[9] |
种劲松, 朱敏慧. SAR图像舰船及其尾迹检测研究综述[J]. 电子学报, 2003(9): 1356-60. |
[10] |
陈科圻, 朱志亮, 邓小明, 等. 多尺度目标检测的深度学习研究综述[J]. 软件学报, 2021, 32(4): 1201-1227. |
[11] |
王瑶, 胥辉旗, 姜义, 等. 基于深度学习的舰船目标检测技术发展综述[J]. 飞航导弹, 2021.
|
[12] |
袁明新, 张丽民, 朱友帅, 等. 基于深度学习方法的海上舰船目标检测[J]. 舰船科学技术, 2019, 41(1): 111-115+124. |
[13] |
REN S, HE K, GIRSHICK R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[C]// In: Proc. of the Neural Information Processing Systems. 2015: 91-99.
|
[14] |
CAI Z, VASCONCELOS N. Cascade R-CNN: Delving into High Quality Object Detection[C]// 2017.
|
[15] |
HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[J]. IEEE, 2016.
|
[16] |
LIN TY, DOLLÁR P, Girshick R, et al. Feature pyramid networks for object detection[C]// In: Proc. of the Computer Vision and Pattern Recognition. 2017: 2117−2125.
|