舰船科学技术  2022, Vol. 44 Issue (21): 144-147    DOI: 10.3404/j.issn.1672-7649.2022.21.029   PDF    
基于大数据分析技术的船舶航行环境感知信息实时分类研究
汪洋     
武汉船舶职业技术学院 计算机信息技术学院,湖北 武汉 430050
摘要: 为提高船舶航行环境感知信息分类速度,研究基于大数据分析技术的船舶航行环境感知信息实时分类方法。采用工具层中的激光雷达传感器、风速/风向传感器、温湿度传感器,感知的船舶航行环境中障碍物、风速与风向、温湿度信息,在处理层中的Hadoop分布式大数据计算引擎中,由MapReduce并行大数据计算技术,将感知信息分块后,由map启动基于小波阈值的环境感知信息去噪方法,去除分块感知信息中噪声信息后,再启动K-最邻近分类器,计算去噪后分块感知信息样本与已知类型的感知信息隶属度,依据感知信息隶属度完成感知信息分类,最终通过reduce整合分类结果。经测试,本文方法对航行环境中感知信息分类时延仅2 s,延迟短,可实时分类船舶航行环境感知信息,且分类结果不存在信息混乱问题。
关键词: 大数据分析     船舶航行     环境     感知信息     实时分类     去噪    
Research on real-time classification of ship navigation environment perception information based on big data analysis technology
WANG Yang     
Faculty of Computer and Information Technology, Wuhan Institute of Shipbuilding Technology, Wuhan 430050, China
Abstract: In order to improve the classification speed of ship navigation environment awareness information, a real-time classification method of ship navigation environment awareness information based on big data analysis technology is studied. Using the lidar sensor, wind speed/direction sensor, temperature and humidity sensor in the tool layer to perceive the obstacles, wind speed and direction, temperature and humidity information in the ship's navigation environment, in the Hadoop distributed big data computing engine in the processing layer, MapReduce parallel big data computing technology is used to block the sensing information, and then the map starts the de-noising method of environment sensing information based on wavelet threshold, After removing the noise information in the block sensing information, start the K-nearest neighbor classifier, calculate the membership degree of the block sensing information samples and the known types of sensing information after noise removal, complete the classification of the sensing information according to the membership degree of the sensing information, and finally integrate the classification results through reduce. After testing, the proposed method has a short delay of only 2 s in classifying the perceptual information in the navigation environment, and can classify the perceptual information in the navigation environment in real time, and there is no information confusion in the classification results.
Key words: big data analysis     ship navigation     environment     perceived information     real time classification     de-noising    
0 引 言

船舶航行时环境感知技术是其智能航行的核心技术之一。不管是在自主航行还是导航规划中,环境感知信息直接影响其航行决策[1-3]。针对航行环境感知信息而言,感知信息主要包括温度、同行船舶、障碍物等信息。由此可知,船舶航行环境感知信息存在多样化,且具备大数据属性。船舶导航系统感知航行环境信息时,多样化、大规模的感知信息实时分类性能,直接影响船舶航行控制的决策效率。为此,船舶航行环境感知信息实时分类具有重要的研究意义。

根据已有研究资料可知,吴鹏等[4]使用航海雷达与光电吊舱协同感知船舶航行环境信息,此方法对海洋目标存在较高感知精度,但不具备环境多类型感知信息分类能力。谢宗轩等[5]使用雷达图像、冰风险热力图与等值线图分类的方式,识别船舶航行环境是处于密集冰场还是稀疏冰场区域,具备一定感知信息分类能力,但是航行环境信息数据量较大,若全部环境信息数据均以图像方式逐一分类,将会导致船舶导航系统响应速度慢,从而影响感知信息分类实时性。

大数据分析技术是从海量数据中获取有价值信息,其广泛应用在不同领域中。大数据分析技术可以对数据进行清洗、转化、分类以及集成,为具体应用领域进行数据分析提供可靠的依据。

为此,本文提出基于大数据分析技术的船舶航行环境感知信息实时分类方法,提高感知信息实时分类能力,为船舶导航系统的广泛应用提供可靠的技术支持。

1 船舶航行环境感知信息实时分类方法

图1为基于大数据分析技术的船舶航行环境感知信息实时分类方法应用架构示意图。此方法使用分层应用的形式,将船舶航行环境感知信息实时分类过程,分为工具层、处理层。其中工具层即为船舶航行环境感知时使用的激光雷达传感器、风速/风向传感器、温湿度传感器,感知船舶航行时的障碍物信息、风速与风向信息、温湿度信息[6]。工具层通过多传感器采集环境感知信息后,将采集信息由无线传感网络发送至处理层,处理层考虑到传感器自身的抗扰性较差,采集的信息会携带噪声[7],便使用基于小波阈值的环境感知信息去噪方法,去除感知信息中噪声信息。最后K-最邻近分类器对去噪后感知信息执行实时分类。处理层使用了大数据分析技术中的Hadoop分布式大数据计算引擎,在此引擎中主要采用MapReduce并行大数据计算形式,完成航行环境感知信息并行去噪与分类。

图 1 基于大数据分析技术的船舶航行环境感知信息实时分类方法应用架构 Fig. 1 Real time classification of ship navigation environment perception information based on big data analysis technology

MapReduce并行计算形式如图2所示。由图2可知,MapReduce并行大数据计算形式会将输入的感知信息样本进行分块后,由map启动去噪方法、分类方法,从而实现船舶航行环境感知信息的大数据并行处理,reduce负责将去噪、分类结果整合,从而输出船舶航行环境感知信息分类结果。

图 2 MapReduce并行计算形式 Fig. 2 MapReduce parallel computing form
1.1 基于小波阈值的环境感知信息去噪方法

设置 $ t $ 时刻船舶航行环境感知信息样本为g(t),公式如下:

$ g\left( t \right) = r\left( t \right) + m\left( t \right) 。$ (1)

式中:r(t),m(t)依次为有效的航行环境感知信息、噪声信息。若直接在g(t)中提取r(t)存在一定难度,为此,本文使用小波阈值去噪方法,去除g(t)中噪声信息。去噪步骤如下:

1)小波分解。小波分解时,将 $ n $ 个原始感知信息样本g(t)在低通滤波器中分解,提取(重构)航行环境感知信息低频部分 $ d{B_i} $ ;在高通滤波器中分解提取(重构)高频部分 $ d{C_i} $ ,则有:

$ d{B_i} = \sum\limits_n {k\left( {n - 2} \right)} g\left( t \right) ,$ (2)
$ d{C_i} = \sum\limits_n {f\left( {n - 2} \right)} g\left( t \right)。$ (3)

其中: $ k $ $ f $ 分别为低通以及高通滤波尺度; $ n $ 为信息数量。

2)阈值处理。小波分解过程中的阈值函数直接影响重构信息连续性与精度,直接影响感知信息去噪效果。将硬、软阈值函数结合,改进小波分解的阈值函数,以此去除恒定偏差,保证去噪后的航行环境感知信息连续性不受损。改进阈值函数为:

$ {\tilde \varpi _{i,h}} = \left\{ {\begin{array}{*{20}{c}} {{{\rm{sgn}}} \left( {{\varpi _{i,h}}} \right)\left( {\left| {{\varpi _{i,h}}} \right| - \frac{{2\delta }}{{1 + \exp \left( {\varepsilon \sqrt {\varpi _{i,h}^2 - {\delta ^2}} } \right)}}} \right),}&{\left| {{\varpi _{i,h}}} \right| \geqslant \delta },\\ {0,}&{\left| {{\varpi _{i,h}}} \right| < \delta }。\end{array}} \right. $ (4)

其中: $ d{B_i} $ $ d{C_i} $ 的小波系数与阈值依次是 $ {\varpi _{i,h}} $ $ \delta $ $ {\tilde \varpi _{i,h}} $ 为阈值处理后估计小波系数; $ {{\rm{sgn}}} \left( \cdot \right) $ 为符号函数; $ \varepsilon $ 是趋近速度调节因子,其数值较大,趋近效率越高,去噪速度越快。将小于阈值的小波系数,看作噪声信息m(t)的小波系数,将其数值设成0,留下大于阈值的小波系数。大于阈值的小波系数即为航行感知信息中有效信息r(t)。

3)小波重构。经阈值处理后,将留下的有效信息执行小波重构,重构方法为:

$ g'\left( t \right) = r\left( t \right){\text{ = }}\sum\limits_{{{\tilde \varpi }_{i,h}}} {k\left( {n - 2} \right)} g\left( t \right){\text{ + }}\sum\limits_{{{\tilde \varpi }_{i,h}}} {f\left( {n - 2} \right)} g\left( t \right) 。$ (5)

其中, $ g'\left( t \right) $ 为去噪后航行环境感知信息样本。

1.2 基于K-最邻近分类器的感知信息实时分类方法

MapReduce并行计算中的map启动基于K-最邻近分类器,对去噪后的船舶航行环境感知信息样本 $ g'\left( t \right) $ 执行实时分类。K-最邻近分类器先结合航行环境的历史感知信息设置训练样本,此训练样本中感知信息类型已知,将 $ g'\left( t \right) $ 作为测试样本。在训练样本集合中提取和测试样本距离最小的 $ k $ 个最近邻居样本,之后根据每个邻居的种类,判断测试样本 $ g'\left( t \right) $ 中感知信息的种类。分类时为 $ k $ 个邻居样本设置差异加权系数,运算 $ g'\left( t \right) $ 与各个邻居样本类型隶属度,从而完成船舶航行环境感知信息实时分类。分类结果为:

$ \eta _j^k = \frac{{\displaystyle\sum\limits_{t = 1}^{g'\left( t \right)} {{\xi _{ji}}} z_j^k}}{{\displaystyle\sum\limits_{t = 1}^{g'\left( t \right)} {{\xi _{ji}}} }},$ (6)
$ {\xi _{ji}} = \frac{1}{{e_{ji}^{}}}。$ (7)

式中: $ {\xi _{ji}} $ $ z_j^k $ 依次为权重函数、第 $ j $ 个感知信息样本隶属第 $ k $ 种信息的隶属度; $ e_{ji}^{} $ 为第 $ j $ 个感知信息样本 $ {g'_j} $ 和其已知类型的第 $ i $ 个邻居样本 $ {g'_i} $ 之间距离,表示式为:

$ e_{ji}^{} = \sqrt {\sum\limits_{t = 1}^{g'\left( t \right)} {{{\left( {{{g'}_j} - {{g'}_i}} \right)}^2}} } 。$ (8)
2 实验结果与分析

实验程序开发环境是Eclipse,同时引入了MapReduce并行计算程序。实验使用的风速传感器为电压输出型传感器,此传感器风速信息感知范围是0~80 m/s。风向传感器BF-FC-4XQ检测范围是360℃。温湿度传感器温度分量区间是−50℃~+90℃,相对湿度感知分辨率为1%。激光雷达传感器感知距离为1000 m,水平视场角与水平角分辨率依次是360°,0.2°,波长为910 nm。以激光雷达传感器感知的航行环境感知信息为例,测试本文方法对激光雷达传感器感知信息去噪效果,结果如图3所示。由图3可知,去噪处理前激光雷达传感器在感知环境信息时,感知结果中因噪声信息的存在,感知的回波信息存在明显干扰作用,导致实际回波幅度存在畸变。本文方法去噪后信息不存在噪声信息,与去噪前有效信息高度匹配,有效信息轮廓清晰可见。

图 3 激光雷达传感器感知信息去噪效果 Fig. 3 The effect of laser radar sensor sensing information denoising

图4为本文方法对船舶航行环境感知信息去噪后,对其分类的效果图。由图4可知,船舶A与船舶C的障碍物信息、风速与风向信息、温湿度信息分类明确,不存在混杂情况,证实本文方法具备有效的航行环境感知信息分类能力。

图 4 船舶航行环境感知信息分类效果图 Fig. 4 Classification of ship navigation environment perception information

图4中航行环境中3个障碍物信息为例,设置不同障碍物在不同时刻与船舶的距离值存在变化,测试本文方法对其感知分类的实时性,结果如表1所示。从表1可知,随着船舶航行进度推进,不同障碍物与其距离变动时,本文方法对3个障碍物距离感知信息的分类时延仅存在2 s延迟,延迟极短,本文方法可实时分类船舶航行环境感知信息,此能力归功于本文方法在Hadoop分布式计算引擎中使用基于MapReduce并行计算形式,有效利用大数据分析技术的并行数据处理能力,通过K-最邻近分类器快速分类多类型感知信息。

表 1 船舶航行环境感知信息实时分类效果 Tab.1 Real time classification effect of ship navigation environment perception information

图5为本文方法在船舶航行导航系统中提供的航行环境感知信息分类界面图。由图5可直观看出,本文方法能够实时体现船舶航行环境的障碍物信息、风速与风向信息、温湿度信息,对船舶导航具有积极作用。

图 5 航行环境感知信息分类界面图 Fig. 5 Navigation environment perception information classification interface
3 结 语

本文研究基于大数据分析技术的船舶航行环境感知信息实时分类方法。此方法有效利用大数据分析技术中的Hadoop分布式大数据计算引擎,在MapReduce并行大数据计算形式的应用下,对不同类型传感器感知的环境信息完成有效去噪与实时分类。此方法去噪后的环境感知信息中,有效信息清晰可见,去噪能力显著,且对多传感器感知的环境信息分类明确,分类实时性可满足应用需求。

参考文献
[1]
甘兴旺, 魏汉迪, 肖龙飞, 等. 基于视觉的船舶环境感知数据融合算法研究[J]. 中国造船, 2021, 62(2): 201-210. DOI:10.3969/j.issn.1000-4882.2021.02.018
[2]
王百勇, 张艳华, 贾俊乾. 基于深度学习理论下电子海图与雷达图像船舶感知信息融合[J]. 现代雷达, 2021, 43(5): 44-50. DOI:10.16592/j.cnki.1004-7859.2021.05.007
[3]
李永杰, 张瑞, 魏慕恒, 等. 船舶自主航行关键技术研究现状与展望[J]. 中国舰船研究, 2021, 16(1): 32-44. DOI:10.19693/j.issn.1673-3185.01958
[4]
吴鹏, 孙备, 苏绍璟, 等. 面向无人艇的航海雷达与光电吊舱协同环境感知方法[J]. 仪器仪表学报, 2021, 41(8): 154-163. DOI:10.19650/j.cnki.cjsi.J2107528
[5]
谢宗轩, 李博, 王胜正, 等. 面向冰区航行的近场海冰感知与航向决策[J]. 中国机械工程, 2022, 33(10): 1153-1161+1168. DOI:10.3969/j.issn.1004-132X.2022.10.003
[6]
李尚君, 岳林, 李哲, 等. 一种面向异构传感器的无人水面艇海面目标识别跟踪系统[J]. 中国舰船研究, 2021, 16(S1): 131-137. DOI:10.19693/j.issn.1673-3185.02308
[7]
何芸倩, 夏桂华, 冯鸿超, 等. 自航船模点云数据集的海上船舶检测[J]. 哈尔滨工程大学学报, 2022, 43(8): 1156-1162+1168.
HE Yunqian, XIA Guihua, FENG Hongchao, et al. Marine ship detection on the point cloud dataset of autonomous navigation ship models[J]. Journal of Harbin Engineering University, 2022, 43(8): 1156-1162+1168.