舰船科学技术  2023, Vol. 45 Issue (17): 178-181    DOI: 10.3404/j.issn.1672-7649.2023.17.036   PDF    
船舶嵌入式智能预警系统设计
裴宇     
山东理工大学,山东 淄博 255000
摘要: 船舶运输在全球经济中扮演着重要角色,人工值守经常会由于人员疏忽造成船舶和船舶碰撞,造成巨大的经济损失和环境污染。本文提出一种基于嵌入式的船舶智能预警系统,对激光测距技术和机器视觉技术进行阐述和分析,设计了船舶嵌入式智能预警系统的整体架构,有效解决了多源数据融合、位置感知、环境感知等问题。通过使用YOLO V7进行训练,实现了对不同船舶的识别且具有较高的准确率,在实际应用中可以更加有效地对船舶产生潜在的威胁作出综合性判断。本文设计的船舶嵌入式智能预警系统为实现船舶无人值守提供了必要辅助。
关键词: 嵌入式     智能化     预警系统     YOLO V7    
Design of ship embedded intelligent early warning system
PEI Yu     
Shandong University of Technology, Zibo 255000, China
Abstract: Ship transportation plays an important role in the global economy, and the collision between ship and ship is often caused by the negligence of personnel, resulting in huge economic losses and environmental pollution. This paper proposes a ship intelligent early warning system based on embedded, describes and analyzes the laser ranging technology and machine vision technology, designs the overall architecture of the ship embedded intelligent early warning system, effectively solves the problems of multi-source data fusion, location perception, environment perception, etc., and realizes the identification of different ships through training with YOLO V7. It has a high accuracy rate and can make a comprehensive judgment of potential threats to ships more effectively in practical applications. The ship embedded intelligent early warning system designed in this paper provides necessary assistance for the realization of unattended ships.
Key words: embedded     intelligent     early warning system     YOLO V7    
0 引 言

船舶在航行时经常会存在和其他船舶或者桥梁碰撞的风险,虽然在船舶上搭载了AIS系统、雷达系统等,但是在复杂海域航行时仍然会发生船舶碰撞的问题。

传统的船舶航行都是依靠船舶的AIS系统以及人工观察来确保航行安全,但是在夜间航行时,工作人员会出现困顿而导致出现失误,在夜间出现注意力不集中的情况尤为明显,进而出现船舶碰撞或者撞桥的情况。在这种情况下需要开发出一种船舶预警系统以及判断机制,让船舶在出现或者存在潜在碰撞危险时发出预警。有很多学者对船舶预警系统和机制进行了研究,何渡等[1]提出了一种基于DBSCAN的船舶防碰撞预警模型,并对该模型进行了初步验证。王小春[2]针对船舶在航行过程中的基本需求,提出使用多源数据进行融合,从而在出现碰撞危险时发出预警。张卫成[3]提出使用多种传感器,包括雷达、AIS系统以及摄像头等,并将这些传感器信息进行一定程度的融合,最后根据融合得到的结果对船舶航行状况进行判断,在有危险时发出预警。这些研究都提出从多个数据源来综合判断船舶的航行状况及潜在风险,但是都没有提出具体的设计方案和实现路线,因而在实践过程中仍然需要将这些模型和设计方案进行细化。

本文在对船舶防碰撞基本需求进行分析的基础上,充分结合现有的AIS、雷达、视频监控、以太网通信等技术,提出一种嵌入式的智能预警系统,系统能够对潜在的船舶碰撞危险进行识别,并在必要时发出声光报警,以减少发生船舶碰撞的风险。

1 关键技术分析 1.1 激光测距

为了实现对船舶航行潜在碰撞风险的检测,需要对船舶和目标障碍物进行测距,目前测距的方法中,超声波测距容易受到天气的影响,同时超声波测量较远障碍物时,发射的超声波在返回时能量较弱而导致检测误差过大或者根本无法检测,因而超声波的检测距离较短。激光测距是通过发射一束激光,然后根据返回的激光来测算出目标距离,使用激光测距精度非常高,且检测距离较远,因而本文使用激光测距和超声波测距两者结合的方式来实现船舶和障碍物之间的距离测算[45]

图1为激光测距原理,记录激光发射时间为T1,激光接收到的时间为T2,则船舶和目前障碍物之间的距离为Sc为光速,则满足下列关系式:

图 1 激光测距原理 Fig. 1 Principle of laser ranging
$ S=1/2\times c\times(T_2-T_1)。$
1.2 机器视觉技术

机器视觉技术是目前应用非常广泛的技术之一,使用机器视觉技术可以在某种程度上替代并超过人眼视觉。通过人眼对目标障碍物识别主要依靠人类眼睛对目标图像的获取并经过大脑进行分析,而机器视觉技术则是通过摄像头、CCD等光学元件获取目标图像,在获取目标图像后需要使用计算机系统将图像信息数字化,并使用图像处理算法对目标图像进行判断和匹配,最终实现对目标的识别和判断。相比于人眼对目标障碍物的识别,使用机器视觉技术精度更高,且提升了对目标障碍物的识别速度,可以持续24 h工作,重复精度高,且容易和其他系统集成使用[67]

在机器视觉技术中,“视”是最为关键的一环,而想要获得清晰、稳定的图像,就需要对目标障碍物进行光源照射,在船舶的目标障碍物图像获取中,一般使用漫反射照明方式和定向照明方式,其基本原理如图2所示。通过对光源照射角度的转动,可以不断获取目标障碍物的轮廓,并通过数据库和图像处理算法即可判断出目标障碍物的类型,从而为船舶智能预警提供良好基础。

图 2 机器视觉照明方式 Fig. 2 Machine vision lighting
2 嵌入式智能预警系统 2.1 系统整体设计

嵌入式智能预警系统需要作为船舶航行的有效辅助系统,因而为了防止船舶和目标障碍物(其他船舶和桥梁等)发生碰撞,需要对不同的障碍物进行识别,并判断和障碍物之间的距离,获取当前船舶和同一水域其他船舶的AIS信息,为船舶实现无人值守提供基础。

设计的嵌入式智能预警系统如图3所示。系统以ARM为核心控制器,包括位置感知模块(GPS、北斗导航、AIS以及雷达等)、激光测距模块、超声波测距模块、摄像头、声光报警模块以及船舶智能预警系统软件。

图 3 船舶嵌入式智能预警系统设计 Fig. 3 Design of ship embedded intelligent early warning system

船舶嵌入式智能预警系统实现的功能及原理主要包括以下几个方面:

1)位置感知

通过使用雷达探测、AIS系统、GPS以及北斗导航等获取当前船舶的位置信息,并获得其他同区域的其他船舶信息,实现对船舶航行位置的智能感知;

2)环境感知

通过布置在船舶上的多个摄像头获取船舶周围环境的图像,并通过转动摄像头的位置实现对船舶360°的环境感知,ARM在获取这些图像信息后,将图像信息通过以太网传输到电脑上,通过软件算法对图像进行分析和匹配,实现对船舶环境的智能感知功能;

3)多源数据融合

在嵌入式处理器中将不同传感器、摄像头、位置感知模块等数据进行有效融合,从而实现对船舶航行环境的综合判断;

4)智能分析功能

在获取多源数据后,在软件中可以设置船舶航线上的任意多边形区域,并进行智能分析,对静态目标可以实时获取和船舶之间的距离,对动态目标(船舶)可以实现实时跟踪,并且在融合图像数据后可以对动态目标进行精准判断;

5)声光报警

系统可以实现24 h无人值守功能,并在系统发现潜在的碰撞危险时会自动发出声光报警。嵌入式处理器接收北斗的同步时钟信号,因而能够保证空间和时间信息一致,在实现船舶智能预警的同时,也可以将采集到的视频信息、位置信息通过以太网发送到系统软件中,实现视频信息、位置信息、距离信息的存储和记录,为船舶安全航行提供有效保障。

2.2 机器视觉算法实现

在船舶嵌入式智能预警系统中,位置感知、超声波测距以及激光测距都较为成熟,只有机器视觉在船舶智能预警中的视线较为复杂,这是由于通过图像数据对固定障碍物以及其他船舶进行识别需要结合图像处理算法才能实现。在船舶智能预警系统中,对不同船舶需要标注船舶的基本类别,同时需要综合判断出该船舶或固定障碍物在一定距离上对本船的威胁情况。

使用机器视觉算法对船舶进行识别包括以下步骤:

1)图像获取和增强

使用摄像头获取船舶360°范围内的若干图像,为了适应海洋上不同天气时光线对图像的影响,需要对图像进行增强处理。

2)图像标注

在获取的图像上对不同类别的目标进行标注,如桥墩、船舶、礁石等。

3)YOLO V7目标识别

使用YOLO V7检测算法对不同目标进行识别,并初步判断出目标和船舶之间的距离。

图4为YOLO V7的基本网络架构,其包括Backbone、Head、Rep和conv等,基本原理为:首先将船舶拍摄的图像大小重置为640×640,在Backbone中有4层卷积层,通过4层卷积层后,处理后的图像大小为160×160×128,然后经过ELAN后输出到Head模块,在Head模块中依次经过SPPCSPC、UP融合以及ELAN-H,最后经过Rep和conv输出预测结果。

图 4 YOLO V7基本网络架构 Fig. 4 YOLO V7 basic network architecture

图5为使用YOLO V7算法对船舶类别进行识别的流程。主要包括:

图 5 YOLO V7算法识别船舶的流程 Fig. 5 The YOLO V7 algorithm identifies the ship's flow

1)获取包含不同船舶的数据集,对同一类别的船舶采集4张图像,并将所有的船舶数据集分为训练集和测试集,训练集和测试集数量均为200张;

2)使用YOLO V7算法对训练集进行训练,在模型训练完毕后加载模型,对测试集中的图片进行测试;

3)输出测试结果,并将此结果和AIS、GPS、测距结果等进行融合。

使用平均准确率(AP)作为本文设计系统对船舶识别的衡量参数,得到的结果如图6所示。可以发现对不同船舶的识别率有所区别,对集装箱船的识别率最高。这是由于集装箱船特征都较为明显,其他类型的船舶特征多样化,而在样本数量有限的情况下训练后得到的模型无法获取该类型船舶的所有特征,因而会出现对一些类型船舶的识别率偏低的情况。在系统设计使用初期需要人工干预,在出现识别错误的情况下结合AIS返回数据信息进行识别和判断,并将采集的图片充实到训练集中,通过不断增加训练集的数量来达到提升系统识别的正确率。将训练集的数量增加至400后,系统对不同船舶的识别率均有小幅度提升,说明提高训练集数量和船舶识别的AP值呈现正相关的关系。

图 6 识别不同船舶的AP值 Fig. 6 Identify AP values for different ships

本文设计的系统对所有类别的船舶识别率均超过92%,因而系统完全能够满足船舶智能预警系统对船舶识别的要求。

3 结 语

船舶航行安全至关重要,未来船舶朝着智能化方向发展,因而船舶嵌入式智能预警系统是船舶无人值守系统的重要组成部分。嵌入式智能预警系统能够有效解决多源数据融合、位置感知、环境感知等问题,帮助船员脱离对船舶上各种仪表数据进行综合判断的工作,同时也提升了预警的准确性和速度。本文设计的船舶嵌入式智能预警系统实现了对多源数据的分析功能,并通过使用YOLO V7进行训练,实现了对不同船舶的识别,在实际应用中可以更加有效地对船舶产生潜在的威胁作出综合性判断。

参考文献
[1]
何渡, 肖丝雨, 任俊伟, 等. 利用DBSCAN优化船舶领域算法的实时碰撞预警模型[J]. 软件导刊, 2021, 20(2): 107-113.
HE Du, XIAO Si-yu, REN Jun-wei, et al. Real-time collision early warning model using DBSCAN optimization ship domain algorithm[J]. Software Guide, 2021, 20(2): 107-113.
[2]
王小春, 吴寅松, 骆曹飞. 一种基于多源数据融合的渔船避碰预警终端[J]. 船电技术, 2022, 42(3): 28. DOI:10.3969/j.issn.1003-4862.2022.03.007
[3]
张卫成, 王永涛, 刘兴龙. 多传感器融合的航标碰撞智能监测系统设计应用[J]. 中国海事, 2023(6): 59-61.
ZHANG Wei-cheng, WANG Yong-tao, LIU Xing-long. Design and application of intelligent navigation beacon collision monitoring system based on multi-sensor fusion[J]. China Maritime Journal, 2023(6): 59-61. DOI:10.16831/j.cnki.issn1673-2278.2023.06.017
[4]
王端伟. 雷达和GIS系统在内河船舶防碰撞中的应用研究[J]. 珠江水运, 2023(3): 93-95.
WANG Duan-wei. Application of radar and GIS system in collision avoidance of inland vessels[J]. Pearl River Water Transport, 2023(3): 93-95. DOI:10.14125/j.cnki.zjsy.2023.03.004
[5]
吴兵, 郭帆, 付姗姗, 等. 基于模糊逻辑的船撞桥风险预警方法[J]. 中国航海, 2019, 42(2): 47.
WU Bing, GUO Fan, FU Shanshan, et al. Early warning method of ship collision bridge risk based on fuzzy logic[J]. Navigation of China, 2019, 42(2): 47. DOI:10.3969/j.issn.1000-4653.2019.02.010
[6]
王锡通, 李治, 张晓明. 面向内河航道中小桥梁的主动防撞预警系统设计[J]. 上海公路, 2019(1): 56. DOI:10.3969/j.issn.1007-0109.2019.01.014
[7]
王莹, 欧阳文全, 赵建, 等. 船舶防撞预警视频监测技术在淮河入海航道的应用[J]. 中国水运(下半月), 2018, 18(2): 51-52.
WANG Ying, OUYANG Wen-quan, ZHAO Jian, et al. Application of ship collision avoidance early warning video monitoring technology in the channel into the sea of Huaihe River[J]. China Water Transport(Second Half Month), 2018, 18(2): 51-52.