舰船科学技术  2024, Vol. 46 Issue (1): 176-179    DOI: 10.3404/j.issn.1672-7649.2024.01.030   PDF    
基于图像处理和AIS数据的船舶异常行为报警系统
李锋, 赵仓龙, 汤丽丽     
江苏航运职业技术学院,江苏 南通 226010
摘要: 船舶数量增多在很大程度上影响着船舶航行的安全性,需要对其他船舶的异常行为进行判断并发出预警。单纯依靠AIS数据去判断船舶异常行为,存在数据准确度不高和信息滞后等问题。本文提出结合图像处理技术和AIS数据来对船舶异常行为进行综合判断,使用YOLO V3对获取的监控图像进行处理,对船舶目标进行有效识别,使用DBSCAN算法对船舶航迹进行聚类仿真,进而判断船舶的异常行为。最后将获取的图像目标识别、航迹聚类结果和异常行为规则库进行比较,实现对船舶异常行为的检测和报警。
关键词: AIS数据     图像处理     YOLO V3     异常行为     报警系统    
Ship abnormal behavior alarm system based on image processing and AIS data
LI Feng, ZHAO Cang-long, TANG Li-li     
Jiangsu Shipping College, Nantong 226010, China
Abstract: The increase in the number of ships affects the safety of ship navigation to a large extent, and ships need to judge the abnormal behavior of other ships and give early warning. Relying solely on AIS data to judge abnormal behaviors of ships has problems such as low data accuracy and information lag. This paper proposes to combine image processing technology and AIS data to comprehensively judge abnormal behaviors of ships, and uses YOLO V3 to process acquired monitoring images to effectively identify ship targets. DBSCAN algorithm is used to perform cluster simulation on the ship track, and then the abnormal behavior of the ship is judged. Finally, the obtained image target recognition, track clustering results and abnormal behavior rule base are compared to realize the detection and alarm of abnormal behavior of ships.
Key words: AIS data     image processing     YOLO V3     abnormal behavior     alarm system    
0 引 言

船舶在航行过程中由于工作人员操作失误以及设备故障导致的碰撞事故屡见不鲜,造成财产损失和人员伤亡。目前绝大部分船舶都装备了AIS设备,通过AIS数据可以有效获取船舶位置信息、运动的动态信息等,这些信息有助于帮助船舶判断周围船舶的动向,在航行时对其他船舶的轨迹提前作出预判,从而降低发生事故的风险。船上工作人员需要不断从海量的AIS信息中提取有效信息,通过这些信息判断其他船舶是否存在异常行为,如果存在异常行为,工作人员就需要及时发出预警并采取行动。

单纯的AIS信息并不足以判断其他船舶一定存在异常行为,特别是船舶密度特别大的海域,很多船舶的雷达没有将AIS信息进行有效融合,一些AIS设备广播信息存在较大误差,无法在出现状况时进行有效预警,还有一些船舶的AIS设备只能接收其他船舶的AIS信息,但是不能广播自身的AIS信息,这些都会造成船上工作人员的误判。

目前国内学者非常重视对船舶异常行为的检测研究,邬甜甜[1]研究了机器视觉技术在可疑船只识别中的应用;高东[2]将图像处理和AIS数据进行融合,成功对船舶进行身份识别并对其侵入行为进行判定;杨阿华等[3]研究了AIS数据在船舶异常行为判断中的应用,并对3块敏感水域中的船舶异常行为进行了实验,建立了船舶异常行为检测框架。本文提出一个综合报警系统,将图像处理技术融合到报警系统中,对AIS信息的提取和判断作为一个初步判断,图像处理作为辅助判断,通过对船舶周围的图像进行处理和分析,及时对其他船舶的异常行为进行判断,从而提升报警系统的准确性和灵敏度。

1 关键技术分析 1.1 船舶异常行为界定

船舶异常行为包括航迹异常、航速异常、位置异常等,其中航速异常包括了船舶速度过快、过慢或者游荡,航迹异常包括非正常航迹、不驶向港口、非法侵占其他领域以及航迹终止等,位置异常则包括了驶向危险区域、军事禁区以及航道外行驶等。针对不用类型的船舶异常行为需要使用不同的手段进行检测,如航迹异常和航速异常可以通过AIS信息进行综合判定,位置异常除了使用AIS信息进行判定外,还需要结合船舶的雷达信息以及GPS信息[4]

1.2 船舶异常行为检测算法

目前基于AIS信息的船舶异常检测算法包括DBSCAN算法、卷积神经网络算法等,这些算法通过对AIS信息进行初步处理后,建立船舶异常行为检测模型[56]。本文主要使用DBSCAN算法来实现对船舶异常行为的检测,其基本实现流程如图1所示。具体如下:

图 1 DBSCAN算法聚类过程 Fig. 1 DBSCAN algorithm clustering process

步骤1 选择一个随机心点,该随机点在最大半径内至少有minPts数量的点,满足此条件的为核心点,不满足此条件的为边界点,包含minPts数量点的邻域为一个簇。

步骤2 不断向前搜索,直到所有点都被边界点包围,那些不能被包含在内的则不属于该集群或者簇,为离群点,此时完成一个簇的聚类过程。

步骤3 继续挑选其他随机点重复步骤1和步骤2,完成其他点的聚类。

从以上算法过程可以看出,通过DBSCAN算法聚类,可以有效地将一些具有共同特征的点划归到一类中,而这可以很好地应用于船舶的航迹检测,对具有相似航迹的船舶可以划分到一个簇中,当其中一些船舶发生异常行为时,就可以非常容易将这个船舶挑选出来,实现对船舶异常行为的预警。使用Matlab对DBSCAN算法聚类进行仿真,其仿真效果如图2所示。图中不同的点代表不同船舶的航迹类型,可以发现在设定半径为2,minPts为50时标记出3个簇,改变半径值和minPts会改变簇的大小,minPts值较大时会让选出的簇也非常大,会将更多的点包含到簇群中,但是这样容易将其他航线上的船舶也划入到该簇群中,minPts值太小会使得簇的数量非常多,增加系统的辨别难度。因而在进行船舶航迹的聚类分析时,合适的minPts值和半径值非常重要。

图 2 DBSCAN算法聚类仿真结果 Fig. 2 Results of DBSCAN algorithm clustering simulation
1.3 图像处理算法

有一些船舶还会产生一些综合性的异常行为,这些行为包括以异常速度侵入其他船舶航道或者靠近其他船舶,这样就会给其他船舶带来危险,容易发生碰撞事故。由于AIS信息有时会出现信息滞后、位置误差大等问题,在近距离船舶异常侵入航道时往往难以第一时间作出反应,此时就需要使用视频监控以及图像处理的方法来对这些船舶的异常行为进行判定。

对于船舶异常行为检测而言,在船舶上多个位置布置有监控摄像头,通过摄像头可以获取船舶固定几个方向上的图像,特别是首向、尾向、左右舷等,这样在其他船舶入侵航道、其他船舶从其他方向撞击或者航道上突然出现未知障碍物时,可以通过对获取的图像进行处理。图像处理算法是图像滤波、图像增强、图像目标识别的统称。图像滤波和图像增强主要是为了解决船舶航行环境比较恶劣时,通过监控摄像头获取的图像噪声较多,如天气昏暗、光线不足、强对流干扰等,如果直接对图像进行处理难以对目标加以识别。因而图像增强和图像滤波是图像处理中比较重要的步骤,是在进行目标识别前的图像预处理。

图像目标识别是船舶异常行为检测的核心步骤,对船舶航行威胁最大的就是航线上的固定障碍物和其他船舶闯入航道。这些目标的识别包含2个部分,一部分是对目标的距离度量,另外一部分是目标类别的判断。在单张图像首先需要对获取的图像中异常对象进行判断,并标记出该异常对象在图像中的位置。本文采用YOLO V3对图像进行处理,YOLO V3结构示意图如图3所示。输入图像尺寸为416×416,其实现过程主要包括3个阶段:

图 3 YOLO V3网络结构映射对应 Fig. 3 YOLO V3 network structure mapping mapping

1)在分类数据集上预训练Darknet-53,数量为160;

2)继续finetune分类模型的训练,调整图片大小,确定先验框;

3)确定目标基本轮廓的坐标,输出预测目标和目标位置。

获取的船舶周围环境图像可能存在目标,也有可能没有目标,此时系统需要根据获取图像的情况来对目标进行预测,并确定其在图像中的位置,其基本原理如图4所示。假设需要确定图像中船舶的坐标为(tx,tytwtht0),则该坐标满足以下关系:

图 4 图像坐标预测 Fig. 4 Image coordinate prediction
$ \begin{gathered} b_x = \sigma ({t_x}) + {c_x}\text{,} \\ b_y = \sigma ({t_y}) + {c_y}\text{,} \\ b_w = {p_w}{e^{{t_w}}}\text{,} \\ b_h = {p_{\text{h}}}{e^{{t_h}}} \text{。} \\ \end{gathered} $ (1)

式中:CxCy为模型中图像的最小单元坐标;PwPh为预测前的划定图像范围和大小;(bx,bybwbh)为预测获取的目标坐标和大小。

对获取的船舶图像检测图片进行处理,将其大小变为416×416,检测结果如图5所示。可以发现通过YOLO V3算法对运砂船的轮廓进行了识别,后续可以通过对比船舶其他特征来对船舶类型进行判定。

图 5 船舶目标检测效果 Fig. 5 Effect of ship target detection
2 船舶异常行为报警系统设计

船舶异常行为报警系统基于图像处理技术和AIS数据设计系统架构如图6所示。包括:AIS异常行为检测模块、图像处理检测模块、航道综合信息处理、报警模块以及显示模块。

图 6 船舶异常行为报警系统架构 Fig. 6 Architecture of ship abnormal behavior alarm system

1)AIS异常行为检测模块

船舶在接收其他船舶的AIS信息后,将其存储到数据库中,并对这些AIS信息进行预处理。AIS信息中包含了静态信息和动态信息,在船舶异常行为判断时除了一些重要信息外,部分AIS信息是不需要的,因而在预处理过程中可以将这些信息剔除,剩余的信息存储到数据库中备用。通过AIS信息可以获取航道的相关数据,并获取其他船舶的运动特征,包括船速、航向等,并通过DBSCAN检测算法结合异常行为规则库对船舶异常行为进行判断,从而获取当前是否存在有威胁的船舶信息。船舶异常行为规则库根据历史航行经验以及船舶AIS航迹数据库综合得到,并且能够不断更新,因而能够判断出绝大部分的船舶异常行为。

2)图像处理检测模块

图像处理检测模块包括硬件部分和软件部分,硬件部分是布置在船舶上的监控摄像头,软件部分则是对视频数据进行处理,并通过图像增强等手段获取船舶周围环境图像。图像的智能识别是通过使用预先设定好的各类船舶图像作为训练集合,这些图像是从不同角度拍摄的各类船舶图片,通过训练后系统能够对获取的其他船舶图像进行处理,并对一些常见的固定障碍物进行识别,如浮标、浮塔等。在对目标进行识别后还需要结合图像判断出和固定障碍物之间的大致距离,根据提前设定好的异常行为规则来判定是否存在危险。图像处理检测模块可以结合AIS异常行为检测模块对当前受到的威胁程度进行综合判断,从而帮助工作人员在第一时间作出反应。

3)航道综合信息处理

航道综合信息处理是通过接收AIS信息后对整个航道内的船舶信息进行综合显示,特别是航道中的船舶数量、类型以及拥堵情况,使得航道内的基本信息全部数字化和图像化,提升船员对航道信息的处理效率。

4)报警模块

在发现其他船舶异常行为后输出报警信号,通过报警模块实现声光报警。

5)显示模块

对各监控摄像头获取的图像实时显示,并定期显示图像智能识别结果,同时对AIS异常行为检测结果加以显示。

3 结 语

随着航道中船舶数量的增加,船舶航行安全日益受到重视。本文提出使用图像处理算法和DBSCAN算法对船舶异常行为进行检测,本文的结论主要包括:

1)基于AIS数据的DBSCAN算法可以将船舶航迹进行聚类分析,通过设置合适的minPts值和半径值可对船舶的一些异常行为加以判别;

2)采用YOLO V3图像处理算法可以获取图像中船舶目标的坐标,进而通过训练实现对船舶目标的智能识别;

3)通过将船舶行为和异常行为规则库进行比对可以发出预警,有效提升船舶航行安全性。

参考文献
[1]
邬甜甜. 基于机器视觉的海上可疑船舶识别研究[D]. 舟山: 浙江海洋大学, 2019.
[2]
高东. 基于图像和AIS的船舶识别及侵入告警方法研究[J]. 网络安全技术与应用, 2020(8): 59-60. DOI:10.3969/j.issn.1009-6833.2020.08.036
[3]
杨阿华, 常鑫, 张强, 等. 基于AIS数据的敏感水域船舶异常行为检测[J]. 指挥信息系统与技术, 2023, 14(4): 32-37.
[4]
李可欣, 郭健, 王宇君, 等. 一种基于降维密度聚类的船舶异常轨迹识别方法[J]. 包装工程, 2023, 44(11): 284-292.
[5]
刘钊, 齐磊, 梁茂晗, 等. 数据驱动的船舶异常行为识别方法[J]. 中国航海, 2022, 45(4): 1-7. DOI:10.3969/j.issn.1000-4653.2022.04.001
[6]
唐艺灵. 基于AIS数据的民船行为预测与区域告警方法研究[J]. 指挥控制与仿真, 2022, 44(5): 97-101.