舰船科学技术  2023, Vol. 45 Issue (7): 186-189    DOI: 10.3404/j.issn.1672-7649.2023.07.037   PDF    
基于视频信息的港口滞留船舶检测研究
倪慧洋     
江苏航运职业技术学院,江苏 南通 226010
摘要: 本文研究基于视频信息的港口滞留船舶检测方法,通过港口滞留船舶的精准检测提升港口管理水平。利用多结构形态学滤波方法,滤波处理港口视频图像。选取局部自适应阈值分割方法,将滤波处理后的港口视频图像,划分为前景图像与背景图像。将港口视频的前景图像作为SSD算法的输入,SSD算法利用卷积层提取图像特征,生成默认框,利用固定匹配策略,匹配真实框与默认框,将匹配结果传送至预测网络,利用预测网络输出港口滞留船舶检测结果。实验结果表明,该方法有效检测港口视频信息中的滞留船舶,阴天、黑夜等复杂环境下仍然可以精准检测船舶目标。
关键词: 视频信息     港口滞留     船舶检测     形态学滤波     SSD算法     默认框    
Research on detection of stranded ships in port based on video information
NI Hui-yang     
Jiangsu Shipping College, Management Information Department, Nantong 226010, China
Abstract: The detection method of stranded ships in port based on video information is studied to improve the level of port management through accurate detection of stranded ships in port. The port video image is processed by multi - structure morphological filtering method. A local adaptive threshold segmentation method is selected to divide the filtered port video image into foreground image and background image. The foreground image of the port video is taken as the input of the SSD algorithm. The SSD algorithm extracts the image features by using the convolutional layer, generates the default box, matches the real box and the default box by using the fixed matching strategy, sends the matching results to the prediction network, and uses the prediction network to output the detection results of the stranded ships in the port. Experimental results show that the proposed method can effectively detect stranded ships in port video information, and can accurately detect ship targets in complex environments such as cloudy day and dark night.
Key words: video information     port detention     ship inspection     morphological filtering     SSD algorithm     default box    
0 引 言

港口是船舶密集区域,极易发生交通事故[1]。在港口安装视频采集设备,采集港口船舶的视频信息,对所采集的视频信息,通过图像处理等技术,检测港口滞留船舶,确定船舶滞留时间等信息。港口滞留船舶检测过程中,容易受到周围环境影响[2],海天线环境提升了港口滞留船舶的检测难度。对采集的港口视频信息进行图像处理时,需要重视图像的背景干扰去除性能,快速定位滞留船舶目标。摄像头等设备采集港口视频信息时,容易出现噪声[3,4],港口的海面波浪和海水漩涡等因素,均对船舶检测存在一定影响。

目前已有众多学者针对船舶监测进行研究。于楠晶等[5]将多头自注意力方法应用于船舶检测中,该方法可以准确检测复杂背景下的船舶。但是存在检测过程过于复杂,检测实时性较差的缺陷。周慧等[6]将Mask-FPN模型应用于船舶监测中,利用多任务损失函数,提升船舶检测精度。该方法在背景简单、灰度相差较小时,可以有效检测船舶目标,但是图像背景起伏较大时,船舶目标检测效果并不理想。针对以上方法在船舶监测中的缺陷,本文研究基于视频信息的港口滞留船舶检测方法,通过对港口视频信息进行形态学滤波等处理,提升视频信息中港口滞留船舶检测性能,具有较高的应用性。

1 港口滞留船舶检测 1.1 港口视频信息的多结构形态学滤波

数学形态学是由形态学代数运算组成的方法。利用形态学滤波算法,对港口视频信息简化处理,保持港口视频信息的基本形状特性,去除港口视频信息中,与滞留船舶目标不相关的结构,为船舶检测提供基础。形态学滤波选取非线性代数工具作为运算工具,依据图像信号的局部特征[6],修正图像信号,滤除船舶港口视频信息灰度图像中的噪声。f(n)与g(m)分别为港口视频图像以及结构元素,港口视频图像与结构元素的膨胀运算表达式如下:

$ f\left( n \right)\Theta g\left( m \right) = \min \left\{ {f\left( {n + m} \right) - g\left( m \right)} \right\},$ (1)

港口视频图像与结构元素的腐蚀运算如下:

$ f\left( n \right) \oplus g\left( m \right) = \max \left\{ {f\left( {n - m} \right) + g\left( m \right)} \right\},$ (2)

对港口视频信息进行形态学开运算如下:

$ f \circ g = \left( {f\Theta g} \right) \oplus g 。$ (3)

通过对港口视频图像开运算处理,磨光图像外边界,去除港口视频图像中细小轮廓的突出部分。对港口视频图像进行形态学开运算后,对原始图像以及处理后的图像作差处理,即对图像实施顶帽变换,图像顶帽变换的表达式如下:

$ Top - hat\left( f \right) = f\left( {x,y} \right) - f \circ g\left( {x,y} \right) \;。$ (4)

结构体尺寸大小对图像形态学滤波影响较大,图像结构体的尺寸,影响高通滤波效果[8]。图像低频背景在结构体尺寸越小时,滤除效果越优秀,此时保留的滞留船舶尺寸较小。滞留船舶目标尺寸与图像结构图间存在如下近似关系:

$ \max \left( {{S_o}} \right) \leqslant \frac{1}{2}\max \left( {{S_s}} \right),$ (5)

式中, $ \max \left( {{S_s}} \right) $ $ \max \left( {{S_o}} \right) $ 分别为形态学滤波的图像结构体最大尺寸值以及最小船舶目标在港口视频图像中的二维尺寸最大值。

利用形态学开运算估计港口视频图像的背景分量,将估计结果与原港口视频图像相减,获取不包含背景分量的滞留船舶图像,即港口视频图像的背景抑制过程。港口视频图像中包含多个船舶目标时,各船舶目标尺寸存在较大差异,采用单结构形态学滤波算法,过滤低频背景的同时,可能出现过滤小尺寸船舶目标情况。为了避免发生以上情况,充分考虑滞留船舶与港口视频图像背景信息中几何特征的差异,选取多结构元素对图像进行加权开运算。 $ f\left( n \right) $ $ w $ 分别港口视频图像及权重, $ {B_1}\left( {{m_1},{n_1}} \right) $ $ {B_2}\left( {{m_2},{n_2}} \right) $ 分别表示不同大小结构体的开运算,可得多结构形态学滤波如下:

$ \begin{split} f\left( n \right) =& w * f\left( n \right) \circ {B_1}\left( {{m_1},{n_1}} \right) + \\ &\left( {1 - w} \right) * f\left( n \right) \circ {B_2}\left( {{m_2},{n_2}} \right) \end{split} 。$ (6)

依据滤波处理后港口视频图像的信息熵与原始图像信息熵之比,调整 $ w $ 的值。形态学滤波中,结构元素的选择极为关键。选取十字形结构元素作为结构算子,十字形结构元素可以消除相比于结构元素较小尺寸的亮细节,令港口视频图像中大的亮度区域以及图像灰度值不受滤波影响。

1.2 港口视频信息的局部自适应阈值分割

选取局部自适应阈值分割方法,分割完成滤波处理后的港口视频图像。港口视频图像中,各像素值的二值化阈值伴随周围像素分布变化而变化,依据港口视频图像的船舶目标区域亮度,确定二值化阈值大小。利用局部邻域块均值方法,确定局部自适应阈值。计算像素点在港口视频图像中,大小为 $ p \times p $ 区域的加权平均值,将所获取结果与邻域块的最小方差值相减,确定局部自适应阈值。 $ {f_{i,j}} $ 为完成滤波处理的港口视频图像, $ {m_{ij}} $ $ {v_{ij}} $ 分别为港口视频图像的像素均值以及方差,其计算公式如下:

$ {m_{ij}} = \frac{1}{2}w\sum\limits_{t = - p}^p {{f_{i + t,j + t}}} ,$ (7)
$ {v_{ij}} = \frac{1}{2}w\sum\limits_{t = - p}^p {\left| {{f_{i + t,j + t}} - {m_{ij}}} \right|} \;。$ (8)

式中: $ w $ $ p $ 分别为权值以及局部邻域块; $ t $ 为局部自适应阈值。

依据式(7)和式(8)的计算结果,确定局部自适应阈值的表达式如下:

$ \left\{ {\begin{array}{*{20}{c}} {t_i} = {m_{ij}} + {v_{ij}},&{v_{ij}} > {v_{\min }} ,\\ {t_i} = {t_{i - 1}},&{v_{ij}} \leqslant {v_{\min }} \;。\end{array}} \right. $ (9)

式中, $ {v_{\min }} $ 为最小方差值。

利用以上过程,确定局部自适应阈值分割的阈值,将港口视频图像划分为背景图像与前景图像。

1.3 基于SSD算法的滞留船舶检测算法

选取SSD (single shot MultiBox detector)算法,检测港口视频信息中的滞留船舶。SSD算法通过提取船舶特征以及目标分类检测船舶目标。基于SSD算法检测滞留船舶的结构图如图1所示。

图 1 港口滞留船舶检测结构图 Fig. 1 Structure diagram of detecting stranded ships at port

可以看出,SSD算法主要包括图像输入、特征提取、生成默认框、目标匹配、预测网络以及损失网络,各部分介绍如下:

1)图像输入

输入通过港口视频图像分割获取的港口前景图像,输入图像船舶坐标位置信息以及类别编号,作为SSD算法的训练样本。

2)特征提取

利用卷积神经网络提取港口前景图像特征,输出从不同卷积层提取的特征图,选取卷积层作为图像的特征提取层。

3)生成默认框

依据所设定的参数,在SSD算法的特征提取层中,生成默认框,框选船舶目标。

4)船舶目标匹配

依据生成的默认框,利用固定的匹配策略,匹配输入信息的真实框与默认框,将匹配结果传送至预测网络中。

5)预测网络

利用卷积层组成预测网络,利用卷积层依据匹配信息和所提取的特征图,输出船舶训练结果。

6)利用损失函数层,评估船舶检测性能

通过优化损失函数调整SSD算法反向传播的网络权重,选取Softmax损失函数作为SSD算法的损失函数,提升SSD算法检测港口滞留船舶的精度。

重复以上过程,直至网络收敛,损失值稳定,完成网络训练。将港口视频信息测试样本输入网络中,输出港口滞留船舶检测结果。

2 实例分析

为了验证本文港口滞留船舶检测方法检测港口滞留船舶有效性,选取某港口作为测试对象。该港口管理部门采用港口视频监控系统采集港口视频信息。该监控系统采用长焦高清镜头配合200万像素可见光高清彩转黑摄像机与640×480大口径非制冷热成像摄像机,并辅以重载360°全方位云台,可实现方圆6 000 m范围内昼夜全天视频监控。复杂环境下,仍然可以有效采集港口的视频信息。

将所采集的港口视频信息,作为港口滞留船舶检测的图像基础。

采用本文方法对所采集的港口视频信息进行形态学滤波处理,滤波处理后的港口视频信息如图2所示。可以看出,本文方法通过多结构形态学滤波方法,对所采集的港口视频图像进行有效的滤波处理。滤波处理后的港口视频图像,干扰噪声被有效滤除,提升港口视频图像的清晰度。本文方法采用多结构形态学滤波方法,改善单结构形态学滤波出现的误过滤目标情况,滤波效果良好。

图 2 港口视频信息滤波结果 Fig. 2 Port video information filtering results

采用本文方法对完成滤波处理的港口视频信息进行分割处理,港口视频图像分割结果如图3所示。可知,本文方法可以有效将滤波处理后的港口视频图像,实现图像前景与图像背景的分割。将港口视频图像分割结果,作为港口滞留船舶检测基础。

采用本文方法检测港口滞留船舶,检测结果如图4所示。可知,采用本文方法可以有效检测港口滞留船舶,依据所采集的港口视频,对于距离监控摄像头较近的滞留船舶,以及阴天环境下的滞留船舶,本文方法仍然可以精准检测,具有良好的滞留船舶检测性能。

图 3 港口视频图像分割结果 Fig. 3 Port video image segmentation results

图 4 港口滞留船舶检测结果 Fig. 4 Inspection results of stranded ships in port

为了进一步验证本文方法对港口滞留船舶的检测性能,统计该港口于2020年10月11日−11月17日,监控系统运行7 d的视频图像中,滞留船舶检测情况,统计结果如表1所示。可知,本文方法可以依据港口视频信息,检测视频信息中的港口滞留船舶,确定港口滞留船舶类型与滞留时间。本文方法在阴天、黑夜等复杂环境下,仍然可以检测港口滞留船舶,具有较高的应用性能,适用于港口管理的实际应用中。

表 1 港口滞留船舶检测结果 Tab.1 Test results of stranded ships at port
3 结 语

选取SSD算法作为检测港口视频信息内的船舶目标算法,该算法具有实时性强以及检测准确度高的特点,有效提升船舶目标检测精准性。船舶港口背景复杂,海天背景下的港口滞留船舶检测的难度较高,通过对采集的港口视频信息进行形态学滤波处理,有效滤除港口视频信息中的背景噪声,以及港口视频信息中的孤立噪声点,实现滞留船舶的完整性检测,可以作为船舶港口管理的基础。

参考文献
[1]
吴暖, 王诺, 于安琪, 等. 基于柔性靠泊的港口疏船调度多目标优化及最优解选择[J]. 计算机集成制造系统, 2021, 27(5): 1531-1540.
WU Nuan, WANG Nuo, YU Anqi, et al. Optimal solution selection and multi-objective optimization of ship dredging scheduling problem based on flexible berthing[J]. Computer Integrated Manufacturing Systems, 2021, 27(5): 1531-1540. DOI:10.13196/j.cims.2021.05.028
[2]
张恒, 杨家轩, 周洋宇, 等. 可见光视频图像中的船舶目标自适应检测[J]. 上海海事大学学报, 2021, 42(1): 33-38+43.
ZHANG Heng, YANG Jiaxuan, ZHOU Yangyu, et al. Adaptive detection of ship targets in visible light video images[J]. Journal of Shanghai Maritime University, 2021, 42(1): 33-38+43. DOI:10.13340/j.jsmu.2021.01.006
[3]
廖诗管, 杨冬, 白茜文, 等. 基于船舶大数据的港口装卸效率值计算方法[J]. 交通运输系统工程与信息, 2021, 21(2): 217-223.
Liao Shiguan, Yang Dong, Bai Qianwen, et al. Estimation method of port handling efficiency value based on ship big data[J]. Journal of Transportation Systems Engineering and Information Technology, 2021, 21(2): 217-223. DOI:10.16097/j.cnki.1009-6744.2021.02.031
[4]
李胜永, 张智华, 王超男, 等. SAR图像港口船只的实时解析算法[J]. 计算机工程与设计, 2020, 41(5): 1352-1357.
LI Shengyong, ZHANG Zhihua, WANG Chaonan, et al. Real-time analysis algorithm for ships in ports from SAR images[J]. Computer Engineering and Design, 2020, 41(5): 1352-1357. DOI:10.16208/j.issn1000-7024.2020.05.023
[5]
于楠晶, 范晓飚, 邓天民, 等. 基于多头自注意力的复杂背景船舶检测算法[J]. 浙江大学学报(工学版), 2022, 56(12): 2392-2402.
YU Nanjing, FAN Xiaobiao, DENG Tianming, et al. Ship detection algorithm in complex backgrounds via multi-head self-attention[J]. Journal of Zhejiang University(Engineering Science), 2022, 56(12): 2392-2402.
[6]
周慧, 褚娜, 陈澎. 复杂场景下的SAR图像船舶目标检测[J]. 大连海事大学学报, 2020, 46(3): 87-94.
ZHOU Hui, CHU Na, CHEN Peng. Ship target detection of SAR images in complex scenes[J]. Journal of Dalian Maritime University, 2020, 46(3): 87-94. DOI:10.16411/j.cnki.issn1006-7736.2020.03.010