舰船科学技术  2024, Vol. 46 Issue (16): 170-173    DOI: 10.3404/j.issn.1672-7649.2024.16.029   PDF    
基于视觉传达的舰船航行图像中多目标检测方法
吴军良, 毛丽青, 姜煜     
南昌交通学院 人工智能学院,江西 南昌 330100
摘要: 针对海洋环境的复杂性以及舰船目标的多样性,研究基于视觉传达的舰船航行图像中多目标检测方法,及时发现潜在的安全隐患。将舰船航行图像从RGB颜色空间转换到CIE Lab模式空间,应用改进HFT(超复数傅里叶变换)模型有效提取舰船多目标显著区域。利用加权处理和Otsu算法划分多层显著区域,并基于先验信息确定舰船多目标候选区域。采用模糊C均值聚类算法对候选区域进行分割,实现舰船多目标的精准检测。实验结果表明,该方法可在云雾覆盖、海洋杂波、船舶尾迹等多种复杂环境下准确检测舰船多目标,具有较高的鲁棒性和实用性。
关键词: 视觉传达     舰船图像     多目标检测     显著区域     模糊C均值聚类     候选区域    
Multi object detection method in ship navigation images based on visual communication
WU Junliang, MAO Liqing, JIANG Yu     
School of Artificial Intelligence, Nanchang Jiaotong Institute, Nanchang 330100, China
Abstract: In response to the complexity of the marine environment and the diversity of ship targets, a multi object detection method based on visual communication in ship navigation images is studied to timely discover potential safety hazards. Convert ship navigation images from RGB color space to CIE Lab mode space, and apply an improved HFT (Hypercomplex Fourier Transform) model to effectively extract multi-target salient regions of ships. Using weighted processing and Otsu algorithm to partition multi-layer salient regions, and determining multi-target candidate regions for ships based on prior information. Using fuzzy C-means clustering algorithm to segment candidate regions and achieve accurate detection of multiple targets on ships. The experimental results show that this method can accurately detect multiple targets of ships in various complex environments such as cloud and fog coverage, ocean clutter, and ship wake, and has high robustness and practicality.
Key words: visual communication     ship images     multi object detection     significant areas     ls clustering     candidate region    
0 引 言

由于海洋环境的复杂性、舰船目标的多样性以及图像采集过程中的各种干扰因素,增加了舰船航行图像多目标检测的难度。因此研究一种合理有效的舰船航行图像中的多目标检测方法,不仅可以提升海上交通监控的智能化水平,更可以保障舰船航行安全、提高航运效率、减少海上事故的发生[12]

扈琪等[3]采用频谱残差法获取舰船图像的全局显著性区域,经活动轮廓显著性模型去除虚警目标检测结果后,精准检测舰船目标。但该方法面对小目标和密集目标的检测表现不佳。严荣慧等[4]综合运用视频监控、背景差分算法和深度学习算法,结合船舶的运动特征和图像表象特征,实现多维度广域船舶目标识别,但是无法在多目标状态下实现精准检测,降低舰船航行危险性。贾晓雅等[5]基于YOLO框架,摒弃了传统的锚框设计,采用无锚框策略以更好地适应SAR图像中多尺度的舰船目标检测。并加入注意力机制的CSPDarknet53网络以及特征金字塔网络,实现目标类别和位置的精确预测,但是深度学习模型的应用需要采取大量的数据进行训练,且需要依赖于参数的设置和调优,复杂程度较高。

视觉传达技术是一种依赖图像、图形及多种视觉元素来传递信息和表达深层意义的沟通手段,聚类算法则擅长于将相似的特征进行分组,从而有助于识别出属于舰船的特征簇。本文将这两者结合,提出基于视觉传达的舰船航行图像中多目标检测方法。

1 舰船航行图像中多目标检测 1.1 基于视觉传达的舰船多目标显著性区域提取

采用能够引起人类视觉注意力机制的视觉显著性模型,更好地从舰船航行图像中精准获取舰船多目标区域。选取改进HFT(超复数傅里叶变换)的视觉显著性模型,其相对于HFT模型可以更好地抑制海面背景的干扰[6]。首先转换舰船航行图像I(x,y)的RGB颜色空间为CIE Lab模式空间,计算舰船航行图像中各个特征通道的均值,用Lmambm描述。设置舰船航行图像中各通道位置像素为L(x,y)、a(x,y)、b(x,y),将其与Lmambm分别相减,获取舰船航行图像的3个颜色特征,船航行图像像素的位置为:

$ q(x,y) = {L_d}(x,y){u_1} + a(x,y){u_2} + b(x,y){u_3}。$ (1)

式中,$ {u_1}、{u_2}、{u_3} $用于描述四元数的基。

余弦变换处理四元数,避免离散傅里叶变换形成的舰船航行图像4个角的位置出现噪声干扰:

$ Q[u,v] = {D_C}\left[ {q(x,y)} \right] 。$ (2)

式中,DC()用于描述余弦变换。

为降低舰船航行图像存在的尖峰干扰,并增强其显著部分,采用高斯核函数对舰船航行图像进行平滑滤波处理,形成谱尺度空间,谱尺度空间经逆向离散余弦变换处理后,便可以获取一系列舰船航行图像的多目标显著图Sr,遵循熵最小原则得到尺度最好的多目标显著图$ S'(x,y) $后,经平滑处理获取改进后的最佳舰船航行图像的多目标显著图:

$ S(x,y) = g \times S'(x,y)。$ (3)

式中,$ g $描述多尺度高斯核函数。

1.2 舰船多目标区域提取

依据获取的舰船航行图像多目标显著图S(x,y)后,加权处理S(x,y)内各个位置的显著性数值与I(x,y)中相对应位置的像素强度[7],形成显著性加权图像SI(x,y),表达式为:

$ S_I(x,y) = I\left( {x,y} \right) \times S(x,y) 。$ (4)

结合Ostu算法划分加权图像SI(x,y)的多级阈值,获取层数为$ z $的多层显著区域$ \left\{ {{\gamma _1},{\gamma _2}, \cdots ,{\gamma _z}} \right\} $,其中显著区域的下层包含上层。

多层显著区域获取后,依据舰船多目标的先验信息,获取舰船多目标的像素范围,并在其中搜寻最佳的前$ R $层显著区域,舰船多目标候选区域为其最小外接矩形范围,用$ B $表示,并生成$ B $的二值图,用$ B_I $表示,将$ B_I $图中位于显著区域的点标记为1,剩余点标记为0。

1.3 舰船多目标检测实现

为精准检测舰船航行图像中的多目标,采用模糊C均值聚类算法对上文提取的舰船多目标候选区域进行分割。在此之前需依据获取的舰船多目标候选区域$ B $对应的二值化图像$ B_I $,确定用于进行多目标分割检测的舰船多目标前景图像$ F_I $$ F_I $的获取表达式为:

$ F_I(x,y) = I(x,y) \times B_I(x,y)。$ (5)

以获取的舰船多目标前景图像$ F_I $为基础,采用模糊C均值聚类(FCM)算法聚类$ F_I $中的像素点,完成图像分割。具体过程如下:

FCM算法将舰船多目标前景图像像素的灰度值视为一个重要参数,通过计算每个像素与聚类中心像素之间的欧氏距离来衡量它们之间的相似性。通过最小化这些欧氏距离的加权和,实现舰船多目标前景图像像素的有效聚类。

FCM算法的舰船多目标前景图像像素聚类目标函数的表达式为:

$ J = \sum\limits_{i = 1}^C {\sum\limits_{j = 1}^n {u_{ij}^md_{ij}^2} }。$ (6)

式中,$ C $$ m $$ n $μijdij分别用于描述聚类数目、模糊因子、像素个数、像素$ j $与类别$ i $之间的隶属程度以及之间的欧氏距离。

目标函数$ J $用于描述舰船多目标前景图像中各个像素与聚类中心之间加权距离的平方和,可通过与各聚类中心的加权距离获取一组最佳聚类中心与隶属度矩阵,使目标函数$ J $为最小即。通过求解min(J),获取μij,通过μij完成各个像素到各个类别的划分,像素$ j $到类别$ i $的划分表达式为:

$ k = \arg \max \left\{ {{u_{ij}},i = 1,2,...,C} \right\} 。$ (7)

采用拉格朗日乘子算子求取min(J),得到的函数表达式为:

$ F = \sum\limits_{i = 1}^C {\sum\limits_{j = 1}^n {u_{ij}^md_{ij}^2} } + \sum\limits_{j = 1}^n {{\lambda _j}\left(\sum\limits_{i = 1}^n {{u_{ij}} - 1} \right)}。$ (8)

依据隶属度约束条件$ \sum\limits_{j = 1}^n {u_{ij}^{}} = 1 $以及$ {{\partial F}}/{{\partial u_{ij}^{}}} = 0 $获取隶属度矩阵和聚类中心,从而获取目标函数最小值,完成舰船多目标前景图像$ F_I $中各个像素的划分,划分后的像素类别子集用$ \left\{ {{\Omega _1},{\Omega _2},...,{\Omega _C}} \right\} $描述。求解各个像素类别子集$ {\Omega _i} $$ i \in \left[ {1,C} \right] $)中像素点平均灰度值$ {\varsigma _i} $,将灰度值大于设定阈值$ \tau $的类别子集组合在一起,并以二值化图像的形式输出,作为舰船多目标前景图像分割结果$ O_I $,表达式为:

$ O_I(x,y)=B_I(x,y),x,y\in {\Omega }_{i}\text{,}{\varsigma }_{i} > \tau。$ (9)

通过式(9)获取舰船航行图像多目标分割结果后,依据其对应的BBI以及I的坐标映射关系,将舰船多目标检测结果标注在I中,并通过最小外接矩形将舰船多目标检测结果予以框选标记。

2 实验结果分析

选取舰船图像数据集LS-SSDD-v1.0,验证本文方法的实际应用效果,该数据集包含300张大场景舰船航行图像。验证过程中,实验平台详细情况为:处理器(CPU):Intel Core™ i7-4970,主频3.6 GHz;内存(RAM):16 GB;软件平台:Matlab 2012;操作系统:Windows 64位。舰船多目标显著图将前3层视为候选多目标区域,即将R值设置为3。利用模糊C均值算法进行图像分割时,设置聚类数目C的大小为3,分别为天空、海面、舰船目标。同时设置阈值$ \tau $的大小为180,用于完成舰船多目标检测。

随机选取一张舰船航行图像,应用本文方法检测其舰船多目标,检测结果如图1所示。可以看出,本文方法有效利用视觉传达技术实现了舰船航行图像的多目标检测。原始图像中多个舰船目标显著性不明显,难以直接进行多目标检测。改进的HFT模型成功提取了目标显著性特征,使舰船在视觉显著性图像中突出显示。通过多层显著区域检测,更准确地定位了多个舰船目标。通过候选区域的提取,可以发现在多层显著区域中,舰船目标被准确地定位和提取出来,为后续的舰船多目标检测提供了准确的目标区域。在候选区域的基础上,又通过合理的前景区域提取,去除了大部分背景噪声,得到了舰船多目标的前景区域图像,最终,舰船多目标被精确检测。为此本文方法具备舰船航行图像多目标检测的有效性。

图 1 舰船航行图像多目标检测结果 Fig. 1 Multi object detection results of ship navigation images

视觉显著性模型的可以复杂条件下最大程度突出目标的显著性特征,也是实现精准目标检测的关键,为此在云雾覆盖、海洋杂波、船舶尾迹、海岸线、存在小岛和珊瑚礁以及小目标等复杂环境下,对比本文应用的基于改进HFT的视觉显著性模型、GBVS显著性模型、AIM显著性模型、WVS显著性模型的多目标检测能力,检测结果见表1。从数据分析来看,改进HFT模型在多数复杂环境下表现出较好的目标检测能力。它在云雾覆盖、海洋杂波、船舶尾迹、海岸线、存在小岛和珊瑚礁以及小目标的情况下都能有效检测目标。相比之下,其他模型在某些复杂环境下检测能力有限。因此,改进HFT模型是一个更鲁棒、准确的多目标检测方法,适用于复杂环境。

表 1 复杂环境下的视觉显著模型应用效果对比 Tab.1 Comparison of the application effects of visual saliency models in complex environments
3 结 语

通过LS-SSDD-v1.0舰船图像数据集验证了本文舰船多目标检测方法性能。该方法在复杂环境下(如云雾、海洋杂波等)能有效提取舰船目标的显著性特征,实现精准检测,多层显著区域检测和候选区域提取技术进一步提高了检测的准确性和效率。相比其他显著性模型,改进HFT模型在多种复杂环境下表现出更强的鲁棒性和准确性。

参考文献
[1]
郑子阳, 张婷, 刘兆英, 等. 基于旋转损失函数RCIoU的SAR图像舰船目标检测方法[J]. 山东大学学报(工学版), 2022, 52(2): 15−22.
ZHENG Ziyang , ZHANG Ting , LIU Zhaoying , et al. Ship target detection in SAR images based on RCIoU loss function[J]. Journal of Shandong University(Engineering Science) , 2022, 52(2): 15−22.
[2]
周旗开, 张伟, 李东锦, 等. 基于改进YOLOv5s的光学遥感图像舰船分类检测方法[J]. 激光与光电子学进展, 2022, 59(16): 476−483.
ZHOU Qikai , ZHANG Wei , LI Dongjin , et al. Ship classification and detection method for optical remote sensing images based on improved YOLOv5s [J]. Laser & Optoelectronics Progress, 2022, 59(16): 476−483.
[3]
扈琪, 胡绍海, 刘帅奇. 基于多层显著性模型的SAR图像舰船目标检测[J]. 系统工程与电子技术, 2024, 46(2): 478−487.
HU Qi , HU Shaohai , LIU Shuaiqi . Ship detection in SAR image based on multi-layer saliency model[J]. Systems Engineering and Electronics, 2024, 46(2): 478−487.
[4]
严荣慧, 谢海成, 花敏恒, 等. 基于运动与表象特征的广域船舶目标识别方法[J]. 中国舰船研究, 2022, 17(1): 227−234.
YAN Ronghui, XIE Haicheng, HUA Minheng, et al. Wide-area ship target recognition method based on motion and appearance features[J]. Chinese Journal of Ship Research, 2022, 17(1): 227−234.
[5]
贾晓雅, 汪洪桥, 杨亚聃, 等. 基于YOLO框架的无锚框SAR图像舰船目标检测[J]. 系统工程与电子技术, 2022, 44(12): 3703−3709.
JIA Xiaoya , WANG Hongqiao , YANG Yadan , et al. Anchor free SAR image ship target detection method based on the YOLO framework[J]. Systems Engineering and Electronics, 2022, 44(12): 3703−3709.
[6]
谢兆哲, 程永强, 吴昊, 等. 基于Toeplitz矩阵特征值分解的SAR图像舰船目标检测方法[J]. 信号处理, 2023, 39(3): 496−504.
XIE Zhaozhe , CHENG Yongqiang , WU Hao , et al. Ship target detection method in sar imagery based on eigenvalue decomposition of the toeplitz matrix[J]. Journal of Signal Processing, 2023, 39(3): 496−504.
[7]
张学思, 张婷, 刘兆英, 等. 基于轻量型卷积神经网络的海面红外显著性目标检测方法[J]. 山东大学学报(工学版), 2022, 52(2): 41−49.
ZHANG Xuesi , ZHANG Ting , LIU Zhaoying , et al. Infrared salient object detection of sea background based on lightweight CNN[J]. Journal of Shandong University(Engineering Science), 2022, 52(2): 41−49.