舰船科学技术  2024, Vol. 46 Issue (8): 157-160    DOI: 10.3404/j.issn.1672-7649.2024.08.029   PDF    
视觉显著性和稀疏学习相融合的船舶图像目标检测
钟思1, 李碧青2, 袁天然3, 张乐乾3, 李大宇1     
1. 桂林电子科技大学 机电工程学院,广西 桂林 541004;
2. 桂林电子科技大学 电子工程与自动化学院,广西 桂林 541004;
3. 桂林电子科技大学 计算机与信息安全学院/软件学院,广西 桂林 541004
摘要: 为抑制船舶图像目标检测受光照变化、海浪干扰、背景杂波等因素的影响,设计视觉显著性和稀疏表示学习相融合的船舶图像目标检测方法,提升船舶图像目标检测效果。利用船舶图像建立船舶图像字典;通过稀疏表示算法结合字典,稀疏编码船舶图像;依据稀疏编码结果,在船舶图像内提取视觉显著图;通过自适应阈值法,分割视觉显著图,得到船舶目标候选区域,缩小船舶目标检测范围;在概率神经网络内,输入船舶目标候选区域,判断其是否为船舶目标,完成船舶图像目标检测。实验证明,该方法可有效稀疏编码船舶图像,并提取视觉显著图;该方法可有效分割视觉显著图;在简单背景与复杂背景下,该方法均可精准检测船舶目标。
关键词: 视觉显著性     稀疏表示     船舶图像     目标检测     自适应阈值     神经网络    
Ship image object detection based on the fusion of visual saliency and sparse learning
ZHONG Si1, LI Bi-qing2, YUAN Tian-ran3, ZHANG Le-qian3, LI Da-yu1     
1. College of Mechanical and Electrical Engineering, Guilin University of Electronic Technology, Guilin 541004, China;
2. School of Electroic Engineering and Automation, Guilin University of Electronic Technology, Guilin 541004, China;
3. School of Computer Science and Information Security & School of Software Engineering, Guilin University of Electronic Technology, Guilin 541004, China
Abstract: In order to suppress the influence of light change, wave interference, background clutter and other factors in ship image target detection, a ship image target detection method combining visual salience and sparse representation learning is studied to improve the ship image target detection effect. Using ship image to build ship image dictionary; The ship image is sparsely encoded by sparse representation algorithm combined with dictionary. Based on sparse coding results, visual significance maps are extracted from ship images. Through the adaptive threshold method, the visual significance map is segmented to obtain the candidate region of ship target and narrow the detection range of ship target. In the probabilistic neural network, the candidate region of the ship target is input to judge whether it is the ship target, and the ship image target detection is completed. Experimental results show that the proposed method can effectively sparsely encode ship images and extract visual significance images. The method can effectively segment the visual significance map. This method can accurately detect ship targets in both simple and complex backgrounds.
Key words: visual saliency     sparse representation     ship images     object detection     adaptive threshold     neural network    
0 引 言

船舶图像目标检测的主要任务是从复杂的海洋背景中准确识别出船舶目标,为后续的目标跟踪、识别和分析提供基础数据[1]。然而,由于海洋环境的多样性和复杂性,船舶图像目标检测面临着诸多挑战,如光照变化、海浪干扰、背景杂波等。为此,需要深入研究船舶图像目标检测方法。严春满等[2]构建了一个包含坐标注意力模块的深度学习网络,用于自动学习船舶目标的空间特征,并强化关键坐标位置的信息。在训练过程中,通过引入注意力损失函数,优化网络参数,使得模型能够更准确地定位和识别船舶目标。实验结果表明,所提方法在船舶图像目标检测任务中取得了显著的性能提升,有效提高了船舶目标的检测精度和召回率。但由于船舶图像目标检测任务的多样性和复杂性,该方法难以适应不同场景和背景下的船舶目标检测任务。杨曦等[3]利用图像处理技术从船舶图像中提取不变特征,并通过特征选择算法筛选出最具代表性的特征。基于这些不变特征,设计了一种高效的匹配算法,用于在图像中快速准确地识别船舶目标。实验结果表明,该方法在多种复杂环境下均表现出良好的检测性能。但该方法对噪声和干扰较为敏感,如图像质量较差、噪声较多或存在严重干扰时,这些特征会受到影响,导致检测性能下降。视觉显著性模型能够突出图像中与船舶目标相关的显著区域,从而减少背景噪声和干扰信息的影响[4]。稀疏表示算法则能够自适应地学习船舶图像目标的特征表示[5],进一步提高目标检测的准确性。为此提出了视觉显著性和稀疏表示学习相融合的船舶图像目标检测方法,为船舶图像目标检测领域提供一种新的有效手段。

1 船舶图像目标检测方法具体设计 1.1 船舶图像字典学习

船舶图像数据集是$ X = \left\{ {{x_i}\left| {1 \leqslant i \leqslant n} \right.} \right\} $,船舶图像像素数量为$ n $,字典为$ Z $$ Z $的作用为提取船舶图像像素的特征,各像素xi均能够被$ Z $内的原子稀疏线性表示。字典学习问题可看作优化问题,公式如下:

$ \begin{split} & \mathop {\min }\limits_{Z,A} 0.5{\left\| {X - ZA} \right\|^2} + \lambda {\left\| A \right\|_1} \\ & s.t.{\left\| {{Z_j}} \right\|_2} \leqslant 1 。\end{split} $ (1)

式中:$ A $为系数矩阵;$ \lambda $为稀疏惩罚函数;Zj$ Z $内的第$ j $个原子。

$ Z $$ A $变化情况下,利用迭代方式求解式(1),具体步骤如下:

步骤1 固定$ Z $,将式(1)变更成有关$ A $l1-范数最小平方凸优化问题。

步骤2 固定$ A $,那么将式(1)变更成有关$ Z $的带二次约束的最小平方凸优化问题。

步骤3 多次迭代求解获取$ Z $

1.2 基于稀疏表示的船舶图像稀疏编码

对船舶图像展开稀疏编码的目的为:搜索编码系数β,令其得到最小船舶图像重构残差e=x-,若$ Z $代表船舶图像视觉显著区域,则利用β编码可获取对应的视觉显著性值。通过获取的$ Z $,结合稀疏表示原理,将$ x $描述成$ Z $内原子的稀疏线性组合,即对$ x $进行稀疏编码,船舶图像的稀疏编码模型为:

$ \beta \left( {{x_i}} \right) = \arg {\min _{{\beta _i}}}\left\| {{x_i} - Z\beta \left( {{x_i}} \right)} \right\|_2^2 + \gamma {\left\| {\beta \left( {{x_i}} \right)} \right\|_1} 。$ (2)

其中,$ x $为平衡系数。

式(2)的求解步骤如下:

步骤1 归一化处理$ X $

步骤2 搜索和$ e $有关的最高像素xp

步骤3 在仅存在xi的最小二乘准则(LSE)方向上,以0为起点,改变xp的编码系数βp,以出现新像素xqβq$ e $的相关性超过xp为止。

步骤4 在添加新像素的LSE方向上,以0为起点,继续改变xpxqβpβq,以出现新像素被选择为止[6]

步骤5 反复操作步骤2~步骤4,以全部像素被选择为止,输出β的最佳解。

1.3 船舶图像视觉显著图提取

依据计算获取的编码系数β,计算船舶图像像素xi的重构误差,公式如下:

$ \varepsilon \left( {{x_i}} \right) = \left\| {{x_i} - Z\beta \left( {{x_i}} \right)} \right\|_2^2 。$ (3)

通过$ \varepsilon \left( {{x_i}} \right) $$ \beta \left( {{x_i}} \right) $,计算船舶图像的视觉显著性值,公式如下:

$ G\left( {{x_i}} \right) = {L^*}\left[ {\varepsilon \left( {{x_i}} \right)} \right] \cdot L\left[ {\beta \left( {{x_i}} \right)} \right]。$ (4)

其中,L为高斯中心先验模型;L*为视觉显著性函数。

在Z内重构G(xi),得到船舶图像的视觉显著图$ \hat G $

1.4 船舶图像目标检测的实现

提取船舶图像的视觉显著图$ \hat G $后,能够抑制原始船舶图像内的背景干扰。通过对船舶目标视觉显著图进行分割,可以缩小船舶目标检测范围,加快船舶目标检测速度。为此,通过自适应阈值法分割$ \hat G $。令$ r\left( {\hat G} \right) $$ \hat G $的均值,通过阈值$ \theta $划分$ \hat G $,得到前景$ {\hat G_A} $和背景$ {\hat G_B} $,其均值是$ r\left( {{{\hat G}_A}} \right) $$ r\left( {{{\hat G}_B}} \right) $。以最大类间方差$ E $为划分准则,公式如下:

$ E = \rho \left( {{{\hat G}_A}} \right) \times {\left( {r\left( {{{\hat G}_A}} \right) - r\left( {\hat G} \right)} \right)^2} + \rho \left( {{{\hat G}_B}} \right) \times {\left( {r\left( {{{\hat G}_B}} \right) - r\left( {\hat G} \right)} \right)^2} 。$ (5)

其中,$ \rho \left( {{{\hat G}_A}} \right) $$ \rho \left( {{{\hat G}_B}} \right) $为在总像素数量内像素类别是$ {\hat G_A} $$ {\hat G_B} $的占据比例。以最大$ E $对应的阈值为最佳阈值$ {\theta ^*} $,对进行分割,得到船舶目标候选区域$ H $。在概率神经网络内输入$ H $,判定其是否属于船舶目标,网络第$ i $个候选区域和其相应的第$ l $个隐藏层单元关系为[7]

$ {\psi _{il}}\left( H \right) = \frac{{{e^{ - \frac{{{H_i}}}{{{\delta ^2}}}}}}}{{{{\left( {2{\text{π}} } \right)}^{\tfrac{d}{2}}}{\delta ^d}}} 。$ (6)

式中,$ d $为船舶目标候选区域的维度;$ \delta $为平滑参数。

$ i $个船舶目标候选区域的密度函数为:

$ {f_i}\left( H \right) = \frac{{\displaystyle\sum\limits_{l = 1}^m {{\psi _{il}}\left( H \right)} }}{m}。$ (7)

式中,$ m $为船舶目标候选区域的数量。

船舶目标候选区域属于船舶目标的概率为:

$ {y_i}\left( H \right) = {\varpi _i}{f_i}\left( H \right)。$ (8)

式中,$ {\varpi _i} $为先验概率。

令船舶目标检测阈值是ξ,当yi(H)>ξ时,说明候选区域为船舶目标,完成船舶图像目标检测。

2 实验结果分析

以某公开的船舶图像数据集为实验对象,该船舶图像数据集包含简单背景与复杂背景船舶图像,图像数量共400张,存在1138个船舶目标。

在船舶图像数据集内,随机选择一张简单背景与复杂背景的船舶图像,如图1所示。图1(a)中船舶数量为4艘,图1(b)中船舶数量为5艘。

图 1 简单与复杂背景的船舶图像 Fig. 1 Ship images with simple and complex background

利用本文方法对这2张图像进行稀疏编码,稀疏编码结果如图2所示。可以观察到,本文提出的方法在简单背景和复杂背景下的船舶图像中都能有效地进行稀疏编码。这一特性为后续视觉显著图的提取提供了重要的帮助。在简单背景下,船舶目标与背景之间的对比度相对较高,使得目标易于识别。在这种情况下,本文方法通过稀疏编码,能够准确地突出船舶目标区域,同时抑制背景噪声。这种稀疏编码的有效性,为后续视觉显著图的提取提供了清晰、准确的信息,进一步提高了目标检测的准确性。在复杂背景下,船舶图像内包含较多的岛屿,增加了目标检测的难度。然而,本文方法通过稀疏编码,仍然能够有效地提取船舶目标区域,同时在一定程度上抑制了复杂背景的影响。这种稀疏编码的鲁棒性,使得后续视觉显著图的提取能够在复杂的环境中依然保持较高的准确性。

图 2 船舶图像稀疏编码结果 Fig. 2 Results of sparse coding of ship images

利用本文方法提取这2张图像的视觉显著图,提取结果如图3所示。可以清晰地看到,无论是在简单背景还是复杂背景下,本文提出的方法都能够有效地提取船舶图像的视觉显著图,帮助本文方法更准确地定位船舶目标区域,同时抑制背景信息对检测结果的干扰。

图 3 船舶图像视觉显著图提取结果 Fig. 3 Extraction results of visual significance of ship images

利用本文方法依据视觉显著图,对船舶图像进行目标候选区域分割,分割结果如图4所示。可以看出,本文方法可有效分割简单背景与复杂背景下的船舶目标候选区域。通过本文方法的处理,能够清晰地分割出船舶目标的候选区域,这些区域紧密地围绕着船舶目标,从而极大地缩小了目标检测的范围。这种情况下,检测方法只需在这些候选区域内进行搜索,而无需遍历整个图像,从而显著提高了检测速度。

图 4 船舶图像目标候选区域分割结果 Fig. 4 Segmentation results of target candidate regions in ship images

利用本文方法进行船舶图像目标检测,检测结果如图5所示。可以看出,本文方法可有效在简单背景与复杂背景下,检测船舶目标。在简单背景下,船舶目标检测结果为4艘船舶,与实际情况相符。在复杂背景下,船舶目标检测结果为5艘船舶,也与实际情况相符。综合分析,无论是简单背景船舶图像,还是复杂背景船舶图像,本文方法均可精准检测船舶目标。

图 5 船舶图像目标检测结果 Fig. 5 Target detection results of ship images
3 结 语

本研究探索了视觉显著性与稀疏学习相结合方法在船舶图像目标检测中的应用。通过结合视觉显著性与稀疏学习,实现了船舶图像目标检测性能的大幅提升。这种融合方法不仅提高了目标检测的准确性和鲁棒性,还使得算法能够适应更多变的环境和场景。

参考文献
[1]
谢兆哲, 程永强, 吴昊, 等. 基于Toeplitz矩阵特征值分解的SAR图像舰船目标检测方法[J]. 信号处理, 2023, 39(3): 496-504.
XIE Zhaozhe, CHENG Yongqiang, WU Hao, et al. Ship target detection method in SAR imagery based on eigenvalue decomposition of the Toeplitz matrix[J]. Journal of Signal Processing, 2023, 39(3): 496-504.
[2]
严春满, 王铖. 基于选择性坐标注意力的SAR图像舰船目标检测[J]. 电子学报, 2023, 51(9): 2481-2491.
YAN Chunman, WANG Cheng. Ship target detection in SAR image based on selective coordinate attention[J]. Acta Electronica Sinica, 2023, 51(9): 2481-2491.
[3]
杨曦, 张鑫, 郭浩远, 等. 基于不变特征的多源遥感图像舰船目标检测算法[J]. 电子学报, 2022, 50(4): 887-899.
YANG Xi, ZHANG Xin, GUO Haoyuan, et al. Invariant features based ship detection model for multi-source remote sensing images[J]. Acta Electronica Sinica, 2022, 50(4): 887-899. DOI:10.12263/DZXB.20210842
[4]
余伟, 尤红建, 胡玉新, 等. 基于多尺度双邻域显著性的高分四号遥感图像运动船舶检测方法[J]. 电子与信息学报, 2023, 45(1): 282-290.
YU Wei, YOU Hongjian, HU Yuxin, et al. Moving ship detection method based on multi-scale dual-neighborhood saliency for GF-4 satellite remote sensing images[J]. Journal of Electronics & Information Technology, 2023, 45(1): 282-290. DOI:10.11999/JEIT211107
[5]
杨亚东, 黄胜一, 谭毅华. 基于低秩和重加权稀疏表示的红外弱小目标检测算法[J]. 应用科学学报, 2023, 41(5): 753-765.
YANG Yadong, HUANG Shengyi, TAN Yihua. Infrared dim and small target detection algorithm based on low-rank and reweighted sparse representation[J]. Journal of Applied Sciences, 2023, 41(5): 753-765.
[6]
闵锋, 刘朋. 改进YOLOv5的SAR图像近海岸舰船目标检测算法研究[J]. 微电子学与计算机, 2023, 40(4): 38-46.
MIN Feng, LIU Peng. Research on the detection algorithm of near-coastal ships in SAR images based on improved YOLOv5[J]. Microelectronics & Computer, 2023, 40(4): 38-46.
[7]
曾祥书, 黄一飞, 蒋忠进. 基于YOLOX网络的SAR图像舰船目标检测[J]. 雷达科学与技术, 2023, 21(3): 255-263.
ZENG Xiangshu, HUANG Yifei, JIANG Zhongjin. Ship target detection in SAR images based on YOLOX[J]. Radar Science and Technology, 2023, 21(3): 255-263.