舰船科学技术  2024, Vol. 46 Issue (16): 143-147    DOI: 10.3404/j.issn.1672-7649.2024.16.023   PDF    
光学遥感图像中舰船识别方法研究
丁梦磊     
中国船舶集团有限公司第七一三研究所,河南 郑州 450015
摘要: 光遥感图像舰船目标在检测识别过程中会存在诸多干扰,导致无法精准识别出舰船目标,对此,研究光学遥感图像中舰船识别方法。首先,在光学遥感图像内提取舰船目标显著性区域,抑制云雾、海杂波与海域陆地等背景信息对舰船目标识别的影响,完成光学遥感图像舰船目标的粗识别。然后,基于提取到的光学遥感图像显著性区域,利用CNN网络对其进行舰船目标精识别。实验结果表明,设计方法可以有效提取光学遥感图像的舰船目标显著性区域,并提取显著性区域的舰船目标特征;舰船目标识别精度始终高于95%,具有实用性。
关键词: 卷积神经网络     光学遥感图像     舰船目标识别     谱残差模型     最大值-均值     全连接层    
Research on ship identification methods in optical remote sensing images
DING Menglei     
The 713 Research Institute of CSSC, Zhengzhou 450015, China
Abstract: There are many interferences in the detection and recognition process of ship targets in optical remote sensing images, which make it difficult to accurately identify ship targets. Therefore, research is conducted on ship recognition methods in optical remote sensing images. Firstly, extract the salient regions of ship targets in optical remote sensing images, suppress the influence of background information such as clouds, sea clutter, and sea land on ship target recognition, and complete rough recognition of ship targets in optical remote sensing images. Then, based on the extracted salient regions of optical remote sensing images, a CNN network is used for precise recognition of ship targets. The experimental results show that the design method can effectively extract the salient regions of ship targets in optical remote sensing images, and extract the ship target features in the salient regions; The accuracy of ship target recognition is always above 95%, which is practical.
Key words: convolutional neural network     optical remote sensing image     ship target recognition     spectral residual model     max-mean value     fully connected layer    
0 引 言

随着遥感技术的不断发展,光学遥感图像在舰船目标的分类识别中表现出了其他类别的图像所不具备的优势。随着升空卫星数量的增多和性能的提高,图像分辨率也在逐渐提升,这为舰船目标的精确识别提供了丰富的数据资源。舰船识别技术可以帮助监测海上交通情况,提高海上安全意识,预防事故发生,保障航行安全[12]。且通过准确识别舰船,可以更快速、有效地进行海上救援和应急响应,及时处理海上意外事件,保障人员生命和财产安全。

成倩等[3]利用YOLOv5算法对舰船目标进行快速定位和识别。通过优化网络结构和训练策略,提高模型检测性能。实验证明,该方法在舰船目标检测任务中取得了较高的准确率和召回率。但YOLOv5算法对训练数据的依赖性较强,对未知或复杂场景下的舰船目标检测效果欠佳。王慧赢等[4]设计了一种高效的轻量级检测模型,实现快速且准确的舰船目标检测。该模型通过优化轻量级神经网络结构、减少参数数量以及采用高效的特征提取方法,显著降低了计算复杂度和内存占用。实验结果表明,该方法在保持较高检测性能的同时,有效降低了计算负担,完成舰船检测任务。然而,光学遥感图像往往包含丰富的空间信息和纹理信息,轻量级神经网络无法充分提取和利用这些信息,导致识别性能下降。Baili等[5]通过构建复杂的神经网络模型,自动学习图像特征,精准识别目标。实验证明,该方法在多个数据集上均取得了优异的性能。但是复杂的神经网络模型由于参数众多,容易在训练过程中出现过拟合现象。过拟合意味着模型对训练数据过度拟合,导致模型在识别光学遥感图像目标时性能下降。Cherri 等[6]利用光学原理,通过傅里叶变换和逆变换过程,实现对目标图像与参考图像之间的相关性分析,完成目标识别。结果表明,该方法能够准确识别目标对象。但该方法对参考图像的选择较为敏感,如果参考图像本身存在缺陷,则会导致识别失败。

针对上述方法存在的问题,研究光学遥感图像中舰船识别方法,为光学遥感图像舰船目标识别领域的发展提供有益的参考和借鉴。

1 光学遥感图像舰船目标识别方法设计 1.1 舰船目标粗识别

光学遥感图像往往包含大量的像素和复杂的背景信息,直接精细识别整幅图像,会增加计算量[7]。通过粗识别可以大幅度减少需要精细处理的图像数量,快速筛选出可能包含舰船目标的图像区域,为后续精细识别提供更小的搜索范围,从而提高整体的识别效率[8]

光遥感图像舰船目标在检测识别过程中会存在诸多干扰,如:云雾背景、海杂波背景、海域陆地并存背景等,如图1所示。如何在遥感图像中突出舰船目标区域特性的同时抑制复杂背景的干扰,是舰船目标检测识别过程中要解决的重要问题。

图 1 舰船目标干扰背景 Fig. 1 Ship target interference background

为此,利用谱残差模型,在光学遥感图像内提取舰船目标显著性区域,抑制云雾、海杂波与海域陆地等背景信息对舰船目标识别的影响,完成光学遥感图像舰船目标的粗识别。令光学遥感图像是$ U $$ U = {U_1} + {U_2} $,其中,显著性区域图像是$ {U_1} $$ {U_1} $内包含舰船、海岛与浮标;背景图像是$ {U_2} $$ {U_2} $内包含云雾、海杂波与海域陆地等信息景象。通过剔除$ {U_2} $,便可获取光学遥感图像的显著性区域。

由于光学遥感图像内视觉显著性特征和图像尺度关系紧密,所以当光学遥感图像的尺度不同时,其内部的显著性特征也会不同。为此,在提取光学遥感图像显著性区域时,需要考虑光学遥感图像的尺度,以提升显著性区域提取精度。令光学遥感图像的尺度空间是$ D = \left\{ {{d_1},{d_2},...,{d_k}} \right\} $,在$ {d_i} $尺度下,光学遥感图像的显著性区域是$ U_1^{{d_i}} $,则多尺度下,加权融合的光学遥感图像显著性区域为:

$ {\hat U_1} = \sum\limits_{i = 1}^k {\frac{{U_1^{{d_i}}}}{{\displaystyle\sum\limits_{i = 1}^k {{d_i}} }}} 。$ (1)

其中,$ {d_i} $为尺度。显著性区域是图像中与周围环境相对显著的区域,而舰船目标通常具有一定的显著性。因此,通过分析和提取显著性区域,结合舰船的特征以及形状等信息,可以初步识别出光学遥感图像中的舰船目标,实现光学遥感图像舰船目标粗识别。

1.2 舰船目标精识别

针对1.1节提取的光学遥感图像显著性区域$ {\hat U_1} $,利用CNN网络对$ {\hat U_1} $进行舰船目标精识别。

利用CNN的卷积层在$ {\hat U_1} $内提取舰船目标特征,第1层提取的第$ j $个特征图的计算式为:

$ {x_{1,j}} = \varphi \left( {\sum\limits_{j = 1}^M {{{\hat U}_1} · {\omega _{1,j}} + {b_{1,j}}} } \right)。$ (2)

式中:$ \varphi \left( \cdot \right) $为激活函数;$ {\omega _{1,j}} $为权值;$ {b_{1,j}} $为第1层提取的第$ j $个特征图偏置;$ M $为舰船目标特征图数量。

下一层卷积层的输入是上层输出的舰船目标特征图,则$ {x_{l,j}} $为第$ l $层提取的第$ j $个舰船目标特征图。

融合最大值与均值池化,处理舰船目标特征,在增强局部细节信息的同时,还可以保留全局信息,并解决CNN网络的过拟合问题,为后续舰船目标识别提供更为详细的舰船目标特征信息。均值池化的计算公式为:

$ {\overline x _{l,j}} = \frac{{\varphi \left( {\displaystyle\sum\limits_{j = 1}^M {down\left( {{x_{l,j}}} \right) + {b_{l,j}}} } \right)}}{M} 。$ (3)

式中:$ {\overline x _{l,j}} $为均值池化处理后的第$ l $层提取的第$ j $个舰船目标特征图;$ down\left( \cdot \right) $为采样函数;$ {b_{l,j}} $为第$ l $层提取的第$ j $个特征图偏置。

则最大值池化的计算公式如下:

$ \max \left( {{x_{l,j}}} \right) = \varphi \left( {\sum\limits_{j = 1}^M {down\left( {{x_{l,j}}} \right) + {b_{l,j}}} } \right) 。$ (4)

融合2种池化方式后,得到最终的舰船目标特征图池化结果,公式如下:

$ {\hat x_{l,j}} = {\overline x _{l,j}} + \max \left( {{x_{l,j}}} \right) 。$ (5)

在全连接层内输入$ {\hat x_{l,j}} $,输出舰船目标识别结果,公式如下:

$ {z_j} = \sum\limits_{j = 1}^M {{\omega _j}{{\hat x}_{l,j}}} 。$ (6)

通过反向传播训练法,训练CNN,优化权值与偏置,优化后的权值如下:

$ {\omega _{t + 1}} = {\omega _t} + c\frac{{\partial Loss}}{{\partial {\omega _t}}}。$ (7)

式中:$ c $为学习因子;$ t $为迭代次数;$ Loss $为损失函数。

优化后的偏置如下:

$ {b_{t + 1}} = {b_t} + c\frac{{\partial Loss}}{{\partial {b_t}}} 。$ (8)

由于海洋环境较为复杂,因此在识别舰船目标时,舰船目标区域有可能被遮挡,影响舰船目标识别精度。通过分析舰船目标区域有可能被遮挡的部分(舰首、舰尾、左舷、右舷)。在设计损失函数时,需考虑这四部分,提升光学遥感图像舰船目标识别精度。

$ Loss $的计算公式如下:

$ Loss = Los{s_a} + \gamma \left( {Los{s_1},Los{s_2},Los{s_3},Los{s_4}} \right) 。$ (9)

式中:$ Los{s_a} $为交叉熵损失;$ Los{s_b} $为回归损失;$ Los{s_1} $$ Los{s_2} $$ Los{s_3} $$ Los{s_4} $为舰首、舰尾、左舷、右舷损失;$ \gamma $为权重。

则最终的光学遥感图像舰船目标识别结果如下:

$ {\hat z_{i'}} = \frac{{\displaystyle\sum\limits_{i'}^\eta {\left[ {{{\log }_2}\left( {{z_{i'}}} \right) + \left( {1 - {z_j}} \right){{\log }_2}\left( {1 - {z_{i'}}} \right)} \right]} }}{{{\omega _{t + 1}} + {b_{t + 1}}}} - Loss 。$ (10)

其中,$ {z_{i'}} $为第$ i' $个光学遥感图像样本的舰船目标识别结果。

2 实验分析 2.1 实验环境

为验证设计方法的有效性,在舰船目标识别实验中使用250张SPOT-7卫星拍摄的1.5m分辨率可见光遥感图像,图像尺寸从512×512~2100×2700。从200张遥感图像中截取412个正样本和1302个负样本用于训练。部分训练样本如图2所示。CNN网络参数设定如表1所示。

图 2 光学遥感图像 Fig. 2 Optical remote sensing image

表 1 CNN网络参数 Tab.1 CNN network parameter
2.2 实验指标

CNN的平均损失表达式:

$ LOSS = \frac{1}{n}\sum\limits_{i = 1}^n {L\left( {{y_i},{{\hat y}_i}} \right)} 。$ (11)

式中:$ n $为样本数量;$ {y_i} $为实际标签;$ {\hat y_i} $为预测的标签;$ L $为损失函数。平均损失值越小,说明CNN进行舰船目标识别的稳定性越佳。

衡量不同方法正确识别样本的比例。正确率的计算公式如下:

$ A = \frac{{T_P + T_N}}{{T_P + T_N + F_P + F_N}} 。$ (12)

式中:$ T_P $为预测为正且实际也为正的样本数;$ T_N $为预测为负且实际也为负的样本数;$ F_P $为预测为正但实际为负的样本数;$ F_N $为预测为负但实际为正的样本数。

2.3 实验结果

1)显著性区域提取分析

利用本文方法对光学遥感图像进行粗识别,提取显著性区域,部分云雾背景、海杂波背景、海域陆地并存背景样本提取结果如图3所示。

图 3 显著性区域提取结果 Fig. 3 Extraction results of significance region

分析可知,本文方法可有效对光学遥感图像进行舰船目标粗识别,提取显著性区域,剔除背景信息,在光学遥感图像中,背景信息可能包含各种复杂的纹理和特征,这些特征可能与舰船目标的特征相似,从而导致误识别,通过粗识别过程剔除这些背景信息,可以减少误识别的可能性,提高舰船目标识别的准确性。且通过粗识别过程,能够快速地定位到可能的舰船目标所在区域,从而大大缩减了后续处理的数据量。

2)舰船目标特征提取分析

利用本文方法在显著性区域内,提取舰船目标特征,提取结果如图4所示。

图 4 舰船目标特征提取结果 Fig. 4 Results of ship target feature extraction

分析可知,本文方法可有效提取舰船目标特征,得到对舰船目标识别响应强烈的特征,为后续光学遥感图像舰船目标识别提供有力的数据支持。

3)平均损失值分析

分析本文方法池化层改进前后CNN的平均损失,分析结果如图5所示。

图 5 平均损失值分析结果 Fig. 5 Analysis results of average loss value

分析可知,随着学习因子的提升,应用3种池化方式进行舰船目标识别时的平均损失值,均呈先下降后上升的趋势,当学习因子达到0.005时,3种池化方式对应的平均损失值均降至最低,说明以0.005为学习因子的数值,更新CNN权值,可提升CNN的舰船目标识别精度。3种池化方式的初始平均损失完全相同,当学习因子开始增加后,本文方法应用最大值-均值池化方式的平均损失,均明显低于其余2种池化方式,说明本文方法对池化层改进后,可提升其舰船目标识别的稳定性。

为进一步验证设计方法的实用性能,选用文献[4]与文献[5]方法作为对比方法,进行舰船目标识别精度测试,结果如图6所示。

图 6 识别准确率对比结果 Fig. 6 Identification accuracy and comparison results

分析可知,利用本文方法进行舰船目标识别时,识别准确率始终高于95%,而对比方法的识别准确率明显低于本文方法,原因是本文方法在设计损失函数时,考虑了舰船目标缺失问题。

3 结 语

本文研究光学遥感图像中舰船识别方法,通过不断优化网络结构、提升训练策略,在复杂的遥感图像中精准地识别出舰船目标,为海洋监测、军事侦察等领域提供了强有力的技术支持。尽管本文方法已经取得了显著进展,但仍然存在一些挑战和问题需要进一步解决。光学遥感图像质量不断提升,这对舰船目标识别方法提出了更高的要求。因此,我们需要继续优化网络结构,提升模型的性能,以应对更高质量的遥感图像。

参考文献
[1]
许德刚, 王再庆, 邢奎杰, 等. 改进YOLOv6的遥感图像目标检测算法[J]. 计算机工程与应用, 2024, 60(3): 119-128.
XU Degang, WANG Zaiqing, XING Kuijie, et al. Remote sensing image target detection algorithm based on improved YOLOv6[J]. Computer Engineering and Applications, 2024, 60(3): 119-128.
[2]
付宏建, 白宏阳, 郭宏伟, 等. 融合多注意力机制的光学遥感图像目标检测方法[J]. 光子学报, 2022, 51(12): 304-312.
FU Hongjian, BAI Hongyang, GUO Hongwei, et al. Object detection method of optical remote sensing image with multi-attention mechanism[J]. Acta Photonica Sinica, 2022, 51(12): 304-312.
[3]
成倩, 李佳, 杜娟. 基于YOLOv5的光学遥感图像舰船目标检测算法[J]. 系统工程与电子技术, 2023, 45(5): 1270-1276.
CHENG Qian, LI Jia, DU Juan. Ship target detection algorithm of optical remote sensing image based on YOLOv5[J]. Systems Engineering and Electronics, 2023, 45(5): 1270-1276.
[4]
王慧赢, 王春平, 付强, 等. 面向嵌入式平台的轻量级光学遥感图像舰船检测[J]. 光学学报, 2023, 43(12): 113-126.
WANG Huiying, WANG Chunping, FU Qiang, et al. Lightweight ship detection based on optical remote sensing images for embedded platform[J]. Acta Optica Sinica, 2023, 43(12): 113-126.
[5]
BAILI N, MOALLA M, FRIGUI H, et al. Multistage approach for automatic target detection and recognition in infrared imagery using deep learning[J]. Journal of Applied Remote Sensing, 2022, 16(4): 048505.1-048505.18.
[6]
CHERRI A K, NAZAR A S. Class-associative multiple target recognition for highly compressed color images in a joint transform correlator[J]. Optical Engineering, 2022, 61(12): 123102.1-123102.18.
[7]
殷赞, 王超杰, 程子恒, 等. 一种基于注意力机制卷积神经网络模型的自动调制识别算法[J]. 电波科学学报, 2023, 38(5): 773-779.
YIN Zan, WANG Chaojie, CHENG Ziheng, et al. An automatic modulation recognition algorithm based on convolutional neural networks with attention mechanism[J]. Chinese Journal of Radio Science, 2023, 38(5): 773-779.
[8]
廉小亲, 黄雪, 高超, 等. 基于Frost滤波和改进CNN的SAR图像TR方法[J]. 计算机仿真, 2023, 40(5): 49-55+233.
LIAN Xiaoqin, HUANG Xue, GAO Chao, et al. A method for recognizing SAR image target based on frost filter and improved convolutional neural network[J]. Computer Simulation, 2023, 40(5): 49-55+233.