舰船科学技术  2023, Vol. 45 Issue (18): 174-177    DOI: 10.3404/j.issn.1672-7649.2023.18.032   PDF    
遥感图像在船舶检测深层卷积神经网络的应用
李泳强, 石小平     
新疆大学 数学与系统科学学院,新疆 乌鲁木齐 830046
摘要: 为了改善不同朝向、外形尺寸船舶目标检测效果,提出基于深层卷积神经网络的船舶遥感图像检测方法。采用拉普拉斯算子对原始船舶遥感图像作增强处理,采用中值滤波算法消除处理后的遥感图像所含噪声,将去噪后的船舶遥感图像输入到船舶检测模型中,引入可变形卷积的D-FPN网络获取疑似船舶候选区域图像,通过多尺度锚点设计满足船舶目标检测时的尺寸要求,将疑似船舶候选区域提取结果作为D-FCN网络的输入,完成旋转矩形框定位以及损失函数的设计,实现不同类型船舶目标的识别。结果表明:该方法可提升原始船舶遥感图像视觉效果,实现船舶目标检测;嵌入3个可变形卷积层并放置于ResNet网络后端,模型PRF1指标值最大、训练损失最低。
关键词: 遥感图像     船舶检测     拉普拉斯算子     中值滤波     可变形卷积     疑似候选区域    
Application of remote sensing image in deep convolutional neural network of ship detection
LI Yong-qiang, SHI Xiao-ping     
College of Mathematics and System Science, Xinjiang University, Urumqi 830046, China
Abstract: In order to improve the detection performance of ship targets with different orientations and dimensions, a ship remote sensing image detection method based on deep convolutional neural network is proposed. After sampling the Laplace operator to enhance the original ship remote sensing image, the median filtering algorithm is used to eliminate the noise contained in the processed remote sensing image. The denoised ship remote sensing image is input into the ship detection model, and the suspected ship candidate area image is obtained by introducing a deformable convolutional D-FPN network. The multi-scale anchor design meets the size requirements for ship target detection, The extraction results of suspected ship candidate regions are used as inputs to the D-FCN network, and after completing the positioning of the rotating rectangular box and the design of the loss function, the recognition of different types of ship targets is achieved. The experimental results show that this method can improve the visual effect of original ship remote sensing images; It can achieve ship target detection by embedding three deformable convolutional layers and placing them on the backend of the ResNet network. The model has the highest P, R and F1 index values and the lowest training loss.
Key words: remote sensing images     ship inspection     Laplace operator     median filtering     deformable convolution     suspected candidate area    
0 引 言

海面环境多变且条件恶劣,给船舶目标检测带来极大难度[1-2]。利用合成孔径雷达图像实现船舶目标的识别是过去普遍采用的船舶检测方式[3],与之相比,遥感图像具有覆盖区域广、视觉信息丰富等优势,因此,基于遥感图像的船舶目标检测已成为当下研究热点[4]

李森森等[5]针对船舶遥感图像采集质量差造成的船舶目标识别精度不高的问题,提出在船舶遥感图像增强的基础上,以船舶方向梯度直方图作为判别依据,实现候选区域船舶目标与其他干扰信息的区分。该方法因无法实现干扰因素的全部消除,导致船舶检测效果大受影响。深度卷积神经网络能够根据输入的遥感图像实现目标特征图的获取,从而完成目标检测与识别。鉴于上述方法在船舶目标检测存在的问题,本文研究深层卷积神经网络的船舶遥感图像检测方法,实现不同类型船舶目标的精准检测。

1 船舶遥感图像目标检测 1.1 船舶遥感图像增强与去噪

为使船舶目标检测精度满足要求,通过拉普拉斯算子对其进行增强,提高视觉效果。f(x,y,z)描述船舶遥感图像,其中任意一个像素点表示为(x,y),其维度表示为 $ z $ 。拉普拉斯算子公式为:

$ {\nabla ^2}f = \frac{{{\partial ^2}f}}{{\partial {x^2}}} + \frac{{{\partial ^2}f}}{{\partial {y^2}}}。$ (1)

拉普拉斯算子可通过线性方式对其进行描述,对 $ x $ $ y $ 方向作差分转换,根据转换结果以及式(1)即可实现拉普拉斯算子的准确描述:

$ \begin{split} {\nabla ^2}f =& f\left( {x,y + 1} \right) + f\left( {x,y - 1} \right) + f\left( {x + 1,y} \right)+ \\ &f\left( {x - 1,y} \right) - 4f\left( {x,y} \right)。\\[-5pt] \end{split} $ (2)

通过式(2)可完成滤波模板的确定,将其与拉普拉斯算子联合使用,即可完成拉普拉斯滤波的确定。

对船舶遥感图像作增强处理后,仍可能存在部分噪声干扰,采用中值滤波对其作进一步处理,提高船舶遥感图像质量。

1.2 船舶遥感图像目标检测模型

本文构建的船舶遥感图像目标检测模型由引入多层可变形卷积层D-FPN网络以及D-FCN网络级联而成,将处理后船舶遥感图像作为船舶检测模型的输入后,利用引入多层可变形卷积层D-FPN网络获取疑似船舶候选区域图像,通过多尺度锚点设计以满足船舶目标检测时的尺寸要求,将疑似船舶候选区域提取结果作为D-FCN网络的输入,实现船舶目标的精准检测。

1.2.1 可变形卷积层D-FPN网络

常规卷积方式以不变位置实现船舶遥感图像输入信息的采样处理,在船舶目标外形以及尺寸存在差异时,难以依据其完成采样位置的修正,这使得船舶目标检测模型的特征刻画能力大幅降低。可变形卷积方式利用采样位置的偏移量使D-FPN网络具有突出的特征表达能力,可变形卷积计算公式描述为:

$ F\left(p_0\right)=\sum\limits_{p_i\in S}^{ }\omega\left(p_i\right)f\left(p_0+p_i+\Delta p_i\right)。$ (3)

式中: $ S $ 为采样位置,p0为中心点;pi为任意一点采样点,i=1,2,..,N,用于描述采样位置编号; $\Delta $ p为采样点的偏移量; $ \omega $ 为卷积核权重。

D-FPN是以ResNet50为基础并引入3个可变形卷积层的网络,其基本结构如图1所示。

图 1 D-FPN网络基本结构 Fig. 1 Basic structure of D-FPN network

为了充分捕捉船舶遥感图像信息,提高船舶目标检测效果,本文设计一个可涵盖多尺度信息的特征金字塔,按照从上至下路径以及水平连接形式实现各层特征的融合,其结构如图2所示。{C3、C4、C5}为输入至RestNet50的特征图,C5特征图经过两次3×3卷积处理后,可生成具有深层特征的步长为64的P6特征图以及步长为126的P7特征图,再对C5做一次1×1卷积并上采样,可实现特征图P5与C4分辨率的统一,将P5与C4作合并处理后,可确定新的特征图P4,其步长为16,再次执行上采样与合并操作,即可完成P3特征图的确定。

图 2 多尺度特征金字塔结构 Fig. 2 Multi scale feature pyramid structure
1.2.2 D-FCN网络设计

D-FCN网络结构如图3所示。该网络由3部分构成:1)特征提取阶段参考ResNet50网络设计,目的是防止网络训练时梯度爆炸等现象的产生;2)特征融合阶段是基于U-Net网络思想进行设计,以FCN为前提,通过高低维特征的深层次融合,使船舶目标检测效果获得大幅提升;3)在船舶检测结果输出阶段,采用3个相同尺度卷积层对特征融合结果进行处理,获取1通道置信分数计算结果、船舶旋转角度结果、4通道矩形框边界信息结果。

图 3 D-FCN网络结构 Fig. 3 D-FCN network junction

为实现船舶旋转矩形框位置的确定,除了获取船舶朝向角度参数之外,还要确定矩形框边界信息。利用D-FCN网络对船舶目标进行检测时,需采用旋转矩形框以顺时针方向对疑似船舶候选区域图像中的船舶目标顶点位置作标记处理,确定船舶目标真实掩膜与预测值。对于目标掩膜,其内各像素点描述为:

$ G = \left\{ {{d_t},{d_r},{d_b},{d_l},\theta } \right\},\theta \in [0,{\text{π}})。$ (4)

式中:di为船舶像素点与旋转矩形框各边之间的距离, $ \theta $ 为矩形框旋转角度,也称为船舶朝向角度,是船头、船尾所在直线与图像所在横轴所成角度。

U-Net网络训练的损失函数通过比较原始输入与底层特征差异进行设计,采用反向传播算法实现网络参数的不断调整。在误差反向传播过程,只有与损失约束更贴近的参数才具有优先调整权,而其余参数的调整幅度呈现不断减小趋势,对网络顶层参数更新起到抑制作用。为提高船舶遥感图像检测精度,设计新的损失函数实现网络顶层参数的优化处理。D-FCN网络损失函数为:

$ {L_{D - FCN}} = {L_{{\rm{top}}}} + {L_{{\rm{bottom}}}}。$ (5)

式中:Lbottom为底层原始输入与输出之间的损失,Ltop为顶层原始输入与输出之间的损失。Lbottom的计算公式为:

$ {L_{bottom}} = {L_{cls}} + {L_{geo}} $ (6)

式中:Lcls为船舶目标分类损失值,Lgeo为几何损失值。计算公式分别为:

$ {L_{cls}} = \dfrac{{2\left| {{y_{cls}} \cap {{\bar y}_{cls}}} \right|}}{{\left| {{y_{cls}}} \right| + \left| {{{\bar y}_{cls}}} \right|}},$ (7)
$ {L_{geo}} = {L_{bbox}} + {L_\theta }。$ (8)

式中:Ycls实际掩膜; $ {\bar y_{cls}} $ 为其估计值;Lbbax为矩形框定位产生的损失值;Lθ为由船舶旋转角度造成的损失。

2 实验结果与分析

以船舶遥感图像为研究对象,构建包含4000张不同类型船舶的遥感图像数据集,图像尺寸为1024×1024,货运船、邮轮、游艇遥感图像数量分别为2400、1200、400,添加600张非船舶遥感图像作为负样本。按4∶1比例划分训练样本与测试样本,采用本文方法对船舶遥感图像目标进行检测,分析其检测性能。

高质量遥感图像是确保船舶目标检测效果达到优质水平的前提。以图4所示船舶遥感图像为例,采用本文方法对其作图像增强与去噪处理,处理前后船舶遥感图像的视觉效果如图5所示。可知,原始船舶遥感图像具有色彩饱和度低、图像清晰度差的特点,图像采集环境等因素对船舶遥感图像质量影响较大,导致其视觉效果不理想。以原始遥感图像进行船舶目标检测,将对检测结果产生不利影响。对原始遥感图像作增强处理后,图像色彩饱和度与对比度等均获得有效提升,但因图像中仍然含有大量噪声,其视觉效果仍未达到要求。去噪后的船舶遥感图像画面清晰度高,图像模糊等问题得以解决,船舶遥感图像视觉效果获得显著提升。实验结果表明,本文方法具有船舶遥感图像处理能力,视觉效果突出。

图 4 船舶遥感图像原图 Fig. 4 Original ship remote sensing image

图 5 船舶遥感图像处理结果 Fig. 5 Results of ship remote sensing image processing

不同数量、位置可变形卷积下船舶目标识别精确度(P)、召回度(R)以及F1分值的差异分析结果如表1所示。分析可知,将相同数量可变形卷积层放置在基础网络ResNet的Res2(3)、Res3(3)、Res4(3)、Res5(3)不同位置上,其嵌入位置于Res5(3)时的船舶目标识别PRF1分数指标值最高,说明将其放置在ResNet基础网络后端对提升船舶目标检测精度更有利。当将不同数量可变形卷积层均放置在相同位置处,当其使用数量为3时,船舶目标检测的PRF1分数指标值最大,说明其用量越高对船舶目标检测精度的提升越有利。实验结果表明:将3个可变形卷积层嵌入到ResNet基础网络后端,可有效提升船舶目标检测效果。

表 1 可变形卷积层数量与位置对船舶检测结果影响 Tab.1 The Influence of the number and position of deformable convolutional layers on ship detection results

本文方法的检测损失曲线如图6所示。分析可知,船舶目标检测模型训练过程中,随着训练次数的不断增长,模型训练损失呈现出持续降低变化规律。结果表明,船舶遥感图像训练损失很小,模型训练效果突出。

图 6 船舶目标检测训练损失曲线分析 Fig. 6 Analysis of ship target detection training loss curve

应用本文方法对测试样本中的不同类型船舶目标进行检测,通过对检测结果进行分析,验证本文方法的优越性,实验结果如图7所示。图中矩形框对检测到的船舶进行标记。结果表明,本文方法具有船舶遥感图像目标检测性能,检测效果突出。

图 7 船舶目标检测结果 Fig. 7 Ship target detection results
3 结 语

本文研究利用深度卷积神经网络对船舶遥感图像目标检测方法,通过对处理后的船舶遥感图像视觉效果、可变形卷积在船舶检测中的作用以及船舶目标检测结果等进行分析,验证本文方法的船舶检测性能。实验结果表明:处理后的船舶遥感图像画面清晰、色彩饱和度好;引入可变形卷积有利于提高船舶目标检测效果。本文方法可实现不同类型船舶检测,检测效果突出。

参考文献
[1]
喻钧, 康秦瑀, 陈中伟, 等. 基于全卷积神经网络的遥感图像海面目标检测[J]. 弹箭与制导学报, 2020, 40(5): 15. DOI:10.15892/j.cnki.djzdxb.2020.05.004
[2]
于野, 艾华, 贺小军, 等. A-FPN算法及其在遥感图像船舶检测中的应用[J]. 遥感学报, 2020, 24(2): 107-115. DOI:10.11834/jrs.20208264
[3]
周慧, 刘振宇, 陈澎. 利用改进特征金字塔模型的SAR图像多目标船舶检测[J]. 电讯技术, 2020, 60(8): 896-901. DOI:10.3969/j.issn.1001-893x.2020.08.006
[4]
周秦汉, 王振. 基于多尺度特征增强卷积神经网络遥感目标检测算法[J]. 电光与控制, 2022, 29(11): 74-81. DOI:10.3969/j.issn.1671-637X.2022.11.013
[5]
李森森, 吴清. 改进Mask R-CNN的遥感图像多目标检测与分割[J]. 计算机工程与应用, 2020, 56(14): 183-190. DOI:10.3778/j.issn.1002-8331.1910-0473