舰船科学技术  2022, Vol. 44 Issue (7): 146-149    DOI: 10.3404/j.issn.1672-7649.2022.07.029   PDF    
卷积神经网络船舶遥感图像目标检测
李礁1,2, 钟乐海2, 邢伟寅2     
1. 管理与科学大学研究生院, 马来西亚 雪兰莪州 40170;
2. 绵阳职业技术学院 电子与信息学院,四川 绵阳 621000
摘要: 本文提出卷积神经网络的船舶遥感图像目标检测方法。采用拉普拉斯算子增强处理船舶遥感图像,使得船舶目标特征信息更加清晰;基于Snake模型分割出遥感图像中的船舶目标,通过Gabor滤波器提取船舶遥感图像目标特征向量;基于卷积神经网络搭建船舶遥感图像目标检测架构,统一化处理分支网络置信度,对卷积神经网络进行训练,获取最优权重系数;将遥感图像输入至训练好的卷积神经网络中,即可实现船舶目标的检测。实验数据显示:应用本文方法获得的F1 Score参量与IoU参量数值全部大于给定标准数值,充分证实本文方法具有较好的船舶遥感图像目标检测效果。
关键词: 卷积神经网络     船舶     图像目标     遥感图像     目标检测     检测精度    
Object detection in ship remote sensing images based on convolutional neural networks
LI Jiao1,2, ZHONG Le-Hai2, XING Wei-yin2     
1. School of Graduates Studies of Management and Science University, Shah Alam 40170, Malaysia;
2. School of Electronics and Information of Mianyang Polytechnic, Mianyang 621000, China
Abstract: A convolutional neural network based ship remote sensing image target detection method is proposed. The ship remote sensing image is enhanced and processed by the Laplace operator to make the ship target feature information clearer. The ship target in the remote sensing image is segmented based on the Snake model, and the target feature vector of the ship remote sensing image is extracted by the Gabor filter. Based on the convolutional neural network Build a ship remote sensing image target detection architecture, uniformly process the confidence of the branch network, train the convolutional neural network, obtain the optimal weight coefficient, and input the remote sensing image into the trained convolutional neural network to realize the ship target detection. detection. The experimental data show that the values of F1 Score parameters and IoU parameters obtained by the proposed method are all larger than the given standard values, which fully confirms that the proposed method has a good target detection effect in ship remote sensing images.
Key words: convolutional neural network     ship     image target     remote sensing image     target detection     detection accuracy    
0 引 言

随着遥感技术的不断完善及其升级,获得的遥感图像也逐渐向高清晰分辨度方向发展,其应用范围也在逐渐扩张,尤其是海洋领域[1]。由于海上环境的多变,很难对目标进行精确的探测,不但威胁着海上船舶的安全性,也为海上航运事业的发展带来了一定的制约影响[2]。就已有研究成果来看,由于应用技术的落后,无法精准地识别船舶目标,因此提出卷积神经网络的船舶遥感图像目标检测方法研究。

1 卷积神经网络船舶遥感图像目标检测方法 1.1 船舶遥感图像增强处理

遥感图像具有信息量复杂、图像覆盖范围大、存储信息庞大、目标干扰因素多等特点,加之船舶目标颜色与海洋表面较为接近,使得船舶目标检测困难较大。为了方便后续船舶目标特征提取,采用拉普拉斯算子增强处理船舶遥感图像[3]。将遥感图像定义为三维函数f(x,y,z),其中,(x,y)代表遥感图像中的某一个点,a代表(x,y)像素的维度数值。拉普拉斯算子表达式为:

$ {\nabla ^2}f = \frac{{{\partial ^2}f}}{{\partial {x^2}}} + \frac{{{\partial ^2}f}}{{\partial {y^2}}} 。$ (1)

拉普拉斯算子呈现为线性特征,在 $ x $ 方向及其 $ y $ 方向将其转换为差分形式,将差分形式代入式(1),即可获得更加精确的拉普拉斯算子,表达式为:

$ \begin{aligned} & {\nabla }^{2}f=f\left(x,y+1\right)+f\left(x,y-1\right)+\\ & f\left(x+1,y\right)+f\left(x-1,y\right)-4f\left(x,y\right)。\end{aligned}$ (2)

依据式(2)即可获得滤波模板,有效结合拉普拉斯算子,最终获得拉普拉斯滤波,表达式为:

$ g\left( {x,y} \right) = f\left( {x,y} \right) + \alpha \left[ {{\nabla ^2}f\left( {x,y} \right)} \right] 。$ (3)

式中, $ \alpha $ 为拉普拉斯算子的辅助因子。

应用拉普拉斯滤波,对船舶遥感图像进行增强处理,如图1所示。

图1可知,在船舶遥感图像增强后,遥感图像中依然存在着大量的噪声点,这些噪声点的存在会极大影响船舶目标检测的精度。经过分析可知,遥感技术应用过程中,遥感设备容易受到脉冲噪声的干扰,从而致使遥感图像中包含较多的噪声点,降低遥感图像的质量。为了消除噪声点的不利影响,利用中值滤波处理增强后的遥感图像。中值滤波表达式为:

$ g'\left( {x,y} \right) = {\rm{med}}\left\{ {g\left( {x - k,y - l} \right),\left( {k,l} \right) \in W} \right\} 。$ (4)

式中: $ g'\left( {x,y} \right) $ 为经过中值滤波处理后的遥感图像;med{}为取中值函数表达式;W为卷积核规模大小;(k,l)为中值滤波每次移动步长大小数值[4]

图 1 船舶遥感图像增强示例图 Fig. 1 An example of enhanced ship remote sensing image
1.2 船舶遥感图像目标特征提取

以增强处理后的船舶遥感图像为基础,基于Snake模型分割出遥感图像中的船舶目标,采用Gabor滤波器提取船舶遥感图像目标特征,为后续船舶目标检测提供直接依据[5]。在Snake模型应用过程中,依据遥感图像船舶目标分割需求初始化活动轮廓线,以能量泛函为依据,通过不断演化对船舶目标边缘轮廓进行逼近,直到能量泛函达到最小值为止,输出结果即为遥感图像船舶目标分割结果[6]。Snake模型能量泛函表达式为:

$ \left\{ {\begin{array}{*{20}{c}} {{E_{Snake}} = \displaystyle\int\nolimits_0^1 {{E_{{int} }}\left( {v\left( s \right)} \right) + {E_{ext}}\left( {v\left( s \right)} \right){\rm{d}}s} } ,\\ {{E_{{int} }}\left( {v\left( s \right)} \right) = \lambda \left( s \right){{\left| {v'\left( s \right)} \right|}^2} + \zeta \left( s \right){{\left| {v''\left( s \right)} \right|}^2}} 。\end{array}} \right. $ (5)

式中:Esnake为Snake模型的能量泛函;Eint(v(s))与Eext(v(s))分别为活动轮廓线的内部约束力与外部约束力; $ v\left( s \right) $ $ v'\left( s \right) $ $ v''\left( s \right) $ 分别为控制弹性系数及其1阶与2阶导数; $ \lambda \left( s \right) $ $ \zeta \left( s \right) $ 为归一化弧长参数。

Esnake达到最小值时,活动轮廓线在内部约束力与外部约束力的作用下,逐渐逼近船舶目标轮廓,最终使两者基本重合,即可实现船舶目标的分割。

以分割后遥感图像船舶目标为基础,应用Gabor滤波器提取船舶遥感图像目标特征[7]。Gabor滤波器能够对船舶目标进行Gabor变换,变换后遥感图像梯度更加明显,边缘更加突出,为船舶目标特征向量提取提供极大便利。另外,Gabor滤波器不会受到光照信息的影响,对不同光照遥感图像具有同样的应用效果,充分证实了Gabor滤波器具备强大的适应性[8]

常规情况下,Gabor变换后遥感图像变为灰度图像,信息量呈现急剧减少的趋势,船舶目标轮廓、纹理等信息变得突出,有效地滤除了干扰信息,如光照信息、颜色信息等,有助于船舶目标特征向量的提取[9]。基于Gabor滤波器提取船舶目标特征,具体步骤如下:

1) Gabor变换处理遥感图像,获取Gabor核对应数量的纹理图像;

2) 依据步骤一获得Gabor纹理图像生成特征向量。特征向量由响应矩阵元素绝对值和及其平方和顺序排列构成。响应矩阵元素绝对值和及其平方和计算公式为:

$ \left\{ {\begin{array}{*{20}{c}} {\beta = \sum\limits_i {\sum\limits_j {\left| {{n_{ij}}} \right|} } },\\ {\chi = \sum\limits_i {\sum\limits_j {{n_{ij}}^2} } } 。\end{array}} \right. $ (6)

式中: $ \beta $ $ \chi $ 分别为响应矩阵元素绝对值和及其平方和; $ {n_{ij}} $ 为坐标为 $ \left( {i,j} \right) $ 的元素数值。

3) 标准化处理Gabor特征向量。每个特征向量取值范围、量纲均存在着差异,无法对其进行直接应用,故对其进行标准化处理,消除差异化影响[10]。标准化处理公式为:

$ {n'_{ij}} = \frac{{{n_{ij}} - \delta }}{\sigma }。$ (7)

式中: $ {n'_{ij}} $ $ {n_{ij}} $ 分别为标准化处理后、前的特征向量元素; $ \delta $ $ \sigma $ 分别为特征向量元素的均值与标准差。

完成船舶遥感图像目标的分割与特征提取后,为后续船舶遥感图像目标检测的实现做好充足的数据准备[11]

1.3 船舶遥感图像目标检测实现

以提取的船舶遥感图像目标特征为依据,基于卷积神经网络搭建船舶遥感图像目标检测架构,对卷积神经网络进行训练,获取最优权重系数。将遥感图像输入至训练好的卷积神经网络中,即可实现船舶目标的检测[12]。船舶遥感图像目标检测架构如图2所示。可知,搭建船舶遥感图像目标检测架构包含双分支卷积神经网络,从2个方向增强船舶目标的特征,并对其进行有效提取,从而提升目标检测方法的整体性能[13]

图 2 船舶遥感图像目标检测架构图 Fig. 2 Architecture of ship remote sensing image target detection

其中,显著性重建分支网络主要是通过模拟人类视觉感知系统,对遥感图像中的显著性区域进行精准定位。而显著性区域即为覆盖船舶目标区域,不但能够引导检测分支网络关注到船舶目标区域,也能抑制非显著性区域冗余信息的干扰。由此可见,显著性重建分支网络是船舶目标检测架构中必不可少的部分[14]

另外,显著性重建分支网络可以有效的优化显著性信息提取方式,是能够有效降低卷积神经网络的迭代次数,提升船舶目标检测的效率[15]

在卷积神经网络应用过程中,为了保障显著性重建分支网络与检测分支网络的一致性,获得更精准的船舶目标检测结果,对2分支网络置信度进行统一化处理,表达式为:

$ \kappa = \frac{{{e^{{p_i}\left( k \right)}}}}{{{e^{{p_i}\left( 1 \right)}} + {e^{{p_i}\left( 2 \right)}}}} 。$ (8)

式中: $ \kappa $ 为统一化处理后的卷积神经网络置信度; $ {e^{{p_i}\left( k \right)}} $ 为第 $ i $ 像素对应的像素值; $ {e^{{p_i}\left( 1 \right)}} $ $ {e^{{p_i}\left( 2 \right)}} $ 分别为显著性重建分支网络与检测分支网络输出像素值。

图2可知,卷积神经网络训练过程是在像素级、目标级损失函数的共同约束下进行的,能够提升卷积神经网络训练的准确性,为船舶目标检测提供最佳的卷积神经网络支撑。两级损失函数确定对船舶目标检测具有至关重要的作用,其表达式为:

$ L = \gamma {L_p} + {L_b} 。$ (9)

式中: $ L $ 为两级损失函数;LpLb分别为像素级、目标级损失函数; $ \gamma $ 为权重系数。

通过循环迭代训练即可确定最优权重系数,将待检测遥感图像输入至卷积神经网络中,即可获得船舶目标检测结果。

2 实验与结果分析

设计实验验证本文方法的应用性能。在实验准备阶段完成实验数据的准备与卷积神经网络最优权重系数的确定,为后续实验顺利进行提供支撑。随机选取150幅遥感图像作为实验数据,设置训练集合遥感图像数量为50幅,测试集合遥感图像数量为100幅。部分实验数据如图3所示。

图 3 部分实验数据示例图 Fig. 3 Example of some experimental data

权重系数直接关系着船舶目标检测的精度。通过训练获取权重系数与目标检测精度之间的关系曲线,如图4所示。可知,当权重系数为0.26时,获得船舶目标检测精度最高,因此确定最优权重系数为0.26。

图 4 权重系数与目标检测精度关系曲线图 Fig. 4 The relationship between weight coefficient and target detection accuracy

选取F1 Score参量与IoU参量作为评价指标,F1 Score参量可以反映船舶目标检测的精度,IoU参量能够有效反映船舶目标检测定位的准确性。F1 Score参量与IoU参量计算公式为:

$ \left\{ {\begin{array}{*{20}{c}} {F1Score = \dfrac{{2 \times precision \times recall}}{{precision + recall}}} ,\\ {IoU = \dfrac{{{S_{{int} er\sec tion}}}}{{{S_{union}}}}} 。\end{array}} \right. $ (10)

式中:precisionrecall分别为船舶目标检测的精准率与查全率;SintersectionSunion分别为预测框与真实目标框。

通过实验获得F1 Score参量数据如表1所示。可知,应用本文方法获得的F1 Score参量数值均高于标准数值,表明本文方法船舶目标检测精度较高。

表 1 F1 Score参量数据表 Tab.1 F1 Score parameter data table

通过实验获得IoU参量数据如图5所示。可知,应用本文方法获得的IoU参量数值均高于标准数值,表明本文方法船舶目标检测定位准确性较高。

图 5 IoU参量数据图 Fig. 5 IoU parameter data diagram

实验数据表明:相较于给定标准数值来看,应用本文方法获得的F1 Score参量与IoU参量数值较大,充分证明本文方法船舶目标检测效果较好。

3 结 语

本文引入卷积神经网络设计了新的船舶遥感图像目标检测方法,极大提升了F1 Score参量与IoU参量数值,可以更好检测船舶目标,为目标检测相关研究提供一定的参考。

参考文献
[1]
徐芳, 刘晶红, 孙辉, 等. 光学遥感图像海面船舶目标检测技术进展[J]. 光学精密工程, 2021, 29(4): 916-931. DOI:10.37188/OPE.2020.0419
[2]
王文胜, 黄民, 李天剑, 等. 四波段多光谱遥感图像的船舶目标显著性检测[J]. 光学学报, 2020, 40(17): 185-193.
[3]
马健, 史文旭, 鲍胜利. 基于特征融合SSD的遥感图像舰船目标检测[J]. 光子学报, 2020, 49(7): 51-61.
[4]
李尊, 吴豫, 张开, 等. 特高压环境评价中的航拍小目标智能识别方法[J]. 工程技术研究, 2020, 5(21): 31-32. DOI:10.3969/j.issn.1671-3818.2020.21.013
[5]
齐亮, 陈牮华, 王东, 等. 基于SRM分割和分层线段特征的船舶目标检测方法[J]. 江苏科技大学学报:自然科学版, 2020, 34(3): 34-40.
[6]
严荣慧, 谢海成, 花敏恒, 等. 基于运动与表象特征的广域船舶目标识别算法[J]. 中国舰船研究, 2022, 17(1): 227-234.
[7]
王伟. 基于遥感图像的船舶目标检测方法综述[J]. 电讯技术, 2020, 60(9): 1126-1132. DOI:10.3969/j.issn.1001-893x.2020.09.020
[8]
赵江洪, 张晓光, 杨璐, 等. 深度学习的遥感影像舰船目标检测[J]. 测绘科学, 2020, 45(3): 110-116+134.
[9]
张财广、熊博莅、匡纲要. 光学卫星遥感图像舰船目标检测综述[J]. 电波科学学报, 2020, 35(5): 637-647.
[10]
徐志京, 丁莹. 自适应旋转区域生成网络的遥感图像舰船目标检测[J]. 激光与光电子学进展, 2020, 57(24): 400-407.
[11]
李玉峰, 顾曼璇, 赵亮. 采用改进Faster R-CNN的遥感图像目标检测方法[J]. 信号处理, 2020, 36(8): 1363-1373.
[12]
李婕, 周顺, 朱鑫潮, 等. 结合多通道注意力的遥感图像飞机目标检测[J]. 计算机工程与应用, 2022, 58(1): 209-217.
[13]
王浩桐, 郭中华. 改进SSD的飞机遥感图像目标检测[J]. 液晶与显示, 2022, 37(1): 116-127. DOI:10.37188/CJLCD.2021-0203
[14]
赵彤洲, 杨成万, 刘威. 非局部特征增强的遥感图像目标检测方法[J]. 华中科技大学学报: 自然科学版, 2021, 49(9): 47-51.
[15]
刘高天, 段锦, 范祺, 等. 基于改进RFBNet算法的遥感图像目标检测[J]. 吉林大学学报:理学版, 2021, 59(5): 1188-1198.