舰船科学技术  2022, Vol. 44 Issue (21): 152-155    DOI: 10.3404/j.issn.1672-7649.2022.21.031   PDF    
基于改进卷积神经网络的舰船实时目标跟踪识别技术
于国莉1,3, 桑金歌2, 李俊荣3     
1. 河北工业大学 人工智能与数据科学学院,天津 300401;
2. 沧州市科学技术局,河北 沧州 061001;
3. 沧州职业技术学院,河北 沧州 061001
摘要: 研究基于改进卷积神经网络的舰船实时目标跟踪识别技术,满足复杂背景下舰船目标跟踪识别的高精度需求。利用时空上下文算法确定舰船图像中,舰船目标与周围区域的时空对应关系,依据对应关系构建舰船图像目标置信图,将置信图中具有最大似然概率的区域,作为舰船目标的初定位区域;利用卷积神经网络搜索初定位区域,通过卷积层和下采样层的运算,识别舰船目标的精确位置;依据舰船目标精确位置识别结果,选取相关滤波算法,设置相关图中最大响应值位置作为舰船目标最新位置,输出舰船目标实时跟踪结果。实验结果表明,该技术在云雾遮挡、弱光照等复杂背景下,均可以精准跟踪识别舰船目标,舰船目标跟踪识别的平均覆盖率高于95%。
关键词: 卷积神经网络     舰船     实时目标     跟踪识别技术     时空上下文     相关滤波    
Ship real-time target tracking and recognition technology based on improved convolutional neural network
YU Guo-li1,3, SANG Jin-ge2, LI Jun-rong3     
1. School of Artificial Intelligence, Hebei University of Technology, Tianjin 300401, China;
2. Cangzhou Bureau of Science and Technology, Cangzhou 061001, China;
3. Cangzhou Technical College, Cangzhou 061001, China
Abstract: The ship real-time target tracking and recognition technology based on improved convolutional neural network is studied to meet the high precision requirements of ship target tracking and recognition under complex background. The spatio-temporal correspondence between the ship target and the surrounding area in the ship image was determined by using the spatio-temporal context algorithm. According to the correspondence relationship, the ship image target confidence map was constructed, and the region with maximum likelihood probability in the confidence map was set as the initial location region of the ship target. The convolutional neural network was used to search the initial location area, and the precise location of the ship target was identified by the operation of the convolutional layer and the downsampling layer. According to the accurate position recognition result of ship target, the correlation filtering algorithm is selected, and the position of the maximum response value in the correlation graph is set as the latest position of ship target, and the real-time tracking result of ship target is output. Experimental results show that the technology can accurately track and recognize ship targets under complex background such as cloud occlusion and weak illumination, and the average coverage of ship target tracking and recognition is higher than 95%.
Key words: convolutional neural network     ships     real time target     tracking and identification technology     spatiotemporal context     the filter    
0 引 言

舰船目标跟踪识别时,容易受到环境光照、云雾遮挡、舰船运动速度以及运动方向的变化影响[1],影响舰船目标的后续跟踪识别,提升舰船目标跟踪识别的难度[2-3]。卷积神经网络具有自动提取图像深层特征的功能[4],适用于复杂背景海面环境的舰船目标跟踪识别。

已有众多学者针对舰船目标跟踪识别进行研究。付哲泉等[5]利用残差神经网络识别舰船目标,选取残差神经网络作为舰船目标识别的分类器,适用于高分辨率图像中的舰船目标识别,具有良好的抗干扰性能,但是对分辨率较低的图像,识别性能较差。尹雅等[6]针对光学遥感图像中的舰船目标进行识别,该方法仅可以识别光学遥感图像中的舰船目标,适用性较差。针对以上方法在舰船目标识别中存在的局限性,研究基于改进卷积神经网络的舰船实时目标跟踪识别技术。将卷积神经网络与时空上下文算法结合,引入相关滤波算法,改善复杂海面背景下的舰船目标的跟踪识别性能。通过实验验证该技术可以实时跟踪识别舰船目标,跟踪效果良好。复杂环境下,仍然可以精准识别舰船目标。

1 舰船实时目标跟踪识别技术 1.1 时空上下文算法的舰船目标初始区域确定

时空上下文算法通过建立舰船目标与周围区域的时空对应关系,统计舰船图像的低阶特征,计算舰船图像目标的置信图,搜寻具有最大似然概率的区域。时空上下文算法的搜寻结果作为舰船目标的初定位区域,利用卷积神经网络搜索初定位区域,确定舰船目标的最终精确位置。设 $ x $ 表示舰船图像中的随机像素点, $ {x^ * } $ 表示当前帧舰船图像的舰船目标位置,当前帧舰船图像的特征表达式如下:

$ {X^c} = \left\{ {c\left( x \right) = \left( {I\left( x \right),x} \right)\left| {x \in {\Omega _c}\left( {{x^ * }} \right)} \right.} \right\} 。$ (1)

式中, $ I\left( x \right) $ $ {\Omega _c}\left( {{x^ * }} \right) $ 分别为舰船图像中,像素 $ x $ 的灰度以及舰船目标在当前帧图像的局部区域; $ c\left( x \right) $ 表示像素 $ x $ 的置信度。

舰船目标置信图的计算公式如下:

$ c\left( x \right) = \theta {e^{ - {{\left| {\frac{{x - {x^ * }}}{\alpha }} \right|}^\beta }}}。$ (2)

式中: $ \alpha $ $ \beta $ 分别为舰船目标点尺度参数以及形状参数; $ \theta $ 为归一化系数; $ x - {x^ * } $ 为随机像素点 $ x $ 与舰船目标位置 $ {x^ * } $ 的距离。

利用 $ P\left( {c\left( x \right)\left| {{x^ * }} \right.} \right) $ 表示舰船图像中的局部范围内,随机像素点 $ x $ 为舰船目标 $ P\left( {c\left( x \right)\left| {{x^ * }} \right.} \right) $ 的局部上下文先验概率,其表达式如下:

$ P\left( {c\left( x \right)\left| {{x^ * }} \right.} \right) = I\left( x \right)w\left( {x - {x^ * }} \right),$ (3)

式中, $ w $ 为权重函数。

引入上下文模型 $ h $ 表示舰船目标与舰船图像空间位置关系[7]。舰船目标条件概率的计算公式如下:

$ P\left( {x\left| {c\left( x \right),{x^ * }} \right.} \right) = h\left( {x - {x^ * }} \right),$ (4)

获取舰船图像中,舰船目标置信图的计算公式如下:

$ c\left( x \right) = h\left( x \right) \otimes \left( {I\left( x \right)w\left( {x - {x^ * }} \right)} \right),$ (5)

利用 $ {h_t} $ 表示第 $ t $ 帧舰船图像的时空上下文模型,舰船图像的时空上下文更新公式如下:

$ {h_{t + 1}} = \left( {1 - w} \right){h_t} + w{h_t},$ (6)

引入快速傅里叶变换算法,将式(6)转换至频域[7],获取舰船目标局部预估区域表达式如下:

$ q\left( {{x^ * }} \right) = \arg \max F\left( {{h_{t + 1}}\left( x \right)} \right) \odot F\left( {{I_{t + 1}}\left( x \right)w\left( {x - x_{}^ * } \right)} \right) ,$ (7)

式(7)中: $ F $ 为傅里叶变换。

利用式(7)获取的舰船目标局部预估区域,作为卷积神经网络的初始搜索区域。

1.2 基于卷积神经网络的舰船目标识别

利用卷积神经网络搜索舰船目标局部预估区域,输出舰船目标跟踪识别结果。卷积神经网络跟踪识别舰船目标,主要包括以下过程:

1)输入层

将舰船目标局部预估区域作为卷积神经网络的输入,卷积神经网络输入层具有图像预处理的功能。图像预处理主要包括以下2个步骤:

归一化处理图像幅度。

$ x\left( n \right) $ 表示一维舰船目标局部预估区域图像,归一化处理图像幅度表达式如下:

$ \overline x \left( n \right) = x\left( n \right)/\max \left( {\left| {x\left( n \right)} \right|} \right) ,$ (8)

计算图像 $ \overline x \left( n \right) $ 的均值,计算公式如下:

$ {\overline x _m} = \frac{1}{N}\sum\limits_{n = 1}^N {\overline x \left( n \right)}。$ (9)

式中, $ {\overline x _m} $ 为舰船目标局部预估区域图像的像素点数量。对 $ \overline x \left( n \right) $ 实施减 $ {\overline x _m} $ 处理,完成图像预处理。

通过输入层对舰船目标局部预估区域图像预处理,降低复杂背景对舰船目标跟踪识别的影响。

2)卷积层

利用卷积层提取舰船目标局部预估区域图像中的舰船目标特征。将输入的舰船目标局部预估区域图像,与不同通道的卷积核卷积操作,利用激活函数,获取舰船目标的特征向量。卷积层的卷积操作计算公式如下:

$ \left\{ {\begin{array}{*{20}{c}} {x_j^l = f\left( {u_j^l} \right)}, \\ {u_j^l =\displaystyle \sum\limits_{} {x_j^{l - 1} \otimes } \phi + b} 。\end{array}} \right. $ (10)

式中: $ \otimes $ $ f\left( \cdot \right) $ 分别为卷积运算以及激活函数,采用Relu函数作为激活函数。 $ u_j^l $ $ x_j^l $ 分别为第 $ l $ 个卷积层的通道 $ j $ 的输入与输出, $ \phi $ $ b $ 分别为卷积核向量以及偏置。

3)下采样层

利用下采样层,删除所提取舰船目标特征中的冗余特征。下采样层计算公式如下:

$ x' = {w_1}{\rm{down}}\left( {x_j^l} \right)。$ (11)

式中: $ x' $ $ {w_1} $ 分别为下采样层的输出以及权重; ${\rm{down}}\left( \cdot \right)$ 为下采样函数。选取最大值下采样函数,作为下采样函数。

通过卷积神经网络各层的运算,输出舰船目标跟踪识别结果。

1.3 基于相关滤波算法的舰船目标跟踪

选取相关滤波算法,跟踪卷积神经网络输出的舰船目标识别结果。相关滤波算法跟踪舰船图像内的舰船目标时,对感兴趣的目标形成较高的响应;对于图像背景,形成较低响应。用 $ f $ 表示尺寸为 $ M \times N $ 的舰船图像,将存在舰船目标循环移位的舰船图像作为相关滤波算法的训练样本。利用 $ g\left( {m,n} \right) = {e^{ - \frac{{{{\left( {m - M/2} \right)}^2} + {{\left( {n - N/2} \right)}^2}}}{{2{\sigma ^2}}}}} $ 表示相关滤波算法移位样本的高斯函数,其中 $ \sigma $ 表示高斯核尺寸, $ \left( {m,n} \right) $ 表示利用卷积神经网络输出的舰船目标点坐标。利用高斯函数,构建相关滤波器 $ k $ 跟踪舰船目标的目标函数表达式如下:

$ J = \min {\left\| {k \otimes f - g} \right\|_2} + \lambda {\left\| k \right\|_2},$ (12)

式中, $ \lambda $ $ \otimes $ 分别表示正则化参数以及循环卷积操作。

利用傅里叶变换方法,获取当前帧舰船目标位置的表达式如下:

$ F{\left( k \right)^ * } = \frac{{F\left( g \right) \cdot F{{\left( f \right)}^ * }}}{{F\left( f \right) \cdot F{{\left( f \right)}^ * } + \lambda }},$ (13)

式中,·与 $ ^ * $ 分别为相乘操作以及共轭符号。

采用相关滤波算法跟踪舰船目标时,舰船目标跟踪的相关图 $ Z $ 表达式如下:

$ Z = {F^{ - 1}}\left( {F{{\left( k \right)}^ * } \cdot F\left( g \right)} \right)。$ (14)

通过相关滤波算法,将相关图中具有最大响应值的位置,作为舰船目标的最新位置,输出舰船目标跟踪结果。

2 实验分析

为了验证所研究舰船实时目标跟踪识别技术,实时跟踪识别舰船目标的有效性,选取网络中的舰船数据集作为测试对象。所选取舰船数据集中,包含军舰、货船等6种不同类别的舰船。舰船数据集中包含图像样本共2000幅,将数据集划分为训练样本1500幅,测试样本500幅。为了保证舰船目标的实时跟踪识别性能,将数据集中的样本统一调整为大小为300×300的样本,对完成大小调整的舰船图像进行零均值归一化处理。数据集中包含云雾遮挡、强光照、弱光照等复杂环境下采集的舰船图像。

采用本文技术识别测试集中的舰船图像样本,随机选取2幅云雾遮挡背景以及弱光照背景下的舰船图像,舰船目标识别结果如图1所示。通过图1实验结果可以看出,采用本文技术有效识别云雾遮挡以及弱光照2种复杂背景下的舰船目标。本文技术结合上下文空间算法与卷积神经网络算法,提升舰船目标的识别性能。充分利用卷积神经网络具有的特征表达优势,无需事先提取图像特征,即可快速识别舰船目标。在复杂的海面背景下,仍然可以精准识别舰船目标,识别性能较高。

图 1 舰船目标识别结果 Fig. 1 Ship target recognition results

为了进一步验证本文技术对舰船目标的实时跟踪识别性能,选取图1(a)的舰船图像作为目标跟踪的研究对象。采用本文技术对舰船目标的实时跟踪结果如图2所示。

图 2 舰船目标实时跟踪识别结果 Fig. 2 Real time tracking and recognition results of ship target

通过图2实验结果可以看出,采用本文技术不仅可以有效识别复杂海面背景下的舰船目标,同时可以实现舰船目标的实时跟踪。本文技术引入相关滤波算法,利用相关滤波算法具有的跟踪性能,跟踪舰船目标的航行位置,实现舰船目标的实时跟踪。

为了更全面地评估本文技术对舰船目标的实时跟踪识别性能,选取平均覆盖率作为衡量本文技术跟踪识别舰船目标的评价指标。舰船目标实时跟踪识别的平均覆盖率计算公式如下:

$ \Phi = \sum {\frac{{\left| {{S_T} \cap {S_G}} \right|}}{{\left| {{S_T} \cup {S_G}} \right|}}} /N \times 100{\text%}。$ (15)

式中: $ {S_T} $ $ {S_G} $ 分别为舰船跟踪识别结果以及舰船目标实际结果; $ N $ 为舰船图像中的全部像素点数量。

采用本文技术对500个测试样本的舰船目标实时跟踪识别,跟踪识别结果的平均覆盖率如表1所示。

表 1 平均覆盖率计算结果 Tab.1 Calculation results of average coverage

通过表1实验结果可以看出,采用本文技术对舰船目标实时跟踪识别的平均覆盖率高于95%。采用本文技术实时跟踪识别舰船目标,在云雾遮挡、强光照、弱光照等复杂背景下,均具有较高的覆盖率。

3 结 语

利用时空上下文算法确定舰船目标在舰船图像中的初始区域,利用卷积神经网络具有的特征表达能力,提升卷积神经网络的识别性能。通过实验验证,该技术可以获取良好的舰船目标实时跟踪识别效果。在复杂背景下,该技术仍然可以精准地跟踪识别舰船目标,具有较高的鲁棒性以及泛化性。

参考文献
[1]
刘坤, 于晟焘. 基于卷积神经网络的云雾遮挡舰船目标识别[J]. 控制与决策, 2021, 36(3): 661-668.
LIU Kun, YU Shengtao. Obscured ship target recognition based on convolutional neural network[J]. Control and Decision, 2021, 36(3): 661-668.
[2]
郭晨, 简涛, 徐从安, 等. 基于深度多尺度一维卷积神经网络的雷达舰船目标识别[J]. 电子与信息学报, 2019, 41(6): 1302-1309.
GUO Chen, JIAN Tao, XU Congan, et al. Radar HRRP target recognition based on deep multi-scale 1D convolutional neural network[J]. Journal of Electronics & Information Technology, 2019, 41(6): 1302-1309. DOI:10.11999/JEIT180677
[3]
马剑飞, 颜冰, 林春生, 等. 基于多通道卷积神经网络的磁性舰船目标运动参数估计[J]. 国防科技大学学报, 2020, 42(4): 78-84.
MA Jianfei, YAN Bing, LIN Chunsheng, et al. Motion parameter estimation of magnetic ship target based on multi-channel convolutional neural network[J]. Journal of National University of Defense Technology, 2020, 42(4): 78-84. DOI:10.11887/j.cn.202004013
[4]
张云, 化青龙, 姜义成, 等. 基于混合型复数域卷积神经网络的三维转动舰船目标识别[J]. 电子学报, 2022, 50(5): 1042-1049.
ZHANG Yun, HUA Qinglong, JIANG Yicheng, et al. Recognition of 3D rotating ship based on mix-CV-CNN[J]. Acta Electronica Sinica, 2022, 50(5): 1042-1049.
[5]
付哲泉, 李尚生, 李相平, 等. 基于高效可扩展改进残差结构神经网络的舰船目标识别技术[J]. 电子与信息学报, 2020, 42(12): 3005-3012.
FU Zhequan, LI Shangsheng, LI Xiangping, et al. Ship target recognition based on highly efficient scalable improved residual structure neural network[J]. Journal of Electronics & Information Technology, 2020, 42(12): 3005-3012. DOI:10.11999/JEIT190913
[6]
尹雅, 黄海, 张志祥. 基于光学遥感图像的舰船目标检测技术研究[J]. 计算机科学, 2019, 46(3): 82-87.
YIN Ya, HUANG Hai, ZHANG Zhixiang. Research on ship detection technology based on optical remote sensing image[J]. Computer Science, 2019, 46(3): 82-87. DOI:10.11896/j.issn.1002-137X.2019.03.010
[7]
王俐云, 方峰, 伊成俊, 等. GEO遥感卫星在舰船目标检测跟踪中的应用分析[J]. 航天器工程, 2021, 30(5): 133-139.
WANG Liyun, FANG Feng, YI Chengjun, et al. Application research of GEO remote sensing satellite in ship detection and tracking[J]. Spacecraft Engineering, 2021, 30(5): 133-139. DOI:10.3969/j.issn.1673-8748.2021.05.019