2. 沧州市科学技术局,河北 沧州 061001;
3. 沧州职业技术学院,河北 沧州 061001
2. Cangzhou Bureau of Science and Technology, Cangzhou 061001, China;
3. Cangzhou Technical College, Cangzhou 061001, China
舰船目标跟踪识别时,容易受到环境光照、云雾遮挡、舰船运动速度以及运动方向的变化影响[1],影响舰船目标的后续跟踪识别,提升舰船目标跟踪识别的难度[2-3]。卷积神经网络具有自动提取图像深层特征的功能[4],适用于复杂背景海面环境的舰船目标跟踪识别。
已有众多学者针对舰船目标跟踪识别进行研究。付哲泉等[5]利用残差神经网络识别舰船目标,选取残差神经网络作为舰船目标识别的分类器,适用于高分辨率图像中的舰船目标识别,具有良好的抗干扰性能,但是对分辨率较低的图像,识别性能较差。尹雅等[6]针对光学遥感图像中的舰船目标进行识别,该方法仅可以识别光学遥感图像中的舰船目标,适用性较差。针对以上方法在舰船目标识别中存在的局限性,研究基于改进卷积神经网络的舰船实时目标跟踪识别技术。将卷积神经网络与时空上下文算法结合,引入相关滤波算法,改善复杂海面背景下的舰船目标的跟踪识别性能。通过实验验证该技术可以实时跟踪识别舰船目标,跟踪效果良好。复杂环境下,仍然可以精准识别舰船目标。
1 舰船实时目标跟踪识别技术 1.1 时空上下文算法的舰船目标初始区域确定时空上下文算法通过建立舰船目标与周围区域的时空对应关系,统计舰船图像的低阶特征,计算舰船图像目标的置信图,搜寻具有最大似然概率的区域。时空上下文算法的搜寻结果作为舰船目标的初定位区域,利用卷积神经网络搜索初定位区域,确定舰船目标的最终精确位置。设
Xc={c(x)=(I(x),x)|x∈Ωc(x∗)}。 | (1) |
式中,
舰船目标置信图的计算公式如下:
c(x)=θe−|x−x∗α|β。 | (2) |
式中:
利用
P(c(x)|x∗)=I(x)w(x−x∗), | (3) |
式中,
引入上下文模型
P(x|c(x),x∗)=h(x−x∗), | (4) |
获取舰船图像中,舰船目标置信图的计算公式如下:
c(x)=h(x)⊗(I(x)w(x−x∗)), | (5) |
利用
ht+1=(1−w)ht+wht, | (6) |
引入快速傅里叶变换算法,将式(6)转换至频域[7],获取舰船目标局部预估区域表达式如下:
q(x∗)=argmaxF(ht+1(x))⊙F(It+1(x)w(x−x∗)), | (7) |
式(7)中:
利用式(7)获取的舰船目标局部预估区域,作为卷积神经网络的初始搜索区域。
1.2 基于卷积神经网络的舰船目标识别利用卷积神经网络搜索舰船目标局部预估区域,输出舰船目标跟踪识别结果。卷积神经网络跟踪识别舰船目标,主要包括以下过程:
1)输入层
将舰船目标局部预估区域作为卷积神经网络的输入,卷积神经网络输入层具有图像预处理的功能。图像预处理主要包括以下2个步骤:
归一化处理图像幅度。
用
¯x(n)=x(n)/max(|x(n)|), | (8) |
计算图像
¯xm=1NN∑n=1¯x(n)。 | (9) |
式中,
通过输入层对舰船目标局部预估区域图像预处理,降低复杂背景对舰船目标跟踪识别的影响。
2)卷积层
利用卷积层提取舰船目标局部预估区域图像中的舰船目标特征。将输入的舰船目标局部预估区域图像,与不同通道的卷积核卷积操作,利用激活函数,获取舰船目标的特征向量。卷积层的卷积操作计算公式如下:
{xlj=f(ulj),ulj=∑xl−1j⊗ϕ+b。 | (10) |
式中:
3)下采样层
利用下采样层,删除所提取舰船目标特征中的冗余特征。下采样层计算公式如下:
x′=w1down(xlj)。 | (11) |
式中:
通过卷积神经网络各层的运算,输出舰船目标跟踪识别结果。
1.3 基于相关滤波算法的舰船目标跟踪选取相关滤波算法,跟踪卷积神经网络输出的舰船目标识别结果。相关滤波算法跟踪舰船图像内的舰船目标时,对感兴趣的目标形成较高的响应;对于图像背景,形成较低响应。用
J=min‖k⊗f−g‖2+λ‖k‖2, | (12) |
式中,
利用傅里叶变换方法,获取当前帧舰船目标位置的表达式如下:
F(k)∗=F(g)⋅F(f)∗F(f)⋅F(f)∗+λ, | (13) |
式中,·与
采用相关滤波算法跟踪舰船目标时,舰船目标跟踪的相关图
Z=F−1(F(k)∗⋅F(g))。 | (14) |
通过相关滤波算法,将相关图中具有最大响应值的位置,作为舰船目标的最新位置,输出舰船目标跟踪结果。
2 实验分析为了验证所研究舰船实时目标跟踪识别技术,实时跟踪识别舰船目标的有效性,选取网络中的舰船数据集作为测试对象。所选取舰船数据集中,包含军舰、货船等6种不同类别的舰船。舰船数据集中包含图像样本共2000幅,将数据集划分为训练样本1500幅,测试样本500幅。为了保证舰船目标的实时跟踪识别性能,将数据集中的样本统一调整为大小为300×300的样本,对完成大小调整的舰船图像进行零均值归一化处理。数据集中包含云雾遮挡、强光照、弱光照等复杂环境下采集的舰船图像。
采用本文技术识别测试集中的舰船图像样本,随机选取2幅云雾遮挡背景以及弱光照背景下的舰船图像,舰船目标识别结果如图1所示。通过图1实验结果可以看出,采用本文技术有效识别云雾遮挡以及弱光照2种复杂背景下的舰船目标。本文技术结合上下文空间算法与卷积神经网络算法,提升舰船目标的识别性能。充分利用卷积神经网络具有的特征表达优势,无需事先提取图像特征,即可快速识别舰船目标。在复杂的海面背景下,仍然可以精准识别舰船目标,识别性能较高。
![]() |
图 1 舰船目标识别结果 Fig. 1 Ship target recognition results |
为了进一步验证本文技术对舰船目标的实时跟踪识别性能,选取图1(a)的舰船图像作为目标跟踪的研究对象。采用本文技术对舰船目标的实时跟踪结果如图2所示。
![]() |
图 2 舰船目标实时跟踪识别结果 Fig. 2 Real time tracking and recognition results of ship target |
通过图2实验结果可以看出,采用本文技术不仅可以有效识别复杂海面背景下的舰船目标,同时可以实现舰船目标的实时跟踪。本文技术引入相关滤波算法,利用相关滤波算法具有的跟踪性能,跟踪舰船目标的航行位置,实现舰船目标的实时跟踪。
为了更全面地评估本文技术对舰船目标的实时跟踪识别性能,选取平均覆盖率作为衡量本文技术跟踪识别舰船目标的评价指标。舰船目标实时跟踪识别的平均覆盖率计算公式如下:
Φ=∑|ST∩SG||ST∪SG|/N×100%。 | (15) |
式中:
采用本文技术对500个测试样本的舰船目标实时跟踪识别,跟踪识别结果的平均覆盖率如表1所示。
![]() |
表 1 平均覆盖率计算结果 Tab.1 Calculation results of average coverage |
通过表1实验结果可以看出,采用本文技术对舰船目标实时跟踪识别的平均覆盖率高于95%。采用本文技术实时跟踪识别舰船目标,在云雾遮挡、强光照、弱光照等复杂背景下,均具有较高的覆盖率。
3 结 语利用时空上下文算法确定舰船目标在舰船图像中的初始区域,利用卷积神经网络具有的特征表达能力,提升卷积神经网络的识别性能。通过实验验证,该技术可以获取良好的舰船目标实时跟踪识别效果。在复杂背景下,该技术仍然可以精准地跟踪识别舰船目标,具有较高的鲁棒性以及泛化性。
[1] |
刘坤, 于晟焘. 基于卷积神经网络的云雾遮挡舰船目标识别[J]. 控制与决策, 2021, 36(3): 661-668. LIU Kun, YU Shengtao. Obscured ship target recognition based on convolutional neural network[J]. Control and Decision, 2021, 36(3): 661-668. |
[2] |
郭晨, 简涛, 徐从安, 等. 基于深度多尺度一维卷积神经网络的雷达舰船目标识别[J]. 电子与信息学报, 2019, 41(6): 1302-1309. GUO Chen, JIAN Tao, XU Congan, et al. Radar HRRP target recognition based on deep multi-scale 1D convolutional neural network[J]. Journal of Electronics & Information Technology, 2019, 41(6): 1302-1309. DOI:10.11999/JEIT180677 |
[3] |
马剑飞, 颜冰, 林春生, 等. 基于多通道卷积神经网络的磁性舰船目标运动参数估计[J]. 国防科技大学学报, 2020, 42(4): 78-84. MA Jianfei, YAN Bing, LIN Chunsheng, et al. Motion parameter estimation of magnetic ship target based on multi-channel convolutional neural network[J]. Journal of National University of Defense Technology, 2020, 42(4): 78-84. DOI:10.11887/j.cn.202004013 |
[4] |
张云, 化青龙, 姜义成, 等. 基于混合型复数域卷积神经网络的三维转动舰船目标识别[J]. 电子学报, 2022, 50(5): 1042-1049. ZHANG Yun, HUA Qinglong, JIANG Yicheng, et al. Recognition of 3D rotating ship based on mix-CV-CNN[J]. Acta Electronica Sinica, 2022, 50(5): 1042-1049. |
[5] |
付哲泉, 李尚生, 李相平, 等. 基于高效可扩展改进残差结构神经网络的舰船目标识别技术[J]. 电子与信息学报, 2020, 42(12): 3005-3012. FU Zhequan, LI Shangsheng, LI Xiangping, et al. Ship target recognition based on highly efficient scalable improved residual structure neural network[J]. Journal of Electronics & Information Technology, 2020, 42(12): 3005-3012. DOI:10.11999/JEIT190913 |
[6] |
尹雅, 黄海, 张志祥. 基于光学遥感图像的舰船目标检测技术研究[J]. 计算机科学, 2019, 46(3): 82-87. YIN Ya, HUANG Hai, ZHANG Zhixiang. Research on ship detection technology based on optical remote sensing image[J]. Computer Science, 2019, 46(3): 82-87. DOI:10.11896/j.issn.1002-137X.2019.03.010 |
[7] |
王俐云, 方峰, 伊成俊, 等. GEO遥感卫星在舰船目标检测跟踪中的应用分析[J]. 航天器工程, 2021, 30(5): 133-139. WANG Liyun, FANG Feng, YI Chengjun, et al. Application research of GEO remote sensing satellite in ship detection and tracking[J]. Spacecraft Engineering, 2021, 30(5): 133-139. DOI:10.3969/j.issn.1673-8748.2021.05.019 |