2. 嘉兴南洋职业技术学院,浙江 嘉兴 314031
2. Jiaxing Nanyang Polytechnic Institute, Jiaxing 314031, China
海上运输产业日益发达使海上运输船舶数量剧增,导致海上交通运输压力增大[1-2],人工和视频方式的海上运输船舶巡检效率低,船舶目标检测与跟踪技术的应用,提升了海上运输巡检的效率,但提取特征不理想,影响目标船舶检测与跟踪结果[3]。
当前有很多学者研究舰船目标检测和跟踪技术内的特征信息提取方法。如徐海祥等[4]提出的水面图像目标检测特征提取方法,但该方法在应用过程中,卷积模型参数选取具备主观性,使其最终输出结果不佳。谢恩阁等[5]提出了渔船作业状态特征的提取方法,该方法船舶北斗位置数据为基础,通过计算航速、水深等获得船舶位置信息,再依据船舶日志提取船舶的作业状态特征信息。但若船舶日志存在缺失时,该方法获得的船舶作业状态特征结果则不够准确。
为提升船舶目标检测与跟踪结果,提出一种新的船舶目标检测与跟踪特征信息提取方法。
1 船舶目标检测与跟踪技术的特征信息提取方法 1.1 基于背景模型的船舶目标前景图像获取获取船舶目标图像时提取其特征的基础,在此利用高斯混合模型建立船舶背景模型,利用该背景模型获取当前船舶前景图像,详细过程如下:
1) 船舶像素模型。
$ p({x_t}) = \left\{ {{p_{i,t}}\left| {i = 1,2, \cdots ,K} \right.} \right\},$ | (1) |
式中:pi,t表示高斯分布模型。
2) 像素模型匹配。利用式(1)获取到船舶不同时刻的像素后,对像素进行匹配处理[6],得到
$ \left| {{x_i}} \right| - \left| {{u_{i,t - 1}}} \right| \leqslant 2.5{\sigma _{i,t - 1}}。$ | (2) |
式中:
3) 将高斯分布模型的权重和船舶图像像素单峰分布宽度的比值作为式(2)的匹配标准,则匹配后的船舶背景描述模型为[7]:
$ B = \arg \min (\sum\limits_{k = 1}^N {{w_{t,k}} > T} )。$ | (3) |
式中:wt,k为高斯分布模型权重;
当匹配的高斯模型数值小于式(3)数值时,则该船舶当前像素属于背景,反之则为前景。
1.2 船舶前景图像特征信息提取方法 1.2.1 船舶前景图像亮度、颜色与方向特征提取利用船舶前景图像为输入,使用显著性驱动Itti模型提取船舶前景图像的亮度、颜色和方向特征图像。
$ I = \frac{{r + g + b}}{3}, $ | (4) |
将式(4)结果输入到显著性驱动Itti模型内,转换成高斯金字塔图像
$ {I^g} = \mathop \oplus \limits_{g = 2}^4 \mathop \oplus \limits_{s = g + 3}^{g + 4} N(I(g,s))。$ | (5) |
式中:
提取船舶前景图像的颜色特征,其表达式为:
$ {C^g} = \mathop \oplus \limits_{g = 2}^4 \mathop \oplus \limits_{s = g + 3}^{g + 4} \left[ {N(RG(g,s))} \right] + \mathop \oplus \limits_{g = 2}^4 \mathop \oplus \limits_{s = g + 3}^{g + 4} \left[ {N(BY(g,s))} \right] 。$ | (6) |
式中:
$ RG(g,s) = \left| {(R(g) - G(g))} \right|\Theta \left| {(G(s) - R(s))} \right| ,$ | (7) |
$ BY(g,s) = \left| {(B(g) - Y(g))} \right|\Theta \left| {(Y(s) - B(s))} \right| 。$ | (8) |
式中:
提取船舶前景图像的方向特征,其表达式为:
$ {O^g} = \sum\limits_{\theta \in \left[ {{0^ \circ },{{45}^ \circ },{{90}^ \circ },{{135}^ \circ }} \right]} {\mathop \oplus \limits_{g = 2}^4 \mathop \oplus \limits_{s = g + 3}^{g + 4} {N^2}(O(g,s,\theta ))} 。$ | (9) |
式中,
利用式(5)、式(6)、式(9)即可提取到船舶前景图像的亮度、颜色和方向特征。
1.2.2 基于Canny算子的船舶轮廓特征提取以船舶前景图像为基础,使用Canny算子提取船舶前景图像内的船舶轮廓特征,其过程如下:
1) I[x,y]表示船舶前景图像,
$ S\left[ {x,y} \right] = V\left[ {x,y,\alpha } \right]*I\left[ {x,y} \right] 。$ | (10) |
式中:
2) 对式(10)结果进行一阶有限差分处理,得到近似
$ O\left[ {x,y} \right] \approx (S\left[ {x,y + 1} \right] - S\left[ {x,y} \right] + S\left[ {x + 1,y} \right] - S\left[ {x + 1,y} \right])/2,$ | (11) |
$ U\left[ {x,y} \right] \approx (S\left[ {x,y} \right] - S\left[ {x + 1,y} \right] + S\left[ {x,y + 1} \right] - S\left[ {x + 1,y + 1} \right])/2。$ | (12) |
依据式(11)、式(12)结果计算船舶前景图像边缘轮廓梯度幅值
$ M\left[ {x,y} \right] = \sqrt {O{{\left[ {x,y} \right]}^2}} + \sqrt {U{{\left[ {x,y} \right]}^2}},$ | (13) |
$ \theta \left[ {x,y} \right] = \arctan (U\left[ {x,y} \right]/O\left[ {x,y} \right]) 。$ | (14) |
3) 对式(13)结果进行非极大值抑制后,对极大值抑制结果进行差值处理,当其差值高于邻域内梯度方向上相邻差值时,则该点标记为边缘点[9]。
4) 用双阈值算法检测船舶前景图像边缘轮廓点并连接后,得到船舶边缘轮廓特征。
1.3 基于信息特征的船舶目标检测与跟踪 1.3.1 基于支持向量机的船舶目标检测根据船舶亮度、颜色、方向以及边缘轮廓特征构建特征数据集,利用支持向量机对特征数据集进行分类,得到船舶目标检测判别函数为:
$ g(x) = \varpi *x + D 。$ | (15) |
式中:
当船舶特征数据集为线性可分时[10],检测超平面方程为
$ \left\{ \begin{gathered} \mathop {\min }\limits_{w,b,\zeta } \frac{{{{\left\| \varpi \right\|}^2}}}{2} + \eta \sum\limits_{i = 1}^l {{\zeta _i}} ,\\ {\rm{ s.t.}}\mathop {}\limits_{} {y_i}(\varpi \cdot \phi ({x_i})) + D \geqslant 1 - {\zeta _i} ,\\ \end{gathered} \right. $ | (16) |
式中:
利用拉格朗日求解式(16)对偶问题后,得到支持向量机的检测决策函数为
$ f(x) = {\rm{{sgn}}} ({\varpi ^*} \cdot \phi (x)) + {\rm{{sgn}}} ({D^*})。$ | (17) |
式中:
利用该函数即可得到船舶检测结果。
1.3.2 船舶目标动态跟踪对船舶运动状态进行跟踪时,在短时间内将船舶航行速度看作恒定数值,构建Chan-Vese模型后,将船舶特征数据集输入模型,得到时刻为
$ {Z_t} = \left[ \begin{gathered} {P_t} \\ {E_t} \\ \end{gathered} \right]。$ | (18) |
式中:Et,Pt分别表示t时刻的船舶速度和位置。
利用Chan-Vese模型计算船舶位置和速度转换关系,具体为:
$ {{{\tilde z}}_t} = {\psi _t}{\tilde z_{t - 1}} + {w_{t - 1}} 。$ | (19) |
式中:
利用该式可得到船舶状态转移数值,即船舶目标动态跟踪结果。
2 实验结果与分析以某航道船舶为实验对象,使用本文方法提取其特征信息后,对其展开船舶目标检测与跟踪,分析本文方法的实际应用性。
2.1 船舶前景图像提取测试使用本文方法提取一艘游轮图像前景图像,结果如1所示。分析图1可知,当船舶图像内存在大量的背景干扰时,本文方法可较好地提取该船舶的前景图像,且可较好保留船舶上的微小细节,如船舶尾部随风飘动的小旗子和船头位置的栏杆等。由此可知,本文方法具备较好的船舶前景图像提取能力,可有效为后续提取其特征信息打基础。
使用本文方法提取一艘游轮图像亮度和颜色特征,结果如图2所示。分析图2可知,该游艇艇身颜色为红色,驾驶室和船舱位置为白色和褐色,其在海面上行驶时,上述3种颜色与海面颜色的对比度相对较高。而本文方法提取到的该游艇亮度分布区域与该游艇的位置区域完全相同。使用不同颜色线条进行标记,不同颜色分布区域与游艇实际的颜色分布也较为吻合,表示本文方法可有效提取船舶的亮度和颜色等特征信息,提取结果较为精准。
以一艘货轮为实验对象,使用本文方法提取其轮廓特征,结果如图3所示。分析图3可知,本文方法提取船舶轮廓特征与船舶本身轮廓特征十分相近,从船舶轮廓特征上可清晰看出该船舶类别,为后续的船舶目标检测和跟踪提供依据。
以该航道若干不同类型和数量的船舶和跟踪目的地偏差作为实验对象,使用本文方法对不同类型船舶进行识别和跟踪,结果如表1所示。分析表1可知,本文方法未受船舶类型影响,识别船舶类型的精度为100%。在对不同类型船舶进行跟踪时,船型较小的船舶跟踪累计偏差数值略大,但随着船舶数量的增加,本文方法跟踪船舶累计偏差数值增加幅度较小,且跟踪累计偏差最大数值为1.01 km,该数值在宽阔的海面上对判断船舶位置影响较小,因此本文方法的船舶类型检测和跟踪精度较高,具备较好的应用效果。
本文提出船舶目标检测与跟踪技术的特征信息提取方法,并在实际应用中对该方法进行了验证。从验证结果可知:本文方法可有效提取船舶的前景图像,并从船舶前景图像内有效提取其亮度、颜色以及轮廓等特征信息,在船舶目标检测和跟踪的应用中提升船舶类型检测和跟踪的精度。
[1] |
胡庆, 李润生, 许岩, 等. SAR影像船舶目标检测技术研究[J]. 测绘科学技术学报, 2020, 37(5): 479-487. |
[2] |
周慧, 刘振宇, 陈澎. 利用改进特征金字塔模型的SAR图像多目标船舶检测[J]. 电讯技术, 2020, 60(8): 896-901. DOI:10.3969/j.issn.1001-893x.2020.08.006 |
[3] |
潘慧, 段先华, 罗斌强. 多尺度特征DCA融合的海上船舶检测算法研究[J]. 计算机工程与应用, 2022, 58(4): 177-185. DOI:10.3778/j.issn.1002-8331.2008-0242 |
[4] |
徐海祥, 龙泽升, 冯辉. 水面图像目标检测的强语义特征提取结构[J]. 华中科技大学学报(自然科学版), 2021, 49(4): 38-43. |
[5] |
谢恩阁, 吴洽儿, 周艳波, 等. 基于北斗船位数据灯光罩网渔船作业状态特征的提取和验证[J]. 上海海洋大学学报, 2020, 29(3): 392-400. |
[6] |
乔婷, 苏寒松, 刘高华, 等. 基于改进的特征提取网络的目标检测算法[J]. 激光与光电子学进展, 2019, 56(23): 134-139. |
[7] |
黄亮, 闻宇, 文元桥, 等. 基于反地理编码服务的内河船舶轨迹停留语义信息提取[J]. 中国航海, 2022, 45(1): 88-94+100. |
[8] |
徐垚, 李卓然, 孟金龙, 等. 基于大规模船舶轨迹数据的航道边界提取方法[J]. 计算机应用, 2019, 39(1): 105-112. DOI:10.11772/j.issn.1001-9081.2018071739 |
[9] |
张春玮, 马杰, 牛元淼, 等. 基于行为特征相似度的船舶轨迹聚类方法[J]. 武汉理工大学学报(交通科学与工程版), 2019, 43(3): 517-521. DOI:10.3963/j.issn.2095-3844.2019.03.028 |
[10] |
范爱龙, 李方轩. 基于实船监测的内河船舶能效数据特征挖掘及建模研究[J]. 武汉理工大学学报, 2020, 42(6): 26-34. |