舰船科学技术  2022, Vol. 44 Issue (13): 178-181    DOI: 10.3404/j.issn.1672-7649.2022.13.039   PDF    
船舶目标检测与跟踪技术的特征信息提取研究
高玉英1,2     
1. 浙江大学,浙江 杭州 310058;
2. 嘉兴南洋职业技术学院,浙江 嘉兴 314031
摘要: 为提升船舶目标检测和跟踪的技术水平,研究船舶目标检测与跟踪技术的特征信息提取方法。首先利用高斯混合背景模型得到船舶前景图像,然后分别提取船舶前景图像的亮度、颜色、方向特征和船舶轮廓特征信息,最后利用支持向量机和Chan-Vese模型利用特征实现船舶目标检测与跟踪。实验结果表明,该方法提取船舶前景图像时可有效提取其微小细节,提取的船舶图像亮度与颜色与原始值吻合度极高,可有效提取船舶轮廓特征,船舶类型识别和跟踪误差小,应用效果较为显著。
关键词: 船舶目标检测     跟踪技术     特征信息提取     混合高斯模型    
Research on feature information extraction of ship target detection and tracking technology
GAO Yu-ying1,2     
1. Zhejiang University, Hangzhou 310058, China;
2. Jiaxing Nanyang Polytechnic Institute, Jiaxing 314031, China
Abstract: In order to improve the technical level of ship target detection and tracking, the feature information extraction method of ship target detection and tracking technology is studied. The ship foreground image is obtained by using Gaussian mixture background model. the brightness, color, direction features and ship contour feature information of the ship foreground image are extracted respectively. The ship target detection and tracking are realized by using support vector machine and Chan Vese model. The experimental results show that this method can effectively extract the small details of the ship foreground image, the brightness and color of the extracted ship image are highly consistent with the original values, and the ship contour features can be effectively extracted. The error of ship type recognition and tracking is small, and the application effect is relatively significant.
Key words: ship target detection     tracking technology     feature information extraction     gaussian mixture model    
0 引 言

海上运输产业日益发达使海上运输船舶数量剧增,导致海上交通运输压力增大[1-2],人工和视频方式的海上运输船舶巡检效率低,船舶目标检测与跟踪技术的应用,提升了海上运输巡检的效率,但提取特征不理想,影响目标船舶检测与跟踪结果[3]

当前有很多学者研究舰船目标检测和跟踪技术内的特征信息提取方法。如徐海祥等[4]提出的水面图像目标检测特征提取方法,但该方法在应用过程中,卷积模型参数选取具备主观性,使其最终输出结果不佳。谢恩阁等[5]提出了渔船作业状态特征的提取方法,该方法船舶北斗位置数据为基础,通过计算航速、水深等获得船舶位置信息,再依据船舶日志提取船舶的作业状态特征信息。但若船舶日志存在缺失时,该方法获得的船舶作业状态特征结果则不够准确。

为提升船舶目标检测与跟踪结果,提出一种新的船舶目标检测与跟踪特征信息提取方法。

1 船舶目标检测与跟踪技术的特征信息提取方法 1.1 基于背景模型的船舶目标前景图像获取

获取船舶目标图像时提取其特征的基础,在此利用高斯混合模型建立船舶背景模型,利用该背景模型获取当前船舶前景图像,详细过程如下:

1) 船舶像素模型。 $ \left\{{x}_{i-k},{x}_{i-k+1},\cdots ,{x}_{i}\right\} $ 表示船舶图像的像素灰度序列, $ t $ 表示时刻, $ i \in K $ 表示高斯模型数量,船舶像素模型为:

$ p({x_t}) = \left\{ {{p_{i,t}}\left| {i = 1,2, \cdots ,K} \right.} \right\},$ (1)

式中:pi,t表示高斯分布模型。

2) 像素模型匹配。利用式(1)获取到船舶不同时刻的像素后,对像素进行匹配处理[6],得到

$ \left| {{x_i}} \right| - \left| {{u_{i,t - 1}}} \right| \leqslant 2.5{\sigma _{i,t - 1}}。$ (2)

式中: $ {u}_{i,t-1} $ $ {\sigma _{i,t - 1}} $ 分别表示船舶图像像素的单峰分布中心和分布宽度。

3) 将高斯分布模型的权重和船舶图像像素单峰分布宽度的比值作为式(2)的匹配标准,则匹配后的船舶背景描述模型为[7]

$ B = \arg \min (\sum\limits_{k = 1}^N {{w_{t,k}} > T} )。$ (3)

式中:wt,k为高斯分布模型权重; $ T $ 为匹配阈值。

当匹配的高斯模型数值小于式(3)数值时,则该船舶当前像素属于背景,反之则为前景。

1.2 船舶前景图像特征信息提取方法 1.2.1 船舶前景图像亮度、颜色与方向特征提取

利用船舶前景图像为输入,使用显著性驱动Itti模型提取船舶前景图像的亮度、颜色和方向特征图像。 $ r $ $ g $ $ b $ 分别表示船舶前景图像的红、绿、蓝颜色通道,则船舶前景图像亮度 $ I $ 为:

$ I = \frac{{r + g + b}}{3}, $ (4)

将式(4)结果输入到显著性驱动Itti模型内,转换成高斯金字塔图像 $ I(\sigma ) $ $ \sigma $ 表示金字塔图像强度取值区间,然后通过亚采样高斯卷积操作后[8],得到船舶前景图像的亮度特征为:

$ {I^g} = \mathop \oplus \limits_{g = 2}^4 \mathop \oplus \limits_{s = g + 3}^{g + 4} N(I(g,s))。$ (5)

式中: $ N( \cdot ) $ 表示船舶前景图像归一化算子; $ \oplus $ 表示异或逻辑运算符; $ g $ $ s $ 均表示金字塔图像强度。

提取船舶前景图像的颜色特征,其表达式为:

$ {C^g} = \mathop \oplus \limits_{g = 2}^4 \mathop \oplus \limits_{s = g + 3}^{g + 4} \left[ {N(RG(g,s))} \right] + \mathop \oplus \limits_{g = 2}^4 \mathop \oplus \limits_{s = g + 3}^{g + 4} \left[ {N(BY(g,s))} \right] 。$ (6)

式中: $ RG(g,s) $ $ BY(g,s) $ 分别表示红绿/绿红拮抗特征图和蓝黄/黄蓝拮抗特征图,其表达式为:

$ RG(g,s) = \left| {(R(g) - G(g))} \right|\Theta \left| {(G(s) - R(s))} \right| ,$ (7)
$ BY(g,s) = \left| {(B(g) - Y(g))} \right|\Theta \left| {(Y(s) - B(s))} \right| 。$ (8)

式中: $ R $ $ G $ $ B $ $ Y $ 分别表示红、绿、蓝、黄颜色分量。

提取船舶前景图像的方向特征,其表达式为:

$ {O^g} = \sum\limits_{\theta \in \left[ {{0^ \circ },{{45}^ \circ },{{90}^ \circ },{{135}^ \circ }} \right]} {\mathop \oplus \limits_{g = 2}^4 \mathop \oplus \limits_{s = g + 3}^{g + 4} {N^2}(O(g,s,\theta ))} 。$ (9)

式中, $ \theta $ 表示Gabor核方向。

利用式(5)、式(6)、式(9)即可提取到船舶前景图像的亮度、颜色和方向特征。

1.2.2 基于Canny算子的船舶轮廓特征提取

以船舶前景图像为基础,使用Canny算子提取船舶前景图像内的船舶轮廓特征,其过程如下:

1) I[x,y]表示船舶前景图像, $ x $ $ y $ 表示像素点坐标,利用高斯滤波器对其进行平滑处理得到:

$ S\left[ {x,y} \right] = V\left[ {x,y,\alpha } \right]*I\left[ {x,y} \right] 。$ (10)

式中: $ V\left[ {x,y,\alpha } \right] $ 表示高斯滤波冲击响应; $ \alpha $ 表示散布参数。

2) 对式(10)结果进行一阶有限差分处理,得到近似 $ x $ $ y $ 的偏导数 $ O\left[ {x,y} \right] $ $ U\left[ {x,y} \right] $ 为:

$ O\left[ {x,y} \right] \approx (S\left[ {x,y + 1} \right] - S\left[ {x,y} \right] + S\left[ {x + 1,y} \right] - S\left[ {x + 1,y} \right])/2,$ (11)
$ U\left[ {x,y} \right] \approx (S\left[ {x,y} \right] - S\left[ {x + 1,y} \right] + S\left[ {x,y + 1} \right] - S\left[ {x + 1,y + 1} \right])/2。$ (12)

依据式(11)、式(12)结果计算船舶前景图像边缘轮廓梯度幅值 $ M\left[ {x,y} \right] $ 和方向角 $ \theta \left[ {x,y} \right] $ ,具体为:

$ M\left[ {x,y} \right] = \sqrt {O{{\left[ {x,y} \right]}^2}} + \sqrt {U{{\left[ {x,y} \right]}^2}},$ (13)
$ \theta \left[ {x,y} \right] = \arctan (U\left[ {x,y} \right]/O\left[ {x,y} \right]) 。$ (14)

3) 对式(13)结果进行非极大值抑制后,对极大值抑制结果进行差值处理,当其差值高于邻域内梯度方向上相邻差值时,则该点标记为边缘点[9]

4) 用双阈值算法检测船舶前景图像边缘轮廓点并连接后,得到船舶边缘轮廓特征。

1.3 基于信息特征的船舶目标检测与跟踪 1.3.1 基于支持向量机的船舶目标检测

根据船舶亮度、颜色、方向以及边缘轮廓特征构建特征数据集,利用支持向量机对特征数据集进行分类,得到船舶目标检测判别函数为:

$ g(x) = \varpi *x + D 。$ (15)

式中: $ \varpi $ $ b $ $ x $ 分别表示权值矢量、偏置数值和船舶特征数据集。

当船舶特征数据集为线性可分时[10],检测超平面方程为 $ \left( {\varpi *x} \right) + D = 0 $ ,输出类别符合 $ {y_i}\left[ {\left( {\varpi *x} \right) + D} \right] - 1 \geqslant 0 $ 条件。当船舶特征数据集为线性不可分时,引入核函数将支持向量机分类检测问题转换为决策变量二次规划问题,具体为:

$ \left\{ \begin{gathered} \mathop {\min }\limits_{w,b,\zeta } \frac{{{{\left\| \varpi \right\|}^2}}}{2} + \eta \sum\limits_{i = 1}^l {{\zeta _i}} ,\\ {\rm{ s.t.}}\mathop {}\limits_{} {y_i}(\varpi \cdot \phi ({x_i})) + D \geqslant 1 - {\zeta _i} ,\\ \end{gathered} \right. $ (16)

式中: $ {\zeta _i} $ 表示松弛变量; $ \eta $ 表示惩罚因子; $ \phi ( \cdot ) $ 表示核函数;

利用拉格朗日求解式(16)对偶问题后,得到支持向量机的检测决策函数为

$ f(x) = {\rm{{sgn}}} ({\varpi ^*} \cdot \phi (x)) + {\rm{{sgn}}} ({D^*})。$ (17)

式中: $ {\varpi ^*} $ $ {D^*} $ 表示对偶求解后的权值矢量和偏置数值。

利用该函数即可得到船舶检测结果。

1.3.2 船舶目标动态跟踪

对船舶运动状态进行跟踪时,在短时间内将船舶航行速度看作恒定数值,构建Chan-Vese模型后,将船舶特征数据集输入模型,得到时刻为 $ t $ 时船舶状态为:

$ {Z_t} = \left[ \begin{gathered} {P_t} \\ {E_t} \\ \end{gathered} \right]。$ (18)

式中:EtPt分别表示t时刻的船舶速度和位置。

利用Chan-Vese模型计算船舶位置和速度转换关系,具体为:

$ {{{\tilde z}}_t} = {\psi _t}{\tilde z_{t - 1}} + {w_{t - 1}} 。$ (19)

式中: $ {\tilde z_t} $ 表示船舶当前状态位置; $ {\psi _t} $ 表示状态转移矩阵;wt-1表示过程干扰噪声。

利用该式可得到船舶状态转移数值,即船舶目标动态跟踪结果。

2 实验结果与分析

以某航道船舶为实验对象,使用本文方法提取其特征信息后,对其展开船舶目标检测与跟踪,分析本文方法的实际应用性。

2.1 船舶前景图像提取测试

使用本文方法提取一艘游轮图像前景图像,结果如1所示。分析图1可知,当船舶图像内存在大量的背景干扰时,本文方法可较好地提取该船舶的前景图像,且可较好保留船舶上的微小细节,如船舶尾部随风飘动的小旗子和船头位置的栏杆等。由此可知,本文方法具备较好的船舶前景图像提取能力,可有效为后续提取其特征信息打基础。

图 1 船舶前景图像提取结果 Fig. 1 ship foreground image extraction results
2.2 船舶亮度、颜色特征提取

使用本文方法提取一艘游轮图像亮度和颜色特征,结果如图2所示。分析图2可知,该游艇艇身颜色为红色,驾驶室和船舱位置为白色和褐色,其在海面上行驶时,上述3种颜色与海面颜色的对比度相对较高。而本文方法提取到的该游艇亮度分布区域与该游艇的位置区域完全相同。使用不同颜色线条进行标记,不同颜色分布区域与游艇实际的颜色分布也较为吻合,表示本文方法可有效提取船舶的亮度和颜色等特征信息,提取结果较为精准。

图 2 船舶亮度、颜色特征提取结果 Fig. 2 Ship brightness and color feature extraction results
2.3 船舶轮廓特征提取

以一艘货轮为实验对象,使用本文方法提取其轮廓特征,结果如图3所示。分析图3可知,本文方法提取船舶轮廓特征与船舶本身轮廓特征十分相近,从船舶轮廓特征上可清晰看出该船舶类别,为后续的船舶目标检测和跟踪提供依据。

图 3 船舶轮廓特征提取结果 Fig. 3 Ship contour feature extraction results
2.4 船舶目标检测与跟踪测试

以该航道若干不同类型和数量的船舶和跟踪目的地偏差作为实验对象,使用本文方法对不同类型船舶进行识别和跟踪,结果如表1所示。分析表1可知,本文方法未受船舶类型影响,识别船舶类型的精度为100%。在对不同类型船舶进行跟踪时,船型较小的船舶跟踪累计偏差数值略大,但随着船舶数量的增加,本文方法跟踪船舶累计偏差数值增加幅度较小,且跟踪累计偏差最大数值为1.01 km,该数值在宽阔的海面上对判断船舶位置影响较小,因此本文方法的船舶类型检测和跟踪精度较高,具备较好的应用效果。

表 1 船舶目标检测与跟踪测试结果 Tab.1 Ship target detection and tracking test results
3 结 语

本文提出船舶目标检测与跟踪技术的特征信息提取方法,并在实际应用中对该方法进行了验证。从验证结果可知:本文方法可有效提取船舶的前景图像,并从船舶前景图像内有效提取其亮度、颜色以及轮廓等特征信息,在船舶目标检测和跟踪的应用中提升船舶类型检测和跟踪的精度。

参考文献
[1]
胡庆, 李润生, 许岩, 等. SAR影像船舶目标检测技术研究[J]. 测绘科学技术学报, 2020, 37(5): 479-487.
[2]
周慧, 刘振宇, 陈澎. 利用改进特征金字塔模型的SAR图像多目标船舶检测[J]. 电讯技术, 2020, 60(8): 896-901. DOI:10.3969/j.issn.1001-893x.2020.08.006
[3]
潘慧, 段先华, 罗斌强. 多尺度特征DCA融合的海上船舶检测算法研究[J]. 计算机工程与应用, 2022, 58(4): 177-185. DOI:10.3778/j.issn.1002-8331.2008-0242
[4]
徐海祥, 龙泽升, 冯辉. 水面图像目标检测的强语义特征提取结构[J]. 华中科技大学学报(自然科学版), 2021, 49(4): 38-43.
[5]
谢恩阁, 吴洽儿, 周艳波, 等. 基于北斗船位数据灯光罩网渔船作业状态特征的提取和验证[J]. 上海海洋大学学报, 2020, 29(3): 392-400.
[6]
乔婷, 苏寒松, 刘高华, 等. 基于改进的特征提取网络的目标检测算法[J]. 激光与光电子学进展, 2019, 56(23): 134-139.
[7]
黄亮, 闻宇, 文元桥, 等. 基于反地理编码服务的内河船舶轨迹停留语义信息提取[J]. 中国航海, 2022, 45(1): 88-94+100.
[8]
徐垚, 李卓然, 孟金龙, 等. 基于大规模船舶轨迹数据的航道边界提取方法[J]. 计算机应用, 2019, 39(1): 105-112. DOI:10.11772/j.issn.1001-9081.2018071739
[9]
张春玮, 马杰, 牛元淼, 等. 基于行为特征相似度的船舶轨迹聚类方法[J]. 武汉理工大学学报(交通科学与工程版), 2019, 43(3): 517-521. DOI:10.3963/j.issn.2095-3844.2019.03.028
[10]
范爱龙, 李方轩. 基于实船监测的内河船舶能效数据特征挖掘及建模研究[J]. 武汉理工大学学报, 2020, 42(6): 26-34.