中国科学院大学学报  2021, Vol. 38 Issue (5): 642-648   PDF    
基于长时间间隔序贯SAR图像的运动舰船跟踪方法
刘雨洁1,2, 齐向阳1     
1. 中国科学院空天信息创新研究院, 北京 100190;
2. 中国科学院大学电子电气与通信工程学院, 北京 100049
摘要: 针对长时间间隔序贯SAR图像中运动舰船位置变化大、不易跟踪的难题,提出一种融合航迹起始和图像特征的匹配跟踪方法。首先从SAR图像中检测出舰船,得到舰船图像切片,并提取舰船的图像特征、空间位置信息;然后根据速度和加速度约束,将不同时刻的舰船关联,形成多条候选航迹;最后采用特征匹配差异最小原则筛选出舰船航迹,实现运动舰船跟踪。通过仿真实验和机载序贯SAR图像处理分析,验证所提方法的有效性。
关键词: 合成孔径雷达    序贯图像    舰船跟踪    
A moving ship tracking method based on long time interval sequential SAR images
LIU Yujie1,2, QI Xiangyang1     
1. Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100190, China;
2. School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing 100049, China
Abstract: Aiming at solving the difficult problem of tracking moving ships, which is caused by their great position variation in long time interval sequential SAR images, a matching tracking method combining track initiation and image feature is proposed. Firstly, the ships are detected from the SAR image to obtain the image slices and extract the ships' image features and spatial position information. Then, ships at different times are correlated to form multiple candidate trajectories according to the constraints of velocity and acceleration. Finally, ship trajectories are screened out based on the minimum difference principle of feature matching to realize moving ship tracking. The effectiveness of the proposed method is verified by simulation experiments and airborne sequential SAR images processing analysis.
Keywords: synthetic aperture radar    sequential images    ship tracking    

舰船目标的检测和跟踪是管理海上交通运输的重要内容,也是微波遥感领域的研究热点之一。合成孔径雷达(synthetic aperture radar,SAR)可实现高分辨率、大幅宽成像[1],工作不受云雾天气因素限制,在海洋监视领域发挥了重要作用。出于重访时间的限制,现在的研究成果主要集中于单张SAR图像的舰船检测和尾迹检测方面,无法获得动态变化的目标信息。其他基于雷达的目标跟踪主要是利用斜距、信号强度等信息对点目标进行跟踪,无法获得目标的结构特征信息[2]。在不久的将来,星载SAR能够将重访时间降低到30 min,实现优于20 m的分辨率,可以近实时检测、跟踪运动舰船。

基于SAR图像的舰船检测技术发展至今已有几十年的历史,也研发了许多成熟的舰船检测系统,有加拿大海洋商业应用软件OMW系统、英国海洋特征检测MaST系统、法国CLS舰船检测系统用于渔业监控,中国科学院电子学研究所的Ship Surveillance系统实现舰船目标及尾迹检测等[3-5]

针对SAR图像的目标跟踪早期主要集中于对冰川的运动跟踪,Kwok等[6]通过计算轮廓特征和区域强度信息互相关系数进行冰川区域的匹配,通过运动参数、图像统计信息的限制去除虚假匹配。汤宏权[7]通过提取仿真图像的小波矩特征,利用粒子滤波进行单目标跟踪。为了实现多目标跟踪,汪洪桥等[8]提取图像的多分辨率特征并识别,采用无损卡尔曼滤波算法跟踪。

由于序贯SAR图像时间间隔较长,舰船目标位置变化大,因此难以应用传统的目标跟踪方法;另一方面,舰船目标运动可能导致目标姿态、成像入射角的变化,造成舰船目标属性特征改变,给序贯图像的目标匹配带来困难。本文针对这些问题,融合航迹起始算法与舰船图像特征差异进行长时间间隔序贯图像间的目标匹配,根据速度和加速度设置约束波门,对舰船目标的不同特征设置不同的权值计算目标间的差异,利用差异最小原则筛选航迹,实现目标跟踪。

1 运动舰船跟踪方法流程

本文采用的运动舰船跟踪方法总体流程如下所述:首先对图像进行预处理,包括几何校正、噪声滤波、地理定位等;接着采用级联恒虚警算法(constant false alarm rate,CFAR)检测舰船目标,截取切片图像;然后提取舰船切片的图像特征和地理位置信息。最后采用融合航迹起始和图像特征的方法对舰船进行匹配跟踪。

2 舰船检测与特征提取

采用两级级联的CFAR检测算法进行舰船检测,第一级CFAR设置的虚警率较高,在子图像(块大小由图像采样间隔决定)上进行全局CFAR检测,第二级CFAR为实现精确检测,虚警率设置较低,使用精确分布模型进行局部检测,其流程如图 1所示。

Download:
图 1 舰船检测流程 Fig. 1 Flow chart of ship detection

舰船特征分为几何特征、灰度特征、电磁散射特征和其他特征[9-16],本文采用9个特征,分别是几何特征中的面积、长、宽、长宽比、周长、转动惯量、形状复杂度,以及标准差、分形维数这2个灰度纹理特征。

3 匹配跟踪算法 3.1 航迹起始算法

航迹起始是一种典型的多目标检测技术,指对目标未进入稳定跟踪之前的航迹建立确认过程。逻辑法航迹起始首先初始化时刻相邻的2次量测作为候选航迹集,然后通过一阶多项式预测外推下一次采样周期的位置,寻找落入约束波门的目标。之后继续用二阶多项式外推候选航迹,通过外推信息和波门的关系寻找潜在航迹。一般采用m/n原理判断航迹是否起始成功,如果在n次连续探测周期里,有m次探测量测值满足准则,则成功起始了航迹。工程上通常取2/3逻辑作为快速航迹起始,3/4作为正常航迹起始[17]

航迹起始算法中速度大小约束为

${V_{\min }} \le \left| {\frac{{{r_i}\left( k \right) - {r_j}\left( {k - 1} \right)}}{{t\left( k \right) - t\left( {k - 1} \right)}}} \right| \le {V_{\max }}, $ (1)

由向量夹角公式可得速度变化角度

$\begin{array}{l} \theta = \\ {\rm{arccos}}\left( {\frac{{({r_h}(k + 1) - {r_i}(k))*({r_i}(k) - {r_j}(k - 1))}}{{|{r_h}\left( {k + 1} \right) - {r_i}\left( k \right)|*|{r_i}\left( k \right) - {r_j}\left( {k - 1} \right)|}}} \right), \end{array} $ (2)

角度限制可表示为

$\left| \theta \right| \le {\theta _{\max }}, 0 \le {\theta _{\max }} \le \pi , $ (3)

加速度大小约束为

$\begin{array}{c} \left| {\frac{{{r_h}\left( {k + 1} \right) - {r_i}\left( k \right)}}{{t\left( {k + 1} \right) - t\left( k \right)}} - \frac{{{r_i}\left( k \right) - {r_j}\left( {k - 1} \right)}}{{t\left( k \right) - t\left( {k - 1} \right)}}} \right| \le \\ {a_{\max }}\left( {t\left( {k + 1} \right) - t\left( k \right)} \right), \end{array} $ (4)

其中:ri(k)是第k个时刻测量的第i个目标位置;t(k)代表第k个时刻; Vmaxθmaxamax分别是速度、转向角、加速度的最大值。

在本文算法中,对于位置和图像特征都相近的群体目标,先计算群体运动航迹,然后根据不稳定性删除错误航迹。如图 2所示,l1l2l3是3条暂态航迹,其中l1l2均与l3互斥。将l1l2l3涉及到的目标分为一组,计算每个时刻的平均位置,得到群体航迹lg。其中l1l2始终在群航迹lg的一侧,置信度较高,保留。l3lg多次交叉,剔除。

Download:
图 2 群体航迹筛选 Fig. 2 Group trajectories screening
3.2 目标特征差异

单特征差异度计算公式如下

${m_{F, i}} = \frac{{\left\| {F - {F_i}} \right\|_2^2}}{{\left\| {{F_i}} \right\|_2^2}}, $ (5)

其中:FFi分别代表当前检测的舰船目标特征和历史舰船目标特征。

目标的特征差异为多个特征的差异线性加权,特征权重系数wF, i与单特征的归一化方差系数ρi成反比。

${\rm{erro}}{{\rm{r}}_f} = \sum\limits_i {{w_{F, i}}{m_{F, i}}} . $ (6)
3.3 匹配跟踪算法流程

匹配跟踪算法的输入是N个时刻的舰船目标集合Sk=1, 2, 3, …, N,一般情况下4≤N≤8,si(k)是第k个时刻检测到的第i个目标的信息,包括目标的图像特征与位置信息。算法的输出是航迹集合Llj(m)是第m条航迹的目标在第j次检测到的信息。其具体流程如下:

1) 将首次检测获得的目标si(1)作为暂态航迹集合的根点迹;

2) 将当前时刻检测到的目标集合s(k)与上次检测到的目标集合s(k-1)计算特征差异,若差异度超过阈值,则将此目标作为根航迹点加入;

3) 对于时刻k-1形成的暂态航迹l′,用最大速度(通过船只的平均速度数据和航行安全速度估计获得)和加速度(k≥3)建立约束波门,尝试关联s(k)中落入波门的目标与暂态航迹l′,如果暂态航迹中目标的末次状态和当前目标的图像特征差异在自适应阈值以内,则将该目标加入暂态航迹l′形成l1,处理完s(k)中所有目标后,删除原来的暂态航迹l′。如果l′未与s(k)中任何一个目标关联,若l′的长度小于3直接删除,否则判断该航迹的目标间特征差异(图像差异、每次预测外推位置和实际位置偏差),若小于阈值则加入此时刻的候选航迹集合;

4) 对于时刻k的候选航迹集合,从互斥的候选航迹(同时刻单个目标出现在多条候选航迹)中选择差异度最小的l加入航迹集合L,并将时刻k暂态航迹集合中与l互斥的航迹删除;

5) 重复第2)~4)步,直到k=N。对于时刻N的暂态航迹集合,将出现在同一条暂态航迹中的目标分为一组。计算每组目标在每个时刻的平均位置,拟合出群航迹,保留始终在群航迹一侧的暂态航迹,将其加入航迹集合L

4 实验结果

为验证本文所提方法的有效性,进行仿真实验和机载SAR数据处理实验,并对实验结果进行定量评价。

4.1 跟踪效果评价指标

本文主要使用位置误差和速度误差作为评价指标。其中位置误差衡量的是检测跟踪的绝对误差,而速度误差能够避免系统定位误差带来的影响,衡量跟踪算法误差。

位置误差计算公式为

${\rm{erro}}{{\rm{r}}_p} = \sqrt {{{(\hat x - x)}^2} + {{(\hat y - y)}^2}} , $ (7)

相对速度误差为

${\rm{erro}}{{\rm{r}}_v} = \frac{{\left| {\hat V - V} \right|}}{V}, $ (8)

运动方向误差为

${\rm{erro}}{{\rm{r}}_a} = \left| {\hat \theta - \theta } \right|, $ (9)

其中: $\hat x, \hat y, \hat V{\rm{, }}\hat \theta $代表目标位置、速度大小、方向的测量值;xyVθ表示对应的真值。

另外还使用匹配跟踪正确的目标数与检测到的目标数比值衡量匹配正确率。

4.2 仿真实验 4.2.1 数据集介绍

OpenSARShip是使用Sentinel-1干涉宽幅模式产品的舰船数据集,包括单视复数(single look complex,SLC)图像和地距检测(ground range detected,GRD)图像。除SAR切片图像,还有AIS(automatic identification system)信息,来自Marine Traffic的实时舰船运动信息。实验选择的GRD图像,距离向分辨率为20 m,方位向分辨率为22 m,方位像素间隔和距离像素间隔均为10 m[18]

4.2.2 实验参数

在仿真实验中设置5个舰船目标,对于每个目标,不同时刻的图像采用的是OpenSARShip数据集中同一目标不同时间的SAR图像切片。图 3给出2个目标示例,可见,对于每个目标,在不同的时刻成像视角不同、目标的特征变化较大。

Download:
图 3 不同船只样本 Fig. 3 Samples of different ships

由于本算法主要针对远海区域进行实验,因此将舰船运动模型设为匀速直线运动,实验参数如表 1所示。为使仿真接近实际过程中可能出现的情况,在仿真的过程中加入位置随机噪声,分别在X方向和Y方向添加50 m、100 m的误差。目标不是同时出现和消失在观测区域,即出现目标数量不相等的情况,检验算法是否能够进行目标的添加、匹配和删除。

表 1 仿真实验参数 Table 1 Simulation parameters
4.2.3 实验结果与分析

在匹配跟踪过程中,以最大速度25 knot(节,即海里/h,1 knot=1.852 km/h)和加速度0.125 m/s2设置波门去预测外推下一时刻的位置。

以目标4为例,说明目标的匹配跟踪过程。时刻1第1次检测到目标4。时刻2,目标4和目标5都与时刻1的目标4构成疑似航迹。以此类推,产生所有待选航迹只有1条正确,最后选择图像差异、预测外推位置与实际位置偏差最小的“4 4 4 4”航迹,作为匹配跟踪的航迹。

仿真场景如图 4(a)~4(e)所示,图 4(f)展示最终的目标匹配跟踪航迹。从时间上看,时刻1检测到目标1、2、4、5。时刻2新加入目标3,由于目标3与其他目标的图像差异大,新增为根航迹中的点,其余目标与前时刻匹配。时刻3后目标5离开场景,找不到后继目标而结束航迹。其他一直检测到的目标完成每个时刻运动状态的更新。本例中5个目标均关联正确,匹配正确率为100%,说明通过融合航迹起始算法和目标属性特征进行航迹筛选,能够实现舰船跟踪。

Download:
图 4 仿真序贯图像及匹配跟踪结果 Fig. 4 Simulation sequential images and matching tracking result
4.3 实测数据实验结果与分析 4.3.1 实验飞行方式与系统参数

采用的实验数据为中国科学院电子学研究所利用机载SAR获取的序贯图像,飞行方式为沿着东西向航线重复飞行,对特定成像区域连续观测4次。实验采取条带模式,HH极化。载机速度为77 m/s,脉冲重复频率(pulse repetition frequency,PRF)为1 000 Hz。图像幅宽为8 km,分辨率为0.5 m。序贯图像的间隔时间分别为9、20、9 min。

4.3.2 实验结果与分析

图 5说明从SAR图像中检测舰船目标切片的过程,其中舰船运动导致图像散焦。CFAR检测通过局部幅度比较得到目标点集合,通过形态学处理可以连接断开的部分,弥补空洞,防止因为散射中心分布不均导致舰船目标几何特征计算偏差。图 5(d)白框部分表示该目标最后用于特征计算的切片图像。

Download:
图 5 舰船检测示例 Fig. 5 Ship detection example

图 6(a)~6(d)为该区域序贯图像示例,图 6(e)为该区域目标匹配跟踪的结果。其中目标1和目标2位置相近易混淆,通过计算群航迹可以得到正确航迹。目标1和目标2以4.2 knot左右的速度由东北向西南方向运动(与北向夹角约250°),目标3基本处于静止状态。

Download:
图 6 序贯图像及跟踪结果 Fig. 6 Sequential images and tracking result

因只有目标2的AIS信息,因此主要分析目标2的位置误差和速度误差。目标2的2个时刻的位置误差如表 2所示,位置误差分别为116 m和44 m,误差来源主要有飞机速度测量误差、高程测量误差等系统误差[19]、以及AIS信息插值处理带来的误差。目标2的速度误差见表 3,与AIS信息对比分析,得到目标2的平均速度测算误差为0.35 knot(约0.18 m/s),平均相对速度误差为9%,平均运动方向误差为4.4°。

表 2 目标2位置误差 Table 2 Position error of target 2

表 3 目标2速度误差 Table 3 Velocity error of target 2
5 结论

本文提出一种基于长时间间隔序贯SAR图像的运动舰船跟踪方法。与传统跟踪方法相比,该方法能克服长时间间隔下目标位置变化大、特征变化的问题。由仿真实验和机载SAR实测数据处理结果可以看出,通过融合航迹起始和图像特征,能够较好地实现运动舰船的匹配跟踪。

参考文献
[1]
Cumming I G, Wong F H. Digital signal processing of synthetic aperture radar data: algorithms and implementation[M]. Norwood, MA: Artech House, 2005: 1-19.
[2]
吴琨. 机载广域监视系统动目标跟踪及其应用[D]. 北京: 中国科学院大学, 2014.
[3]
邢相薇. HRWS SAR图像舰船目标监视关键技术研究[D]. 长沙: 国防科学技术大学, 2014.
[4]
Iervolino P. Ship detection with SAR: modelling, designing and real data validation[D]. Guildford: University of Surrey, 2016.
[5]
Ai J, Yang X, Song J, et al. An adaptively truncated clutter-statistics-based two-parameter CFAR detector in SAR imagery[J]. IEEE Journal of Oceanic Engineering, 2017, 43(1): 267-279.
[6]
Kwok R, Curlander J C, McConnell R, et al. An ice-motion tracking system at the Alaska SAR facility[J]. IEEE Journal of Oceanic Engineering, 1990, 15(1): 44-54. Doi:10.1109/48.46835
[7]
汤宏权. 基于合成孔径雷达图像的目标跟踪与识别[D]. 长沙: 中南大学, 2009.
[8]
汪洪桥, 蔡艳宁, 付光远, 等. 基于图像序列的地面慢动多目标识别与跟踪[J]. 激光与光电子学进展, 2016, 53(5): 253-261.
[9]
Hu M K. Visual pattern recognition by moment invariants[J]. Information Theory, IRE Transactions on, 1962, 8(2): 179-187. Doi:10.1109/TIT.1962.1057692
[10]
Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110. Doi:10.1023/B:VISI.0000029664.99615.94
[11]
Dellinger F, Delon J, Gousseau Y, et al. SAR-SIFT: a SIFT-like algorithm for SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(1): 453-466. Doi:10.1109/TGRS.2014.2323552
[12]
Lin H, Song S, Yang J. Ship classification based on MSHOG feature and task-driven dictionary learning with structured incoherent constraints in SAR images[J]. Remote Sensing, 2018, 10(2): 190. Doi:10.3390/rs10020190
[13]
吴俊. 基于高分辨率SAR图像的舰船目标分类识别研究[D]. 杭州: 浙江大学, 2018.
[14]
Kreithen D E, Halversen S D, Owirka G J. Discriminating targets from clutter[J]. The Lincoln Laboratory Journal, 1993, 6(1): 25-52.
[15]
Xing X, Ji K, Zou H, et al. Ship classification in TerraSAR-X images with feature space based sparse representation[J]. IEEE Geoscience and Remote Sensing Letters, 2013, 10(6): 1562-1566.
[16]
Lang H, Zhang J, Zhang X, et al. Ship classification in SAR image by joint feature and classifier selection[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(2): 212-216.
[17]
张传宾. 强杂波下多目标航迹起始算法研究[D]. 哈尔滨: 哈尔滨工程大学, 2018.
[18]
Huang L, Liu B, Li B, et al. OpenSARShip: a dataset dedicated to Sentinel-1 ship interpretation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, PP(99): 1-14.
[19]
潘志刚, 潘卓, 曹舸. 机载SAR图像无控制点直接定位方法[J]. 中国科学院大学学报, 2015, 32(4): 536-541.