中国科学院大学学报  2019, Vol. 36 Issue (3): 401-409   PDF    
基于显著性的SAR图像船舶目标检测方法
闫成章, 刘畅     
中国科学院电子学研究所, 北京 100190; 中国科学院大学, 北京 100049
摘要: 船舶检测是SAR海洋应用的重要方面。提出一种通用的检测方法,用以检测不同状况下的SAR图像船舶目标。首先将SAR图像分解为金字塔图像序列,然后对其中每一层图像使用谱残差法进行显著性检测,得到包含船舶目标的显著性子图;而后融合各子图得到最终显著图,对该显著图应用优化阈值的分割方法得到最终的检测结果。SAR数据实验结果表明,该方法具有复杂度低、检测精度高等特点,且极大降低了对先验知识的依赖。
关键词: SAR图像    多尺度    显著性检测    
A ship target detection method of SAR image based on saliency detection
YAN Chengzhang, LIU Chang     
Insititute of Electrics, Chinese Academy of Sciences, Beijing 100190, China; University of Chinese Academy of Sciences, Beijing 100049, China
Abstract: Ship detection is an important direction of SAR image application in maritime surveillance. A multi-scale optimization threshold saliency detection is proposed in this study, for detecting ship targets of SAR image.The SAR image is first decomposed into a pyramid image sequence. Then the saliency detection is performed by using the spectral residual method for each layer in the sequence, and the salient subgraphs that contain ship targets are obtained. Finally, the subgraphs are fused and the optimization threshold segmentation method that applies to the saliency map is used to produce the final result. Experimental results show that the proposed approach has better detection performance, and it has low complexity and high detection accuracy and greatly reduces the dependence on prior knowledge.
Keywords: SAR image    multi-scale    saliency detection    

合成孔径雷达(synthetic aperture radar, SAR)作为一种主动式遥感传感器具有全天时、全天候的数据获取能力,并且具有强穿透性[1]。海上监测是SAR系统的重要应用之一,而船舶检测在海洋场景观测中起到核心作用[2],在民用领域及公安部门有不可替代的作用, 例如,舰船的寻找和救助、捕渔船监视、非法移民、保卫领土、反毒品、舰船非法倾倒油污的监视等等[3]

船舶目标检测作为海洋ATR(automatic target recognition)系统的第一阶段,是后续有效识别的基础。在过去的几十年中,国内外学者已经提出多种方法检测SAR图像中的船舶目标,包括直接法和间接法。直接法直接检测船舶目标,其中,自适应阈值法[4]、概率神经网络(probability neural network, PPN)模型法[5]和基于分布的恒虚警率(constant false alarm rate, CFAR)检测[6-8]是常用的方法。间接法首先检测船舶的尾迹,再搜索尾迹周围的船只,通常用于运动船舶的检测中,主要包括Radon变换、数学形态学分析和小波分析[9]。在众多方法中,基于概率分布的CFAR算法是应用最为广泛的检测模型。然而,CFAR类检测器均涉及到船舶、海洋/背景杂波参数模型估计和阈值设置,以便保证恒定的虚警概率。对舰船的先验知识要求和背景观测的强依赖性限制了此类方法的应用。近年来,以视觉注意机制(visual attention mechanism, VA)为基础的视觉显著性检测(visual saliency detection)技术广泛应用于图像处理中,成为图像数据筛选、分析的重要技术途径。显著性检测模拟人的视觉特点,能够自动提取图像中感兴趣的区域(regions of interest, ROI),即显著区域,滤除冗余的背景信息。基于频谱域的显著性模型检测模型具有简单高效的特点,对于背景单一、目标突出的图像检测效果良好。然而,现有应用多停留在目标位置的粗略估计。

为提高检测精度和算法的适用性,本文提出一种多尺度优化阈值的显著性检测。该方法首先对输入SAR图像做金字塔分解,然后对分解后的每一层子图像基于谱残差法做显著性检测,得到各个层次的显著性子图;而后将这些子显著图融合并进行形态学处理得到最终显著图。最后应用优化阈值的最大类间方差分割得到二值图像,进而确定船舶目标位置。本文方法一方面提升了大场景下SAR图像中不同尺度的船舶目标提取的精度,另一方面提高了算法的适用性,在高海情下仍能有效检测出船舶目标,且适用于高分辨率SAR图像船舶检测。

1 算法原理 1.1 SAR图像多尺度分解

分析未知场景时,计算机无法预先知道图像中物体尺度。因此,需要同时考虑图像在多尺度下的描述,获知感兴趣物体的最佳尺度。为此,可以将图像构建为一系列不同尺度的图像集,在不同的尺度中去检测感兴趣的特征。

图像金字塔是图像中多尺度表达的一种,高斯金字塔(Gaussian pyramid, GP)模拟一种近大远小的视觉特性。近处的东西能够看到细节所在,远处只能窥见轮廓,对于细节无从得知。当对图像进行下采样的时候,图像的分辨率降低,类比物体从近处移动到远处。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低且来源于同一张原始图的图像集合。其通过依次向下采样获得,直到达到某个终止条件停止采样。金字塔的底部是待处理图像的高分辨率表示,而顶部是低分辨率的近似。我们将一层一层的图像比喻成金字塔,层级越高,则图像越小,分辨率越低。

在高斯金字塔的运算过程中,图像经过卷积和下采样操作会丢失部分高频细节信息。为描述这些高频信息,定义拉普拉斯金字塔(Laplacian pyramid, LP)。用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像,得到一系列的差值图像即为拉普拉斯分解图像[10]。其数学定义为

$ L_{i} = G P_{i}-U P\left(G P_{i+1}\right) * g_{5 \times 5}. $ (1)

式中:GPi表示高斯金字塔第i层的图像,一共N层;UP(·)操作是进行向上取样,即将原图像中位置为(x, y)的像素映射到目标图像的(2x+1, 2y+1)位置; ɡ5×5为5×5的高斯内核。依照公式(1)得到的拉普拉斯金字塔共N-1层,其中第i层图像记为LPi

在本文实验中,选取的金字塔由LP1LP2,…,LPN-1GPN构成。混合金字塔加入高斯金字塔的顶层,也即保留图像的大体轮廓信息;而细节信息由普拉斯金字塔各层图像提供。

1.2 显著性检测

灵长类动物在进行高级视觉处理前会选择出图像的子集进行深度处理,以此减少场景的复杂度,这种选择部分区域进行注意的机制叫做视觉显著性,它描述一个物体在一幅场景中的特殊性或吸引视觉注意的能力。显著性检测(saliency detection)使计算机视觉通过模拟人类的视觉注意机制,检测图像中最能引起人的视觉注意的物体区域即显著区域。它搜索场景的方式可以是自下而上(bottom-up)的方式,即数据驱动;也可以是自上而下(top-down)的方式,在人的意识控制下对图像进行注意。现阶段对人的大脑结构作用了解还不够深入,研究主要集中在自下而上的方式。

由Itti等[11]提出的显著性检测模型是空域方法的典型代表,通过提取亮度特征、颜色特征、方向特征,得出3组特征图集,组合这些图集并计算显著图,通过胜者为王(winner-take-all,WTA)神经竞争网络实现焦点转移。该方法使用生物模型,解释人类视觉搜索策略。但由于其需要计算多个特征,计算难度大、复杂度高。相比之下频域方法鲁棒性强,更为简单。谱残差方法(spectral residual)[12]是频域方法的代表,可简单快速实现显著性特征的提取。该方法对于背景单一,目标突出的图像效果良好,而海洋背景下的船舶检测满足这样的条件。

从信息论的角度来看,有效编码假说将图像信息H(image)分为两部分:

H(image) = H(innovation)+H(prior- Knowledge).

H(innovation)表示突出的部分,H(prior-knowledge)则表示冗余的信息。通过去除图像冗余信息,可以获得图像与众不同的部分,即显著目标。文献[12]统计100副自然图像,发现不同图像的log谱具有相似的分布趋势,且多幅图像的平均log谱是满足局部线性的;而偏离谱线的部分(统计奇点)代表图像的显著部分。因此,在不同的log谱中只需要关注其差异部分忽略相似部分。给定一幅图像I(x)首先计算二维离散傅里叶变换F(u, v),将其表示为幅度谱和相位谱积的形式

$ F(u, v) = A(u, v) \cdot \mathrm{e}^{\mathrm{i} \cdot P(u, v)} $ (2)

L(f)代表图像的log谱即log(A),我们要求的显著性信息即

$ H(R(f)) = H(L(f) | A v(f)),$ (3)

式中Av(f)表示图像log谱的一般形式,通过对log谱做局部平滑得到

$ A v(f) = h_{n}(f) * L(f). $

hn(f)为局部平滑滤波器,定义为

$ {{h}_{n}}(f) = \frac{1}{{{n}^{2}}}\left( \begin{matrix} 1 & 1 & \cdots & 1 \\ 1 & 1 & {} & 1 \\ \vdots & \vdots & {} & \vdots \\ 1 & 1 & \cdots & 1 \\ \end{matrix} \right). $

R(f)定义为图像的谱残差,代表log谱偏离一般形式的部分;因此谱残差就是log谱和其进行均值滤波后的差,可如下计算:

$ R(f) = L(f)-V(f). $ (4)

R(f)表示的残差谱包含显著信息,因此利用它和相位谱经过傅里叶逆变换重构图像,就表示图像的显著部分:

$ s(x) = F^{-1}\left[\mathrm{e}^{R(f)+P(f)}\right]^{2}. $ (5)

经过高斯滤波器g(x, y)平滑即可得到显著图(saliency map):

$ \begin{array}{l}{S(x) = g(x, y) * F^{-1}\left[\mathrm{e}^{R(f)+P(f)}\right]^{2}}, \\ {g(x, y) = \frac{1}{2 \pi \sigma^{2}} \exp \left(-\frac{x^{2}+y^{2}}{2 \sigma^{2}}\right)}.\end{array} $ (6)

谱残差法的优势在于建立一个通用的检测模型。一般的模型都是将显著性问题转化为目标特殊性质检测的问题,例如一些颜色特征、亮度特征、纹理特征等等,面对不可预测、无数的视觉模式类别,根据以往的模型,必须找到目标通用的特征才能建立通用的显著性检测系统。但每个目标都有自己与众不同的特性,难以提取目标通用特性。基于谱残差法的显著性检测将问题转变为提取背景的通用特性,滤除背景也就相当于从侧面加强目标。

本文实验中,为更精确检测到SAR图像中的船舶目标,对1.1中得到的混合金字塔中每一层图像做显著性检测,而后将各子显著图融合,得到输入图像的最终显著图。

1.3 优化阈值分割

虽然上述步骤得到的SAR图像的显著图中包含感兴趣(region of interest, ROI)区域,我们需要对saliency map做图像分割,以便确认目标的位置。最大类间方差法(Otsu)[13]使用聚类的思想,把图像的灰度数按灰度级分成两个部分,使得两个部分之间的灰度值差异最大,每个部分之间的灰度差异最小,通过方差的计算寻找一个合适的灰度级别来划分。Otsu算法被认为是图像分割中阈值选取的最佳算法,计算简单且不受图像亮度和对比度的影响。使不同类别间的方差最大意味着错分概率最小。所以可以在二值化的时候采用Otsu算法自动选取阈值进行二值化。

假定一个阈值T将图像分成前景和背景,根据前景的灰度均值μ0和背景的灰度均值μ1以及他们各自占比ω0ω1,计算图像总体的灰度均值μ和方差σ2

$ \begin{array}{l}{\mu = \omega_{0} \mu_{0}+\omega_{1} \mu_{1}} \\ {\sigma^{2} = \omega_{0} \omega_{1}\left(\mu_{0}-\mu_{1}\right)^{2}}\end{array} $ (7)

σ2即为类间方差,采用遍历的方法使这个方差最大化,此时对应的T就是最佳阈值,图像也达到了前景背景差异的最大化。

然而直接对显著图应用Otsu做二值化分割却不一定能得到满意的结果。海风猛烈时会激起大浪,船舶将淹没在背景杂波或强噪声中。目标与背景间差异的弱化使得船舶检测成为一项极具挑战的任务。因此对于高海情下的船舶检测研究,得到很多学者的重视[14-16]。尤其对于中低分辨率SAR图像,船舶目标在整幅图中占较小,以至于该区域对直方图的贡献较小,导致直方图上波谷位于背景区域。此时使用最大类间方差法得到的全局阈值只是理论上的最佳值,并不符合实际情况。

本文采取一种优化阈值的二值化分割方法。相比传统的Otsu,它不统计图像的全部像素,而只统计图像中边缘附近的像素作为样本,从而减少样本总数,侧面增加目标的占比。在选取的像素中应用最大类间方差法即可得到较好的分割结果。具体步骤如下,设f(x, y)为输入图像:

步骤1):用拉普拉斯算子粗略计算边缘图像L(x, y);默认阈值T大于图像98%像素的灰度值;

步骤2):用TL(x, y)做二值化分割得到g(x, y);

步骤3):仅用f(x, y)中对应g(x, y) = 1的位置的像素计算直方图;

步骤4):用步骤3)中的直方图使用Otsu法全局分割f(x, y)。

应用此方法对显著图进行图像分割速度快、效果良好,即使对于复杂场景的SAR图像也能得到可靠结果。

对1.2节得到的输入图像的最终显著图做形态学处理后,应用上述优化阈值分割得到二值化图像,最后在原图像中确定船舶目标位置。多尺度优化阈值显著性检测流程如图 1所示。

Download:
图 1 算法流程图 Fig. 1 Flow chart of the algorithm
2 实验结果分析 2.1 SAR图像船舶目标检测

单一层次的显著性检测在多目标SAR图像中会发生虚警,而本文的多尺度显著性检测则提高了检测正确率。如图 2所示,图 2(a)为直接进行显著性检测的结果,圆形区域为虚警目标;2(b)中应用本文方法,正确检测出全部目标并且未产生虚警。并且本文方法增强了目标,图 2(c)2(d)反映出目标强弱对比。

Download:
图 2 本文方法与显著性检测结果对比 Fig. 2 Comparison of the results between this method and salience detection

目前在SAR图像船舶检测领域应用最为广泛的是CFAR及其各种改进算法,本文实验在多目标环境下进行,因此使用OS-CFAR检测器。基于小波变换的多尺度检测方法避免了CFAR求取阈值的难题也广为应用,由小波发展而来的剪切波(shearlet)变换的检测方法弥补了小波变换检测奇异点能力的不足,本文也将使用基于剪切波变换的检测方法作为对比。

对于一幅RadarSat-1 SAR图像,分辨率10 m,尺寸为290×290,如图 3(a)用不同检测方法对其中的船舶目标进行检测。包括CFAR检测、基于剪切波变换的检测和本文检测方法。本文的方案旨在原图中寻找目标,故结果呈现并非二值图。

Download:
图 3 某海域RS-1 SAR图像不同方法船舶检测结果 Fig. 3 Ship detection results using different methods on some RS-1 SAR image in certain sea area

CFAR检测器的虚警率设置为10-5。剪切波检测中,分解层数为4层。本文的检测方法中将图像多尺度分解为4层。各方法的检测结果如图 2所示,图中圆形包围的目标表示虚警。

结合以上实验,表 1给出几种检测方法应用到SAR图像上的检测结果,本文用品质因数(figure of merit, FoM)作为评价指标来评估检测结果。FoM定义如下

$ \mathrm{FoM} = N_{\mathrm{tt}} /\left(N_{\mathrm{fa}}+N_{\mathrm{gt}}\right). $
表 1 某海域RS-1 SAR图像不同方法检测结果对比 Table 1 Comparison of detection results among different methods on some RS-1 SAR image in certain sea area

式中:Ntt代表正确检测到的目标数,Nfa是虚警目标的数量,Ngt是图像中真正目标的数量。FoM值越高意味着检测效果越好,也即有较高的检测率和较低的虚警率。为对比不同方法的效率,表 1给出各检测方法的品质因数,该数据由10次运算时间取平均值得到。实验用计算机操作系统为Windows10,运行环境为matlab2015。

此外,选取另一幅SAR图像进行对比实验。图 4(a)为某C波段雷达,极化方式HH,20 m分辨率,尺寸为250×250。对此图像同样应用以上提到的几种检测方法,检测结果对比如图 3所示;表 2给出各方法品质因数。

Download:
图 4 某C波段SAR图像不同方法船舶检测结果 Fig. 4 Ship detection results using different methods on some C-band SAR image

表 2 某C波段SAR图像不同方法检测结果对比 Table 2 Comparison of detection results among different methods on some C-band SAR image

根据表 1表 2,本文方法相较恒虚警检测的FoM值平均提升1.75倍;相比剪切波变换检测方法提升1.06倍。实验表明,本文方法相比传统方法检测效果更好,目标检测率更高;此外由于本文方法不需要估计杂波模型,实时性也随之提升。对图 3中SAR图像,CFAR检测的保护窗口尺寸设置为10,背景窗口尺寸为16,平均检测用时3.307 3 s;背景窗口越大,计算用时越长。基于剪切波变换的检测平均用时0.631 5 s。而本文方法平均用时0.074 1 s,为海洋ATR系统实时检测船舶目标提供了一种借鉴。

2.2 高海情SAR图像船舶检测

以上的实验结果,已经证明本文方案的检测性能,本小节将在更复杂的情况下测试其适用性。恒虚警率方法通常基于先验检测窗,窗口初始化对舰船先验知识和背景观测的依赖性很强,限制了它们的应用[17]。而本文提出的方案即便在高海情下仍能有效检测出船舶目标。下面结合SAR图像验证方案。

图 5(a)是一幅高海情C波段ERS SAR图像[17]。该图位于新加坡海岸,分辨率为12.5 m,尺寸为500×500。显著性检测结果如图 5(b)。直接应用最大类间方差得到的二值图像却不能用于后续操作,在图 5(c)中可以看到,Otsu将大量背景部分划分为目标。为此利用本文的优化阈值选取策略,最终得到的二值图像如图 5(d),可以看到船舶位置已经十分明确,可以用于后续提取目标的最小外接矩形。最终结果如图 5(e),证实本文方案在高海情下检测船舶目标的有效性。

Download:
图 5 高海情SAR图像船舶检测 Fig. 5 Ship detection for complex background SAR image
2.3 高分辨率SAR图像检测结果

接下来将验证本文提出的方法在高分辨率SAR图像船舶检测中的适用性。

图 6(a)是台湾海峡局部地区TerraSAR-X图像,分辨率为1 m。应用本文检测方法的到的结果如图 6(b)所示,准确定位目标位置,并且保持了船舶的细节。实验证明该方法不仅适用于中低分辨率SAR图像的船舶目标检测,在高分辨率SAR图像中依然表现良好。

Download:
图 6 高分辨率SAR图像船舶检测 Fig. 6 Ship detection for high resolution SAR image
3 结论与讨论

本文针对SAR图像船舶目标检测目前存在的不足,结合多尺度分析和优化阈值分割,提出一种船舶检测方法。利用混合金字塔对SAR图像做多尺度分解,对分解后的不同尺度的SAR图像利用基于谱残差的显著性检测得到不同尺度的显著图。图像二值化分割阶段,通过调节阈值的选取策略,使得二值化结果更加准确,尤其是在高海情下,优化阈值对最终准确检测出船舶目标起到重要作用。通过4组SAR图像的实验,验证了本文方法的有效性,其复杂度低、运算效率高、鲁棒性好,为建立通用检测系统提供一种思路。

受限于SAR数据来源,本文实验数据量较小,以后应当在更多的图像上进行实验以做出更加全面的分析。随着SAR系统分辨率的提高,SAR图像包含了越来越多的信息,应用前景十分广泛。因此未来需要在保证检测效果的前提下,继续研究高效算法,提高实时性,并进一步结合纹理特征、散射特征、极化特征等信息识别出船舶的类型。

参考文献
[1]
Maitre H.合成孔径雷达图像处理[M].孙洪, 等译.北京: 电子工业出版社, 2013.
[2]
Brusch S, Lehner S, Fritz T, et al. Ship surveillance with TerraSAR-X[J]. IEEE Transactions on Geoscience & Remote Sensing, 2011, 49(3): 1092-1103.
[3]
种劲松, 朱敏慧. SAR图像舰船及其尾迹检测研究综述[J]. 电子学报, 2003, 31(9): 1356-1360. DOI:10.3321/j.issn:0372-2112.2003.09.020
[4]
Eldhuset K. An automatic ship and ship wake detection system for spaceborne SAR images in coastal regions[J]. Geoscience & Remote Sensing IEEE Transactions on, 1996, 34(4): 1010-1019.
[5]
Jiang Q, Wang S, Ziou D, et al. Ship detection in RADARSAT SAR imagery[C]//IEEE International Conference on Systems, Man, and Cybernetics.IEEE, 1998, 5: 4562-4566.
[6]
Zaimbashi A, Norouzi Y. Automatic dual censoring cell-averaging CFAR detector in non-homogenous environments[M]. Elsevier North-Holland, Inc. 2008.
[7]
Gao G, Liu L, Zhao L, et al. An adaptive and fast CFAR algorithm based on automatic censoring for target detection in high-resolution SAR images[J]. IEEE Transactions on Geoscience & Remote Sensing, 2009, 47(6): 1685-1697.
[8]
Yonggang J I, Jie Z, Meng J, et al. A new CFAR ship target detection method in SAR imagery[J]. Acta Oceanologica Sinica, 2010, 29(1): 12-16. DOI:10.1007/s13131-010-0002-6
[9]
Jin M K, Chen K S. The application of wavelets correlator for ship wake detection in SAR images[J]. IEEE Transactions on Geoscience & Remote Sensing, 2003, 41(6): 1506-1511.
[10]
朱瑞辉, 万敏, 范国滨. 基于金字塔变换的图像融合方法[J]. 计算机仿真, 2007, 24(12): 178-180. DOI:10.3969/j.issn.1006-9348.2007.12.047
[11]
Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1998, 20(11): 1254-1259.
[12]
Hou X, Zhang L. Saliency detection: a spectral residual approach[C]//Computer Vision and Pattern Recognition, 2007. CVPR 07. IEEE Conference on. IEEE, 2007: 1-8.
[13]
Ohtsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man & Cybernetics, 2007, 9(1): 62-66.
[14]
Gao G, Liu L, Zhao L, et al. An adaptive and fast CFAR algorithm based on automatic censoring for target detection in high-resolution SAR images[J]. IEEE Transactions on Geoscience & Remote Sensing, 2009, 47(6): 1685-1697.
[15]
Pourmottaghi A, Taban M R, Gazor S. A CFAR detector in a nonhomogenous Weibull clutter[J]. Aerospace & Electronic Systems IEEE Transactions on, 2012, 48(2): 1747-1758.
[16]
Wang X, Chen C. Adaptive ship detection in SAR images using variance WIE-based method[J]. Signal Image & Video Processing, 2016, 10(7): 1-6.
[17]
Wang X, Chen C. Ship detection for complex background SAR images based on a multiscale variance weighted image entropy method[J]. IEEE Geoscience & Remote Sensing Letters, 2017, 14(2): 184-187.