Print

出版日期: 2017-03-25
点击次数:
下载次数:
DOI: 10.11834/jrs.20176008
2017 | Volumn21 | Number 2





                              上一篇|





下一篇


遥感应用 
高分辨率遥感图像港口检测的复合线索视觉注意模型
expand article info 毛玲1 , 张国敏2
1. 海军工程大学 电子工程学院,武汉 430033
2. 海军工程大学 装备经济管理系,武汉 430033

摘要

为提高高分辨率光学遥感图像港口自动检测的准确性,常需综合多类线索并进行复杂的特征提取、融合与分类推理,从而带来较高的计算复杂度。为此,仿生人类视觉注意机制,提出了一种复合线索视觉注意模型,综合利用高分辨率光学遥感图像港口多尺度底层特征和高层知识线索,实现了港口检测特征自然融合与综合分类推理。该方法在提高检测效果的同时较好地控制了计算量的增长,避免了复杂特征的大范围区域提取,采用多步快速算法降低了整个算法的计算复杂度,实现了计算资源受限条件下港口的快速定位与检测。同时,由于能将有限计算资源快速聚焦于最可能含有港口目标的区域,大大提高了目标检测方法响应的实时性。来自不同卫星的高分辨率光学遥感图像实验结果,验证了提出方法的有效性。

关键词

视觉注意, 高分辨率, 遥感图像, 港口检测, 混合线索

Complex cue visual attention model for Harbor detection in high-resolution remote sensing images
expand article info MAO Ling1 , ZHANG Guomin2
1.Naval University of Engineering, Department of Electronic Engineering, Wuhan 430033, China
2.Naval University of Engineering, Department of Equipment Economics and Management, Wuhan 430033, China

Abstract

Harbor detection in high-resolution remote sensing images is a complex scene object detection problem, which is significant for applications such as harbor monitoring and space reconnaissance. This process is commonly requires complex feature extraction and analysis with high computational complexity. Existing works often select a smaller feature extraction region utilizing a scenario set according to experience and intuition and deal with a trade-off between computational complexity and object detection accuracy. The resolution and extraction order of features must be considered systematically to resolve this dilemma.This paper reports on a complex cue visual attention model, which is a bionic human visual attention mechanism, for harbor detection in high-resolution remote sensing images. It combines multi-scale, low-level features with high-level knowledge clues in proper resolution layers of the Gauss pyramid of the input image. This model also performs natural feature integration and comprehensive classification reasoning for harbor detection. Multi-step fast algorithms are employed to lower the computational complexity of the entire algorithm.Experiments in high-resolution optical remote sensing images from different satellites validate the proposed method. Non-harbor regions are immediately excluded from complicated feature extraction, whereas regions that most likely contain harbors are focused on for feature extraction and analysis. Thus, harbor regions are rapidly located and detected under the condition of limited computational resources. Detection effects are improved with complex feature extraction and analysis with a minimal increase in computational complexity.The complex cue visual attention model proposed in this study considers the resolution and extraction order of features systematically. It lowers the computational complexity of traditional object detection methods largely without decreasing the detection accuracy and can be applied in other complex scene object detection problems.

Key words

visual attention, high resolution, remote sensing image, harbor detection, complex cues

1 引 言

高分辨率光学卫星遥感,是当前遥感发展的重要方向之一,在军事侦察、市政规划、区域监控等领域获得广泛应用。港口作为舰船停泊、货物装卸、避风和后勤补给的场所,是重要的军事或民用设施,具有十分重要的战略意义。港口目标的快速自动检测,是高分辨率光学遥感图像自动解译的关键内容之一。但由于港口大多因地制宜、傍水而建,导致其形态各异,且所获遥感图像受传感器类别、拍摄角度、成像时间和环境等因素的影响,“同物异谱”和“同谱异物”现象非常普遍(承继成 等,2004),要实现高分辨率光学遥感图像中港口的快速自动检测存在一定困难。但港口傍水的位置线索,舰船停泊、货物装卸、避风和后勤补给场所的功能线索却始终不变,这也正是实现遥感图像港口自动检测的依据之所在。

遥感图像港口自动检测涉及多类复杂线索的提取、融合与推理。为追求较低的计算复杂度,应避免在不可能包含港口区域进行复杂线索提取。现有方法大多先分割出图像中的水体,然后在水体—陆地边界区域提取并融合多线索实现港口检测。

常用港口检测线索可分为辐射特征、纹理特征、结构特征等底层特征,以及上下文约束信息等高层专家知识。其中,辐射特征描述了遥感图像中水体与陆地在灰度值上的差异(朱兵 等,2006陈琪 等,2010刘成皓 等,2012),主要用于水体的分割,以便于利用港口傍水的位置线索。纹理特征包括灰度方差、角点统计量、短线统计量等统计纹理特征,以及Gabor滤波等频域特征(Bhagavathy和Manjunath,2006),既可用于水体的分割,也可用于港口的直接检测。结构特征主要有港口区域中陆地的半包围特性(朱兵 等,2006)、突堤的长条结构(刘成皓 等,2012Chen 等,2010)、半封闭防波堤(陈琪 等,2010)、直线与直角形态的海岸线(Zhao 等,2012)等,是进行港口定位和分割的主要依据。上下文约束信息除普遍应用的港口傍水位置线索外,还包括来自地理信息系统中的先验信息(Zhao 等,2012),港口与停泊舰船之间的关系,多港口之间的关系,以及港口与油库、公路等其他基础设施之间的位置关系等,可用于非港口区域的排除。

港口检测特征是港口位置特征和功能特征在遥感影像上的具体体现,其区分度与获取遥感图像的传感器类别、遥感图像分辨率等物理参数高度相关。要进行高分辨率光学遥感图像港口检测,需针对其图像的特性,提取用于检测港口的特征集合。

现有港口检测的特征提取流程与融合方法,主要包括基于固定流程的方法(朱兵 等,2006)、基于规则的方法(刘成皓 等,2012)、基于模型的方法(Chen 等,2010)等。这些方法利用了有限的预设情景减少特征提取范围,避免了在输入遥感图像的原始分辨率上进行全部的特征提取与融合。若在充分考虑不同特征有效分辨率的基础上,以恰当顺序进行特征提取,尽早在低分辨率缩略图上排除非港口区域,则在提高检测效果的同时,可以进一步降低整个过程的计算复杂度。

人类视觉注意机制善于利用来自底层图像和高层知识的多方面线索,快速将注意力集中于任务相关时空区域(Itti 等,1998Najemnik和Geisler,2005)。仿生人类视觉注意,可提高目标检测、场景理解等应用的效率(Borji和Itti,2013)。基于显著性分布图的视觉注意模型(Koch和Ullman,1985)因其易于实现,已在目标检测(Lee 等,2005)、场景分类(Siagian和Itti,2007)和遥感目标检测(张国敏 等,2007)中获得成功应用。张国敏等(2009)提出了基于近似高斯金字塔的视觉注意模型快速计算方法,进一步降低了计算复杂度。但基于显著性分布图的视觉注意模型仅对自底向上的底层图像线索进行建模,不能有效利用自顶向下的高层知识线索。

针对高分辨率光学遥感图像港口检测问题,本文提出了复合线索视觉注意模型,在基于显著性分布的视觉注意近似计算模型(张国敏 等,2009)中加入了高层线索提取和知识处理模块,实现了缩略图上港口多尺度特征提取与融合,尽早排除了不可能包含港口区域,从而实现了港口快速定位与检测。

2 复合线索视觉注意模型

为充分利用包括自底向上和自顶向下的多方面线索,减少计算量,本文提出了适用于高分辨率光学遥感图像目标检测的复合线索视觉注意模型,如图1所示。

图 1 复合线索视觉注意模型
Fig. 1 Complex cue visual attention model

复合线索视觉注意模型的算法流程如下:

(1) 输入图像经快速矩形平均算子,生成多层近似高斯金字塔(张国敏 等,2009),获得原图像的多级分辨率缩略图。

(2) 初始化特征提取区域为第k(本文根据遥感图像的米级分辨率,选择k=4)层缩略图全局。

(3) 在所得近似高斯金字塔上选择特征提取区域进行特征提取,依次(每次循环加入一类新的特征)提取辐射特征(亮度、蓝–黄、红–绿)、纹理特征(0°、45°、90°和135°共4个方向Gabor滤波)和结构特征(7×7形态学算子开、闭组合运算)。

(4) 对特征提取区域所得的新提取特征分布图,采用贝叶斯先验分析,计算其关于目标的凸显分布图,将其与前面所的特征通道的目标凸显分布图一起输入线性组合与正则化过程,获得多特征融合的显著性分布图。

(5) 将所得显著性分布图与高层知识线索融合,通过快速“赢家通吃”(Winner-take-all)算法获得新的注意区域(逐个提取注意区域),同时抑制显著性分布图中已提取区域显著性。

(6) 对新获得的注意区域进行阈值判断与评估,若其区域显著性S超过高阈值TH ,或区域显著性S在低阈值TL 和高阈值TH 之间且所有特征均已被提取,则经高层知识的检验后可确认其是否为待检测目标,更新全局目标分布图;若区域显著性S低于低阈值TL ,则直接判断该区域非待检测目标,且终止该显著性分布图相关目标检测;若区域显著性STL TH 之间且还有特征未被提取,则将该区域作为下一通道特征提取区域进行更复杂特征提取,即重复(3)—(6)过程。

(7) 当所有显著性分布图相关目标检测终止,输出全局目标分布图作为最终的目标检测结果。

上述复合线索视觉注意模型中所涉及的特征提取、显著性分布图计算、高层知识与线索的应用、阈值操作与评估等过程的详细实现,将在第3节中给出。与现有港口目标检测方法相比,该模型具有如下特点:

(1) 充分考虑了高分辨率光学遥感图像港口检测具有图像尺寸大、场景复杂、高层组合线索多、无简单稳定可直接检测特征等特点,避免了在输入遥感图像原始分辨率的全局区域进行复杂特征提取,在不降低检测效果的前提下大大降低了整个算法的时间复杂度。

(2) 在目标检测中实现了各方面线索的综合利用,提供了一种结合自底向上底层特征线索和自顶向下高层知识线索的机制,从而提高了计算资源受限条件下目标检测方法的检测率、稳定性与鲁棒性。

(3) 实现了人类视觉注意机制的仿生,能将有限的计算资源快速聚焦于可能含有待检测目标的区域,提高了检测方法的实时响应速度。

(4) 综合采用多种方法降低算法时间复杂度。如采用了基于近似高斯金字塔的视觉注意模型快速算法,其时空复杂度较Borji和Itti (2013)的模型更低。

3 复合线索视觉注意模型在高分辨率遥感图像港口检测中的实现

采用本文所提出的复合线索视觉注意模型,在不降低检测效果前提下,可大大减小遥感图像港口检测的计算复杂度,但其检测效果在很大程度上仍然取决于所选择的特征。为方便讨论,本文把直接从遥感图像上提取的特征叫做底层特征,把高层知识转化而来的复杂关系和约束条件等叫做高层特征。

不妨设输入的高分辨率光学遥感图像为 Img ,具有M行×N列像素;在点(i,j)处的像素值可表示为向量 ${Img}\left( {i,j} \right) = {\left[ {{r}\left( {i,j} \right),{g}\left( {i,j} \right),{b}\left( {i,j} \right)} \right]^{\rm{T}}}$ ,各分量依次对应于红、绿、蓝色通道。在后文计算中,必要时将对原图像进行镜像延拓,即有:

$\begin{array}{l}{Img}\left( {i,j} \right) = {Img}\left( {\left( {M + {{\left( { - 1} \right)}^{\left\lfloor {\left| {i/M} \right|} \right\rfloor }}iod M} \right)od M,} \right.\\\left. {\left( {N + {{\left( { - 1} \right)}^{\left\lfloor {\left| {j/N} \right|} \right\rfloor }}jod N} \right)od N} \right)\end{array}$

将输入图像的n层近似高斯金字塔第 $\sigma $ 层图像记作 ${Im}{{g}_\sigma }\left( {i,j} \right) = {\left[ {{r}\left( {i,j} \right),{g}\left( {i,j} \right),{b}\left( {i,j} \right)} \right]^{\rm{T}}}$ (0≤ $\sigma $ <n,0≤i<M/ ${\delta ^\sigma } $ ,0≤j<N/ ${\delta ^\sigma } $ δ为层间采样间隔)。在不引起歧义时,略去坐标(i,j),记作 ${Im}{{g}_\sigma } =$ $ {\left[ {{r},{g},{b}} \right]^{\rm{T}}}$ 。显然,在 ${Im}{{g}_\sigma }$ 上可方便实现对输入遥感图像进行多尺度特征分析。

3.1 底层特征提取与凸显分布图计算

通常,待检测目标底层特征的分布情况与进行特征提取的图像分辨率高度相关。因此,在进行港口底层特征提取之前,首先需要确定其各特征提取输入图像的合适分辨率。

利用www.satimagingcorp.com卫星图像网站中QuickBird 0.61 m/pixel分辨率、IKONOS 1 m/pixel分辨率、Formosat-2 2 m/pixel分辨率等多颗卫星获得的高分辨率光学遥感图像作为实验素材。取近似高斯金字塔层数n=5,层间采样间隔δ=2,由此可知QuickBird影像的第3层图像 Img 3、IKONOS影像的第3层图像 Img 3、Formosat-2影像的第1层图像 Img 1,其分辨率均约为5—6 m/pixel。而港口的防波堤、栈桥等结构最窄之处约为5 m,在该分辨率下刚好清晰可见。若无特别说明,后文首先在该分辨率下提取输入图像底层特征,并在图像原分辨率下实现港口的精细分割。

为了获取特征提取和显著性计算的相关参数,在上述3颗卫星所获遥感图像中,分别选择了3幅包含港口的遥感图像进行水体和港口区域的手动分割和标注,获得用于特征提取的相应参数。

3.1.1 辐射特征

在高分辨率可见遥感图像港口检测中,辐射特征主要用于水体的提取。我们在不同的颜色空间对手动标注的水体和陆地区域像素分布进行了分析,发现:由于受季节、地理位置、天气、水的深浅、水生植物等因素的影响,水体区域的颜色分布范围较大;水体区域和陆地区域的颜色分布虽然有很大不同,但存在相当大的重叠区域,仅采用基于像素颜色信息的特征,很难区分在颜色空间中处于该重叠区域的点。图2(a)图2(b)分别为“RGB颜色空间”和“蓝–黄、红–绿、黑–白4通道颜色对空间”中水体和陆地像素的分布。进一步分析,发现4通道颜色对更便于3个坐标轴方向上的多阈值分类。

图 2 水体和陆地区域像素值分布
Fig. 2 Pixel distributions of water area and land area

随后,计算亮度特征 I 、蓝–黄特征 BY 、红–绿特征 RG 如式(1)和式(2)所示:

$\left\{ {\begin{array}{*{20}{c}}{{R} = Bound\left( {{r} - \left( {{g} + {b}} \right)/2,0,255} \right)}\\{{G} = Bound\left( {{g} - \left( {{r} + {b}} \right)/2,0,255} \right)}\\{{B} = Bound\left( {{b} - \left( {{r} + {g}} \right)/2,0,255} \right)}\\{{Y} = Bound\left( {\left( {{r} + {g}} \right)/2 - \left| {{r} - {g}} \right|/2 - {b},0,255} \right)}\end{array}} \right.$ (1)
$\left\{ {\begin{array}{*{20}{c}}{{I} = \left( {{r} + {g} + {b}} \right)/3}\\{{BY} = {B} - {Y}}\\{{RG} = {G} - {R}}\end{array}} \right.$ (2)

式中,Bound(x,t1,t2)为阈值函数,被定义为

$Bound\left( {x,{t_1},{t_2}} \right) = \left\{ {\begin{array}{*{20}{c}}{{t_1}x \leqslant {t_1}}\\{x{t_1} < x < {t_2}}\\{{t_2}x \geqslant {t_2}}\end{array}} \right.$

进一步,对手工标注的水体和陆地区域像素分别在亮度特征 I 、蓝–黄特征 BY 、红–绿特征 RG 上的分布比例进行了统计分析,如图3所示。

图 3 水体辐射特征显著性分布
Fig. 3 Saliency of radiation features of water area

不妨将水体分割结果记作 ${L}\left( {x,y} \right) \in \left\{ {water,land} \right\}$ ,则图3(a)(b)(c)分别给出了条件概率P( I | L )、P( BY | L )和P( RG | L )。假设先验概率 $P\left( {{L} = {water}} \right) \approx \lambda $ $P\left( {{L} = {land}} \right) \approx 1 - \lambda $ 。根据贝叶斯公式,不难得到各特征通道港口目标的可能性分布满足式(3):

$\begin{aligned}& P\left( {{L} = {water}|{A}} \right)\\& =\! \frac{{P\left( {{A}|{L} = {water}} \right)P\left( {{L} = {water}} \right)}}{{P\left( {{A}|{L} \!\!=\!\! {water}} \right)P\left( {{L} \!\! =\!\! {water}} \right) \!+\! P\left( {{A}|{L} \!\!=\!\! {land}} \right)P\left( {{L} \!\!=\!\! {land}} \right)}}\\& \approx\! \frac{{\lambda P\left( {{A}|{L} = {water}} \right)}}{{\lambda P\left( {{A}|{L} = {water}} \right) + \left( {1 - \lambda } \right)P\left( {{A}|{L} = {land}} \right)}}\end{aligned}$ (3)

式中, A ∈{ I , BY }。虽然地球上海洋覆盖面积约为70%,但对地观测高分辨率光学卫星感兴趣目标大多集中在陆地,所获遥感图像中,80%以上的像素属于陆地区域。因此在实际计算中,取λ=0.2,并将式(3)所得可能性分布在进行归一化后作为水体分割时特征通道A上的凸显分布。

类似地,若港口检测结果为 ${Hb}\left( {x,y} \right) \in$ $ \left\{ {harbor,nonharbor} \right\}$ ,设先验概率 $P\left( {{Hb} = {harbor}} \right) \approx \mu $ ;则直接用于港口检测的特征 A 可能性分布可由式(4)计算:

$\begin{aligned}& P\left( {{Hb} = {harbor}|{A}} \right)\\& = \frac{{P\left( {{A}|{Hb} = {harbor}} \right)P\left( {{Hb} = {harbor}} \right)}}{{P\left( {A} \right)}}\\& \approx \frac{{\mu P\left( {{A}|{Hb} = {harbor}} \right)}}{{\mu P\left( {{A}|{Hb} \!=\! {harbor}} \right) \!+\! \left( {1 \!-\! \mu } \right)P\left( {{A}|{Hb} \!=\! {nonHarbor}} \right)}}\end{aligned}$ (4)

3.1.2 纹理特征

采用0°、45°、90°和135° 4个方向计算输入图像Gabor滤波(两个方向高斯分布方差均为2像素、余弦波长为3像素、卷积强度为4、卷积窗口大小为6倍高斯分布方差),记作 Garborθ (θ∈{0°,45°,90°,135°})。

进行水体分割时,计算纹理特征如式(5)所示:

${TxW}\left( {i,j} \right) = \mathop {\max }\limits_\theta \left( {{Garbo}{{r}_\theta }\left( {i,j} \right)} \right)$ (5)

对手动标注的水体区域进行分析不难发现,水体区域的 TxW (i,j)集中分布于靠近像素灰度值10左右的数值。进一步,可利用式(3)计算其凸显分布图。

由于港口区域多相互垂直的线条,故提取港口区域的纹理特征,可按式(6)进行计算:

$\begin{aligned}{TxH}\left( {i,j} \right) = & \mathop {\max }\limits_\theta \left( {{Garbo}{{r}_\theta }\left( {i,j} \right) + {Garbo}{{r}_{\theta + pi /2}}\left( {i,j} \right)} \right.\\& \left. { - {Garbo}{{r}_{\theta + pi /4}}\left( {i,j} \right) - {Garbo}{{r}_{\theta + 3pi /4}}\left( {i,j} \right)} \right)\end{aligned}$ (6)

对手动标注的港口区域进行分析不难发现,港口区域的 TxH (i,j)集中分布于靠近像素灰度值180左右的数值。进一步,可利用式(4)计算其凸显分布图。

3.1.3 结构特征

港口区域由于通常存在停船、突堤和防波堤等相关目标,其海岸线呈现较为规则的“几”字形。在已知遥感图像分辨率为5—6 m/pixel的前提下,采用灰度形态学的开闭运算,能提取出较线性结构特征更稳定的港口区域结构特征。

采用7×7形态学算子 K (i′,j′)=1(0≤i′<7,0≤j′<7),分别进行图像的腐蚀运算“ $ \circ $ ”和膨胀运算“ $ \bullet $ ”如式(7)和式(8)所示:

$\begin{aligned} & \left( {{Img} \circ {K}} \right)\left( {i,j} \right) = \\ & \mathop {\min }\limits_{i',j'} \left( {Bound\left( {{Img}\left( {i + i',j + j'} \right) - {K}\left( {i',j'} \right),0,255} \right)} \right)\end{aligned}$ (7)
$\begin{aligned} & \left( {{Img} \bullet {K}} \right)\left( {i,j} \right) = \\ & \mathop {\max }\limits_{i',j'} \left( {Bound\left( {{Img}\left( {i + i',j + j'} \right) + {K}\left( {i',j'} \right),0,255} \right)} \right)\end{aligned}$ (8)

计算图像的开运算“ $\mathop \odot \limits_{\rm{open}} $ ”、闭运算“ $\mathop \odot \limits_{\rm{close}} $ ”分别如式(9)和式(10)所示:

${Img}\mathop \odot \limits_{\rm{open}} {K} = \left( {{Img} \circ {K}} \right) \bullet {K}$ (9)
${Img}\mathop \odot \limits_{\rm{close}} {K} = \left( {{Img} \bullet {K}} \right) \circ {K}$ (10)

采用式(11)的方式计算港口区域的结构特征:

${Structure} = \left( {{Img}\mathop \odot \limits_{\rm{open}} {K}} \right)\mathop \odot \limits_{\rm{close}} {K}$ (11)

3.2 高层特征提取

高分辨率光学遥感图像港口检测中的高层特征,包括上下文约束信息等高层领域知识,可分为特征的像素邻域级、目标级和场景级上下文信息。

其中,特征的像素邻域级上下文信息,常被用于采用区域生长法或马尔可夫随机场等迭代方法实现用于水体分割或检测目标的精细分割。本文利用该类信息对底层特征显著性进行迭代校正。不妨设特征通道 A 在第k次迭代时的显著性分布图为 ${ S}_{ A}^{[k]}(x,y)$ D (x,y)表示像素(x,y)的邻域。则采用类似式(4)方法,可从已标注图像获得条件概率 $P\left( {{{ S}_{ A}}\left( {x,y} \right)|{{ S}_{ A}}\left( {{ D}\left( {x,y} \right)} \right)} \right)$ 的统计结果,并根据该结果采用式(12)迭代计算特征通道 A 的显著性分布图:

${ S}_{ A}^{\left[ k \right]}\left( {x,y} \right) = P\left( {{ S}_{ A}^{\left[ {k - 1} \right]}\left( {x,y} \right)|{ S}_{ A}^{[k - 1]}\left( {{ D}\left( {x,y} \right)} \right)} \right)$ (12)

高分辨率光学遥感图像港口检测中的目标级上下文信息,主要包括港口傍水位置特征、港口与舰船之间关系、港口与道路等其他人工建筑之间关系等。令 R (x,y)为港口栈桥和防波堤等结构的最大宽度为直径的圆形邻域,本文在分割出水体后,基于港口傍水的位置特征,采用式(13)的方法提取水体边界区域,排除大部分不可能是水体的区域:

$P({{HB}}(x,y) \!=\! harbor|{ R}(x,y) \!=\! water \vee { R}(x,y) \!=\! land) \!=\! 0$ (13)

而港口与舰船之间的关系、港口与道路等其他人工建筑之间的关系等则用于对提取出的候选港口区域进行分类确认。

场景级上下文信息,主要包括遥感图像分辨率、传感器类别、遥感图像区域的地理信息系统(GIS)信息、目标检测先验知识等,用于特征提取和目标检测过程中相应参数的确定。本文采用高分辨率光学遥感图像进行港口检测,在5—6 m/pixel分辨率下进行大部分特征的提取。该分辨率下港口区域的突堤结构可见像素宽度为2 pixel左右,进一步采用7×7形态学算子进行结构特征提取。

3.3 特征融合与阈值操作评估

采用图1所示的复合线索视觉注意模型进行目标检测,首先需要根据目标独特属性在影像中的稳定体现选择待提取的底层特征集合,然后根据目标相关高层特征确定底层特征的计算顺序和显著性计算方法,并根据问题应用场景确定区域可能性高低阈值的大小,以便尽早确定(不)可能为港口的区域,减少特征提取和显著性分析的计算量。

根据港口傍水、具有规则凸堤、附近具有停船、以及紧邻码头货场等人工建筑的独特性质,选择了式(2)中的亮度和黄–蓝色对两种辐射特征、式(5)的纹理特征作为水体检测的底层特征,并按式(13)提取水体边界;然后再按式(6)和式(11)在水体边界区域分别提取港口区域的纹理特征和结构特征。显然,上述特征提取的计算复杂度由小到大排列为:辐射特征、纹理特征和结构特征。因此,我们按照上述顺序进行底层特征的提取,根据式(4)计算相应特征通道的凸显分布图,随后分别采用式(12)进行显著性分布图的计算与迭代修正,并根据式(14)更新全局显著性分布图 S

$\begin{aligned}{{ S}_{t + 1}} & \left( {i,j} \right) = \\ & \left\{ \begin{array}{*{20}{c}}\!\!\!\!\!\!\!\!\!\!\!\!0&{{ S}_t}\left( {i,j} \right) \cdot {{ S}_{ A}}\left( {i,j} \right)/Z < {T_L}\\{{ S}_t}\left( {i,j} \right) \cdot {{ S}_{ A}}\left( {i,j} \right)/Z& \quad\quad \text{其他}\\\!\!\!\!\!\!\!\!\!\!\!\!255&{{ S}_t}\left( {i,j} \right) \cdot {{ S}_{ A}}\left( {i,j} \right)/Z > {T_H}\end{array} \right.\end{aligned}$ (14)

式中, St 表示在融合特征 A 之前的全局显著性分布图; S t+1表示在融合特征 A 之后的全局显著性分布图;Z为归一化参数:

$Z \!\!=\!\! \left\{ {\begin{array}{*{20}{c}}\!\!\!\! {\mathop {\max } \limits_{i,j} \! \left( {{{S}_t} \! \left( {i, \! j} \right) \! \cdot \! {{S}_A} \! \left( {i, \! j} \right)} \right)} &\!\!\! {{T_L} \!\! <\!\! \mathop {\max }\limits_{i,j} \left( {{{S}_t} \! \left( {i, \! j} \right) \! \cdot \! {{S}_A} \! \left( {i, \! j} \right)} \right) \! /255 \!\! < \!\! {T_H}}\\\!\!\!\! {255 \cdot {T_H}} & \text{其他}\end{array}} \right.$

显然,高阈值TH 和低阈值TL 在很大程度上会影响系统的检测效果。本文以步长为0.01,分别在[0.6, 1]、[0, 0.4]中搜索TH TL ,发现取TH =0.91和TL =0.14时,检测效果最好。

4 实验结果与分析

在Thinkpad T420、Win7操作系统平台上采用VS2008实现了本文的特征提取和港口检测方法。来自多颗卫星的高分辨率光学遥感图像对这些方法进行了验证,包括:QuickBird 0.61 m/pixel分辨率图像(共37幅,尺寸为(900—8500像素)×(800—5500像素)不等)、IKONOS 1 m/pixel分辨率图像(共39幅,尺寸为1000—6000×960—6000 pixel不等)和Formosat-2 2 m/pixel分辨率图像(共5幅,尺寸为1000—2500×1000—2000 pixel不等)。

图4以巴塞罗那IKONOS影像中的港口检测为例,给出了其各阶段的中间结果。其中,图4(a)为原图像缩略图,从图4(b)图4(i)分别为亮度、蓝–黄色对水体辐射特征显著性 ${ S}_{ I}^W$ ${{S}_{{BY}}^W}$ ,多方向Gabor滤波梯度计算融合水体纹理特征显著性 ${{S}_{{TxW}}^W}$ ,水体全局显著性分布图 S Water,第一个最显著水体区域提取结果 R Water1,Gabor滤波港口区域纹理特征显著性 ${{S}_{{TxH}}^H}$ ,融合港口结构特征后的港口全局显著性分布图 S Harbor,以及最终的港口检测结果。从图4的实验结果不难发现,本文的高分辨率光学遥感图像港口检测方法,能适应水体区域颜色变化和海浪等因素引起的水体纹理变化,有效排除非港口凸堤结构对港口检测的干扰。

图 4 巴塞罗那的IKONOS影像港口检测
Fig. 4 Harbor detection in IKONOS image of Barcelona

在上述过程中,仅水体的辐射和纹理特征需要在输入IKONOS影像近似高斯金字塔的 Img 3上进行全局范围提取,其像素数量是输入图像的1/26;而港口的纹理特征和结构特征则只需在水体边界区域进行分析。可见本文提出的复合线索视觉注意目标检测方法,在有效综合利用来自多方面的线索的同时,可大大减小整个过程的计算量。

图5给出了本文部分实验素材港口检测结果,包括IKONOS影像、QuickBird影像和Formosat-2影像。从实验结果中不难发现,本文方法能对多种来源的高分辨率光学遥感图像进行港口检测,能有效排除水体区域颜色差异和海浪的干扰,且能成功检测出包括内河港口在内的多种形态的港口。

现有遥感图像港口检测方法大多针对SAR图像和全色遥感图像,其特征不能有效检测高分辨率光学遥感图像港口,因此没有将本文方法与现有港口检测方法进行比较,而仅以表1形式统计分析本文方法在实验素材上的检测效果。从统计结果不难看出,本文方法能在不同来源的高分辨率光学遥感图像中较为准确地检测出各种形态的港口。在更高分辨率的遥感图像中,对小港口漏判率较低,但由于水体边界细节的增加,疑似港口形态的区域也会增加,因此港口的误判率也会增加。加入港口更复杂特征的提取,有望进一步提高港口检测准确率。

图 5 多颗卫星高分辨率光学遥感影像港口检测结果
Fig. 5 Harbor detection results in high resolution optical remote sensing images from multi satellites

表 1 本文的实验素材港口检测结果统计
Table 1 Statistics of harbor detection results in our experimental materials

下载CSV 
图像来源 完全正确检测出港口的图像 存在误判的图像 存在漏判的图像
QuickBird 0.61 m/pixel影像(共37幅,含大面积水体图像20幅,含港口图像9幅) 8 3 0
Ikonos 0.81—2.4 m/pixel影像(共39幅,含大面积水体图像20幅,含港口图像14幅) 12 3 1
Formosat-2 2 m/pixel影像(共5幅,含大面积水体图像3幅,含港口图像2幅) 2 0 0

5 结 论

通过仿生人类视觉注意机制,提出了一种复合线索视觉注意模型,并将其应用于高分辨率光学遥感图像港口检测。该模型结合自底向上与自顶向下线索,通过注意机制控制特征提取区域,从简单到复杂逐步进行特征提取分析,尽早地确认包含待检目标的区域并排除不可能包含待检测目标的区域。这样,便避免了进行大范围的复杂特征提取分析,降低了整个目标检测过程的计算复杂度,便于在较强的实时性需求下引入更复杂特征进行分析,实现复杂环境下的复杂结构目标自动检测。

与现有研究的利用有限预设情景减少特征提取范围相比,本文提出的复合线索视觉注意模型充分考虑了不同特征的有效分辨率与特征提取顺序的影响。来自多颗卫星的高分辨率光学遥感图像港口检测验证了本文方法的有效性,即在降低计算复杂度的同时,没有降低目标检测的效果。

进一步的研究将在复合线索视觉注意模型中引入更加合理的知识表示与处理方法,实现多线索融合中的复杂知识推理与更新。该方法有望在港口监控、高速运动物体导航、航天侦查等计算资源受限的强实时性复杂场景理解问题中得到有效应用。

参考文献(References)

  • Bhagavathy S and Manjunath B S. 2006. Modeling and Detection of Geospatial Objects Using Texture Motifs. IEEE Transactions on Geoscience and Remote Sensing, 44 (12): 3706–3715. [DOI: 10.1109/TGRS.2006.881741]
  • Borji A and Itti L. 2013. State-of-the-art in visual attention modeling. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35 (1): 185–207. [DOI: 10.1109/TPAMI.2012.89]
  • Chen Q, Lu J, Zhao L J and Kuang G Y. 2010. Harbor detection method of SAR remote sensing images based on feature. Journal of Electronics and Information Technology, 32 (12): 2873–2878. [DOI: 10.3724/SP.J.1146.2010.00079] ( 陈琪, 陆军, 赵凌君, 匡纲要. 2010. 基于特征的SAR遥感图像港口检测方法. 电子与信息学报, 32 (12): 2873–2878. [DOI: 10.3724/SP.J.1146.2010.00079] )
  • Chen Q, Wang N, Zhao L J, Lu J, Hu C B, Jiang Y M and Kuang G Y. 2010. Harbor detection of remote sensing images based on model // Proceedings of the 2010 2nd International Conference on Future Computer and Communication (ICFCC). Wuhan, China: IEEE: V1-322–V1-325 [DOI: 10.1109/ICFCC.2010.5497779]
  • Cheng J C, Guo H D and Shi W Z. 2004. Uncertain Problems in Remote Sensing Datas. Beijing: Science Press: 99–100 (承继成, 郭华东, 史文中. 2004. 遥感数据的不确定性问题. 北京: 科学出版社: 99–100)
  • Itti L, Koch C and Niebur E. 1998. A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20 (11): 1254–1259. [DOI: 10.1109/34.730558]
  • Koch C and Ullman S. 1985. Shifts in selective visual attention: towards the underlying neural circuitry. Human Neurobiology, 4 (4): 219–227.
  • Lee K W, Buxton H and Feng J F. 2005. Cue-guided search: a computational model of selective attention. IEEE Transactions on Neural Networks, 16 (4): 910–924. [DOI: 10.1109/TNN.2005.851787]
  • Liu C H, Liu W B and Zhang G. 2012. Detection of ports with jetties based on SAR image. Opto-Electronic Engineering, 39 (6): 131–136. [DOI: 10.3969/j.issn.1003-501X.2012.06.022] ( 刘成皓, 刘文波, 张弓. 2012. SAR图像突堤式港口检测. 光电工程, 39 (6): 131–136. [DOI: 10.3969/j.issn.1003-501X.2012.06.022] )
  • Najemnik J and Geisler W S. 2005. Optimal eye movement strategies in visual search. Nature, 434 (7031): 387–391. [DOI: 10.1038/nature03390]
  • Siagian C and Itti L. 2007. Rapid biologically-inspired scene classification using features shared with visual attention. IEEE Transactions on Pattern Analysis and Machine Intelligence, 29 (2): 300–312. [DOI: 10.1109/TPAMI.2007.40]
  • Zhang G M, Yin J P, Zhu E and Mao L. 2009. Fast visual attention model algorithm based on approximate gaussian pyramids. Journal of Software, 20 (12): 3240–3253. [DOI: 10.3724/SP.J.1001.2009.03649] ( 张国敏, 殷建平, 祝恩, 毛玲. 2009. 基于近似高斯金字塔的视觉注意模型快速算法. 软件学报, 20 (12): 3240–3253. [DOI: 10.3724/SP.J.1001.2009.03649] )
  • Zhang G M, Yin J P, Zhu E and Qiang Y G. 2007. Hierarchical object detection in remote sensing image based on vision saliency. Journal of Jilin University (Engineering and Technology Edition), 37 (3): 625–629. ( 张国敏, 殷建平, 祝恩, 强永刚. 2007. 遥感图像中基于视觉显著性的分层目标检测. 吉林大学学报(工学版), 37 (3): 625–629. )
  • Zhao H B, Li W H, Yu N H and Ao H H. 2012. Harbor detection in remote sensing images based on feature fusion // Proceedings of the 2012 5th International Congress on Image and Signal Processing (CISP). Chongqing, China: IEEE: 1053–1057
  • Zhu B, Li J Z and Chen A J. 2006. Fast recognition of harbor target in large scale remote sensor images. PR and AI, 19 (4): 552–556. ( 朱兵, 李金宗, 陈爱军. 2006. 大尺度遥感图像中港口目标快速识别. 模式识别与人工智能, 19 (4): 552–556. )