红外(IR)小目标检测技术是自动目标检测的核心技术,对于提高红外制导、防空预警、安全监控等系统的有效作用距离起到关键作用^[1],长时间来低信噪比条件下的红外小目标检测一直都是国内外研究的热点.红外小目标尺寸非常小,没有明显的纹理特征和形状信息.同时由于背景物体辐射、成像仪器等因素的影响,红外图像中通常包含有严重的起伏背景和噪声^[2],这使得红外小目标的检测非常困难.

20世纪80年代以来人们提出了很多红外小目标检测算法,如空域滤波^[3]、形态学变换^{[4, 5]}、Contourlet变换^[6]、Top-Hat变换^[7]、马尔可夫随机场法^[8]、机器学习法^[9]等,但是多数算法仍然存在条件假定苛刻、检测能力有限等问题,复杂背景下的红外小目标检测仍然是一个挑战性课题.受到人类视觉机制的启发,基于视觉显著性^{[10, 11]}和尺度空间^{[11, 12]}的算法引起了研究人员的广泛注意.人类视觉系统具有视觉注意机制,能高效地将复杂场景中的众多视觉数据按重要性进行优先选择,有效地忽略噪声的影响.单幅图像的显著性检测方法主要有Itti法^[13]、图论视觉显著性(Graph-Based Visual Saliency,GBVS)法^[14]、频谱残差法(Hou法)^[15]和视觉反差(Visual Contrast,VC)法^[16]等.但这些显著性检测方法大多基于自下而上的视觉注意机制,属于面目标图像通用检测,对噪声的影响非常敏感,用于检测红外小目标时鲁棒性较差.也有文献提出了若干面向红外小目标显著性检测方法,文献^[17]提出了一种简化中央凹log-polar的离散非线性多层采样预检测模型,但该方法主要面向序列图像,且易受噪声影响;文献^[18]也提出了一种针对红外序列图像的串行方法,在计算速度方面具有优势,但目标检测率较低,鲁棒性有待提高;文献^[19]提出了一种基于改进局部对比度的小目标显著性检测方法,但该方法必须预先获知小目标的实际尺寸才能取得较好的效果,而且对盐噪声敏感,在实际应用中存在较大局限性.

分析红外小目标特性可知,其背景主要是平缓区域,通常也会伴有起伏杂波,目标通常与相邻背景不连续,具有孤立性,因而可以利用其显著性定位红外小目标.但是像素尺度亮噪声(Pixel-sized Noises with High Brightness,PNHB)能够极大影响传统方法的显著性检测效果^[19],而且由于红外小目标尺寸很小,强度较弱,如果采用一般去噪方法(如最大-中值(Max-Median)滤波、最大-均值(Max-Mean)滤波^[20])进行预处理,则目标本身往往也会被明显削弱,影响后续检测效果.

鉴于以上考虑,本文基于红外小目标的若干表观特征及视觉显著性,提出一种基于图像块统计序对比度(Ordered Contrast of Image Patch,OCIP)的红外小目标显著性鲁棒检测方法.首先对原始图像进行尺度扩展;然后在每个像素位置计算对应的多尺度图像块统计序对比度(Multiscale Ordered Contrast of Image Patch,MOCIP),并进行最大值池操作获得初级显著性图,使得噪声和背景受到抑制;进而提高统计序参数,并对归一化的初级显著性图再次计算其高序的MOCIP获得显著性图;最后以自适应阈值法检出目标.本文详细给出了红外小目标视觉显著性鲁棒检测算法,使用红外小目标图像对检测性能进行了实验验证,并与其他检测方法进行了对比.

人类视觉系统能够迅速将注意力选择性地集中在显著区域^[21].这种视觉特性有助于剔除冗余信息,将计算资源更多地用于感兴趣区域,能有效提高信息处理效率^[22].视觉注意机制方式有两类：一类是显著驱动和任务独立的自下而上(bottom-up)方式,另一类是意志控制和任务相关的自上而下(top-down)方式^[21].

自下而上的视觉注意机制主要基于生物科学研究发现的若干模型.生物学研究发现灵长类动物的初级视觉皮层含有大量简单细胞和复杂细胞^{[16, 17, 18, 19, 20, 21, 22, 23]}.其中简单细胞只感受视野中的局部区域;复杂细胞是简单细胞集群的一种非线性时空整合,将局部单元信息汇集成具有全局意义的特征后,视觉系统便能感知显著区域.计算机视觉领域对单幅图像的显著性检测主要面向RGB图像,大多采用自下而上的方法,需要综合计算颜色、亮度、方向等信息,检测分割的结果往往是最突出的面目标.

自上而下的注意,也称作任务驱动的注意选择,由人的“认知因素”决定,比如知识、预期和当前的目标等.自上而下的注意能够对自下而上的模型进行影响,以目标所体现的显著特征作为指导.该方法在已知目标部分特征和背景复杂时能够取得比单纯自下而上方式更好的效果.但是目前为止自上而下任务驱动型注意的生理机制及计算原理尚未取得有效的生物科学解释^[21].

随着隐身技术的发展,目标自身的红外辐射强度越来越小,同时由于大气辐射等自然因素以及红外传感器固有噪声的影响,目标常淹没在复杂背景和噪声中,没有颜色特征、纹理特征和形状信息.在远距离观测目标时,目标在传感器中形成的图像尺寸非常小.国际光学工程学会(Society of Photo-Optical Instrumentation Engineers,SPIE)在2014年国际小目标信号数据处理会议(Signal and Data Processing of Small Targets 2014)上将小目标的标准定为100像素(例如10pixels×10pixels)以下^[24].

信噪比低、背景复杂的红外小目标的灰度值在整幅图像中不一定是最高的,但是通常还是会在一定程度上高于其局部背景,目标区域的周围存在环绕的低灰度背景区,因此具有孤立的显著性.背景中平缓区域的灰度起伏变化小,显著度较小.云层、建筑、天际线等杂波作为背景时起伏较大,灰度值较高,但这些背景通常为二维面区域,与周边邻域相容,不存在环绕的低灰度区域,没有孤立特性.

在实际观察红外小目标图像时,人类视觉系统往往能够很好地实现目标检测.分析其原因,从自下而上的角度看,因为红外小目标的灰度强度在一定程度上高于其局部背景,而且目标周围存在环绕的低灰度区,因此目标具有孤立的显著性.从自上而下的方面看,人眼在搜索红外图像中的小目标时带有一定的先验信息,根据搜索任务所确定的特征(即红外小目标的表观特征)处理图像,确定感兴趣区域,有选择地抑制背景和噪声.

图像块操作使用局部图像块信息代替对应的像素信息,因而能更好地研究图像的区域特征,近来在图像处理中得到了广泛应用^[25].

本文将尺度为s的图像块定义为s×s个像素的方块区域,并在每个像素位置生成对应的图像块.根据小目标的尺寸范围^[24],令s=3,5,7,9.如图 1所示,类似像素邻域的概念,将图像块在水平、垂直和对角方向相邻的图像块N₁~N₈定义为中心图像块P的8邻域.由于图像块占有多个像素,为了避免因图像块操作造成图像边缘区域小目标的漏检,需要根据图像块尺度对原始图像进行扩展.

图 1 图像块及其8邻域 Fig. 1 Image patch and its 8-neighborhood

图选项

定义图像空间R²,原始红外图像为I_I⊂R²,I_I的元素为f;扩展后的红外图像为I_E⊂R²,I_E的元素为f_E;中心位置位于(i,j)的图像块I_P^(i,j)⊂I_E,其元素为f_P^(i,j);该图像块的邻域I_N^(i,j)(h)⊂I_E(h=1,2,…,8),其元素为f_N^(i,j)(h).定义F_E为扩展图像算子,F_P为图像块生成算子,F_N为图像块邻域生成算子,则I_E=F_E(I_I),I_P^(i,j)=F_P(I_E,i,j),I_N^(i,j)(h)=F_N^(h)[I_E,I_P^(i,j)].

扩展图像算子F_E包括三部分,首先对原始图像进行Max-Mean滤波获得图像I_F,像素为f_F,然后计算I_F的上、下、左、右边缘对应尺度s的灰度平均值,最后,以该平均灰度值将图像向四个方向扩展s行(或列).对于尺寸为m₁×n₁的滤波图像,边缘灰度值的计算方法为

在扩展的图像I_E的(i,j)上生成s尺度图像块的方法为

生物学研究表明,对比度是视觉系统编码最重要的部分^[11].数字图像处理领域通常使用图像局部均值的二阶矩作为局部对比度的度量,主要用于描述纹理等特性.本文拟将图像块邻域间的对比特性作为局部特征,模拟简单细胞获取的局部信息,再将所有局部信息汇聚成显著性图,构成复杂细胞获取的全局信息.同时在利用图像块邻域间的对比特性时也要考虑抑制PNHB的影响.因此本文提出一种基于图像块的统计序对比度计算方法,将中心像素位于(i,j)且尺度为s的图像块与邻域的统计序对比度定义为

分析可知,OCIP共有8×s²种情况.当l取定值时,在k=1时取最小对比度,k=s²时为最大对比度,当k=s²/2时为中值对比度或近似中值对比度.为了方便计算,引入统计序参数w∈(0,1］,令$k=\left\lceil w\times {{s}^{2}} \right\rceil $,其中$\left\lceil { } \right\rceil $为上取整操作.k带入式(3)得

下面结合实际图像分析OCIP与小目标表观特性的关系.图 2左列为一幅含有红外小目标的图像及对应的局部图,右列为添加噪声的红外小目标图像及对应局部图,其中区域1、区域2和区域3分别为目标区、平缓背景区和天际线杂波区.

图 2 红外小目标图像特性与OCIP关系示意图 Fig. 2 Demonstration of relationship between characteristic of infrared small targets image and OCIP

图选项

当尺度为s的图像块恰好包含目标时,如图 2(a)中区域1和图 2(b).因为目标灰度值具有局部显著性,因此图像块中像素灰度值普遍高于邻域中背景像素的灰度值.由于像素尺度亮噪声的存在,图像块中最大灰度值不一定是属于目标,也可能是噪声.图像块灰度顺序特征(如中值)和均值能够比较好地表现目标区特性,当w取合理范围(例如w∈[0.5,0.8])时,对任意l,通常满足

当图像块位于平缓的背景区时,如图 2(a)中区域2和图 2(c),如果邻域中存在杂波或者目标,则图像块中像素灰度值普遍比该邻域中背景像素的灰度值低;若图像块邻域也为平缓背景区,则图像块中像素灰度值普遍与邻域中背景像素的灰度值相当.因此,当w取合理范围(例如w∈[0.5,0.8])时,对任意l,位于平缓背景区的图像块以较高的概率满足

当图像块位于云层、天际线、杂波类等高灰度背景区时,如图 2(a)中区域3和图 2(d),因为该类背景没有孤立性,其邻域中总会存在相容杂波,图像块中像素灰度值与该邻域内像素的灰度值大致相当(此时该邻域对应的l较大);若图像块的邻域为平缓背景,则图像块中像素灰度值普遍高于该邻域内像素的灰度值(此时该邻域对应的l较小).因此,对于所有邻域h,当w取合理范围(例如w∈[0.5,0.8])时,对于较大的l,同样满足式(6);对于较小的l,通常满足

根据以上分析可知,红外小目标的表观特征与OCIP存在密切关联,而且OCIP能够较好地排除PNHB干扰.更为重要的是,当l较大时,OCIP对于目标和非目标的显著程度有很好的区分性,因此,取l=8.考虑到每个图像块有8个邻域且$\underset{\text{h=1,2,}...,8}{\mathop{\text{sor}{{\text{t}}_{\text{l}}}}}\,$(median(I_N^(i,j)(h)))的计算复杂度高于 $\underset{\text{h=1,2,}...,8}{\mathop{\text{sor}{{\text{t}}_{\text{l}}}}}\,$(mean(I_N^(i,j)(h))),因此计算时选择指标$\underset{\text{h=1,2,}...,8}{\mathop{\text{sor}{{\text{t}}_{\text{l}}}}}\,$(mean(I_N^(i,j)(h))).

因此,式(8)和式(9)均能一定程度地区分红外小目标:

由第1.2节分析与式(8)和式(9),对于位于小目标区域的图像块,在w∈[0.5,0.8]时通常满足C_s^(i,j)($\left\lceil w\times {{s}^{2}} \right\rceil $)>sort_{$\left\lceil w\times {{s}^{2}} \right\rceil $}(I_P^(i,j)),C_s^(i,j)′>mean(I_P^(i,j));位于杂波区和平缓背景的图像块,一般有C_s^(i,j)($\left\lceil w\times {{s}^{2}} \right\rceil $)＜sort_{$\left\lceil w\times {{s}^{2}} \right\rceil $}(I_P^(i,j))或C_s^(i,j)($\left\lceil w\times {{s}^{2}} \right\rceil $)≈sort_{$\left\lceil w\times {{s}^{2}} \right\rceil $}(I_P^(i,j)),C_s^(i,j)′＜mean(I_P^(i,j))或C_s^(i,j)′≈mean(I_P^(i,j)).因此C_s^(i,j)($\left\lceil w\times {{s}^{2}} \right\rceil $)和C_s^(i,j)′相比原始图像均能提升目标强度,抑制背景与杂波.又因为在w∈[0.5,0.8]时通常有sort_{$\left\lceil w\times {{s}^{2}} \right\rceil $}(I_P^(i,j))>mean(I_P^(i,j)),因此式(8)能够更好地表征显著性,突显小目标区域.综上所述,本文采用式(8)作为OCIP的计算公式.

在图像空间R²根据式(8)定义s尺度OCIP显著性图I_C^s,其元素为f_C^s(i,j)=C_s^(i,j)($\left\lceil w\times {{s}^{2}} \right\rceil $).下面根据尺度空间思想计算s=3,5,…,9的MOCIP显著性图.

研究显示,视觉皮层中简单细胞和复杂细胞的沟通桥梁是计算池模型,最大化计算池模型是简单细胞向复杂细胞汇集的方式^[26].又由于多尺度最大值合并操作的结果具有尺度不变性^[11],因此将各尺度OCIP进行最大值合并操作得到全局图像块统计序对比特性图I_C,其元素为f_C(i,j),其方法为

在图像空间R²定义图像块统计序对比度显著性图I_C,其元素为f_C(i,j)=C^(i,j).首先以参数w₁计算初级显著性图I_C1,相比原始图像I_I图像中的噪声和背景得到了抑制,目标得到了突显.此时可适当增大统计序参数w₂=w₁+Δw,然后计算I_C1的MOCIP,获得红外小目标显著性图I_C2,最后再使用自适应阈值Th检出目标.Th的计算公式为

生成红外小目标显著性图并检出目标的算法伪代码为:

第1步:输入I_I;设置w与Δw;计算分辨率m₁×n₁;

第2步:

第3步:Th=mean(I_C)+r×std(I_C),检出目标.

本文实验硬件平台基于2.20GHz英特尔酷睿2双核处理器、内存为2GB的笔记本电脑;软件平台为MATLAB®R2011b.为了描述红外图像质量和复杂程度,引入红外图像工程中常用的全局信噪比GSNR^[10]与局部信噪比LSNR作为评价参数,其计算公式分别为

为验证本文算法对红外小目标显著性检测的性能,采用4幅分辨率为128pixels×128pixels且含有红外小目标的图像(见图 3(a))对算法有效性进行验证,其中第1幅(目标1)为地空复杂背景中的飞机目标,取自俄亥俄州立大学(OSU)红外图像数据集,第2幅(目标2)为复杂云层背景中的飞机目标,取自文献^[3],第3幅(目标3)为第2幅图像添加噪声密度为0.2的椒盐噪声生成的图像,第4幅(目标4)为第2幅添加均值为0、方差为0.02的高斯白噪声生成的图像,算法中参数w与Δw分别取0.55与0.15.

图 3 本文算法性能验证实验结果 Fig. 3 Validation experiments results of proposed method

图选项

表 1列出了图 3中4幅目标图像的GSNR、LSNR和目标位置坐标.图 3(b)为原始红外图像的三维显示图;图 3(c)为经过单次MOCIP处理的初级显著性图;图 3(d)为初级显著性图的三维显示图;图 3(e)为级联MOCIP处理的显著性图及目标检测结果;图 3(f)级联MOCIP为显著性图的三维显示图.从图 3和表 1中可以看出,虽然这4幅图像中小目标均可通过主观视觉检出,但几乎都被杂波所淹没,背景较为复杂,目标信噪比很低.实验结果表明本文算法能够较好地抑制复杂背景和噪声,在低信噪比条件下获得红外小目标的视觉显著性图并有效检出目标.

为了进一步衡量算法的有效性,将本文MOCIP算法与基于Max-Median滤波的检测方法^[20]、Top-Hat法^[4]、Itti显著性检测法^[13]、GBVS法^[14]、Hou法^[15]和VC法^[16]进行了对比.

如图 4所示,实验采用分辨率为128pixels×128pixels的两幅红外小目标图像,其中第1幅(目标5)为云层背景下的红外小目标图像,信噪比较高,通过主观视觉可以较容易地检出目标;第2幅(目标6)为第1幅添加均值为0、方差为0.01的高斯白噪声和密度为0.1的椒盐噪声的复合图像,信噪比很低,通过主观视觉仅能勉强检出目标.表 1列出了图 3和图 4中的6幅目标图像的GSNR、LSNR和目标位置坐标.算法中参数w与Δw分别取0.55与0.15.

图 4 红外小目标显著性检测对比实验结果 Fig. 4 Results of comparison experiments in detecting the saliency of infrared small target

图选项

在图 4中,图 4(a)为两幅原始图像及对应的三维网状显示图;图 4(b)为Max-Median滤波检测结果,图 4(c)为Top-Hat法检测结果,图 4(d)为Itti法检测结果,图 4(e)为GBVS法检测结果,图 4(f)为Hou法检测结果,图 4(g)为VC法检测结果,图 4(h)为采用本文MOCIP法检测结果.对比实验结果可知,传统红外小目标检测方法及视觉显著性检测方法能够很好地对高信噪比目标进行显著性检测,但抗噪能力较弱,鲁棒性较差,对低信噪比小目标的检测性能较差,甚至失去检测能力.而本文提出的基于MOCIP的方法在高信噪比和低信噪比条件下均能实现对小目标的显著性检测.

本文对红外小目标若干表观特征及其视觉显著性进行了分析,受视觉注意机制启发提出一种基于图像块的红外小目标视觉显著性鲁棒检测方法,采用级联MOCIP算法获得红外小目标显著性图,然后利用自适应阈值能够有效实现目标检测.使用了红外小目标图像对检测性能进行了实验,并与其他检测方法进行了对比.实验结果表明:

1) 所提出的方法能够在背景复杂和低信噪比条件下有效地实现红外小目标显著性检测,在所有实验图像中均能有效地检测出红外小目标.

2) 在应用于红外小目标检测时,本文方法对小目标视觉显著性的检测性能优于Max-Median滤波法、Top-Hat法、Itti法、Hou法、GBVS法、VC法等传统显著性检测和小目标检测方法,具备可观的抗噪能力,体现出较好的鲁棒性,也能够有效降低虚警率.

需要指出的是,本文提出的方法基于视觉注意机制,能够有效抑制PNHB,在强噪声条件下对单个像素小目标检测能力有限,因此应用的前提是红外目标具有高出周围背景的灰度值且主观视觉可辨.