舰船科学技术  2023, Vol. 45 Issue (23): 139-144    DOI: 10.3404/j.issn.1672-7649.2023.23.024   PDF    
基于频域残差及局部协方差的红外弱小目标检测
李栋     
江苏自动化研究所,江苏 连云港 222061
摘要: 在复杂背景及强噪声干扰的场景中,红外小目标因其尺寸小、信号弱、缺乏文理特征等特点,极易湮没在背景和噪声中,导致检测虚警率高、算法复杂、计算量大等问题。为此,本文提出一种基于频域残差及局部协方差的红外弱小目标检测方法。首先,通过频域残差计算红外图像的显著图,以获得目标可能存在的区域。然后,在此区域内利用局部协方差检测方法做识别。最后,通过自适应阈值分割得到真实目标。对不同复杂背景的红外图像进行小目标检测实验,结果表明,与传统检测算法相比,该算法在不同场景下都能有效抑制背景和噪声,准确检测目标,且满足实时性要求。
关键词: 目标检测     频域残差     局部协方差检测     显著性检测     自适应阈值    
Infrared dim small target detection based on spectral residuals and local covariance
LI Dong     
Jiangsu Automation Research Institute, Lianyungang 222061, China
Abstract: In complex scenes, the infrared small target can be lost in the background and noise easily, due to features of small size, weak signal, lack of texture, resulting in high false alarm detection rate, complex algorithm, large amount of calculation and other problems. We present an infrared dim small target detection method based on spectral residuals and local covariance. Firstly, the saliency map can be obtained by calculating the spectral residuals of the original infrared images, which can obtain the possible region of the target. Secondly, the local covariance detection method can be used for identification in this area. Finally, the small target can be detected by adaptive threshold segmentation method.Experimental results indicate that compared with traditional detection algorithms, the proposed algorithm can effectively suppress background and noise in different scenes, accurately detect targets, and meet the real-time requirements.
Key words: target detection     spectral residual     local covariance detection     detection of significance     adaptive threshold    
0 引 言

随着红外探测技术的快速发展,红外目标检测逐渐成为预警、侦察、精确制导等军事领域的核心技术之一。由于成像距离远、大气辐射干扰等因素的影响,红外目标通常呈现成像面积小、形态信息低、纹理特征不明显等小目标的特性,且信噪比较低,极易被复杂的背景、噪声及杂波等淹没。因此,在复杂环境下实现红外弱小目标检测,且保证识别低虚警率、算法低复杂度,仍是具有挑战性的课题之一。

近年来,国内外学者陆续提出了多种红外弱小目标检测算法。Chen等[1]受到人类视觉系统(Human Visual System, HVS)的启发,提出一种经典的局部对比度量测方法(Local Contrast Measure, LCM),通过计算目标区域和局部邻域在不同尺度下的对比度以获得显著图,从而增强目标的信噪比。但是该算法容易出现“膨胀效应”,且对背景和噪声的抑制效果有限,特别容易受到高亮噪声影响,且不同尺度的重复计算也大大增加了检测时间。Wu等[2]提出一种双邻域梯度算法(Double Neighborhood Gradient Method, DNGM),通过采用固定大小的3层窗口对整幅图像进行遍历,实现对不同尺寸的目标进行检测。该算法能够改善“膨胀效应”,且避免多尺度重复计算导致计算复杂,但是该算法在复杂的背景下仍然具有较高的虚警率。Wang等[3]首先采用高斯差分(Difference of Gaussian, DOG)滤波来提高目标的对比度,然后将红外图像划分为多个子块,并在子块中寻找疑似目标的区域再进行识别。该算法可以有效缩短识别的时间,但是对于背景亮度高于目标区域的情况下,难以检测出目标,导致虚警率高。

本文为解决在复杂背景下虚警率高、实时性差等问题,提出一种基于频域残差及局部协方差的红外弱小目标检测方法,利用目标区域的灰度分布和相邻背景的差异,通过频域残差的方法计算红外图像的显著图,获得目标可能存在的显著区域。然后,利用小目标近似于二维高斯分布的特点,基于目标边缘像素与中心像素的距离和灰度差的负相关关系,在显著区域内采用局部协方差检测方法做识别。最后,通过自适应阈值分割得到真实目标。本文通过对不同场景的红外图像进行弱小目标检测实验,结果表明,本文算法能够有效抑制背景、噪声、杂波等干扰,快速、精确检测出目标,且运行简单,实时性好。

1 算法原理

在远距离成像的红外图像中,红外弱小目标在图像中成像面积小、信噪比低,缺乏颜色和纹理等特征。另外,小目标与其相邻的背景区域是不连续的,而背景与其相邻的区域一致。同时,鉴于红外弱小目标一般呈中心灰度值高、四周低的特点,而背景区域灰度一般呈均匀分布。因此,本文依据目标区域与相邻背景的灰度分布差异以及目标本身的分布特点,采用频域残差的方法计算出红外图像的显著图,以获得含有小目标及部分噪声的显著区域;然后通过局部协方差检测方法得到协方差显著图。最后采用自适应阈值分割方法获得小目标区域,并输出小目标位置信息。基于频域残差及局部协方差的红外弱小目标检测流程如图1所示。

图 1 红外弱小目标检测流程原理图 Fig. 1 Schematic of infrared small target detection process
1.1 基于频域残差的显著区域提取

视觉显著性主要依据人类视觉系统(Human Visual System, HVS)的对比度机制,能够抑制视觉中的冗余信息,而对奇异部分异常敏感,即抑制全局中重复、多次出现的背景等特征,突出局部个别较显著的目标、噪声等特征。在红外图像中,红外弱小目标、背景、噪声和杂波等分布符合上述特征,即小目标较其领域是显著的,且显著区域还包括噪声、杂波等突出部分。频域残差法[4]是众多显著性检测方法中较为简单有效的方法,主要采用红外图像的对数幅度谱代表红外图像的信息,对数幅度谱经过均值滤波的部分代表红外图像的冗余信息,将红外图像的信息与冗余信息做差即得到显著区域。若给定红外图像为 $ I(x,y) $ ,则显著图 $ S(x,y) $ 为:

$ A(u,v) = |FFT(I(x,y))| ,$ (1)
$ P(u,v) = Pha(FFT(I(x,y))) ,$ (2)
$ R(u,v) = \log (A(u,v)) - h(u,v)*\log (A(u,v)),$ (3)
$ S(x,y) = G(x,y)*IFFT({(\exp (R(u,v) + iP(u,v)))^2} 。$ (4)

其中: $ A(u,v) $ $ P(u,v) $ 分别为红外图像的幅度谱和相位谱; $ R(u,v) $ $ S(x,y) $ 分别为频域残差和显著性图像; $ G(x,y) $ $ h(u,v) $ 分别为高斯滤波器和均值。

频域残差法仅对红外图像进行高斯滤波、傅里叶变换及逆变换等运算,其计算量较小,实时性较好。但是,对于背景复杂、噪声强烈的红外图像,经过频域残差处理后,难以较好抑制背景和噪声等干扰,仍需做进一步识别处理,以精确检测出目标。

本文将原始红外图像和相应显著图相结合,以提取含有目标的显著区域。具体步骤为:在显著图中,从做到右、从上到下逐个扫描每个像素,然后将相应的潜在目标点映射到原始红外图像中,并在原始红外图像中以此点为中心构建一个n×n大小的窗口,即可提取显著区域(疑似目标区域)。图2为包含红外弱小目标的图像及相应的显著区域提取结果。

图 2 红外图像及相应的显著区域提取结果 Fig. 2 Infrared images and corresponding salient regions extraction results

其中,图2(a1)图2(a2)的背景较简单,噪声、杂波等也比较弱,从而背景等干扰抑制较好,提取的显著区域较为精确。而图2(a3)的背景较为复杂,云层边缘比较较强烈,提取的显著区域含有较多背景残留和噪声等干扰。因此,针对背景复杂、干扰强烈等的图像,需要经过进一步的识别,才能准确检测出红外弱小目标。

1.2 基于局部协方差的目标检测

频域残差法虽然能够抑制大部分背景,但是提取的显著区域除了包含目标,还可能含有强噪声点、强起伏背景等干扰。鉴于红外弱小目标通常是各向均匀扩散的,呈现灰度值中心高、周围低的近似二维高斯分布,目标的边缘与中心像素之间的距离和灰度差具有负相关关系。相对于目标,背景在局部区域灰度值一般呈均匀的近似均值分布,其距离和灰度差的相关性不强。因此,利用红外小目标和背景的自身特点,通过计算红外弱小目标的边缘与中心像素之间的距离和灰度差,然后再计算上述距离和灰度差的协方差,以获得协方差显著图。

在提取的显著区域内,构建大小为5×5的局部滑动窗口,自左向右,自上向下分别在显著区域内滑动,在疑似目标区域内计算滑动窗口内每个边缘像素到中心像素之间的距离和灰度差的协方差,得到滑动窗口的协方差系数作为滑动窗口中心像素的值。最后,将每个滑动窗口的协方差系数经过归一化处理后,即可得到协方差显著图。具体方法如下:

$ \overline {Dis} = {{\left( {\sum\limits_{m = 1}^5 {\sum\limits_{n = 1}^5 {\sqrt {({{(m - \overline m )}^2} + {{(n - \overline n )}^2})} } } } \right)} \mathord{\left/ {\vphantom {{\left( {\sum\limits_{m = 1}^5 {\sum\limits_{n = 1}^5 {\sqrt {({{(m - \overline m )}^2} + {{(n - \overline n )}^2})} } } } \right)} {\left( {N - 1} \right)}}} \right. } {\left( {N - 1} \right)}},$ (5)
$ \overline {GD} = {{\left( {\sum\limits_{m = 1}^5 {\sum\limits_{n = 1}^5 {\left( {{I_o} - {I_{mn}}} \right)} } } \right)} \mathord{\left/ {\vphantom {{\left( {\sum\limits_{m = 1}^5 {\sum\limits_{n = 1}^5 {\left( {{I_o} - {I_{mn}}} \right)} } } \right)} {\left( {N - 1} \right)}}} \right. } {\left( {N - 1} \right)}} ,$ (6)
$\begin{split} Cov(Dis,GD) = &- \left( \sum\limits_{m = 1}^5 \sum\limits_{n = 1}^5 \left( \sqrt {{{(m - \overline m )}^2} + {{(n - \overline n )}^2}} - \overline {Dis} \right) \times\right.\\ &\left( {{I_o} - {I_{mn}} - \overline {GD} } \right) \Biggr) \Biggr/ {(N - 1)},\\[-20pt]\end{split} $ (7)
$\begin{split}& Cov\_w(Dis,GD) =\\ & \left\{ \begin{array}{*{20}{c}} \dfrac{{GD}}{{Dis}}Cov(Dis,GD),& Cov(Dis,GD) \geqslant 0 ,\\ 0,& {\rm{otherwise}}。\end{array} \right.\end{split} $ (8)

其中: $ m,n $ 分别为滑动窗口内像素的坐标; $ \overline m $ $ \overline n $ 分别为滑动窗口像素坐标的均值; $ {I_{mn}} $ 为在坐标 $ (m,n) $ 处对应像素的灰度值; $ {I_o} $ 为滑动窗口内的中心像素点的灰度值; $ N $ 为滑动窗口内的像素个数; $ \overline {Dis} $ $ \overline {GD} $ 分别为滑动窗口内边缘像素到中心像素之间的距离均值和灰度差均值; $ Cov(Dis,GD) $ $ Cov\_w (Dis,GD) $ 分别为滑动窗口中心点的协方差及其协方差系数; $ Dis $ $ GD $ 分别为滑动窗口中心点与边缘像素点的距离和灰度差; $ {{GD} \mathord{\left/ {\vphantom {{GD} {Dis}}} \right. } {Dis}} $ 为协方差的权重系数,滑动窗口灰度分布越接近高斯分布,越可能是真实目标,权重越大。

图3所示,由协方差显著图及其三维图能够看出,红外弱小目标区域得到了增强且背景、噪声等得到较好抑制。

图 3 协方差显著图及其三维图 Fig. 3 Covariance Salient maps and gray response maps
1.3 红外弱小目标提取

由得到的协方差显著图可知,协方差显著图中亮度越高,则此处为目标的可能性越大。因此,借鉴统计学中的3σ准则[5],采用自适应阈值分割算法对协方差显著图进行阈值分割,以提取红外弱小目标。分割阈值采的计算公式如下:

$ {T_h} = {\mu _s} + k \times {\sigma _s} 。$ (9)

其中: $ {T_h} $ 为协方差显著图的分割阈值; $ {\ \mu _s} $ $ {\sigma _s} $ 分别为协方差显著图的均值和标准差, $ k $ 为分割系数,一般取值范围为[7,12]。图4经过本文算法处理过得到的阈值分割结果。可以看出,本文算法能够有效凸显目标,抑制背景、噪声及杂波,精确提取红外弱小目标。

图 4 图像检测结果 Fig. 4 Detection results of image
2 实验及分析 2.1 实验数据与评估标准

为了验证本文提出的红外弱小目标检测算法的有效性,选取4幅不同场景的真实红外图像进行实验,如图5所示。其中,测试图像1为包含大面积山体干扰的陆地背景;测试图像2为包含有大量杂波的海面背景;测试图像3为包含有较多云层的天空背景,目标只占极少像素点;测试图像4为包含有大量云层的天空背景,且信噪比较低。

图 5 四种测试场景的真实图像 Fig. 5 Real images under four scenes

为了进一步衡量本文红外弱小目标检测算法的有效性,采用信杂比增益(Signal to Clutters Ratio Gain, SCRG)和背景抑制系数(Background Suppression Factor, BSF)来评估算法的性能[6-7]。其中,信杂比增益SCRG用来评价在算法处理后目标增强的程度,背景抑制系数BSF用来评价在算法处理后抑制背景的能力。信杂比增益SCRG和背景抑制系数BSF的值越大,则说明目标增强程度和背景抑制效果越好。

信杂比增益为处理后的输出图像信杂比与输入图像信杂比的比值,其表达式如下:

$ SCRG = \frac{{SC{R_{out}}}}{{SC{R_{in}}}}。$ (10)

式中: $ SC{R_{in}} $ 为原始输入图像的信杂比; $ SC{R_{out}} $ 为经过算法处理后输出图像的信杂比。信杂比的表达式如下:

$ SCR = \frac{{T - B}}{\delta } 。$ (11)

式中:T为目标的灰度值;B为整幅图像的灰度平均值; $ \delta $ 为图像的平均方差。

背景抑制系数反映算法对背景的抑制程度,其表达式如下:

$ BSF = \frac{{{\sigma _{{\rm{in}}}}}}{{{\sigma _{{\rm{out}}}}}} 。$ (12)

式中: $ {\sigma _{{\rm{in}}}} $ $ {\sigma _{{\rm{out}}}} $ 分别代表原始输入图像和经过算法处理后输出图像的标准差。

2.2 实验结果与对比分析

在实验中,将本文所提算法与局部对比度(LCM)算法[1]、形态学(TopHat)算法[8]、双边滤波(BF)算法[9]和基于小波变换识别算法[10]进行对比。图6为4种不同场景下各种算法计算的显著图,采用三维方式显示,并采用箭头标识检测结果。图6(a)为本位算法得到的检测结果,很容易可以看出,背景和噪声得到有效抑制,目标显著突出;图6(b)为LCM算法得到的检测结果,在背景杂波较大的海面背景(测试图像2)下的目标和云层较多的天空背景(测试图像3)下,难以检测出小目标,且其他检测出的目标比真实目标面积偏大。图6(c)为TopHat算法得到的检测结果,对于背景复杂、噪声较大、低信杂比的场景,对背景抑制、目标增强的效果较差。图6(d)和图6(e)分别为BF算法和基于小波变换识别算法得到的检测结果,目标得到增强,但是增强效果不明显,且背景抑制效果较差。

图 6 四种测试场景下不同算法的检测结果 Fig. 6 The results of different algorithms under four scenes

可以看出,与其他算法相比,本文算法对多种复杂场景下的红外弱小目标图像均能够有效抑制背景、杂波等干扰,且准确检测出目标。

表1表2分别为本文算法与对比算法的信杂比增益SCRG和背景抑制系数BSF。可以清楚看出,本文算法在复杂、强干扰、低信杂比等场景下,目标增强和背景抑制均为最优的。

表 1 不同算法的信杂比增益SCRG Tab.1 SCRG of different algorithms

表 2 不同算法的背景抑制系数BSF Tab.2 BSF of different algorithms
3 结 语

本文针对在复杂背景下红外弱小目标检测存在虚警率高、实时性差等问题,提出了一种基于频域残差及局部协方差的红外弱小目标检测方法,综合利用目标区域的灰度分布和相邻背景的差异以及基于目标边缘像素与中心像素的距离、灰度差的负相关关系等特点,先通过频域残差方法计算红外图像的显著图,以获得目标可能存在的区域,然后在此区域内利用局部协方差检测方法进行目标识别与提取。实验结果表明,本文算法具有较大的信杂比增益SCRG和背景抑制系数BSF,能够有效抑制背景、噪声、杂波等干扰,快速、精确检测出目标,且运行简单,实时性好。

参考文献
[1]
CHEN C P, LI H, WEI Y T, et al. A local contrast method for small infrared target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(1): 574-581. DOI:10.1109/TGRS.2013.2242477
[2]
WU L, MA Y, FAN F, et al. A double neighborhood gradient method for infrared small target detection[J]. IEEE Geoscuence and Remote Sensing Letters, 2021, 18(8): 1476-1480. DOI:10.1109/LGRS.2020.3003267
[3]
WANG X, LV G F, XU L Z. Infrared dim target detection based on visual attention[J]. Infrared Physics & Technology, 2012, 55(6): 513-512.
[4]
HOU X D, ZHANG L Q. Saliency detection: a spectral residual approach[J]. IEEE Conference on Computer Vision and Pattern Recognition, 2007, 800: 1-8.
[5]
黄敏, 鲍苏苏, 邱文超. 基于可见光下双目视觉的手术导航研究与仿真[J]. 机器人, 2014, 36(4): 461-468,476.
HUANG M, BAO S S, QIU W C. Study and simulation of surgical navigation based on binocular vision under visible light[J]. Robot, 2014, 36(4): 461-468,476. DOI:10.13973/j.cnki.robot.2014.0461
[6]
NIE J Y, QU S C, WEI Y T, et al. An infrared small target detection method based on multiscale local homogeneity measure[J]. Infrared Physics & Technology, 2018, 90: 186-194.
[7]
GU Y F, WANG C, LIU B X, et al. A kernel-based nonparametric regression method for clutter removal in infrared small-target detection applications[J]. IEEE Geoscuence and Remote Sensing Letters, 2010, 7(3): 469-473. DOI:10.1109/LGRS.2009.2039192
[8]
TOM V T, PELI T, LEUNG M, et al. Morphology based algorithm for point target detection in infrared backgrounds[J]. Proceeding. SPIE, 1993, 1954: 25-32. DOI:10.1117/12.157777
[9]
李凡, 刘上乾, 秦翰林. 自适应双边滤波红外弱小目标检测方法[J]. 光子学报, 2010, 39(6): 1129-1131.
LI F, LIU S Q, QING H L. Dim infrared targets detection based on adaptive bilateral filtering[J]. Acta Photonica Sinica, 2010, 39(6): 1129-1131. DOI:10.3788/gzxb20103906.1129
[10]
张晓露, 李玲, 辛云宏. 基于小波变换的自适应多模红外小目标检测[J]. 激光与红外, 2017, 47(5): 647-652.
ZHANG X L, LI L, XIN Y H. Adaptive multi-mode infrared small target detection based on wavelet transform[J]. Laser & Infrared, 2017, 47(5): 647-652.