Infrared small-target detection utilizing background estimation combined with local contrast
-
摘要: 为缓解复杂背景对红外小目标检测任务的干扰，提出一种新的红外小目标检测方法。该方法将背景估计与局部对比度相结合，以提高算法的检测性能。提出了一种更适合于小目标检测的双层均值最大化背景估计算法，以获得更准确的基准背景值。在原始图像和估计背景之间提出了比差联合局部对比度度量方法，可以在增强目标的同时抑制各种类型的复杂背景。通过实验对比分析，验证该方法的有效性和鲁棒性。Abstract: In order to alleviate the interference of complex backgrounds in infrared small target detection, a new infrared small target detection method is proposed. The new method combines background estimation with local contrast to improve the detection performance of the algorithm. The main work includes the following aspects: First, a double-layer max-mean background estimation algorithm that is more suitable for small target detection is proposed to get a more accurate background benchmark. Then, a ratio-difference joint local contrast measure is proposed between the raw image and the estimated background to enhance the different sizes of true targets while simultaneously suppressing various types of complex backgrounds. The analysis and comparison in the experiment show its effectiveness and robustness.
-
红外精确制导、红外预警、海上搜救等领域中，被测目标与传感器之间的距离通常很远。由于光学系统和焦平面阵列性能的限制，图像中目标通常仅占据几个像素且灰度值较小，容易导致较低的检测率[1]。此外，由于视野中树木、房屋、云层、海浪和其他随机因素的存在，原始红外图像中可能存在各种类型的复杂背景，例如高亮度背景[2]、背景边缘[3]和高亮度孤立点噪声(pixel-sized noises with high brightness，PNHB)等[4]，给目标检测带来严重干扰，导致较高的虚警率。
在现有的红外小目标检测领域，研究者为实现高检测率和低虚警率，提出了多种检测方法，主要包括基于序列的算法和基于单帧的算法。基于序列的算法倾向于利用多帧之间的运动信息检测目标，因此即使目标在某些帧中被遮挡，仍可以取得良好的检测性能。但基于序列的算法通常有较大的计算量，在某些应用中无法满足实时性要求。基于单帧的算法仅使用单帧内的信息，因此常具有较快的检测速度。此外，基于单帧的算法可作为某些基于序列的算法的基础模块进行使用。本文正是基于单帧的检测算法的进一步的改进。
到目前为止，已有大量基于单帧的检测算法被提出，例如空域滤波[5]、频域滤波[6]、形态学滤波[7]、背景估计[8-10]和机器学习(包括监督学习[11]和无监督学习类型[12])等。但是，复杂背景下的红外小目标检测仍然是一个具有挑战性的问题。
近年来，研究人员发现人类视觉系统(human visual system，HVS)的一些特性，可在红外小目标检测中发挥巨大潜力。根据生物学研究发现，区分对比度是人类视觉系统最重要作用之一[13]。在红外小目标检测领域中，由于典型目标(例如飞机、导弹、卡车、坦克、轮船等)通常具有比其周围环境更高的温度，因此红外图像中的目标通常比其直接邻域要稍亮，即目标附近存在一定的局部对比度值。因此，基于局部对比度的检测算法通常可以获得比传统算法更好的性能。基于局部对比度的算法易于实现，并且具有较低的算法复杂度。
基于局部对比度的算法中的关键问题之一，是如何确定局部对比度的计算公式。研究者们已提出了许多种局部对比度定义，通常可以将其分为两类，即基于差值的局部对比度和基于比值的局部对比度[14]。基于差值的局部对比度算法通过计算当前位置与其局部相邻区域之间的灰度差，可以消除高亮度背景。此类型算法包括高斯函数拉普拉斯滤波器(Laplacian of Gaussian，LoG)[15]，高斯函数差分滤波器(difference of Gaussian，DoG)[16]，Gabor函数差分滤波器(difference of Gabor，DoGb)和改进Gabor函数差分滤波器(improved difference of Gabor，IDoGb)[17]，中心−四周累积差分度量(accumulated center-surround difference measure，ACSDM)[18]和基于多尺度块的对比度度量(multiscale patch-based contrast measure，MPCM)[19]等。其中一些算法更利用了局部的方向信息，以更好地抑制背景边缘，例如IDoGb、ACSDM和MPCM。但是，如果目标非常暗，则目标与其直接邻域之间的灰度差将非常小，可能导致检测率较低。
基于比值的局部对比度算法将当前位置与其局部相邻区域之间的灰度比作为增强因子，用于对当前位置进行增强。此类型算法包括局部对比度度量(local contrast measure，LCM)[20]、改进的局部对比度度量(improved local contrast measure，ILCM)[4]、新型局部对比度度量(noval local contrast measure，NLCM)[21]和加权局部差异度量(weighted local difference measure，WLDM)[22]等。其中的大多数方法都利用方向信息来更好地抑制背景边缘。但比值型算法不能有效地消除高亮度背景，因为尽管高亮度背景的增强因子比较小，但如果其原始亮度远大于目标，其最终增强结果仍可能大于实际目标的增强结果，导致较高的虚警率。
概括来说，目前的局部对比度方法通常具有两个共同的缺陷。首先，现有算法在计算当前位置的局部对比度时，直接将当前位置的局部相邻区域作为基准背景值，但如果背景过于复杂，则该基准值可能不够精确，进而导致计算得到的对比度信息失准。其次，大多数现有的局部对比算法是单一的差值形式或比值形式，尽管一些研究者试图将两者结合使用以获得更好的检测性能，但相关研究并不充分。例如，ILCM和NLCM都是比值型的局部对比度算法，它们利用DoG滤波器(差值型算法)作为预处理来首先消除高亮度背景，但是，这导致算法的结构变得复杂，任何环节出现错误都可能导致检测失败。其他多环节算法，例如LCM+LoG[23]、LCM+支持向量机(support vector machine，SVM)[24]和LCM+局部自相似(local self similar，LSS)[25]等，也具有类似的局限性。
此外，深度神经网络的应用也延伸到了红外目标检测领域。朱斌等[26]使用深度神经网络架构对红外与可见光双通道图像进行处理，以检测低空无人机目标；侯晴宇等[27]基于深度学习理论，提出了一种名为RISTDnet的卷积神经网络；戴一冕等[28]将LCM作为模块嵌入到卷积神经网络中。
本文在背景估计(background estimation，BE)的基础上，提出了一种新的最大均值背景估计算法。该方法在计算当前位置的对比度时，可以获得更准确的基准背景值。然后，将基于差值与基于比值的局部对比度相结合，在原始输入图像与估计背景之间提出比差联合局部对比度度量(ratio-difference joint local contrast measure，RDLCM)，可增强不同大小的真实目标，同时抑制各种类型的复杂背景。在BE-RDLCM计算得到的显著性图中，真实目标会被凸显出来，然后使用阈值操作即可提取目标。
1. 问题描述
图1给出了包含真实小目标的红外图像的例子，用以直观地说明真实目标和各种干扰之间的差异。图2是图1中所涉及的各种成分的三维局部分布，包括真实目标(以TT表示)、普通背景(以NB表示)、高亮度背景(以表HB示)、背景边缘(以EB表示)和PNHB。
图 1 包含真实小目标的红外图像Fig. 1 A sample of real IR image
下载:
全尺寸图片
在图2中，可以看到红外小目标和干扰因素存在如下特点：
1)真实目标一般会出现在平坦、均匀的背景区域中，并且通常比其直接邻域更亮，这是因为在大多数实际应用中，目标通常会更热。但是，目标位置的突出程度一般很小，有必要对其进行增强。另外，由于光学系统的点扩散特性[24]，真实目标通常具有一定的面积(很小，但通常大于1×1)，且从中心向四周均匀衰减，没有各向异性。
2)普通背景通常是较暗且平坦的，因此在灰度值和局部对比度方面都不突出。
3)高亮度背景具有较大的灰度值(可能比TT还大)，但内部的灰度分布较为平坦，因此在局部对比度方面不明显。
4)背景边缘的两侧灰度值不同，因此在两侧之间存在局部对比度信息。但是，背景边缘通常沿特定方向分布，这与TT的方向特性明显不同。
5)PNHB在局部对比度和方向特征上具有类似于真实目标的模式。但是，PNHB通常是由随机因素引起的，并且它仅作为单个像素出现，这与真实目标明显不同。
图 2 各种成分的三维局部分布Fig. 2 3D distributions of different types of components下载:
全尺寸图片
2. 双层均值最大化背景估计
从第1节的分析可以看出，真实目标与其他干扰之间的最大区别是真实目标在局部具有一定的对比度，故基于HVS的算法倾向于使用局部对比度来提取真实目标。局部对比度的本质是当前位置的像素值与其基准值之间的差异，现有算法通常直接使用当前位置的相邻区域作为基准值，但是，当背景复杂时，基准值可能不够准确，因此会给出不正确的对比度信息，从而导致检测性能较差。
针对上述问题，本文通过引入背景估计的思想，提出新的局部对比度计算框架。背景估计算法可以看作一种特殊的空间域算法，它通过对相邻区域进行合理的计算，来获得当前位置的估计背景，因此与直接使用相邻区域相比，会更加准确，尤其是在背景复杂的情况下。
到目前为止，研究者们已经提出了许多种背景估计算法，例如最大均值滤波、最大中值滤波[8]、二维最小均方差滤波(two dimensional least mean square，TDLMS)[9-10]等方法。应该注意的是，真实目标在面积、方向性等方面与其他干扰因素不同，因此在红外小目标检测领域进行背景估计时，需要注意两个问题，一是应当对目标进行遮盖，以便在真实目标及其估计的背景之间获得明显的差异；二是有必要考虑方向性信息，以便识别背景边缘。然而，现有背景估计算法通常未能兼顾这些问题。例如，TDLMS算法在估计过程中使用了一个双层窗口。内层窗口用于遮盖小目标，外层窗口用于捕获背景，但是未使用方向信息，因此无法抑制背景边缘；最大均值和最大中值滤波算法利用了方向信息，但是没有针对小目标进行遮盖，因此真实目标及其估计背景之间的差异可能不够明显。
本文提出了一种新的最大均值算法来构造背景估计。该方法具有一个双层窗口，如图3所示。半径为Rin的内层窗口用于遮盖小目标，因此其大小不应小于真实目标。半径为Rout的外层窗口用于捕获局部的周围背景，并且划分为8个方向，以利用方向信息来抑制背景边缘。H是Rin和Rout之间的差。显然，H越大，参与运算的有效像素将越多。但是，如果Rin和H太大，则外部窗口将太大，可能会引入更多的干扰。
图 3 算法所使用的双层窗口结构Fig. 3 Double-layer window structure used in our algorithm下载:
全尺寸图片
对于位置(p, q)，第i个方向上的有效像素的均值定义为
$${{\boldsymbol{M}}}(p,q) = {\rm{mean}}({I_{i,j}}),\quad j = 1,2,\cdots ,H$$ (1) 式中：i=1,2,…,8表示第i个方向；Ii，j是在第i个方向上的第j个有效像素的灰度值；H是内层窗口和外层窗口之间的宽度，如图3所示。
然后，像素(p, q)的背景估计被定义为
$${\boldsymbol{B}}(p,q) = \max({{\boldsymbol{M}}_i}(p,q))\quad i = 1,2,\cdots ,8$$ (2) 式中：max()函数用于获取位置(p, q)的最大均值结果。
另外，有必要分析当(p, q)是不同类型的像素时的情况，如图4所示。
1) 如果(p, q)是真实目标TT，由于真实目标通常比它的近邻更亮并且从中心向四周逐渐衰减，因此可以很容易地得出：
$${{\boldsymbol{M}}_{i}^{\rm{TT}}} < {{\boldsymbol{I}}^{{\rm{TT}}}},\quad i = 1,2,\cdots ,8$$ (3) 此时B(p, q)将小于I(p, q)，即
$${{{B}}^{{\rm{TT}}}} < {I^{{\rm{TT}}}}$$ (4) 
图 4 不同类型的像素时的BE情况Fig. 4 Cases for different types of pixels when calculating BE下载:
全尺寸图片
2) 如果(p, q)是普通背景NB，由于背景通常是平坦的，因此M(p, q)在所有8个方向上都接近原始灰度值I(p, q)，因此B(p, q)也将接近I(p, q)，即
$${\boldsymbol{B}}^{\rm{NB}} \approx {{\boldsymbol{I}}^{{\rm{NB}}}}$$ (5) 3) 如果(p, q)是高亮度背景HB，结论将类似于NB，即
$${\boldsymbol{B}^{{\rm{HB}}}} \approx {{\boldsymbol{I}}^{{\rm{HB}}}}$$ (6) 4) 如果(p, q)是背景边缘EB并且在较亮的一侧，则M(p, q)在某些方向上可能小于I(p, q)，但在其他方向上将与I(p, q)接近，因此最终的B(p, q)和I(p, q)将彼此接近，即
$${{\boldsymbol{B}}^{{\rm{EB}}}} \approx {{\boldsymbol{I}}^{{\rm{EB}}}}$$ (7) 如果(p, q)在较暗的一侧，最终的B(p, q)甚至将会大于I(p, q)，即
$${{\boldsymbol{B}}^{{\rm{EB}}}} > {{\boldsymbol{I}}^{{\rm{EB}}}}$$ (8) 5) 如果(p, q)是PNHB，结论将类似于真实目标的情形：
$${{\boldsymbol{B}}^{{\rm{PNHB}}}} < {{\boldsymbol{I}}^{{\rm{PNHB}}}}$$ (9) 从上面的讨论可以看出，在进行最大均值背景估计之后，TT和PNHB的估计值将小于原始灰度值，而NB、HB和EB的估计值将与原始灰度值接近，这将有助于在后续步骤中区分它们。
应该指出的是，本文所提出的最大均值算法与原始的最大均值算法[8]之间存在两个主要区别。首先，在本文算法中使用了双层窗口，其中内层窗口用于掩盖小目标，从而可以使获得的BTT和ITT之间的差异更明显。其次，该算法总共使用了8个方向，而非4个方向，因此该算法可以更好地利用方向信息。
对于给定的输入图像I，背景估计的计算过程为：1)原始图像I, 参数 Rin, H；2)构建参数为Rin和H的双层窗口，如图2所示；3)按照从上到下，从左到右顺序滑动窗口，遍历整幅图像；4)根据式(1)和(2)计算每个像素位置的背景估计值；5)按顺序保存结果，得到背景估计矩阵B。
3. 比差联合局部对比度度量
背景估计完成后，在计算当前位置的局部对比度时，将以当前位置的估计背景为基准。
现有的局部对比度算法多采用差值形式或者比值形式，未能同时结合两者的优势。本文提出了一种在原始输入图像和估计背景之间的比差联合局部对比度测量方法，可以增强不同大小的真实目标，并抑制各种复杂的背景，无需预处理环节，从而使算法结构更加简洁。图5给出了带背景估计的比差联合算法的整体流程图。
图 5 基于背景估计的比差联合局部对比度度量算法流程图Fig. 5 Flowchart of the proposed BE-RDLCM algorithm下载:
全尺寸图片
首先，考虑到真实目标通常比其背景估计值更亮，并且面积大于1×1，为了增强真实目标，将(p, q)位置处的增强因子定义为
$${\boldsymbol{E}}(p,q) = \frac{{{\boldsymbol{V}}(p,q)}}{{{\boldsymbol{B}}(p,q)}}$$ (10) 其中B(p, q)是根据背景估计方法得到的位置(p, q)的背景估计值，V(p, q)是原始图像中以(p, q)为中心的K个像素的平均灰度值，即
$${\boldsymbol{V}}(p,q) = \frac{{\displaystyle\sum\limits_{m = - L}^L {\sum\limits_{n = - L}^L {{\boldsymbol{I}}(p + m,q + n)} } }}{K}$$ (11) 其中K为参与计算的像素数，计算方法为
$$K = (2L + 1) \times (2L + 1)$$ (12) 然后，将位置(p, q)的比值形式局部对比度定义为
$$\begin{array}{c} {\boldsymbol{R}}(p,q) = {\boldsymbol{E}}(p,q) \cdot {\boldsymbol{V}}(p,q) =\\ \dfrac{{{\boldsymbol{V}}(p,q)}}{{{\boldsymbol{B}}(p,q)}}{\boldsymbol{V}}(p,q) \end{array} $$ (13) 显然，当(p, q)是真实目标TT时，由于真实目标通常比其直接邻域稍亮，因此有
$${{\boldsymbol{E}}^{{\rm{TT}}}} > 1$$ 这意味着真实目标得到了增强。
当(p, q)是NB或HB时，由于背景通常是平坦的，所以会有
$${{\boldsymbol{E}}^{{\rm{NB}}}} \approx {{\boldsymbol{E}}^{{\rm{HB}}}} \approx 1$$ 其值小于真实目标的增强因子。
当(p, q)是EB时，在较亮一侧可以得到
$${{\boldsymbol{E}}^{{\rm{EB}}}} \approx 1$$ 在较暗一侧则为
$${{\boldsymbol{E}}^{{\rm{EB}}}} < 1$$ 显然，无论在哪一侧，该值都比真实目标值小。
对于灰度值接近甚至稍大于真实目标的PNHB，将有
$${{\boldsymbol{E}}^{{\rm{PNHB}}}} > 1$$ 但由于PNHB通常以单个像素出现，只要式(11)中的K大于1，根据式(13)，它的比值形式局部对比度值将小于TT的值，即
$${{\boldsymbol{R}}^{{\rm{PNHB}}}} < {{\boldsymbol{R}}^{{\rm{TT}}}}$$ 由上述分析可知，比值型的局部对比度可以有效增强真实目标。但是，对于灰度值远大于TT的HB，虽然其增强因子值较小，根据式(13)，其增强后的值仍可能大于真实目标的值，即，
$${{\boldsymbol{R}}^{{\rm{HB}}}} > {{\boldsymbol{R}}^{{\rm{TT}}}}$$ 这可能导致检测率减低和虚警率上升。
为消除高亮背景，本文将比值形式与差值形式的局部对比度结合为一体，在原始图像与估计得到的背景之间，定义位置(p, q)处的BE-RDLCM定义为
$$\begin{aligned} {\boldsymbol{D}}(p,q) = {\boldsymbol{R}}(p,q) - {\boldsymbol{V}}(p,q)= \\ \left[\frac{{{\boldsymbol{V}}(p,q)}}{{{\boldsymbol{B}}(p,q)}} - 1\right]{\boldsymbol{V}}(p,q) \end{aligned}$$ (14) 对于给定的输入图像I，BE-RDLCM的计算过程为：1)输入原始图像 I、参数Rin、H、L；2)使用背景估计算法计算出B矩阵；3)使用大小为 (2L+1) × (2L+1) 的窗口遍历原始图像；4)在每个像素位置根据式(11)和式(12)计算矩阵V；5)根据式(14)，在V矩阵与B矩阵之间计算每个像素位置的BE-RDLCM值，可以得到矩阵D。
从前文讨论中可知，经过BE-RDLCM计算后，真实目标将最为突出，而其他干扰因素都可以得到较好的抑制。因此，在本章中，使用一个简单的阈值操作来对目标进行提取。定义阈值为
$${\rm{Th}} = \mu + {k_{{\rm{th}}}} \times \sigma $$ 式中：μ和σ分别是BE-RDLCM矩阵的均值和标准差；kth是一个给定的参数，实验显示通常取2~8为宜。在BE-RDLCM中，只有大于Th的像素点被输出为目标像素点，其他像素点都被认为是背景。
4. 实验与对比
使用6个包含小目标的真实红外图像序列(超过800帧)来检验算法的性能。具体内容如下：1)描述这6个图像序列的特点。2)分析讨论关键参数Rin、H和L的选择。3)对本文算法实际性能进行了检验，并将本文方法与若干当前主流检测算法进行比较。
算法实验的硬件环境为Intel Core i5 2.6 GHz处理器、8 GB内存的计算机，软件环境为MATLAB R2016b。
4.1 序列特征
在实验中使用了6个具有不同背景类型和不同目标大小的真实IR序列。图6给出了每个序列的样本。表1给出了不同序列的特点，例如帧数量、图像分辨率、目标编号、每个目标的尺寸大小等。从图6和表1可以看出，目标通常很小且暗淡，而背景则非常复杂，它们可能具有高亮度和复杂的边缘。另外，噪声也是降低图像质量的因素之一。
图 6 实验样本Fig. 6 Sample images下载:
全尺寸图片
表 1 实验序列特征Table 1 Characteristics of different sequences序列 帧数量 分辨率 目标编号 目标大小 序列1 200 320×240 目标1 7×5 序列2 200 320×256 目标1 3×5 序列3 70 256×200 目标1 4×5~4×10 序列4 90 256×256 目标1 3×5 序列5 200 280×228 目标1 5×6 目标2 5×5 序列6 100 256×256 目标1 7×5 目标2 5×5 目标3 5×5 目标4 6×6 4.2 参数设置
对于关键参数的选取和优化进行讨论，例如用于背景估计的Rin和H，以及用于BE-RDLCM计算的K。
1)参数Rin和参数H
Rin决定了图3中内层窗口的面积。由于内层窗口用于遮罩真实目标，因此Rin不应小于目标半径，否则估计的背景与原始值之间的差异将不够明显。
H是Rin和Rout之间的差。显然，H越大，参与运算的有效像素将越多，这意味着将更好地抑制随机白噪声。但是，如果Rin和H太大，则窗口面积将过大，容易引入更多的干扰，特别是如果目标在复杂背景附近时。
为了确保内层窗口可以全部或大部分遮盖目标，内层窗口的面积应接近红外小目标的典型最大值。根据文献[29]，在实际应用中，目标大小通常为5×5至7×7，因此9×9的内层窗口将足够，即建议将Rin设置为4。此外，为了在噪声抑制和干扰引入之间寻求平衡，建议使用H为3或4。
2)参数K
式(11)和(12)中的K用于抑制亮度接近或略大于真实目标的PNHB，因此建议将K设置为大于1的值，即L应大于0。但是，如果K太大，则真实目标也会被平滑，尤其是当目标区域较小时。为了寻找平衡，建议将K设为9(即L设为1)。
4.3 检测性能测试
为了检验算法的检测性能，图7给出了使用本文算法对6个序列代表帧的检测流程和结果。
从图7中可以看到，使用本文算法在6个序列的代表帧中均可成功检测出小目标，并且没有出现任何虚警。这证明了本文算法的有效性。
图 7 本文算法对6个序列的检测流程与结果Fig. 7 Processing and detection results for the six sequences using the proposed algorithm下载:
全尺寸图片
4.4 与现有算法的性能比较
为了进一步验证所提算法的优势，实验中选择了6个主流算法进行比较，包括DoG[30]、MPCM[19]、ILCM[4]、NLCM[21]、WLDM[31]和RLCM[14]。上述算法中的参数值大多是取原作者推荐值。
图8给出了算法比较的结果，此处使用了ROC曲线作为衡量指标，其中虚警率(false positive rate，FPR)与检测率(rue positive rate，TPR)分别定义为
$${\rm{FRP}} = \frac{{{N_{{\rm{false}}}}}}{{{N_{{\rm{total}}}}}}$$ $${\rm{TRP}} = \frac{{{N_{{\rm{true}}}}}}{{{N_{{\rm{total}}}}}}$$ 式中：Ntotal为像素点的总数；Nfalse为虚警的数量；Ntrue为真实目标的数量。
图 8 不同算法比较的ROC曲线Fig. 8 ROC curves using different algorithms下载:
全尺寸图片
从图8可以看出：
DoG的检测性能通常最差，因为它是一种差值形式的局部对比度算法，不能有效地增强小目标。此外，它没有利用方向信息，也无法区分背景边缘。
MPCM也是一种差值形式的局部对比度算法，但是它采用多尺度检测，因此通常可以实现比DoG更好的检测性能。但是，MPCM无法在一些序列上有效检测，比如，序列2、序列4、序列5等。
WLSM是一种比值形式的局部对比度方法，可以有效地增强小目标，因此通常可以获得比DoG更好的性能。但是，WLDM在序列1、序列2、序列3等序列上的性能不是很好。
ILCM是一种两环节形式的比差局部对比度方法，因此它通常比单一比值形式或差值形式算法具有更好的性能。此外，在ILCM中利用了方向信息来更好地抑制复杂的背景边缘。但是，ILCM仍然无法在一些序列上有效检测，比如序列1、序列2等。
NLCM的情况与ILCM相似，并且它们的性能在大多数序列中也相似。
作为一种新提出的多尺度局部对比度方法，RLCM在大多数情况下都比其他算法具有更好的检测性能，因为它同时利用了比值运算和差值运算。但是RLCM在某些序列上的性能不佳，例如序列5，这是因为RLCM需要较大的计算区域(27×27)，因此在计算过程容易引入更多的干扰，导致算法不能给出正确的对比度信息。
本文所提方法由于引入了背景估计的思想，能够获得更精准的背景值。同时，比差联合的思想结合了两种运算的优势，可以在增强目标的同时抑制复杂背景。另外，算法的窗口大小也更加灵活，所需计算区域比RLCM更小。因此，本文算法在6个序列中均可取得较好的检测结果，在所有对比算法中的检测性能位居前列。
4.5 抗噪声能力测试
噪声是影响图像质量和算法检测性能的关键因素之一，图9给出了该算法在不同级别的随机噪声下的性能，以ROC曲线作为衡量标准。6个序列均被测试，分别添加了方差为1、2、3、4和5的高斯白噪声。从图9可以看出，在添加噪声后，本文算法性能仅略有下降，这意味着算法对噪声具有良好的鲁棒性。
图 9 多种噪声级别影响下的ROC曲线Fig. 9 ROC curves under different levels of noises下载:
全尺寸图片
5. 结束语
本文提出了一种用于红外小目标检测的局部对比度新方法BE-RDLCM。首先，引入背景估计的思想，以得到更准确的基准背景值，并提出了一种采用双层窗口的最大均值背景估计算法。然后，在原始输入图像和估计的背景之间提出了一种比差联合局部对比度度量算法，在增强真实目标的同时抑制不同类型的复杂背景。对包含不同背景类型和不同目标大小的6个真实红外序列进行了实验，证明了该算法的有效性和鲁棒性。与现有的6种主流检测算法相比，该算法在检测率和虚警率上均能取得较好性能，同时具有良好的抗噪声能力。本文的贡献可以总结如下：1)提出了一种新的局部对比度计算框架。在该框架中，引入了背景估计的思想，以当前位置的估计背景为基准值。该基准值用于计算当前位置的局部对比度，从而可以在复杂背景下得到更准确的局部对比度信息。2)提出了一种新的最大均值背景估计算法，该算法更适合于小目标检测。这里主要采用双层窗口，内层窗口用于遮盖小目标，外层窗口被分为八个方向以抑制背景边缘。3)在原始输入图像和估计背景之间提出了比差联合局部对比度度量。它可以增强不同大小的真实目标并同时抑制各种类型的复杂背景，而无需预处理。
-
图 1 包含真实小目标的红外图像
Fig. 1 A sample of real IR image
下载:
全尺寸图片
图 2 各种成分的三维局部分布
Fig. 2 3D distributions of different types of components
下载:
全尺寸图片
图 3 算法所使用的双层窗口结构
Fig. 3 Double-layer window structure used in our algorithm
下载:
全尺寸图片
图 4 不同类型的像素时的BE情况
Fig. 4 Cases for different types of pixels when calculating BE
下载:
全尺寸图片
图 5 基于背景估计的比差联合局部对比度度量算法流程图
Fig. 5 Flowchart of the proposed BE-RDLCM algorithm
下载:
全尺寸图片
图 6 实验样本
Fig. 6 Sample images
下载:
全尺寸图片
图 7 本文算法对6个序列的检测流程与结果
Fig. 7 Processing and detection results for the six sequences using the proposed algorithm
下载:
全尺寸图片
图 8 不同算法比较的ROC曲线
Fig. 8 ROC curves using different algorithms
下载:
全尺寸图片
图 9 多种噪声级别影响下的ROC曲线
Fig. 9 ROC curves under different levels of noises
下载:
全尺寸图片
表 1 实验序列特征
Table 1 Characteristics of different sequences
序列 帧数量 分辨率 目标编号 目标大小 序列1 200 320×240 目标1 7×5 序列2 200 320×256 目标1 3×5 序列3 70 256×200 目标1 4×5~4×10 序列4 90 256×256 目标1 3×5 序列5 200 280×228 目标1 5×6 目标2 5×5 序列6 100 256×256 目标1 7×5 目标2 5×5 目标3 5×5 目标4 6×6 -
[1] LEUNG H, YOUNG A. Small target detection in clutter using recursive nonlinear prediction[J]. IEEE transactions on aerospace and electronic systems, 2000, 36(2): 713–718. doi: 10.1109/7.845269 [2] GAO Chenqiang, ZHANG Tianqi, LI Qiang. Small infrared target detection using sparse ring representation[J]. IEEE aerospace and electronic systems magazine, 2012, 27(3): 21–30. doi: 10.1109/MAES.2012.6196254 [3] KIM S. Target attribute-based false alarm rejection in small infrared target detection[C]//Proceedings of SPIE 8537, Image and Signal Processing for Remote Sensing XVIII. Edinburgh, United Kingdom, 2012: 85370G. [4] HAN Jinhui, MA Yong, ZHOU Bo, et al. A robust infrared small target detection algorithm based on human visual system[J]. IEEE geoscience and remote sensing letters, 2014, 11(12): 2168–2172. doi: 10.1109/LGRS.2014.2323236 [5] ZHANG Biyin, ZHANG Tianxu, CAO Zhiqiang, et al. Fast new small-target detection algorithm based on a modified partial differential equation in infrared clutter[J]. Optical engineering, 2007, 46(10): 106401. doi: 10.1117/1.2799509 [6] QI Baojun, WU Tao, HE Hangen. Robust detection of small infrared objects in maritime scenarios using local minimum patterns and spatio-temporal context[J]. Optical engineering, 2012, 51(2): 027205. doi: 10.1117/1.OE.51.2.027205 [7] BAI Xiangzhi, ZHOU Fugen. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]. Pattern recognition, 2010, 43(6): 2145–2156. doi: 10.1016/j.patcog.2009.12.023 [8] Deshpande S D, Er M H, Ronda V, et al. Max-mean and max-median filters for detection of small targets[C]//Proceedings of SPIE 3809, Signal and Data Processing of Small Targets. Denver, United States, 1999: 74−83. [9] CAO Yuan, LIU Ruiming, YANG Jie. Small Target detection using two-dimensional least mean square (TDLMS) filter based on neighborhood analysis[J]. International journal of infrared and millimeter waves, 2008, 29(2): 188–200. doi: 10.1007/s10762-007-9313-x [10] DING Hao, ZHAO Huijie. Adaptive method for the detection of infrared small target[J]. Optical engineering, 2015, 54(11): 113107. doi: 10.1117/1.OE.54.11.113107 [11] BI Yanguang, BAI Xiangzhi, JIN Ting, et al. Multiple feature analysis for infrared small target detection[J]. IEEE geoscience and remote sensing letters, 2017, 14(8): 1333–1337. doi: 10.1109/LGRS.2017.2711047 [12] GUO Jun, WU Yiquan, DAI Yimian. Small target detection based on reweighted infrared patch-image model[J]. IET image processing, 2018, 12(1): 70–79. doi: 10.1049/iet-ipr.2017.0353 [13] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE transactions on pattern analysis and machine intelligence, 1998, 20(11): 1254–1259. doi: 10.1109/34.730558 [14] HAN Jinhui, LIANG Kun, ZHOU Bo, et al. Infrared small target detection utilizing the multiscale relative local contrast measure[J]. IEEE geoscience and remote sensing letters, 2018, 15(4): 612–616. doi: 10.1109/LGRS.2018.2790909 [15] SHAO Xiaopeng, FAN Hua, LU Guangxu, et al. An improved infrared dim and small target detection algorithm based on the contrast mechanism of human visual system[J]. Infrared physics & technology, 2012, 55(5): 403–408. [16] DENG Yaping, WANG Min. Infrared dim and small target detection based on the human visual attention mechanism[M]//WANG W. Proceedings of the Second International Conference on Mechatronics and Automatic Control. Cham: Springer, 2015: 1153−1161. [17] HAN Jinhui, MA Yong, HUANG Jun, et al. An infrared small target detecting algorithm based on human visual system[J]. IEEE geoscience and remote sensing letters, 2016, 13(3): 452–456. [18] XIE Kai, FU Keren, ZHOU Tao, et al. Small target detection based on accumulated center-surround difference measure[J]. Infrared physics & technology, 2014, 67: 229–236. [19] WEI Yantao, YOU Xinge, LI Hong. Multiscale patch-based contrast measure for small infrared target detection[J]. Pattern recognition, 2016, 58: 216–226. doi: 10.1016/j.patcog.2016.04.002 [20] CHEN C L P, LI Hong, WEI Yantao, et al. A local contrast method for small infrared target detection[J]. IEEE transactions on geoscience and remote sensing, 2014, 52(1): 574–581. doi: 10.1109/TGRS.2013.2242477 [21] QIN Yao, LI Biao. Effective infrared small target detection utilizing a novel local contrast method[J]. IEEE geoscience and remote sensing letters, 2016, 13(12): 1890–1894. doi: 10.1109/LGRS.2016.2616416 [22] DENG He, SUN Xianping, LIU Maili, et al. Entropy-based window selection for detecting dim and small infrared targets[J]. Pattern recognition, 2017, 61: 66–77. doi: 10.1016/j.patcog.2016.07.036 [23] XIA Tian, TANG Yuanyan, et al. Biologically inspired small infrared target detection using local contrast mechanisms[J]. International journal of wavelets, 2015, 13(4): 1550025. [24] CUI Zheng, YANG Jingli, JIANG Shouda, et al. An infrared small target detection algorithm based on high-speed local contrast method[J]. Infrared physics & technology, 2016, 76: 474–481. [25] CHEN Yuwen, XIN Yunhong. An efficient infrared small target detection method based on visual contrast mechanism[J]. IEEE geoscience and remote sensing letters, 2016, 13(7): 962–966. doi: 10.1109/LGRS.2016.2556218 [26] 马旗, 朱斌, 程正东, 等. 基于双通道的快速低空无人机检测识别方法[J]. 光学学报, 2019, 39(12): 1210002. doi: 10.3788/AOS201939.1210002 MA Qi, ZHU Bin, CHENG Zhengdong, et al. Detection and recognition method of fast low-altitude unmanned aerial vehicle based on dual channel[J]. Acta optica sinica, 2019, 39(12): 1210002. doi: 10.3788/AOS201939.1210002 [27] HOU Qingyu, WANG Zhipeng, TAN Fanjiao, et al. RISTDnet: robust infrared small target detection network[EB/OL]. (2021-01-22) [2021-05-26]. https://ieeexplore.ieee.org/document/9334387. [28] DAI Yimian, WU Yiquan, ZHOU Fei, et al. Attentional local contrast networks for infrared small target detection[EB/OL]. (2020-12-25) [2021-05-26]. https://ieeexplore.ieee.org/abstract/document/9314219. [29] ZHANG Wei, CONG Mingyu, WANG Liping. Algorithms for optical weak small targets detection and tracking: review[C]//International Conference on Neural Networks and Signal Processing. Nanjing, China, 2003: 643−647. [30] WANG Xin, LYU Guofang, XU Lizhong. Infrared dim target detection based on visual attention[J]. Infrared physics & technology, 2012, 55(6): 513–521. [31] DENG He, SUN Xianping, LIU Maili, et al. Small infrared target detection based on weighted local difference measure[J]. IEEE transactions on geoscience and remote sensing, 2016, 54(7): 4204–4214. doi: 10.1109/TGRS.2016.2538295
