2. 国防科技信息中心, 北京 100037
2. National Defense Science and Technology Information Center, Beijing 100037, China
红外成像系统具有灵敏度高、可获取目标更多信息及较高的帧频等特点,在军用及民用方面显示出越来越重要的作用。尽管红外成像技术已发展到较高水平,但由于制造工艺和使用环境的影响,红外成像系统的非均匀性问题依然存在,在图像上表现最为明显的是固定图案噪声(Fixed Pattern Noise,FPN),这极大地降低了图像质量,严重的甚至使红外探测器失去探测能力[1-2]。在工程应用中,相应的非均匀性校正技术(Non-uniformity Correction,NUC)是关键的图像预处理技术。
校正方法主要分为两大类:一类是辐射定标法,主要包括一点法、两点法和多点法。由于校正效果比较理想,上述方法在工程实践中得到了广泛应用。但是20世纪90年代初,人们逐渐发现定标类校正无法解决红外成像系统的参数漂移问题。于是人们发展了基于场景的校正方法,比较经典的有时域高通滤波法[3]、常数统计法[4]、神经网络法[5]、帧间配准法[6]、代数法[7]等。上述基于场景的校正方法存在计算量大、收敛速度慢的缺点,在实际系统中应用较少。针对上述问题,本文提出一种效果较好的非均匀性快速校正方法。利用固定图案噪声在图像上表现出来的固定不变的特点,提取噪声矩阵,从待校正图像上减掉该噪声矩阵,便可对非均匀性进行较好的校正。该方法原理简单,计算量小,实现容易,有利于在实际红外成像系统中使用。
1 非均匀性表现形式由于红外成像系统响应率及空间分辨率低于可见光CCD阵列,使得红外图像的对比度、清晰度低于可见光图像。非均匀性对红外图像的影响尤为严重,如图 1所示。图 1(a)和图 1(b)是利用JIR1161G型长波非制冷热像仪拍摄的未校正视频中截取的两帧。由于非均匀性的存在使得2幅图像上表现出了强烈的条纹状噪声,这对图像配准、目标识别、目标跟踪等后续处理都极其不利。通过对比可以看出,两帧图像间的非均匀性噪声模式及强度基本一致。因此非均匀性的表现形式可以看作是在视频上叠加一个固定的噪声图案,而且噪声图案在较短的时间内可以认为不变。基于这个考虑,在校正时可以首先提取固定噪声图案,然后将非均匀性图像减掉此噪声图案,最终实现非均匀性的校正。
根据第1节中的分析得知:非均匀性的表现形式可看做是在理想视频上叠加一个固定的噪声图案,而且噪声图案在较短的时间内可以认为不变。采用探测器线性响应模型:焦平面阵列上第(ij)个探测单元在第n时刻的输出响应Yn(i,j)可表示为:
$ \begin{array}{l} {Y_n}(i,j) = {G_n}(i,j) \cdot {X_n}(i,j) \!+\! {O_n}(i,j) \!+\! Nu(i,j)=\\[5pt] {\kern 1pt} \;\;\;\;\;\;\;\;\; \widehat {{Y_n}(i,j)} + Nu(i,j){\text{,}} \end{array} $ | (1) |
式中:Xn(i,j)为第ij个探测单元在第n时刻接收到的场景辐射;Gn(i,j)和On(i,j)分别为探测单元的增益和偏置;
理想的红外焦平面阵列(IRFPA)中每个探测单元响应参数保持恒定,而且不同探测单元之间参数保持一致。可做如下假设:一是在足够长的时间内,阵列中不同探测单元受到的平均场景辐射相同。二是在一定时间内,阵列中探测单元的平均输出相同。基于上面2个假设,校正方法具体实施过程如下:
1)对第k帧图像,求取前k帧图像的均值图像:
$ \overline {{Y_k}(i,j)} = \frac{{\sum\limits_{n = 1}^k {{Y_n}(i,j)} }}{k}{\rm{ = }}\frac{{\sum\limits_{n = 1}^k {\widehat {{Y_n}(i,j)}} }}{k} + Nu(i,j){\text{,}} $ | (2) |
根据前面的2个假设,均值图像中不同像素(ij)的理想输出均值项
2)统计均值图像中不同灰度值的像素数量,取像素数目最多的灰度值(记为Lgray)作为理想输出均值项。获得非均匀性噪声矩阵:
$ {\boldsymbol{I}_{Nu}}(i,j) = \overline {{{\boldsymbol{Y}}_k}(i,j)} - {{\boldsymbol{L}}_{gray}}{\text{,}} $ | (3) |
矩阵INu(i,j)中既有正值,也有负值。若矩阵中为负值,表示对应图像该位置的像素灰度值被非均匀性噪声拉低;若矩阵中为正值,表示该位置的像素灰度值被非均匀性噪声增高。
3)校正非均匀性图像:
$ {{\boldsymbol{I}}_{corr}}(i,j) = {{\boldsymbol{I}}_{noise}}(i,j) - {{\boldsymbol{I}}_{Nu}}(i,j)\text{。} $ | (4) |
式中: Icorr(i,j)为校正后图像; Inoise(i,j)为原始未校正图像。
3 实验结果与分析 3.1 仿真图像序列实验为了使校正后的图像能够有标准图像作为对比,对校正算法的综合性能进行较好的评估,首先利用仿真得到的100帧非均匀性图像序列对校正方法进行验证。对仿真图像进行校正,校正结果如图 2所示。
图 2(a)所示图像为理想图像序列的第86帧。图 2(b)是按照一定算法对理想图像序列添加了固定图案噪声和散点噪声之后的图像。可以看到图像中有明显的条纹噪声,这与真实红外图像的固定图案噪声样式一致。图 2(c)为均值图像,较好地反映了图像上的条纹噪声。图 2(d)为经过本文方法校正后的图像。从图像上看,无论是条纹噪声还是散点噪声都得到了较好的校正。
3.2 真实视频实验利用实际采集的红外非均匀性视频对提出的校正方法进行验证,校正结果如图 3所示。视频采集设备为JIR1161G型长波非制冷热像仪。图 3(a)和图 3(b)分别为视频中截取的第85帧和第307帧。图像质量被条纹状的非均匀性噪声严重影响,建筑物上的窗口甚至被条纹噪声淹没而导致信息丢失。图 3(c)和图 3(d)分别为第85帧和第307帧对应的均值图像。均值图像上的条纹状噪声的信息被完整的保留了下来,而背景灰度趋于一致。图 3(e)和图 3(f)分别为校正后的结果,通过图像可以很直观地看到,条纹噪声被消除掉,而且原本淹没在噪声中的建筑物窗口信息也得到了较好的复原,校正效果比较理想。
为了对实验结果进行客观定量的评价,采用国家标准定义来评估图像的非均匀性[8],即:
$ U = \frac{1}{{\overline Y }}\sqrt {\frac{1}{{MN}}\sum\limits_{i = 1}^M {\sum\limits_{J = 1}^N {{{(\overline Y - {Y_{ij}})}^2}} } }{\text{。}} $ | (5) |
式中:Y为系统输出图像的灰度均值;M和N分别表示系统输出图像的行数和列数;Yij为图像中(i,j)位置的像素灰度值。
图 4为校正前后非均匀性曲线对比。‘-*’表示的是未校正的视频序列非均匀性随帧数变化的曲线,‘-’表示的是校正之后的视频序列非均匀性随帧数变化的曲线。由于场景变化较为复杂,不同帧之间的非均匀性不是单调下降的,但是可以确定的是采用本文提出的校正方法校正的第n帧图像比未校正的视频第n帧非均匀性要小得多。
传统的基于场景的非均匀性校正方法存在计算量大,计算复杂的缺点。本文提出一种原理简单、计算量小的校正方法,并利用仿真图像序列及真实拍摄视频对提出的方法进行验证,实验结果表明本文提出方法能够有效的对非均匀性进行校正,而且本方法计算量较小,具有更快的校正速度。
[1] | 高思莉, 于洋, 汤心溢. 红外焦平面阵列非线性响应仿真[J]. 红外与激光工程 , 2008, 37 (5) :770–772. |
[2] | 张菲菲, 王文龙, 马国锐, 等. 基于非局部均值滤波与神经网络的红外焦平面阵列非均匀性校正算法[J]. 红外技术 , 2015, 37 (4) :265–271. |
[3] | SCRIBNER D A, SARKADY K A, KRUER M R, et al. Adaptive nonuniformity correction for IR focal-plane arrays using neural networks[C]//Proceedings of the SPIE 1541, Infrared Sensors: Detectors, Electronics, and Signal Processing. San Diego, CA: SPIE, 1991: 100-109. |
[4] | HARRIS J G, CHIANG Y M. Nonuniformity correction of infrared image sequences using the constant-statistics constraint[J]. IEEE Transactions on Image Processing , 1999, 8 (8) :1148–1151. DOI:10.1109/83.777098 |
[5] | 王娴雅, 陈钱, 顾国华, 等. 基于BP神经网络的红外焦平面非均匀性校正技术[J]. 光子学报 , 2009, 38 (6) :1504–1506. |
[6] | HARDIE R C, HAYAT M M, ARMSTRONG E, et al. Scene-based nonuniformity correction with video sequences and registration[J]. Applied Optics , 2000, 39 (8) :1241–1250. DOI:10.1364/AO.39.001241 |
[7] | RATLIFF B M, HAYAT M M, TYO J S. Generalized algebraic scene-based nonuniformity correction algorithm[J]. Journal of the Optical Society of America A , 2005, 22 (2) :239–249. DOI:10.1364/JOSAA.22.000239 |
[8] | 聂瑞杰, 李丽娟, 王朝林, 等. 一种凝视红外成像系统联合非均匀校正算法[J]. 红外与激光工程 , 2015, 44 (8) :2339–2346. |