2. 山东科技大学 电气与自动化工程学院,山东 青岛 266000
2. Shandong University of Science and Technology, Qingdao 266000, China
UUV海面红外侦查图像的形成、传输及变换的过程中,会受到某些客观因素的影响,例如:系统的噪声、相对运动的影响、曝光不足等,因此,获取到的红外图像会和原始图像产生差异,这被称为退化或者降质[1]。所以要想提取图像中的目标及有用信息,就需要先对获取的图像进行增强。目前,直方图均衡化因具有有效、简单等优点成为普遍使用的一种增强方法,但是它只改变了原始图像同灰度层上的所有像素灰度,因此使得图像动态范围变大,并在一定程度上出现了灰度“吞噬”的现象,导致最后的图像出现过亮、过暗以及伪轮廓现象等[2]。另外,基于平台直方图的均衡化因其具有抑制背景、提升细节的优点而被应用[3-4]。但是平台阈值的选择往往对增强结果具有很大的影响。文献[5]分析了复杂环境下的红外海面舰船图像的增强方法,提出一种自适应平台直方图均衡方法增强了图像的对比度、抑制了背景,但是对灰度级范围窄、图像模糊的图像不能够达到较好的处理效果,同时也没有考虑到海浪纹理的保持。UUV近海面拍摄的红外图像具有一般红外图像高背景、低反差的特点,而且受到海浪的影响,会形成高亮的波浪区域,除此之外图像灰度分布也十分密集,图像模糊。UUV拍摄的海面红外侦查图像有时为夜晚舰船等目标,此时图像灰度范围相对较大,海面波浪亮暗不一,且有些波浪区域与目标亮度相近甚至超过目标亮度,这时,图像的增强应突出目标与海浪的干扰;有时为白天山体海面图像,图像的灰度范围窄,山体与天空、海面的轮廓分界不明显,这时,图像的增强应将注重背景的分离与增强。而上述提及的直方图均衡化和平台直方图均衡化在处理该类图像时,能够突出目标,注重细节提升,但是在保持海浪与山体轮廓方面还不能进行很好的处理。本文所处理的UUV海面红外侦查图像,对细节要求不是特别注重,受到均衡化原理的启发,提出一种以牺牲细节为代价换取图像清晰度的归并直方图拉伸增强方法。实验证明该方法比直方图均衡化能够更好地增强图像的清晰度,更好地突显目标和海面的波浪纹理。
该方法利用传统的直方图得到灰度级值,通过设置归并阈值,将小于归并阈值的灰度级值对应的像素归并到其右相邻的灰度级中,与均衡化“吞噬”图像细节相比,该方法从根本上更加彻底地有目标性地进行了细节“吞噬”,通过实验发现该方法能够较好地增强目标,突显海面波浪纹理,并且能够很好显现出模糊图像中景物的轮廓。同时,本文将OTSU方法应用到归并阈值的选取中,实现了阈值的自适应选取。
1 直方图均衡化直方图均衡化算法是在图像处理中是最常用的方法之一。该算法是把一幅已知灰度概率分布的图像,经过点变换使原始图像变成具有均匀概率分布的图像[6]。首先得到图像的传统直方图,然后根据累积分布函数得到如下的灰度级映射[7]:
${m_k} = H({n_k}) = \sum\limits_{i = 0}^k {\frac{{{n_i}}}{n}} = \sum\limits_{i = 0}^k {{p_n}({r_i})} $ |
式中:ri为变换前的归一化灰度级,
表1列出了总像素数为1 600的图像的均衡化处理过程,使得均衡化过程更加易懂。公式
UUV拍摄的海面红外侦查图像具有灰度范围窄、对比度差等一般红外图像的特点,又具有灰度级密集、图像模糊、受到海面波浪干扰大的特点。一般的图像增强方法用于该类图像时,会使图像整体得到增强,但是由于图像灰度级密集,增强后的图像会在目标周围产生增亮的光圈或者使得图像的海面波浪粘连在一起,不能够突显出目标或者很好地表现出海面波浪的纹理。针对这种情况,本文改进了传统的直方图,提出了一种自适应UUV海面红外侦查图像归并直方图拉伸增强算法。
2.1 自适应归并阈值的选取最大类间方差法[8]是由日本学者大津(Nobuyuki Otsu)于1979年提出的,是一种自适应的阈值确定的方法, 又叫大津法,简称OTSU。它是按图像的灰度特性将图像分成背景和目标两部分。背景和目标之间的类间方差越大说明构成图像的两部分的差别越大,当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小。因此使类间方差最大的分割意味着错分概率最小。可知,最大类间方差用来自适应确定灰度值的分割阈值[8]。受到该方法的启发,本文采用最大类间方差法来自适应确定灰度级值的归并阈值。由最大类间方差法的分割意义知道,当方差最大时,误分的目标和背景概率最小。所以当最大类间方差法用于确定归并阈值时,其误差最大时,被分开的2组数据(1组为大于等于归并阈值,1组为小于归并阈值)之间具有最大方差,而每组数据内部具有较小的方差,说明被分开的2组数据之间具有差异性,而组内数据具有相似性,这种差异和相似表现为数值的大小。因此,可以采用最大类间方差法来进行归并阈值的选取。
通过归并直方图获得灰度级值的非零数组H[c],其中c的取值为[0, 255]。然后,统计数组H[c]的直方图,得到数组直方图值的非零数组S[d],d为数组H中的不同元素的个数。最后,根据最大类间方差法,求取最佳归并阈值。
若非零数组S[d]具有相同灰度级值的个数,则灰度级值d出现的概率为
$P(d) = \frac{{S[d]}}{{\displaystyle\sum\limits_{d = 0}^\infty {S[d]} }}$ |
式中
将灰度级值按照阈值T划分为2类,即低级值类和高级值类,对应阈值分割中的背景类和目标类。低类的取值范围为[0, T],高类的取值范围为[T, ∞]。
低级值类出现的概率为
${\omega _0} = \sum\limits_{d = 0}^T {P(d)} $ |
高级值类出现的概率为
${\omega _1} = \sum\limits_{d = T}^\infty {P(d)} $ |
式中
低级值类的平均灰度级值为
${u_0}(t) = \sum\limits_{d = 0}^T {d\frac{{P(d)}}{{{\omega _0}}}} $ |
高级值类的平均灰度级值为
${u_1}(t) = \sum\limits_{d = T}^\infty {d\frac{{P(d)}}{{{\omega _1}}}} $ |
统计直方图的平均灰度级值
$\begin{array}{l}u(t) = \sum\limits_{d = 0}^\infty {dP(d)} \\{\delta ^2}(T) = {\omega _0}{({u_0} - u)^2} + {\omega _1}{({u_1} - u)^2}\end{array}$ |
式中:u为整个数组S的平均值,w0为小于归并阈值的数据个数所占的概率,w1为大于和等于归并阈值的数据个数所占的概率,u0为小于归并阈值的数据的平均值,u1为大于和等于归并阈值的数据的平均值,T的取值从0~L变化,当δ2取最大值时,所取的T值即为要得到的最优阈值[8-9]。
实践证明,由该方法得到的归并阈值T相对图像总像素的个数比较大。为了更好地保护图像的细节以及得到更好的增强效果,通过大量实验总结出在G=0.5T时,图像得到了较好的增强效果,能够在牺牲图像细节的情况下保持较好的图像质量且比较适用。
2.2 算法原理归并直方图是以牺牲灰度级换取图像质量的思想对直方图进行的改进。它通过选择一个合适的归并阈值G=0.5T,对直方图进行如下改进:如果某灰度级值的直方图值小于归并阈值G,则将该灰度级的像素归并到其上一级的灰度级中;如果某灰度级值的直方图值大于或等于归并阈值G,则将该灰度级值保留,即对应的像素值不变。如下:
${P_G}(h) = \left\{ {\begin{aligned}& {P(h)}, \\& {P(h + 1)}\\& {P({h_{\max }})}\end{aligned}\begin{aligned}& {{\rm{ }}\quad \quad P(h) \geqslant G{\rm{ }}}\\& {,{\rm{ }}\quad \quad P(h) < G \,\,\, {\rm{ and }}\,\,\, h{\rm{ < 255}}}\\& {,{\rm{ }}\quad \quad P(h) < G \,\,\, {\rm{ and }}\,\,\, h{\rm{ = 255}}}\end{aligned}} \right.$ |
式中:h表示图像的灰度级,h取值为[0, 255];hmax为归并直方图中最大的灰度级;
归并直方图灰度拉伸与直方图灰度拉伸的区别在于:直方图灰度拉伸是根据统计直方图进行图像拉伸,而归并直方图灰度拉伸是根据归并直方图进行图像拉伸。即
$\frac{{I(i,j) - {G_{\min }}}}{{{G_{\max }} - I(i,j)}} = \frac{{x - 0}}{{255 - x}}$ |
进行简化得
$x = \frac{{255(I(i,j) - {G_{\min }})}}{{({G_{\max }} - {G_{\min }})}}$ |
式中:
根据本文的方法,对大量的近海面UUV拍摄的图像进行了处理。另外,分别采用直方图拉伸增强和直方图均衡化对图像进行了处理。选取了海空背景条件下具有大目标的图像与模糊的波浪与山体存在的图像。可以看出本文方法相比另外2种方法对具有模糊波浪与山体的图像的处理效果更佳。
由图5~7图像结果显示,直方图拉伸并没有明显改善图像效果,虽然使得图像的灰度级变得丰富,但是与归并直方图拉伸增强和直方图均衡化相比较,目标仍然不突出。直方图均衡化和归并直方图拉伸增强处理后的图像相比较并没有特别明显的区别,但是仔细观察会发现,归并直方图拉伸增强相比较于直方图均衡化在目标区域部分能够在一定程度上抑制天空曝光的干扰而突出目标,在海面杂波较复杂的部分能够抑制海浪的干扰,使海浪具有明显的形状,不再连成一片光亮区域,使得海浪的纹理变得更加清晰。从山体背景图像的3种增强处理效果,可以看出本文的方法对于处理灰度级少,渐变不明显的图像具有较好的效果,可以增强事物的轮廓,使属于统一灰度范围内的图像区域变得相对平滑。
图像增强处理效果的好坏直接影响到目标检测和识别的虚警率。本文所给出的自适应UUV海面红外侦查图像归并直方图拉伸增强算法。
1) 能够减少目标在天空部分的曝光,突出目标。
2) 能够将海面的波浪增强为具有较明显形状的亮区域。这对于UUV海面红外侦查图像的目标检测和识别具有重要的现实意义。并且本文实现了阈值的自动选取,增强了图像处理的自适应性及方便性。因此,本文的方法具有较强实用性。
[1] | LI Yi, ZHANG Yunfeng, GENG Aihui, et al. Infrared image enhancement based on atmospheric scattering model and histogram equalization[J]. Optics and laser technology, 2016, 83(3): 99-107. (0) |
[2] | 徐立敏, 唐振民, 何可可, 等. 基于自适应直方图均衡化的鲁棒性说话人辨认研究[J]. 自动化学报, 2008, 34(7): 752-759. (0) |
[3] | 王炳健, 刘上乾, 周慧鑫, 等. 基于平台直方图的红外图像自适应增强算法[J]. 光子学报, 2005, 34(2): 299-301. (0) |
[4] | 祝中秋, 李斌. 基于直方图拉伸的图像增强算法及其实现[J]. 信息技术, 2009(5): 54-57. (0) |
[5] | DONG Shuai, QI Lin. Adaptive enhancement of sea surface targets in infrared high dynamic range image[C]//Proceedings of SPIE, Beijing, China, 2015: 1-6. (0) |
[6] | 赵耀宏, 史泽林, 罗海波, 等. 自适应红外图像直方图均衡增强算法[J]. 光电工程, 2008, 35(3): 97-101. (0) |
[7] | WONG ChinYeow, JIANG Guannan, RAHMAN MdArifur, et al. Histogram equalization and optimal profile compression based approach for colour image enhancement[J]. Journal of visual communication and image representation, 2016, 32(6): 802-813. (0) |
[8] | WANG Zhenzhou. Automatic segmentation and classification of the reflected laser dots during analytic measurement of mirror surfaces[J]. Optics and laser technology, 2016, 2016(83): 10-22. (0) |
[9] | 魏巍, 申铉京, 千庆姬. 工业检测图像灰度波动变换自适应阈值分割算法[J]. 自动化学报, 2011, 37(8): 944-953. (0) |