«上一篇
文章快速检索     高级检索
下一篇»
  应用科技  2018, Vol. 45 Issue (6): 27-31  DOI: 10.11991/yykj.201712018
0

引用本文  

郑云海, 郭建钊, 王门鸿, 等. 基于人眼视觉特性的Curvelet域低照度图像增强[J]. 应用科技, 2018, 45(6): 27-31. DOI: 10.11991/yykj.201712018.
ZHENG Yunhai, GUO Jianzhao, WANG Menhong, et al. Low-light image enhancement in Curvelet domain based on human visual characteristics[J]. Applied Science and Technology, 2018, 45(6): 27-31. DOI: 10.11991/yykj.201712018.

基金项目

国家自然科学基金项目(41706103);国家电网科技项目(52133016000U)

通信作者

李庆武,E-mail:li_qingwu@163.com

作者简介

郑云海(1979−),男,高级工程师

文章历史

收稿日期:2017-12-30
网络出版日期:2018-03-09
基于人眼视觉特性的Curvelet域低照度图像增强
郑云海1, 郭建钊1, 王门鸿1, 李佳2, 李庆武2    
1. 国网泉州供电公司,福建 泉州,362000;
2. 河海大学 物联网工程学院,江苏 常州,213022
摘要:针对低照度下图像降质严重的问题,提出了一种基于人眼视觉特性和Curvelet变换的低照度图像增强算法。首先将低照度图像转换至“色调−饱和度−亮度”(HSI)颜色空间,在Curvelet域中分解亮度参量得到不同尺度、不同方向的子带分量,以此构建人眼视觉模型;然后利用模型的亮度遮蔽特性和亮度-对比度遮蔽特性对高频分量进行非线性增强,同时对低频分量进行非线性拉伸;最后通过Curvelet逆变换重构亮度参量,结合原始图像的色度和饱和度分量将图像转换至原色彩空间,得到增强后的低照度图像。实验结果表明,该算法可以有效提升低照度图像的对比度和亮度,保持图像的细节信息,抑制图像噪声。
关键词图像处理    图像增强    低照度图像    Curvelet    HSI空间    人眼视觉特性    亮度遮蔽    亮度−对比度遮蔽    
Low-light image enhancement in Curvelet domain based on human visual characteristics
ZHENG Yunhai1, GUO Jianzhao1, WANG Menhong1, LI Jia2, LI Qingwu2    
1. State Grid Quanzhou Electric Power Supply Company, Quanzhou 362000, China;
2. College of Internet of Things Engineering, Hohai University, Changzhou 213022, China
Abstract: Aiming at the serious degradation of images under low illumination, this paper proposes a low-light image enhancement method based on human visual characteristics and Curvelet transform. Firstly, transform the low-light image into the hue-saturation-intensity (HSI) space, and obtain the sub-band components of different scales and directions in Curvelet domain, then construct the human visual model on this basis; and further enhance the high-frequency components nonlinearly based on the luminance masking and luminance-contrast masking characteristic of the model, and at the same time, stretch the low-frequency components nonlinearly. Finally, reconstruct the brightness components by the inverse Curvelet transform. After the combination with the hue and saturation components, convert the image to the original color space to obtain the enhanced low-lightness image. Experimental results demonstrate that the algorithm can effectively enhance the contrast and brightness of low-light images, keep the details of images and suppress the noise of images.
Keywords: image processing    image enhancement    low-light image    Curvelet    HIS space    human visual characteristics    luminance masking    luminance and contrast masking    

计算机视觉系统在电力设备巡检、城市交通监控等领域发挥着关键作用[1-3]。高质量的数字图像是计算机视觉系统高效工作的必要前提。然而,在阴雨、夜间以及人工光照不足等低照度条件下,采集到的图像对比度低、细节丢失严重,图像的应用价值严重下降。因此,为了挖掘低照度图像中的信息,提高计算机视觉系统的可靠性,需要通过数字图像处理技术改善低照度图像的质量。目前,对低照度图像进行增强是数字图像处理领域的研究热点之一[4-6]。现有的低照度图像增强方法主要分为空域处理和变换域处理两大类。前者主要包括直方图均衡化和灰度变换,这类方法简单且处理速度快,但对噪声敏感,图像细节丢失严重。如文献[7]提出一种改进的直方图均衡化图像增强方法,对图像细节的保留改进明显,但对噪声的抑制效果差,且该方法时间复杂度高。而基于变换域处理的方法因能够将信号与噪声实现分离,在低照度图像增强方向具有更为广阔的应用前景。如文献[8]利用离散小波变换将图像的高低频分量进行分离,对低频分量进行奇异值分解,再通过逆变换重构图像,达到增强原图的目的。但小波变换本身在平移不变性上的缺失影响了该方法的增强效果。文献[9]提出一种改进的Retinex图像增强算法,结合交替方向优化(ADO)与快速傅里叶变换,同时计算出物体的照度分量和反射分量,使得图像的亮度和对比度得到一定程度的提升,但该方法在色彩还原和亮度处理方法还存在一定缺陷。文献[10]提出一种人眼视觉感知驱动的梯度域低照度图像增强方法,利用视觉模型的超阈值特性,非线性地调整图像梯度场,通过在梯度域快速求解泊松方程获取增强的图像,能够有效保留图像的细节信息,但该算法也带来了图像色彩失真、对噪声的抑制欠佳等问题。

针对低照度图像存在的对比度低、色彩失真、大量含噪等问题,文中提出一种基于人眼视觉特性的Curvelet域低照度图像增强算法。

1 人眼视觉特性

人眼视觉系统(human visual system,HVS)中存在亮度遮蔽(luminance masking,LM)特性[11-12],主要表现为人眼视觉的敏感度随所观察环境的亮度呈非线性变化,人眼对亮度的敏感程度随着环境亮度的增加而提高。这种特性符合心理学的韦伯−费希纳定律,方程为

${{\Delta I} / I} = K$ (1)

式中:I为人眼受到的激励程度, $\Delta I$ 为能察觉到的激励极小值,K为韦伯常量,一般为0.015左右。由于K不变, $\Delta I$ I的增大而增大;但当I很小时,式(1)不成立; $\Delta I$ 极小,两者呈非线性关系。研究表明,式(1)只在中等的亮度区才成立,人眼视觉特性函数需分段表达,一般将它分为4个部分,如图1所示。

Download:
图 1 人眼视觉特性曲线

图中x轴表示刺激强度,y轴为人眼的最小可觉差,这里用可觉差的对数表示。第一部分为低对比度区域,该区域刺激强度过低,人眼无法感受其变化;第二部分为低亮度部分,斜率一般为0.5左右,定义为德弗里斯区;第三部分为中等亮度区域,曲线斜率为1,定义为韦伯区域;最后一部分为饱和区,该部分强度已呈现饱和状态,人眼视觉感受失真。因此,只有在韦伯区域中人眼视觉特性才有效。

亮度−对比度遮蔽(luminance and contrast masking,LCM)是人眼视觉系统的另一重要特性,即人眼视觉的敏感度与对比度的相对变化有关。在低对比度和过高对比度的环境中,人眼的视觉敏感度很低,当亮度处于中等对比度时,人眼的视觉敏感度最高。

2 Curvelet变换

作为小波变换的一种改进算法,Curvelet变换具有小波变换的尺度特性,同时,还具有较强的方向选择性和线性特性[13-14]。其计算速度较传统小波变换大幅提高,能很好地保留边缘和细节部分,图像更清晰。其主要原理是把曲线分割成多个小段,每段曲线都可用直线段来近似表示,接着采用脊波(Ridgelet)变换算法来进一步处理。整个变换流程包含子带分解、平滑分段、规范化以及Ridgelet分析等一系列步骤,其变换过程介绍如下。

设在二维空间R2中存在平滑非负的“半径窗”W(r)和“角窗”V(t),满足容许性条件:

$\sum\limits_{j = - \infty }^{ + \infty } {{W^2}({2^j}r)} = 1,r \in (0.75,1.5)$
$\sum\limits_{j = - \infty }^{ + \infty } {{V^2}(t - l)} = 1,r \in ( - 0.5,0.5)$

对所有尺度 $j \geqslant {j_0}$ ,定义傅里叶频域的频率窗 ${U_j}$

${U_j}(r,\theta ) = {2^{ - 3j/4}}W({2^{ - j}}r)V(\frac{{{2^{\left\lfloor {j/2} \right\rfloor }}\theta }}{{2{\rm{\text π}}}})$

式中: $\left\lfloor {j/2} \right\rfloor $ 表示 $j/2$ 的整数部分, ${U_j}$ WV限制的“楔形”窗口。

引入均匀旋转角序列 ${\theta _l} = 2{\rm{\text π}} \cdot {2^{ - \left\lfloor {j/2} \right\rfloor }} \times l$ $l = 0,1, \cdots $ $0 \leqslant {\theta _l} \leqslant 2{\rm{{\text{π}}}}$ $k = ({k_1},{k_2}) \in {Z^2}$ 。定义在尺度 ${2^j}$ ,方向 ${\theta _l}$ ,平移参数 $({k_1},{k_2})$ 处的Cuevelet为

${\varphi _{j,l,k}}(x) = {\varphi _j}[{{{R}}_{{\theta _l}}}(x - x_k^{(j,l)})]$

式中: $x_k^{(j,l)} = {{R}}_{{\theta _l}}^{\rm{T}}({k_1} \times {2^{ - j}},{k_2} \times {2^{ - j/2}})$ ${{{R}}_{{\theta _l}}}$ 表示以 ${\theta _l}$ 为弧度的旋转, ${{R}}_{{\theta _l}}^{\rm{T}}$ ${{{R}}_{{\theta _l}}}$ 的转置。

${{{R}}_{{\theta _l}}} = \left[ {\begin{array}{*{20}{c}} {\cos \;{\theta _l}}&{\sin \;{\theta _l}} \\ { - \sin \;{\theta _l}}&{\cos \;{\theta _l}} \end{array}} \right]$

在上述基础上,将连续Cuevelet变换定义如下:

$c(j,l,k) = \left\langle {f,{\varphi _{j,l,k}}} \right\rangle = \int_{{R^2}} {f(x)} {\overline \varphi _{j,l,k}}(x){\rm{d}}x$

式中: $\left\langle {f,{\varphi _{j,l,k}}} \right\rangle $ $f$ ${\varphi _{j,l,k}}$ 的内积, ${\overline \varphi _{j,l,k}}(x)$ ${\varphi _{j,l,k}}(x)$ 的共轭复数。

3 本文方法

为提高低照度图像的对比度、保持图像细节、抑制噪声,文中利用Curvelet变换获取亮度的高频和低频分量,结合人眼视觉的LM和LCM特性,对亮度的高低频分量分别进行非线性处理,提出一种基于人眼视觉特性的 Curvelet域低照度图像增强算法。算法流程如图2所示。

Download:
图 2 算法流程

LM 的函数定义如下:

$C_{i,{\rm{LM}}}^{(n)} = \frac{{y_i^{(n)}}}{{{a_1} + {{\left| {{y_0}} \right|}^{{\gamma _1}}}}}$

式中:为避免分母为0,将分母加上一个常数 ${a_2}$ ,利用 ${\gamma _2}$ 调节亮度受周围刺激程度, ${y_0}$ 为低频系数, $y_i^{(n)}$ 为高频系数,i为分解的方向数,n为层数。

LCM函数的定义如下:

$C_{i,{\rm{LCM}}}^{(n)} = \frac{{C_{i,{\rm{LM}}}^{(n)}}}{{{a_2} + {{\left| {C_{i,{\rm{LM}}}^{(n + 1)}} \right|}^{{\gamma _2}}}}}$

同理,为避免分母为0,在分母上添加常数 ${a_2}$ ,利用 ${\gamma _2}$ 调节亮度受周围环境的刺激程度。经非线性增强的LCM参量可反向得到处理后的LM参量:

$C_{{\rm{LM}}}^{(n)} = C_{{\rm{LCM}}}^{(n)} \cdot [{a_2} + {\left| {C_{{\rm{LM}}}^{(n + 1)}} \right|^{{\gamma _2}}}]$

对增益后LM参量进行反向变换,得到Curvelet高频系数:

$y_i^{(n)} = C_{{\rm{LCM}}}^{(n)} \cdot [{a_1} + {\left| {y_0^{}} \right|^{{\gamma _1}}}]$
3.1 高频系数非线性增强

Curvelet分解得到的高频子带系数表示低照度图像的细节部分,系数值大的为边缘部分,系数值较小的为噪声部分,多数图像增强方法将工作重点放在系数值较小的高频分量上,而留下系数值较大的部分。但由于低照度图像自身对比度低,高频系数普遍较小,边缘和噪声分量难以区分,因此,若直接增强高频系数,则必然同时增大噪声。本文利用人眼视觉特性对比度遮蔽特性,通过Curvelet分解得的高低频系数计算LCM参量,对LCM参量进行非线性增强,最后再逆向获取高频分量。增益函数如下:

$f{\rm{(}}x{\rm{) = }}a\left\{ {\varSigma {\rm{[}}c{\rm{(}}x{\rm{ - }}b{\rm{)] - }}\varSigma {\rm{[ - }}c{\rm{(}}x{\rm{ - }}b{\rm{)]}}} \right\}$

式中: $a = \displaystyle\frac{1}{{\varSigma {\rm{[}}c{\rm{(}}x{\rm{ - }}b{\rm{)] - }}\varSigma {\rm{[ - }}c{\rm{(}}x{\rm{ - }}b{\rm{)}}]}}$ $\varSigma (x) = \displaystyle\frac{1}{{1 + \exp ( - x)}}$ $0 < b < 1$ bc分别为用于调节增强范围和增强强度的系数。非线性增强系数曲线如图3所示。

Download:
图 3 非线性增强函数曲线

HVS反变换得到增强后的高频分量,为避免增强边缘的同时也增强噪声,本文的增强算法对高频分量的最细子带进行阈值化处理,阈值设定如下:

$T = \left\{ {\begin{array}{*{20}{c}} &{\!\!\!\!\!\!\!\!\!\!\!\!3\delta \sqrt {{\delta _{j,k}}} }\;,\;{j = 1,2, \cdots ,J - 1} \\ &{\!\!\!\!\!\!\!\!\!\!\!\!\rho 3\delta \sqrt {{\delta _{j,k}}} }\;,\;{j = J} \quad\quad\quad\quad\quad\end{array}} \right.$

式中: $\rho $ 表示高频子带微调系数, $\delta ={\rm{median}} [{\rm abs}(c)]/$ $ 0.674\;5$ c为分解完成后的最细子带分量。

3.2 低频系数非线性增强

图像的亮度分量经Curvelet分解得到的低频子带表示其概貌信息,低照度图像整体对比度低,低频子带各系数差不大。因此,若将低频信息带入拉伸函数进行处理,能有效增强低照度图像的亮度和对比度。本文通过非完全Beta函数[14]获取亮度变换拟合曲线。归一化的非完全Beta函数为

${I_x}(x) = {B^{ - 1}}(z,w)\int\limits_0^x {{t^{z - 1}}{{(1 - t)}^{w - 1}}} {\rm{d}}t$ (14)

式中: $B(z,w) = \int\limits_0^1 {{t^{z - 1}}{{(1 - t)}^{w - 1}}} {\rm{d}}t$ 为Beta函数, $z \geqslant 0$ $w \geqslant 0$ ,调整zw可拟合得到任意亮度变换曲线。当 $z = 0$ $w = 10$ 时,代入式(2)进行函数拟合,得到的亮度变换曲线如图4所示。

Download:
图 4 非线性增强函数曲线
4 实验与分析

为验证本文算法的有效性,将本文提出的低照度图像增强方法与直方图均衡化、文献[7]方法以及文献[10]方法进行对比实验,实验在旗舰版64位 Windows7的操作系统进行,计算机配置为Intel Core i5-2410M CPU@ 2.3 GHz, 4.00 G内存,编译环境为MATLAB2015b。在监控摄像机采集的低照度电力设备图像上进行本文算法与对比算法的效果测试,分别从主观视觉效果和客观定量指标两方面对各方法进行评价。

4.1 客观评价指标

尽管主观评价可直接反映图像整体质量,为了提高实验的说服力,本文同时采用图像信息熵和平均梯度2个客观评价指标验证实验结果。

图像信息熵可衡量图像所含信息量,其计算公式如下:

$H = - \sum\limits_{i = 1}^L {P({b_i}) \cdot {\rm lo{g}_2}P({b_i})} $

式中:H为熵, ${b_i}$ 为灰度级,L为最大灰度级,熵值越大表示低照度图像包含细节的有用信息越多。

平均梯度反映图像灰度值的变化率,由图像相邻点的像素值的差分得到,其计算公式为

$\begin{array}{l}G = \displaystyle\frac{1}{{(M - 1)(N - 1)}}\times\\\displaystyle\sum\limits_{i = 1}^M {\displaystyle\sum\limits_{j = 1}^N {\sqrt {\displaystyle\frac{{{{(F(i,j) - F(i{\rm{ + }}1,j))}^2} + {{(F(i,j) - F(i,j + 1))}^2}}}{2}} } } \end{array}$

式中:MN分别为图像的长和宽, $F(i,j)$ 表示图像在点 $(i,j)$ 处的像素值,平均梯度值越大表示图像包含的细节越多,清晰度越高。

4.2 实验结果与分析

图5~7所示,图5(a)6(a)7(a)为监控摄像机所采集的典型低照度原图,均存在亮度和对比度低、细节严重丢失等缺陷。图5(b)6(b)7(b)为直方图均衡化对两图像的处理效果,尽管原图的亮度和对比度有所提升,图像出现的色彩失真使得细节更加难以分辨。图5(c)6(c)7(c)为文献[7]提出的改进的直方图均衡化图像增强方法的结果,相较于直方图均衡化,该方法进一步提升了低照度图像的对比度,但未能有效抑制图像噪声,导致增强效果并不理想。图5(d)图6(d)图7(d)是文献[10]提出的梯度域低照度图像增强方法的处理效果。提升了原始低照度图像的全局对比度,突出了图像的边缘信息,但在局部出现色彩失真。图5(e)6(e)7(e)为本文方法的处理结果,可以看出本文方法不仅改善了低照度图像的亮度和对比度,抑制了图像噪声,还有效保留了图像的细节信息,从而提升了低照度图像的视见度。

Download:
图 5 对原图A的处理效果对比
Download:
图 6 对原图B的处理效果对比
Download:
图 7 对原图C的处理效果对比

为了进一步说明本文算法的优越性,从图像信息熵和平均梯度2个方面对本文方法和对比算法作定量分析,表1为本文方法与对比方法在低照度图像库中的测试结果,表中数据为不同方法在不同测试图上熵值的均值和平均梯度的均值,因此,表中数据可以反映不同方法在本文图片库上处理的整体效果。由表1可知,与直方图均衡化、文献[7]及文献[10]提出的增强方法相比,本文算法在图像信息熵上有较大优势;而在平均梯度上,本文方法也优于文献[7]和文献[10]中的方法;尽管本文方法的平均梯度数值略小于直方图均衡化方法,但考虑到后者带来的严重色彩失真,其增强效果并不理想,而本文方法在提升了低照度图像的亮度和对比度的同时,挖掘了图像的细节信息,抑制了图像噪声,与对比方法相比,本文方法具有明显优势。

表 1 不同方法处理结果的定量分析
5 结论

1)针对低照度图像普遍存在的对比度低、色彩失真、细节丢失严重等问题,提出一种基于人眼视觉特性的Curvelet域低照度图像增强算法。

2)将人眼视觉系统的亮度遮蔽和亮度−对比度遮蔽特性应用于Curvelet变换域高频子带系数的非线性增强,提升了图像质量。

实验结果表明,本文方法对低照度图像的亮度和对比度的提升明显,抑制了图像噪声,并且使得图像的细节得到保持,有效提高了低照度图像的质量,对于保证计算机视觉系统在实际场景中应用的可靠性具有重要意义。

参考文献
[1] KULKARNI A S, SHINDE S B. A review paper on monitoring driver distraction in real time using computer vision system[C]//Proceedings of 2017 IEEE International Conference on Electrical, Instrumentation and Communication Engineering (ICEICE). Karur, India, 2017: 1−4. (0)
[2] ANTIPOV V, KOKOVKINA V, KIRNOS V et al. Computer vision system for recognition and detection of color patterns in real-time task of robot control[C]//Proceedings of 2017 Systems of Signal Synchronization, Generating and Processing in Telecommunications (SINKHROINFO). Kazan, Russia, 2017: 1−5. (0)
[3] 龚超, 罗毅, 涂光瑜. 计算机视觉技术及其在电力系统自动化中的应用[J]. 电力系统自动化, 2003, 27(2): 78-81. DOI:10.3321/j.issn:1000-1026.2003.02.017 (0)
[4] 余春艳, 徐小丹, 林晖翔, 等. 应用雾天退化模型的低照度图像增强[J]. 中国图象图形学报, 2017, 22(9): 1194-1205. (0)
[5] GUO Xiaojie, LI Yu, LING Haibin. LIME: Low-light image enhancement via illumination map estimation[J]. IEEE transactions on image processing, 2017, 26(2): 982-993. DOI:10.1109/TIP.2016.2639450 (0)
[6] PARK S, YU S, MOON B, et al. Low-light image enhancement using variational optimization-based retinex model[J]. IEEE transactions on consumer electronics, 2017, 63(2): 178-184. DOI:10.1109/TCE.2017.014847 (0)
[7] CHANG Y C, CHANG Chunming. A simple histogram modification scheme for contrast enhancement[J]. IEEE transactions on consumer electronics, 2010, 56(2): 737-742. DOI:10.1109/TCE.2010.5505995 (0)
[8] DEMIREL H, OZCINAR C, ANBARJAFARI G. Satellite image contrast enhancement using discrete wavelet transform and singular value decomposition[J]. IEEE geoscience and remote sensing letters, 2010, 7(2): 333-337. DOI:10.1109/LGRS.2009.2034873 (0)
[9] FU Xueyang, LIN Qin, HUANG Yue, et al. A novel Retinex algorithm based on alternating direction optimization[C]//Proceedings of the Sixth International Symposium on Precision Mechanical Measurements. Guiyang, China, 2013. (0)
[10] 张菲菲, 谢伟, 石强, 等. 人眼视觉感知驱动的梯度域低照度图像对比度增强[J]. 计算机辅助设计与图形学学报, 2014, 26(11): 1981-1988. (0)
[11] YANG Yong, YANG Mei, HUANG Shuying, et al. Multifocus image fusion based on extreme learning machine and human visual system[J]. IEEE access, 2017, 5: 6989-7000. DOI:10.1109/ACCESS.2017.2696119 (0)
[12] CHOI M, KIM R Y, NAM M R, et al. Fusion of multispectral and panchromatic Satellite images using the curvelet transform[J]. IEEE geoscience and remote sensing letters, 2005, 2(2): 136-140. DOI:10.1109/LGRS.2005.845313 (0)
[13] SRIVASTAVA R, PRAKASH O, KHARE A. Local energy-based multimodal medical image fusion in curvelet domain[J]. IET computer vision, 2016, 10(6): 513-527. DOI:10.1049/iet-cvi.2015.0251 (0)
[14] 石丹, 李庆武, 倪雪, 等. 基于Contourlet变换的红外图像非线性增强算法[J]. 光学学报, 2009, 29(2): 342-346. (0)