«上一篇
文章快速检索     高级检索
下一篇»
  应用科技  2020, Vol. 47 Issue (5): 74-78  DOI: 10.11991/yykj.202001007
0

引用本文  

闫保中, 韩旭东, 何伟. 基于Retinex理论改进的低照度图像增强算法[J]. 应用科技, 2020, 47(5): 74-78. DOI: 10.11991/yykj.202001007.
YAN Baozhong, HAN Xudong, HE Wei. Research on image enhancement algorithm of low illumination based on Retinex theory[J]. Applied Science and Technology, 2020, 47(5): 74-78. DOI: 10.11991/yykj.202001007.

通信作者

韩旭东,E-mail:xumeismile_h@163.com

作者简介

闫保中,男,研究员;
韩旭东,男,硕士研究生

文章历史

收稿日期:2020-01-08
基于Retinex理论改进的低照度图像增强算法
闫保中, 韩旭东, 何伟    
哈尔滨工程大学 自动化学院,黑龙江 哈尔滨 150001
摘要:针对光照不均匀、光线暗等环境导致图像采集单元采集到的图像视觉效果差、噪声大等问题,本文提出一种基于视网膜和皮层(Retinex)理论改进的低照度图像增强算法去恢复图像原有的视觉特征。将低照度图像从红、绿、蓝(RGB)空间转换到色调、饱和度、亮度(HSV)空间,在HSV空间的V通道去对低照度图像进行处理,这样能够避免图像三基色比例关系被破坏;采用改进的多尺度Retinex (MSR)算法估计光照分量,用非局部均值(NLM)滤波代替高斯滤波,利用滤波窗口与相邻窗口间的递归关系来简化计算,不仅能准确估计光照分量,还能够提高图像的处理速度;最后进行颜色空间逆变换,转换到人眼习惯的RGB颜色空间。实验结果表明该算法可以有效提高图像清晰度,保护图像的细节信息。
关键词Retinex理论    低照度图像    RGB空间    图像增强    MSR算法    HSV空间    非局部均值算法    光照分量    
Research on image enhancement algorithm of low illumination based on Retinex theory
YAN Baozhong, HAN Xudong, HE Wei    
College of Automation, Harbin Engineering University, Harbin 150001, China
Abstract: In order to solve the problems of poor visual effect and high noise caused by uneven illumination and dark environment, an improved low illuminance image enhancement algorithm is proposed in this paper based on retina-cortex (Retinex) theory, so as to restore the original visual features of the image. Firstly, the low illuminance image is transformed from red, green, blue (RGB) space to hue, saturation, value (HSV) space, and the low illuminance image is processed in the V channel of HSV space, thus the destruction of the three primary color proportion relationship of the image can be avoided. Secondly, the improved multi-scale Retinex (MSR) algorithm is used to estimate the illumination component, and non local means (NL-means) filtering is used to replace Gaussian filtering. The recursive relationship between filtering windows and adjacent windows can be used to simplify the calculation. This not only can accurately estimate the light component, but also can improve the processing speed of the image. Finally, the inverse transformation of color space is carried out, and it is converted to RGB space used by human eyes. Experimental results show that the algorithm can effectively improve image clarity and protect image details.
Keywords: Retinex theory    low illumination image    RGB space    image enhancement    MSR algorithm    HSV space    NLM algorithm    illumination component    

图像信息是人与人之间进行交换信息的主要传播媒介,人们在日常生活中,图像信息是不可或缺的。据研究结构不完全统计,视觉信息在人类获取的外界信息比听觉信息多一倍以上,大约占信息总数的3/4。图像是最简单直观的信息来源。随着科技的发展,人工智能当前发展迅速,在进行物体识别时,许多识别场合都需要用到视觉效果良好的图像。然而在实际场景中,理想的光照条件往往很难得到满足,在这种环境下,无论是通过人眼直接获取,还是通过图像采集单元采集到的图像信息,常常存在整体亮度偏暗、噪声大、图像细节信息少等问题。因此有必要采用图像增强算法,去处理视觉效果差的图像,提高图像的质量,丰富图像细节,提高图像对比度,消除图像噪声,以便对图像进行后期处理。例如:视频监控、驾驶员驾驶行为检测、医学图像处理等。综上所述低照度图像增强技术在未来各行各业都有重要的研究价值。

在实际生活中,多种图像增强技术已经被应用,其中常用的有暗通道算法、伽马校正、依据直方图的直方图均衡化、色调映射神经网络、Retinex理论。其中基于Retinex理论,经过多年的研究,学者又提出了多种图像增强算法。刘晓阳等[1]在Retinex算法基础上用双边滤波代替高斯滤波,该算法避免了图像的颜色失真及细节丢失,缺点是算法复杂,程序运行时间长;Fu等[2]在Kimmel和Ng方法的基础上提出了光照和反射的加权变分模型,该算法可以使图像的高频信息不被破坏;李慧芳等[3]人使用变分最优化技术,并且在该技术中加入了投影归一化最速下降法,通过两种技术的结合去遥感图像的光照分量也即低频分量,该算法作用明显,能够明显消除遥感图像的灰度不均匀性,并且保持图像的纹理信息;刘钦堂[4]在处理图像时,对颜色空间进行了变换,将图像的颜色空间由RGB变换至HIS,在HIS空间中,I表示的是亮度分量,除此之外他还将亮度分量分成不同的区间段,区间的分段采用对数图像处理模型,每一个区间段都有自己的尺度,在每个区间独立地使用Retinex算法进行图像增强,该算法可以减少图像中颜色的失真。张雪峰等[5]提出使用具有边缘保持特性的双边滤波核函数作为中心环绕函数,双边滤波可以准确估计明暗突变的环境照度分量,但是该算法比较复杂,计算量较大,在嵌入式系统中考虑到实时性,该算法不能被采用。He等[6]采用局部线性模型的引导滤波作为中心环绕函数,引导滤波保留着双边滤波的平滑保边作用,并且其效率不受窗口半径的影响,程序运行的时间复杂度也大大降低。

针对光照不均匀,导致采集到的图像噪声大、分辨率低、图像整体对比度差等问题,本文对Retinex理论进行研究,用改进的低照度图像增强算法去恢复图像原有的视觉特征,提高图像的质量。

1 Retinex基本理论 1.1 Retinex理论

Retinex理论由Land在大量的重复试验后在俄亥俄州提出。根据Retinex理论,一幅图像由入射图像和反射图像构成,入射图像在频域中属于低频分量,它是缓慢变化的反射分量具有突变性,在图像的频域中属于图像的高频分量。

图像模型表示为

$ S(x,y) = L(x,y)R(x,y) $ (1)

式中: $S(x,y)$ 为源图像; $ L\left(x,y\right) $ 为图像的光照分量; $R(x,y)$ 为图像的反射分量。其中 $R(x,y)$ 为我们要求的目标图像,光照分量只能通过近似估计获得。Retinex算法框图如图1所示。

Download:
图 1 Retinex算法框图
1.2 Retinex相关算法

在Retinex理论提出后,单尺度Retinex(single-SR, SSR)算法出现。为了计算方便,在求解时,需要将式(1)转换到对数域

$\ln [R(x,y)] = \ln [S(x,y)] - \ln [S(x,y)G(x,y)]$ (2)

在传统的Retinex算法中, $G(x,y)$ 常取高斯函数,使用高斯尺度算子可以对原图像提供更局部的处理,从而更好地增强图像,式(2)中 $G(x,y)$ 表示的是Retinex算法中的中心环绕函数。

$ G(x,y) = {{\lambda}} {{\rm{e}}^{\frac{{ - ({x^2} + {y^2})}}{{{c^2}}}}} $

式中: ${{\lambda}}$ 是一个常量,满足:

$ \iint {G(x,y){\rm{d}}x{\rm{d}}y = 1} $

c作为中心环绕函数的一个重要尺度常量,c的大小与图像的动态压缩范围密切相关。c越小,表示低照度图像的动态范围压缩的程度就相比较大; $ c $ 越大,图像锐化程度越大。使用SSR算法不能同时满足细节增强、颜色保真。

SSR算法在单一尺度对图像进行处理。这种单一操作,不能同时保证图像的色彩动态范围和图像的色感。针对这一问题,Rahman等[7]提出了MSR算法。MSR是SSR算法的加权平均。MSR算法表示如下:

$\ln [R(x,y)] = \sum\limits_{i = 1}^n {{\omega _i}\{ \ln [I(x,y)] - \ln [I(x,y){G_i}(x,y)]\} } $

式中:n为MSR算法中多尺度的个数,经实验验证n通常取3比较合适,当n取3时可以表示彩色图像; ${\omega _i}$ 为加权系数; ${G_i}(x,y)$ 一般取高斯低通滤波器:

$ {G_{i}}(x,y) = {\lambda _i}{{\rm{e}}^{\frac{{ - ({x^2} + {y^2})}}{{c_i^2}}}} $

MSR算法已经做出了很大的改进。在进行MSR算法时分别对RGB每个通道进行处理,在对单独通道进行处理时容易造成每个通道处理之后不平衡,引入其他干扰噪声,这样处理之后会导致图像的局部颜色失真,不能呈现物体本身的面貌,图像的整体效果将会变差,视觉效果不佳。

2 低照度图像增强算法改进 2.1 HSV颜色空间及变换

物体的颜色空间目前有很多种,例如RGB、LAB、YUV等类型。颜色是人们视网膜以及大脑处理之后产生的视觉效应。人们根据物体颜色的直观特性提出了HSV颜色空间。在HSV颜色空间中,H表示颜色的色调、S为饱和度、V为亮度,该模型在几何图形中与六角锥类似,人们常称HSV颜色空间为六角锥模型。HSV颜色空间模型如图2所示。

Download:
图 2 HSV颜色空间模型

在HSV模型中,色调H用数学上的圆形角度度量,范围为0°~360°;亮度V取值范围为0~1,V值越大,图像颜色越饱和;饱和度S的取值范围为0~100%,S越大,表示图像的颜色越饱和。

在HSV颜色空间,亮度分量是单独通道,对亮度通道进行处理不会对图像的色彩产生其他影响,避免了处理之后颜色失真。RGB图像转换到HSV颜色空间如下

$ \max = \max (R,G,B) $
$ \min = \min (R,G,B) $
$ {\mathit{\Delta}} {\rm{ = }}\max - \min $
$ H = \left\{ \begin{array}{l} 0^\circ ,\;\max = \min \\ 60^\circ \dfrac{{G - B}}{{\mathit{\Delta}} } + 0^\circ ,\;\max = R \;{\text{且}}\; G \geqslant B \\ 60^\circ \dfrac{{G - B}}{{\mathit{\Delta}} } + 360^\circ ,\;\max = R \;{\text{且}}\; G < B \\ 60^\circ \dfrac{{B - R}}{{\mathit{\Delta}} } + 120^\circ ,\;\max = G \\ 60^\circ \dfrac{{R - G}}{{\mathit{\Delta}} } + 240^\circ ,\;\max = B \end{array} \right. $
$ S{\rm{ = }}\left\{ \begin{array}{l} 0,\;\max = 0\\ {\rm{1}} - \dfrac{{\min }}{{\max }},{\text{其他}} \end{array} \right. $
$ V = \max $
2.2 非局部均值滤波算法

非局部均值(NLM)[8]是近年来通过实验方法得到的一种新的数字式去噪方法。NLM方法将图像中的冗余信息充分利用起来,不但可以有效对图像进行降噪,而且可以最大程度保留图像的细节纹理信息。NLM算法是以块之间的相似性为基础建立权值计算模型的[9]。假设图像 $P(x,y)$ 为噪声图像,图像 $D(x,y)$ 为去噪之后的图像,图像 $D(x,y)$ 中像素点x处的灰度值为

$ D(x,y) = \sum\limits_{y \in I} {\omega (x,y)P(x,y)} $

式中 $\omega (x,y)$ 为图像中每个像素点之间的相似度, $\omega (x,y)$ 的大小计算过程如下

$ \omega (x,y) = \frac{1}{{z(x)}}\exp \Bigg( - \frac{{||V(x) - V(y)||_{2,a}^2}}{{{h^2}}}\Bigg) $

式中: $V(x)$ $V(y)$ 分别为以 $x$ $y$ 为中心求取的欧式距离;h为滤波算法的滤波参数,其值越大,去噪效果越理想,但图像的细节信息就会减少; $z\left(x\right)$ 为图像的归一化系数:

$ z(x) = \sum\limits_y {\exp \Bigg(\frac{{||V(x) - V(y)||_{2,a}^2}}{{{h^2}}}\Bigg)} $
2.3 改进MSR算法

MSR算法通过提升图像中暗区域的幅度进而去提升图像的亮度。在传统的MSR算法中,研究人员通常对R、G、B三通道分别采用Retinex算法进行操作,由于3个通道图像增强尺度不一致,导致其在后期图像融合会产生颜色失真[10]。本文将RGB颜色空间转换到HSV空间,由于对低照度图像进行增强,亮度通道作用明显,算法仅仅处理V分量,可以在恢复和调节图像光照条件的同时保持图像真实色彩,有利于后续图像识别与分析的准确性。改进的MSR算法流如图3所示。

Download:
图 3 低照度图像增强算法示意
3 实验结果分析

本文图像增强算法进行实验的硬件环境如下:CPU为Intel(R) Core(TM) i5-4210U @ 1.70 GHz 2.40 GHz,内存4 GB;软件环境:Window10操作系统,Visual Studio 2017软件,图像处理库版本OpenCv3.41。

在低照度图像增强算法实验中,为了验证本文算法的有效型,本文从图像库选择了多幅图像进行实验,并与SSR算法、MSR图像增强算法进行了比较。在实验中选择了部分实验结果图像进行对比,如图4~7所示。

Download:
图 4 立交桥低照度图像对比
Download:
图 5 人像低照度图像对比
Download:
图 6 室外低照度图像对比
Download:
图 7 室内低照度图像对比
3.1 主观评价

针对图4~7实验结果,对源图像以及增强后的图像的局部区域进行解释说明。在测试图4中,用SSR算法进行增强,光线明亮,但图像质量变差;用MSR算法处理,图像略模糊;而用本文算法处理低照度图像,轮廓清晰。在测试图5中,在原始图像中,小男孩右侧漆黑一片,看不出任何细节,在进行图像增强之后,小男孩右侧能够看到一只手;传统的算法在增强之后,图像若隐若现地出现一层薄雾;而本文算法处理之后轮廓更加明显,并且可以看清小男孩上衣的字母,在本文算法和传统的SSR、MSR算法比较之后,本文算法有明显的优势。在测试图6中,本文算法处理之后,墙上的箭头颜色更加鲜艳明亮。在测试图7中,本文算法处理的图像物体轮廓鲜明,易于分辨。综上所述,本文算法在主观视觉方面比其他图像增强算法增强作用更佳,能够增强图像的细节。

3.2 客观评价

从主观角度评价有时难以有效说明算法的有效性,每个人的主观能动性对结果影响比较大,同一个人在不同时间可能就有不同的评价标准,下面将从客观角度进行评价。用图像的均值、标准差、平均梯度等方面综合考虑,通过多条指标去对图像的质量好坏进行评估。

1)图像均值:图像的均值与一副图像整体的明暗情况密切相关,均值越接近中值,图像越理想,对于人类的视觉体验越好,并且均值越大说明图像亮度越大[11]

2)标准差:标准差这一物理量反映了图像像素值与均值的离散程度,图像标准差越大说明图像的质量越好[12]

$ \delta {\rm{ = }}\sqrt {\frac{{\rm{1}}}{{MN}}\sum\limits_{x = 1}^M {\sum\limits_{y = 1}^N {{{(S(x,y) - u)}^2}} } } $

式中:MN分别表示图像的大小; $S(x,y)$ 为图像中的像素值;u为图像均值。

3)平均梯度:平均梯度反映了图像的清晰度和图像细节纹理变化,平均梯度越大说明图像越清晰[13]

$ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {g = \dfrac{1}{{MN}}\displaystyle\sum\limits_{x = 1}^M {\displaystyle\sum\limits_{y = 1}^N {} } }\\ {} \end{array}}&{\sqrt {\dfrac{{\dfrac{{\partial {f^2}}}{{\partial x}} + \dfrac{{\partial {f^2}}}{{\partial y}}}}{2}} } \end{array} $

实验选取的图像客观评价结果如表1~3所示。

表 1 不同算法图像均值对比
表 2 不同算法图像标准差对比
表 3 不同算法平均梯度对比

表1~3可以看出,在图像均值对比中,采用SSR算法处理图像均值最大,表示图像的亮度也最高;在图像标准差和平均梯度对比中,本文算法的计算指标最高,说明低照度图像经过本文算法的处理之后,图像质量好,图像的清晰度有很大提高,图像的纹理较复杂,能够表示图像的更多细节信息,包含图像的信息量变大。

4 结论

本文针对图像采集单元在低光照强度下采集到低对比度、质量差的图像,研究基于Retinex理论的图像增强算法,针对算法的缺点进行改进。在HSV空间处理低照度图像,采用改进的MSR算法估计光照分量,能够准确估计出光照分量。

1)改进的算法不但可以得到高质量的图像,而且有效保留图像的纹理以及细节信息,处理之后图像清晰度有了明显的提高。

2)改进后的算法在进行图像增强时,亮度增强幅度不是很大,在接下来的工作中,将重点提升算法的性能,优化算法,提高低照度图像亮度。

参考文献
[1] 刘晓阳, 乔通, 乔智. 基于双边滤波和Retinex算法的矿井图像增强方法[J]. 工矿自动化, 2017, 43(2): 49-54. (0)
[2] FU Xueyang, ZENG Delu, HUANG Yue, et al. A weighted variational model for simultaneous reflectance and illumination estimation[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA, 2016: 2782−2790. (0)
[3] 李慧芳, 沈焕锋, 张良培, 等. 一种基于变分Retinex的遥感影像不均匀性校正方法[J]. 测绘学报, 2015, 39(6): 585-591, 598. (0)
[4] 刘钦堂. 基于Retinex算法的彩色图像增强研究[D]. 哈尔滨: 哈尔滨工程大学, 2012. (0)
[5] 张雪峰, 赵莉. 基于改进Retinex的图像增强算法[J]. 南京理工大学学报, 2016, 40(1): 24-28. (0)
[6] HE Kaiming, SUN Jian, TANG Xiaoou. Guided image filtering[C]//Proceedings of the 11th European Conference on Computer Vision. Heraklion, Crete, Greece, 2010: 1−14. (0)
[7] 刘翔, 石振刚, 臧晶. 基于非局部均值滤波的医学CT图像去噪算法[J]. 沈阳理工大学学报, 2019, 38(3): 67-72. DOI:10.3969/j.issn.1003-1251.2019.03.013 (0)
[8] RAHMAN Z, JOBSON D J, WOODELL G A. Multi-scale retinex for color image enhancement[C]//Proceedings of 3rd IEEE International Conference on Image Processing. Lausanne, Switzerland, 1996: 1003-1006. (0)
[9] RAM I, ELAD M, COHEN I. Image denoising using NL-means via smooth patch ordering[C]//Proceedings of 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. Vancouver, Canada, 2013. DOI: 10.1109/ICASSP.2013.6637871. (0)
[10] 方明, 李洪娜, 雷立宏, 等. 低照度视频图像增强算法综述[J]. 长春理工大学学报(自然科学版), 2016, 39(3): 56-64, 69. (0)
[11] 罗浩, 仲佳嘉, 李祥. 基于改进多尺度Retinex的单幅彩色图像增强算法[J]. 吉林大学学报(理学版), 2019, 57(2): 369-374. (0)
[12] 郭瑞, 党建武, 沈瑜, 等. 改进的单尺度Retinex图像去雾算法[J]. 兰州交通大学学报, 2018, 37(6): 69-75. DOI:10.3969/j.issn.1001-4373.2018.06.011 (0)
[13] 孙杰. 基于MSRCR的水下图像清晰化算法[J]. 无线电工程, 2019, 49(9): 783-787. DOI:10.3969/j.issn.1003-3106.2019.09.006 (0)