随着信息技术、多媒体技术、网络技术的飞速发展,消费者对照片质量要求越来越高.现在大多数智能手机有很多自动调节的功能,比如,自动曝光[1]、自动聚焦[2]和自动白平衡[3].虽然这些功能能让消费者在各种拍摄条件下轻松拍出高质量的照片,但是在某些特定的情况下,背光照片仍不可避免地会出现,所以很有必要检测图像是否背光.
根据采用的不同方法[4-8],背光检测方法可分为基于亮度直方图的检测方法和基于颜色直方图的检测方法.基于亮度直方图的检测方法[4-7]通过检测图像的亮度分布是否存在明暗两个明显分隔的区域来判断图像是否背光,由于其低复杂度特性成为最常用的背光图像检测方法,但有时正常光照图像的亮度直方图特征也具有背光图像的亮度直方图特征,从而造成误检测.基于颜色直方图的检测方法[8]通过分析图像的颜色分布的集中程度来判断图像是否背光,由于颜色含丰富信息且便于提取,这种检测方法也有较高的竞争力.但是,该方法无法正确检测出图像颜色种类比较少的正常光照图像或颜色种类比较丰富的背光图像.
提出一种基于细节的背光图像检测算法.通过分析Gamma校正[9]不同参数下图像细节的变化规律,依据实验确定出背光图像检测的细节变化阈值.结果显示本文方法相对于基于传统的亮度直方图的检测方法以及基于YCrCb颜色直方图的检测方法具有更高准确率.
1 背光图像检测 1.1 背光图像分析当光源位于图像感兴趣区域的后方时,由于图像中的感兴趣区域曝光不足,将导致背光图像的产生.由于背光图像的感兴趣区域曝光不足,所以背光图像具有以下几个明显的特征:前景区域即感兴趣区域和背景区域之间的亮度差异很大;背光图像的颜色分布比较集中;背光图像的前景区域内容不清晰[10].
图 1 (a)左图是光照正常图像,其他是背光图像;(b)是图像对应的亮度直方图;(c)是图像的Cb、Cr直方图;从图 1(a)可以看出,正常光照的图像细节清晰,边缘清楚,而背光图像前景灰暗,细节显示模糊.图 1(a)左图正常光照图像的Cb、Cr值比较集中,如使用依据颜色(YCbCr)直方图背光检测方法[8]会误判为背光图像;而第2张背光图像的Cb、Cr比较分散,如使用依据颜色(YCbCr)直方图背光检测方法[5]则会误判为正常光照图像;第3张背光图像的亮度直方图不存在明暗两个明显分隔的区域,用依据亮度直方图的背光检测方法[6]则会误判为正常光照图像.
|
图 1 正常图像和背光图像对应的亮度直方图及Cb/Cr直方图 Figure 1 Normal illumination images and backlight images and corresponding luminance histograms and Cb/Cr histograms |
背光图像由于前景亮度较低而导致前景的可见细节少,因此可以提高背光图像的亮度增加图像的可见细节.Gamma校正可用于调整图像的亮度,它具有简单且容易实现的优点.Gamma校正公式[11]为
| $ g={{I}^{\gamma }}, $ | (1) |
其中I是原亮度(范围0~1)[13],γ是校正参数,可设置不同的γ值调整图像的显示效果.图 2是不同的γ值对应的Gamma曲线.当Gamma值等于1的时候,校正前后图像的亮度相同;当γ值小于1时,原图像的高光部分被压缩而暗调部分被扩展;当γ值大于1时,原图像的高光部分被扩展而暗调部分被压缩.
|
图 2 不同γ值对应的Gamma曲线 Figure 2 Different Gamma curves corresponding to different γ values |
图 3是图像采用不同γ值前后对比效果.图 3(a)和(b)分别是背光图像与正常光照图像当γ值分别为1、0.5和1.5的校正结果(其中γ值为1即是原图像).从图 3(a)可看出,当原图存在背光,降低γ值可补偿暗区的亮度,从而改善显示效果,图像可见细节也随之增加.而从图 3(b)可看出,当正常光照图像的γ值变化时,图像可见细节变化不明显.
|
图 3 Gamma校正前后效果对比 Figure 3 Gamma correction: images before and after it |
图像的细节通常是指图像中颜色的变化情况,包含了图像的孤立点、细线、画面突变等.本文通过下面过程检测图像的细节.
假设一幅RGB彩色图像,Jacobian矩阵J可表示为
| $ \mathit{\boldsymbol{J}}=\left[\begin{align} & \begin{matrix} {{R}_{x}} & {} & {{R}_{y}} \\ \end{matrix} \\ & \begin{matrix} {{G}_{x}} & {} & {{G}_{y}} \\ \end{matrix} \\ & \begin{matrix} {{B}_{x}} & {} & {{B}_{y}} \\ \end{matrix} \\ \end{align} \right], $ | (2) |
其中x和y表示颜色通道在x和y方向的偏微分.令矩阵Q = J T J,即
| $ \mathit{\boldsymbol{Q}}={{\mathit{\boldsymbol{J}}}^{\rm{T}}}\mathit{\boldsymbol{J}}=\left[\begin{matrix} {{J}_{x}} & {{J}_{y}} \\ {{J}_{xy}} & {{J}_{y}} \\ \end{matrix} \right]\cdot $ | (3) |
像素点的颜色变化幅度λ可定义为
| $ \lambda =\frac{{{J}_{x}}+{{J}_{y}}+\sqrt{{{\left( {{J}_{x}}-{{J}_{y}} \right)}^{2}}+4{{J}_{xy}}^{2}}}{2}\cdot $ | (4) |
对应的颜色变化方向θ则为
| $ \theta =\frac{1}{2}\arctan \left( \frac{2{{J}_{xy}}}{{{J}_{x}}-{{J}_{y}}} \right)\cdot $ | (5) |
当颜色变化幅度大于预设的阈值,则认为像素点存在颜色变化,可检测到细节.为了滤除干扰,本文通过采用非极大值抑制算法[12]来确定细节数目.
由于背光图像的明显特征是前景部分比较暗,背景部分比较亮,本文使用Liao等人提出的多级阈值算法[14]找到两个阈值Th0和Th1,所以背光图像可以根据阈值Th0分为前景部分和背景部分,图像中I < Th0的部分则为前景,否则为背景.
本文通过分析图像Gamma校正前后前景细节的变化来判断图像是否是背光图像.前后细节变化可定义为
| $ \Delta D=\frac{D'-D}{D} $ | (6) |
其中,D和D′为图像Gamma校正前后的细节数目.当ΔD=0,表示前后图像细节数量没有变化;当ΔD>0,表示校正后图像细节增多;当ΔD < 0,表示校正后图像细节减少.
图 4给出了正常光照图像(500张)和背光图像(500张)在Gamma校正前后细节变化情况的例子.可以看出,通过Gamma变换后(γ=0.5) 背光图像的可见细节数量明显比变换前增多,而正常光照图像通过Gamma变换(γ=0.5) 的可见细节数量变化不大.因此,可根据Gamma变换前后的可见细节数目变化大小来判断输入图像是否是背光图像.
|
图 4 500张背光图像和500张正常图像Gamma(γ=0.5) 变化后细节增加情况 Figure 4 Details increased after Gamma correction |
为了选取合适的γ值用来分析图像Gamma变换前后细节的变化,本文计算了500张背光图像和500张正常光照图像在设置不同的γ值时对应的平均细节变化,结果如图 5所示.可以看出,当γ值很小接近0时,图像校正后会出现曝光过度从而引起细节数量减少.针对背光图像来说,当0.08≤γ≤1.22时校正后的细节增加,而且γ值为0.22时细节的增幅达到最大,当γ≥1.22时背光图像校正后的细节减少;而针对正常光照图像来说,当γ≥0.23时,校正前后的细节数量变化不大.因此,可以选取0.23作为执行Gamma变换时的参数,然后计算变换前后的前景细节变化.
|
图 5 背光图像和正常光照图像在不同Gammar校正参数时的平均细节变化 Figure 5 Backlight iamges and normal images average detail change under different Gamma correction parameters |
由于不同图像相同Gamma值变换后细节数目变化不是恒定的,因此需要确定一个合适的细节变化量ΔD来判断图像是否存在背光.图 6给出了500张背光图像和500张正常光照图像选取不同细节变化量ΔD时的背光图像检测准确率统计曲线.可以看出,当细节变化量ΔD为63%时,检测的准确率最高.因此,本文选择63%作为Gamma校正前后细节的变化阈值,当ΔD≥63%时则认为输入图像是背光图像,否则为正常光照图像.
|
图 6 准确率统计图(γ=0.23) Figure 6 6Accurate statistical figure (γ=0.23) |
测试图像由600张背光图像和600张正常光照的图像组成, 这些图像由日常生活中手机拍摄的照片和网络上搜索的及其他背光图像检测论文的图像组成.算法都是在Matlab平台实现.表 1提供了3种背光图像检测算法的准确率以及运算时间.可以看出,本文提出的基于细节分析的背光图像检测算法的准确率为94%,高于基于亮度直方图的背光图像检测算法和基于YCbCr的颜色背光检测算法(分别为84%和85.5%);而所需的平均运行时间为0.98 s,略大于基于YCbCr的颜色背光检测算法(0.95 s).
| 表 1 3种背光图像检测算法准确率比较 Table 1 Accuracy rate of different backlight image detection algorithms |
本文提出一种基于细节的背光图像检测算法.通过分析图像在不同Gamma校正参数下细节数目的变化规律来确定输入图像是否是背光图像.实验结果显示本文方法准确率(94%)高于基于亮度直方图的检测方法(84%)和基于YCrCb直方图的检测方法(85.5%),平均运行计算时间0.98 s,略大于基于YCbCr的颜色背光检测算法(0.95 s).
| [1] |
杨海涛, 常义林, 王静, 等. 一种基于亮度直方图的自动曝光控制方法[J].
光学学报, 2007, 27(5): 841-847.
YANG H T, CHAN Y L, WANG J, et al. A new automatic exposure alogrithm for video cameras using luminance histogram[J]. Acta Optica Sinica, 2007, 27(5): 841-847. DOI: 10.3321/j.issn:0253-2239.2007.05.016. |
| [2] |
尤玉虎, 刘通, 刘佳文. 基于图像处理的自动对焦技术综述[J].
激光与红外, 2013, 43(2): 132-136.
YOU Y H, LIU T, LIU J W. Survey of the auto-focus methods based on image processing[J]. Laser & Infrared, 2013, 43(2): 132-136. DOI: 10.3969/j.Issn.1001-5078.2013.02.003. |
| [3] |
周荣政, 何捷, 洪志良. 自适应的数码相机自动白平衡算法[J].
计算机辅助设计与图形学学报, 2005, 17(3): 529-533.
ZHOU R Z, HE J, HONG Z L. Adaptive algorithm of auto white balance for digital camera[J]. Journal of Computer-aided Design and Computer Graphics, 2005, 17(3): 529-533. DOI: 10.3321/j.issn:1003-9775.2005.03.025. |
| [4] | SHIMIZU S, KONDO T, KOHASHI T, et al. A new algorithm for exposure control based on fuzzy logic for video cameras[J]. IEEE Transactions on Consumer Electronics, 1992, 38(3): 617-623. DOI: 10.1109/30.156745. |
| [5] | MURAKAMI M, HONDA N.A Study on Noise Tolerance of the IDS Method in Regression[C]//UNT Theses and Dissertations, :IEEE m, 1989:2164-2170. |
| [6] | CHIUNLI C, CHINTENG L. Detection and compensation algorithm for backlight images with fuzzy logic and adaptive compensation curve[J]. International Journal of Pattern Recognition & Artificial Intelligence, 2011, 19(8): 1041-1057. |
| [7] | SU M C, YANG Y S, LEE J, et al. A Neuro-Fuzzy Approach for Compensating Color Backlight Images[J]. Neural Processing Letters, 2006, 23(3): 273-287. DOI: 10.1007/s11063-006-9002-0. |
| [8] | PARK H J, HAN S W. Detection of backlight images using chrominance[J]. Color Imaging XVII:Displaying, Processing, Hardcopy, and Applications, 2012, 8292: 172-179. |
| [9] |
储清翠, 王华彬, 陶亮. 图像的局部自适应Gamma校正[J].
计算机工程与应用, 2015, 51(7): 189-193.
CHU Q C, WANG H B, TAO L. Local adaptive Gamma correction method[J]. CEA, 2015, 51(7): 189-193. |
| [10] | 王慧博. 图像与视频背光补偿技术研究与实现[D]. 西安: 西安电子科技大学通信工程学院, 2009. |
| [11] | 冈萨雷斯. 数字图像处理学[M]. 阮秋琦, 译. 北京: 电子工业出版社, 2007. |
| [12] | Forsyth D, Ponce J, Forsyth D, et al. Computer Vision:A Modern Approach Prentice Hall[M]. Upper Saddle River: Prentice Hall, 2002. |
| [13] |
蔡建新, 汪仁煌, 黄颖怡, 等. 亮度归一化在图像处理中的应用[J].
广东工业大学学报, 2008, 25(4): 65-68.
CAI J X, WANG R H, HUANG Y Y, et al. Application of brightness normalization in image processing[J]. Journal of Guangdong University of Technology, 2008, 25(4): 65-68. |
| [14] | LIAO P S, CHEN T S, CHUNG P C. A fast algorithm for multilevel thresholding[J]. Journal of Information Science & Engineering, 2001, 17(5): 713-727. |
2016, Vol. 33