2. 中国科学院 模式识别国家重点实验室, 北京 100190
提出了一个新的联合去马赛克和放大算法, 适合于覆盖有彩色滤波阵列的单传感器数码相机.该算法基于原始彩色滤波阵列图像中的局部梯度，估计插值方向，并一致应用于后续的去马赛克和放大过程中.实验结果显示，该算法显著优于其他现存的相似算法.
2. National Laboratory of Pattern Recognition, Chinese Academy of Sciences, Beijing 100190, China
Applicable for digital cameras equipped with single-sensor covered with a color filter array (CFA), a new joint color demosaicking and zooming algorithm was proposed, the interpolation directions from the raw CFA image was estimated based on the local gradients. The estimated directions were exploited consistently in the demosaicking and zooming. Experiments show that the proposed algorithm is of good performance compared with the several recently published algorithms.
便携式数码相机为了减小尺寸和降低成本，通常只有1个传感器，其上覆盖1个彩色滤波阵列(CFA：color filter array).在每个像素位置，CFA只允许记录1个颜色(红、绿或蓝色)值，该原始的CFA图像称之为马赛克图像.为了恢复全彩色图像，每个像素位置丢失的2个颜色值需要估计，该估计过程称之为去马赛克(demosaicking)[1-3].最常见的CFA模式是Bayer CFA：绿色值在梅花形网格上采样，红色和蓝色值在矩形网格上采样，记录的绿色像素数目是红色或蓝色像素数目的2倍.去马赛克之后，数码相机中另一个重要处理是图像放大.便携式数码相机一般不具有高放大能力的复杂光学系统，因而可采用数字放大技术.
从CFA图像生成放大的全彩色图像的算法可以分为3类.第1类是首先通过去马赛克过程，然后放大去马赛克的图像[4-5]；第2类是首先放大CFA图像，然后对放大的CFA图像执行去马赛克过程[6].这两类方法中，去马赛克和放大过程是独立进行的.第3类是同时(或联合)执行去马赛克和放大过程[7-9].第3类方法有更好的质量性能[9].
1 联合去马赛克和放大算法基于最常见的Bayer CFA模式，提出了一个新的联合去马赛克和放大算法.算法过程包含以下几个阶段：① 绿色平面去马赛克；② 恢复颜色差图像；③ 求精绿色平面和颜色差图像；④ 放大绿色平面；⑤ 放大颜色差图像，并加上放大的绿色平面，获得放大的红色和绿色平面.
1.1 绿色平面去马赛克首先使用自适应的彩色平面插值算法[1]分别在水平和垂直方向插值丢失的绿色像素值，生成2个绿色图像Gh和Gv.在各个丢失的绿色像素位置，需要选择一个更好的插值或组合2个方向的插值.合理的插值方向是沿着边的方向，且图像颜色差值可用于判定插值方向[1].在每个红色和蓝色采样位置，颜色差值Ch和Cv的计算如下：
|
(1) |
计算Ch和Cv的梯度如下：
|
(2) |
如果定义δh(i, j)和δv(i, j)两个分类器，它们是Dh和Dv在中心为(i, j)的5×5的窗口内的梯度和. 2个分类器δh和δv能估计水平和垂直方向颜色差的变化，因而能用于估计边的方向.对所有红色和蓝色像素位置，估计丢失的绿色像素值准则为
|
(3) |
每个丢失的绿色像素的插值方向记录在一个方向矩阵D中，称为方向图，包括水平、垂直和均匀区域3种情形，它将用于后续绿色平面的放大.
在光滑的区域(即弱边或纹理区域)，Gi, j是水平和垂直方向插值的加权平均.它们对Gi, j的贡献应该与该像素所在水平(或垂直)边的强度成正比.由于边的强度与梯度成反比[1]，所以权w1和w2取为梯度的倒数.权w1和w2的计算有2种情形(见图 1)，丢失的绿色像素位置是一个红色像素或蓝色像素.这里仅考虑红色位置丢失的绿色像素(见图 1(a)))，蓝色位置丢失的绿色像素的权值计算是类似的.权w1和w2的计算如下：
|
(4) |
|
图 1 参考CFA样本 |
由于颜色差图像更为光滑[1]，所以通过颜色差恢复丢失的红色和蓝色像素.已经插值的绿色像素值可以认为是已知的，在红(或蓝)色像素位置的颜色差值R-G(或B-G)可直接计算，在绿色像素位置丢失了红和蓝色像素，其颜色差值需要估计.这里仅考虑丢失的B-G差值估计，丢失的R-G差值估计是类似的.丢失B-G差值有3种情形，如图 2所示.由于每个红色像素在对角方向上有4个蓝色像素，所以，在红色像素位置丢失的蓝绿颜色差值首先被估计(见图 2(c)). Kb表示蓝绿颜色差值, 即Ki, jb=Gi, j－Bi, j.这里Ki, jb估计为
|
(5) |
|
图 2 中心丢失蓝绿颜色像素差值的3种情形 |
权值wx, y为
|
(6) |
其中c是一个常量，用于调整加权效果.
一旦获得了在红色像素位置的蓝绿颜色差值，与绿色像素相邻的4个蓝绿颜色像素差值均为已知.这样，在绿色像素位置的蓝绿颜色像素差值(如图 2(a)和(b)）也可以用式(5) 和式(6) 估计，只不过使用水平和垂直方向4个相邻的像素.例如，计算图 2(a)或(b)中丢失的蓝绿颜色差值为
|
(7) |
其中权值wx, y计算为
|
(8) |
借助于颜色差平面，绿色平面能被求精.相反，求精的绿色平面可再用于求精颜色差平面.
1.3.1 绿色平面求精仅需考虑在蓝色像素位置的绿色像素求精，在红色像素位置的绿色像素求精是类似的.假定求精图 3(a)中心蓝色像素位置的绿色像素.Gij=Bij+Kijb，这里Ki, jb用式(7) 计算，其中的权值用式(8) 计算.
|
图 3 中心丢失的绿色像素和蓝绿颜色差值需要求精 |
使用求精的绿色平面，可进一步求精颜色差平面.由于蓝绿颜色差平面的求精与红绿颜色差平面的求精相似，仅需考虑蓝绿颜色差平面的求精.需要求精的蓝绿颜色差值是在绿色和红色采样位置.
初始的蓝绿颜色差值估算后，每个原CFA绿色和红色像素位置，分别在水平和垂直方向有4个相邻的蓝绿颜色差值.在原CFA绿色和红色像素位置的蓝绿颜色差值求精均采用式(7) 和(8) 计算，参考图 3(b)及图 2(a)和(b).
1.4 绿色平面放大绿色平面去马赛克后，生成了一个完整的绿色平面图像和一个插值方向矩阵D.将去马赛克后的绿色图像扩展到2倍放大的网格上，如图 4(a)所示.为了存储新估计的插值方向, D矩阵也扩展到放大的网格上.首先估计边界为虚线的像素，这些像素4个对角方向上的绿色像素是已知的.对于每个丢失的像素，在一个7×7的邻域内，分别估计45°和135°边的强度，然后，沿着强边方向进行双三次插值，作为对丢失像素的估计.如果该邻域是均匀的，则在45°和135°方向分别进行双三次插值，并将这2个方向插值的加权平均作为丢失像素的估计.
|
图 4 图像放大示意图 |
这里仍然运用梯度估计边的方向.邻域中心位置像素(2i, 2j)的梯度计算方法如下：
|
(9) |
其中G表示在放大网格上的绿色平面图像灰度.梯度比可用于估计边的强度：
|
(10) |
如果丢失的中心像素(2i, 2j)是在对角强边上，则利用对角已知的4个绿色像素，进行双三次插值，双三次插值滤波器为[-1, 9, 9, -1]/16[4].如果丢失的中心像素是在均匀的区域上，加权平均估计方法为
|
(11) |
其中：p1和p2分别为45°和135°方向的双三次插值，权值计算方法为
|
(12) |
其中参数k调整加权效果.
其余丢失的绿色像素，通过简单的方向双三次插值得到，如图 4(b)所示，虚线框表示的像素需要估计.每个丢失的绿色像素(x, y)，在水平和垂直方向有4个相邻的已知绿色像素，其插值方向已被计算，且记录在方向矩阵D中.像素(x, y)估计方法如下：
|
(13) |
其中p1和p2分别指水平和垂直方向的双三次插值，权值仍用式(12) 计算，梯度δ1和δ2分别指水平方向和垂直方向梯度，计算方法为
|
(14) |
绿色平面放大后，再放大颜色差图像R-G和B-G，放大的颜色差图像加上放大的绿色图像便获得放大的红色和蓝色平面.
借助于方向矩阵D, 丢失的彩色差值的估计仅通过简单的方向双三次插值实现.类似于绿色平面的放大, 彩色差图像的放大也分为两步，仍然参考图 4.首先估计图 4(a)中虚线框表示的颜色差像素.这些丢失像素的方向已存储在矩阵D中.如果该像素在45°(或135°)强边上, 则在该方向执行双三次插值; 如果该像素是在均匀的区域, 则使用式(9)，式(11) 和(12), 将45°和135°方向的双三次插值进行加权平均.然后，估计其余丢失的颜色差像素，如图 4(b)中虚线框所示的像素.这与第1步类似, 只不过双三次插值是在水平和垂直方向, 加权平均公式使用式(11)(12) 和式(14).
2 实验结果与当前5个代表性算法进行了比较, 第1个方法是“先去马赛克，然后放大”.去马赛克采用非局部取阈值方法[3]，放大采用标准的双三次插值[4].第2个方法是“先放大CFA，然后去马赛克”. CFA放大方法参考[6]，采用交替投影方法[2]去马赛克.另外3个方法是当前出版的联合去马赛克和放大方法[7-9].这5个算法分别表示为A1、A2、A3、A4和A5，自己的方法表示为ours.
实验中使用测试图像如图 5所示. 4个彩色图像的尺寸均为512×768，首先采样获得尺寸为256×384的图像，再按Bayer模式采样生成小的CFA图像.不同的方法用于CFA图像恢复出放大的全彩色图像，并进行比较.算法在实验中的各个参数设置如下[1-4]：式(3) 中T1=1.5, 式(6) 和(8) 中c=2, 式(10) 中T2=1.15，式(12) 中k=5.
|
图 5 测试图像 |
表 1 列出了各种方法输出结果的彩色峰值信噪比(CPSNR, color peak signal-to-noise ratio)性能.新方法提供了最好的平均性能，比排名第2的方法的CPSNR高出0.83 dB.
|
表 1 全彩色图像中不同方法的CPSNR性能 dB |
提出了一个新的联合去马赛克和放大算法.实验结果表明，与传统的方法(“先去马赛克，然后放大”或“先放大CFA，然后去马赛克”)，以及当前出版的其他联合去马赛克和放大算法相比，新方法产生了最好的结果.
| [1] | Zhou Dengwen, Shen Xiaoliu, Dong Weiming. Colour demosaicking with directional filteringand weighting[J]. IET Image Processing, 2012, 6(8): 1084–1092. doi: 10.1049/iet-ipr.2012.0196 |
| [2] | Lu Y M, Karzand M, Vetterli M. Demosaicking by alternating projections: theory and fast one-step implementation[J]. IEEE Trans Image Process, 2010, 19(8): 2085–2098. doi: 10.1109/TIP.2010.2045710 |
| [3] | Zhang Lei, Wu Xiaolin, Buades A, et al. Color demosaicking by local directionalinterpolation and nonlocal adaptive thresholding[J]. Journal of Electronic Imaging, 2011, 20(2): 023016-1–16. doi: 10.1117/1.3600632 |
| [4] | Zhou Dengwen, Shen Xiaoliu, Dong Weiming. Image zooming using directional cubic convolution interpolation[J]. IET Image Processing, 2012, 6(6): 627–634. doi: 10.1049/iet-ipr.2011.0534 |
| [5] | ZhouDengwen, ShenXiaoliu. Edge-directed bicubic color image interpolation[J]. Acta Automatica Sinica, 1012, 38(4): 525–530. |
| [6] | Lukac R, Plataniotis K N, Hatzinakos D. Color image zooming on the Bayer pattern[J]. IEEE Trans Circuits and Systems for Video Technology, 2005, 15(11): 1475–1492. doi: 10.1109/TCSVT.2005.856923 |
| [7] | Chung King-Hong, Chan Yuk-Hee. A low-complexity joint color demosaicking and zooming algorithm for digital camera[J]. IEEE Transactions on Image Processing, 2007, 16(7): 1705–1715. doi: 10.1109/TIP.2007.898997 |
| [8] | Zhang Lei, Zhang David. A joint demosaicking-zooming scheme for single chip digital color cameras[J]. Computer Vision and Image Understanding, 2007, 107(1-2): 14–25. doi: 10.1016/j.cviu.2006.11.006 |
| [9] | Chung Kuo-Liang, Yang Wei-Jen, Chen Pang-Yen, et al. New joint demosaicing and zooming algorithm for color filter array[J]. IEEE Transactions on Consumer Electronics, 2009, 55(3): 1477–1486. doi: 10.1109/TCE.2009.5278016 |