自动化学报  2017, Vol. 43 Issue (11): 1908-1919   PDF    
基于稀疏表示和结构自相似性的单幅图像盲解卷积算法
常振春1, 禹晶2, 肖创柏2, 孙卫东1     
1. 清华大学电子工程系 北京 100084;
2. 北京工业大学计算机学院 北京 100124
摘要: 图像盲解卷积研究当模糊核未知时,如何从模糊图像复原出原始清晰图像.由于盲解卷积是一个欠定问题,现有的盲解卷积算法都直接或间接地利用各种先验知识.本文提出了一种结合稀疏表示与结构自相似性的单幅图像盲解卷积算法,该算法将图像的稀疏性先验和结构自相似性先验作为正则化约束加入到图像盲解卷积的目标函数中,并利用图像不同尺度间的结构自相似性,将观测模糊图像的降采样图像作为稀疏表示字典的训练样本,保证清晰图像在该字典下的稀疏性.最后利用交替求解的方式估计模糊核和清晰图像.模拟和真实数据上的实验表明本文算法能够准确估计模糊核,复原清晰的图像边缘,并具有很好的鲁棒性.
关键词: 稀疏表示     结构自相似     盲解卷积     模糊核     去模糊    
Single Image Blind Deconvolution Using Sparse Representation and Structural Self-similarity
CHANG Zhen-Chun1, YU Jing2, XIAO Chuang-Bai2, SUN Wei-Dong1     
1. Department of Electronic Engineering, Tsinghua University, Beijing 100084;
2. College of Computer Science and Technology, Beijing University of Technology, Beijing 100124
Manuscript received : April 22, 2016, accepted: September 30, 2016.
Foundation Item: Supported by National Natural Science Foundation of China (61501008), The Capital Health Research and Development of Special (2014-2-4025)
Author brief: CHANG Zhen-Chun Master student in the Department of Electronic Engineering, Tsinghua University. He received his bachelor degree from Tsinghua University in 2014. His research interest covers image processing and pattern recognition;
XIAO Chuang-Bai Professor at the College of Computer Science and Technology, Beijing University of Technology. His research interest covers digital signal processing, audio and video signal processing, and network communication;
SUN Wei-Dong Professor in the Department of Electronic Engineering, Tsinghua University. His research interest covers image processing, pattern recognition, spatial information processing and application
Corresponding author. YU Jing Lecturer at the College of Computer Science and Technology, Beijing University of Technology. She received her Ph. D. degree from Tsinghua University in 2011. Her research interest covers image processing and pattern recognition. Corresponding author of this paper
Recommended by Associate Editor YANG Jian
Abstract: Blind image deconvolution aims to recover the latent sharp image from a blurry image when the blur kernel is unknown. Since blind deconvolution is an underdetermined problem, existing methods take advantage of various prior knowledge directly or indirectly. In this article, we propose a single image blind deconvolution method based on sparse representation and structural self-similarity. In our method, we add the image sparsity prior and structural self-similarity prior to the blind deconvolution objective function as regularization constraints, and we utilize the structural self-similarity between different image scales by taking the down-sampled version of observed blurry image as the sparse representation dictionary training set so that the sparsity of the latent sharp image under this dictionary can be ensured. Finally, we estimate the blur kernel and sharp image alternately. Experimental results on both simulated and real blurry images demonstrate that the blur kernels estimated by our method are accurate and robust, and that the restored images have high visual quality with sharp edges.
Key words: Sparse representation     structural self-similarity     blind deconvolution     blur kernel     deblurring    

在数字成像设备采集图像的过程中, 由于设备的抖动、散焦等因素, 获取的图像往往存在一定程度的模糊.图像去模糊研究如何利用模糊图像复原出原始清晰图像.根据所用的模糊图像数目, 去模糊算法可以分为多幅图像去模糊方法和单幅图像去模糊方法.由于很多情况下很难获取同一时间、同一场景的多幅图像, 所以单幅图像去模糊算法更具有实际意义.如果模糊是均匀的, 则模糊图像$\pmb{y}$与清晰图像$\pmb{x}$的关系可以表示为如下卷积形式:

$ \begin{equation} \pmb{y}=\pmb{h}*\pmb{x}+\pmb{n} \label{eq:BlurModel} \end{equation} $ (1)

其中, *表示卷积操作, $\pmb{h}$为模糊核, $\pmb{n}$为噪声.单幅图像去模糊算法即研究如何从模糊图像$\pmb{y}$中同时估计出模糊核$\pmb{h}$和清晰图像$\pmb{x}$.由于模糊过程被建模为卷积的形式, 且去模糊时并不知道模糊核的具体信息, 所以前面描述的去模糊问题也被称为盲解卷积问题.

盲解卷积是一个欠定问题, 解不唯一, 因此在实际求解过程中必须引入关于模糊核或清晰图像的先验知识.现有的盲解卷积算法都直接或间接地利用各种先验知识, 这些算法大致可以分为两类:一类算法利用启发式的边缘增强方法; 另一类直接建立模糊核或清晰图像的先验概率分布模型.

基于启发式边缘增强方法进行盲解卷积的算法假设模糊图像$\pmb{y}$中含有足够的边缘, 通过增强$\pmb{y}$中的边缘对清晰图像$\pmb{x}$进行近似估计, 最后利用边缘增强的近似估计$\hat{\pmb{x}}$和模糊图像$\pmb{y}$的对应关系估计模糊核. Joshi等[1]首先在模糊图像中定位出边缘的位置和方向, 然后进一步找到边缘像素的局部极值并利用局部极值估计清晰图像的各个边缘位置处的像素值, 得到增强的边缘进而用于模糊核估计, 但该方法只适用于估计单峰的模糊核. Cho等[2]采用冲击滤波器(Shock filter)来增强边缘, 并保留梯度较大的像素以减小冲击滤波器引起的噪声, Xu等[3]进一步发展了该方法, 通过考虑不同尺度结构的边缘对模糊核估计的影响, 可以估计较大的模糊核.这一类盲解卷积算法直接增强模糊图像的边缘, 一般没有统一的目标函数, 求解比较容易, 但采用的边缘增强方法可能对噪声比较敏感, 且容易产生过增强问题.

另一类盲解卷积算法为模糊核$\pmb{h}$或清晰图像$\pmb{x}$建立先验概率分布模型, 通过求解如下所示的最大后验问题来估计$(\pmb{x}, \pmb{h})$:

$ \begin{equation} (\hat{\pmb{x}}, \hat{\pmb{h}})=\arg\max\limits_{\pmb{x}, \pmb{h}}P(\pmb{y}|\pmb{h}, \pmb{x})P(\pmb{x})P(\pmb{h}) \label{eq:mapxk} \end{equation} $ (2)

其中, $P(\pmb{x})$$P(\pmb{h})$分别表示$\pmb{x}$$\pmb{h}$的先验概率分布, $P(\pmb{y}|\pmb{h}, \pmb{x})$表示噪声的概率模型, 一般假设噪声或噪声的各阶导数服从独立零均值高斯分布, 即

$ \begin{equation} \begin{array}{l} P(\pmb{y}|\pmb{h}, \pmb{x}) = \prod\limits_{*}\prod\limits_{i}\mathcal{N}\left((\partial_{*}\pmb{n})_{i}|0, \sigma_{*}\right) \end{array} \label{eq:gaussian} \end{equation} $ (3)

其中, $\partial_{*}\in\{\partial_{0}, \partial_{x}, \partial_{y}, \partial_{xx}, \partial_{xy}, \partial_{yy}, \cdots\}$为图像的各阶梯度算子, $\mathcal{N}\left((\partial_{*}\pmb{n})_{i}|0, \sigma_{*}\right)$表示$(\partial_{*}\pmb{n})_{i}$服从均值为0, 标准差为$\sigma_{*}$的高斯分布, $(\partial_{*}\pmb{n})_{i} = (\partial_{*}\pmb{y}-\pmb{h}*\partial_{*}\pmb{x})_{i}$为噪声的各阶导数在第$i$个像素位置处的取值.将式(3)代入式(2), 并对式(2)取对数, 则有:

$ \begin{align} \lg &(P(\pmb{y}|\pmb{h}, \pmb{x})P(\pmb{x})P(\pmb{h})) = \nonumber\\ &\sum\limits_{*}\sum\limits_{i}\lg\left( \dfrac{1}{\sqrt{2\pi}\sigma_{*}} \exp(-\dfrac{(\partial_*\pmb{y}-\pmb{h}*\partial_*\pmb{x})_i}{2\sigma_*^2})\right)+\nonumber\\ & \lg(P(\pmb{x})) +\lg(P(\pmb{h})) =\nonumber \\ &-\sum\limits_{*}\frac{1}{2\sigma_*^2}||\partial_*\pmb{y}-\pmb{h}* \partial_*\pmb{x}||_2^2 + \lg(P(\pmb{x}))+\nonumber\\ & \lg(P(\pmb{h})) - \sum\limits_*\sum\limits_i\lg\sqrt{2\pi}\sigma_* \label{eq:logpost} \end{align} $ (4)

因此, 最大后验问题等价为如下所示的最优化问题:

$ \begin{align} (\hat{\pmb{x}}, \hat{\pmb{h}}) = &\arg\min\limits_{\pmb{x}, \pmb{h}}\Big\{\sum\limits_{*}\omega_{*}||\partial_{*}\pmb{y}- \pmb{h}*\partial_{*}\pmb{x}||_2^2+\nonumber \\&\lambda_x\rho(\pmb{x}) + \lambda_h\rho(\pmb{h})\Big\} \end{align} $ (5)

其中, $\omega_{*}=\frac{1}{2\sigma^2_{*}}$为噪声的各阶导数对应的权重; $\rho(\pmb{x})$$\rho(\pmb{h})$分别为对清晰图像$\pmb{x}$和模糊核$\pmb{h}$的正则化约束, $\lambda_x$$\lambda_h$为常数, 且满足$\lambda_x\rho(\pmb{x})=-\lg(P(\pmb{x})), \lambda_h\rho(\pmb{h})=-\lg(P(\pmb{h}))$. Levin等[4]证明了直接求最大后验问题会产生平凡解, 并提出应该求解最大后验边缘分布.此后的算法或者通过求解最大后验边缘分布来估计模糊核和清晰图像[5-6], 或者采用其他特殊技巧避免平凡解[7-8]. Fergus等[5]、Levin等[6]假设清晰图像的梯度服从重尾分布(Heavy-tailed distribution), 并用混合高斯模型近似该分布, 最后分别用变分贝叶斯方法和期望最大化(Expectation maximization, EM)算法求解最大后验边缘分布. Shan等[7]采用分段函数近似重尾分布, 并引入局部光滑先验以减小振铃效应. Perrone等[8]采用全变分正则化, 并证明了求解目标函数时采用投影交替最小化(Projected alternating minimization, PAM)方法可以避免平凡解.

前面介绍的盲解卷积算法都利用了关于图像梯度的先验知识, 而图像梯度表示的是图像相邻像素之间的关系, 并不足以表示更大的图像结构.近年来一些盲解卷积算法利用了关于图像块的先验信息, 相比于利用梯度先验的算法, 利用图像块先验知识的盲解卷积算法的准确性和鲁棒性都得到了较大的提升. Michaeli等[9]把不同尺度图像间存在的结构自相似性作为先验知识, Lai等[10]把图像块的色彩先验用于盲解卷积问题中.自然图像可以用某种字典稀疏表示, 这种稀疏性可以作为先验知识加入到盲解卷积算法中.基于稀疏表示的盲解卷积算法的关键是确定用于表示清晰图像的过完备字典, 一种方式是把清晰图像作为训练样本来构建字典[11], 但实际情况下清晰图像是未知的, 因而这种字典构造方式不能应用于真实盲解卷积场景中; 也可以用大量清晰图像组成的图像库作为训练样本或者直接把模糊图像作为训练样本[12]来构造字典, 但由于图像库一般较大, 字典的学习效率较低, 而且当图像库中的图像与真实清晰图像的差异较大时, 不能保证真实清晰图像在该字典下的稀疏性; 如果把模糊图像作为训练样本来训练字典, 则模糊图像在该字典下具有稀疏性, 而无法保证清晰图像在该字典下的稀疏性, 因此该字典无法准确提供关于清晰图像的先验信息.

基于结构自相似性的盲解卷积算法利用图像自身所具有的自相似结构, 对于每一个图像块, 算法需要在相同尺度或不同尺度的图像中搜索与之相似的多个图像块, 而精确搜索的效率非常低, 所以通常采用近似搜索策略[9, 13-15], 这将导致基于结构自相似性的盲解卷积算法的效果受到一定影响.

本文提出一种结合稀疏表示与结构自相似性的单幅图像盲解卷积算法.已有学者[13-15]结合这两种技术实现了单幅图像超分辨率重建.超分辨率重建一般假设已知图像的降质过程, 即模糊核是已知的, 而盲解卷积要估计的正是未知的模糊核. Michaeli等[9]指出直接利用超分辨率重建技术来实现盲解卷积是不可行的.本文将通过定性和定量实验验证稀疏表示与结构自相似这两种技术同样可以结合应用于图像盲解卷积问题中.本文采用自适应字典学习的方法, 把模糊图像降采样得到的图像作为训练样本, 从而将图像不同尺度间的结构自相似信息加入到字典中.由于模糊图像降采样得到的图像的模糊程度较小, 从中提取的图像块比较清晰, 因此用训练出来的字典重建图像可以保证重建图像的边缘比较清晰.结合稀疏表示与结构自相似性的盲解卷积算法解决了字典训练的问题, 同时可以减小由于近似搜索相似图像块带来的性能损失.

本文后续结构组织如下:第1节介绍图像的结构自相似性与稀疏表示; 第2节阐述本文如何结合稀疏表示与结构自相似性进行盲解卷积; 第3节通过实验验证本文算法的有效性; 第4节为全文结论.

1 图像的结构自相似性与稀疏表示 1.1 图像的结构自相似性

自然图像中广泛存在着多尺度自相似结构, 即对于在某一尺度的图像中抽取的图像块, 可以在另一尺度的图像中找到与之相似的图像块.图 1显示了不同尺度图像间的结构自相似性示例: 图 1(a)为清晰图像, 其中方形框中的是一个$7 \times7 $的图像块, 如图 1(b)所示; 图 1(c)图 1(a)的降采样图像, 在该图中寻找与图 1(b)最相似的6个图像块, 并用方形框标记于图中, 图 1(d)依次显示了这6个相似图像块.可见图像块的相似性广泛存在于图像的不同尺度间.

图 1 图像不同尺度间的结构自相似性 Figure 1 Structural self-similarity cross scales of image

记清晰图像和其降采样图像组成的一维列向量分别为$\pmb{X}\in{\bf{R}}^{N}$$\pmb{X}^{\alpha}\in{\bf{R}}^{N/\alpha^2}$, 其中$N$为清晰图像的大小, $\alpha$表示降采样因子.从清晰图像$\pmb{X}$和降采样图像$\pmb{X}^{\alpha}$中抽取的图像块分别表示为$Q_j\pmb{X}$$R_i\pmb{X}^{\alpha}$, 其中$Q_j\in{\bf{R}}^{n\times N}$$R_i\in{\bf{R}}^{n\times N/\alpha^2}$为抽取矩阵, 分别用于从清晰图像和降采样图像中抽取第$j$和第$i$个图像块, 抽取的图像块大小为$n$.由于图像的相似性广泛存在于图像的不同尺度间, 即对于$Q_j\pmb{X}$, 可以找到多个与之相似的$R_i\pmb{X}^{\alpha}$, 因此可以用这些相似图像块来近似表示$Q_j\pmb{X}$, 且能保证近似误差很小.记$\pmb{X}^{\alpha}$中与$Q_j\pmb{X}$最相似的$L$个图像块的下标集合为$\mathcal{S}_j$, 则可以用相似图像块的线性组合来近似表示$Q_j\pmb{X}$[9], 即

$ \begin{equation} Q_j\pmb{X}=\sum\limits_{i\in \mathcal{S}_j}w_i^j R_i\pmb{X}^{\alpha} \end{equation} $ (6)

其中

$ \begin{equation} w_i^j=\frac{\exp\Big(-\dfrac{||Q_j\pmb{X}-R_i\pmb{X}^{\alpha}||_2^2}{h}\Big)}{\sum\limits_{l\in \mathcal{S}_j}\exp\Big(-\dfrac{||Q_j\pmb{X}-R_l\pmb{X}^{\alpha}||_2^2}{h}\Big)} \end{equation} $ (7)

为相似图像块$R_i\pmb{X}^{\alpha}$线性表示$Q_j\pmb{X}$的权重, $h$为控制常数. $R_i\pmb{X}^{\alpha}$$Q_j\pmb{X}$越相似, 权重$w_i^j$越大.

1.2 图像的稀疏表示

设图像块组成的向量长度为$n$, 即$Q_j\pmb{X}\in{\bf{R}}^n$, 若存在矩阵$\Psi\in{\bf{R}}^{n\times t}$以及向量$\pmb{\alpha}_j\in{\bf{R}}^{t}$使得:

$ \begin{equation} Q_j\pmb{X} = \Psi\pmb{\alpha}_j, ||\pmb{\alpha}_j||_0 \ll n \end{equation} $ (8)

则称$Q_j\pmb{X}$在字典$\Psi$下具有稀疏性, $\Psi$的每一列为字典的一个元素, 字典的元素个数为$t$, $\Psi$一般为过完备字典, 即$t>n$; $\pmb{\alpha}_j$为图像块$Q_j\pmb{X}$在字典下的线性表示系数, 且满足非零元的个数远小于图像块的大小$n$, 即图像块可以用字典中少数几个元素的线性组合表示.

通常通过样本学习的方法获得字典, 学习时需要用大量图像块, 这些图像块称为训练样本, 记为$\pmb{s}_i\in{\bf{R}}^{n}, i=1, \cdots, m$, 其中$m$为样本数目. K-SVD (Singular value decomposition)[16]是一种常见的字典学习方法, 它通过最优化如下的目标函数来求解字典$\Psi$:

$ \begin{equation} \min\limits_{\Psi, \pmb{\alpha}_1, \cdots, \pmb{\alpha}_m}\sum\limits_{i=1}^{m}||\pmb{s}_i-\Psi\pmb{\alpha}_i||_2^2\quad {{\rm s. t.}}\ \forall i \ ||\pmb{\alpha}_i||_0 \leq T \end{equation} $ (9)

其中, $T\ll n$为控制表示系数稀疏性的常数.

当获得字典$\Psi$后, 对于任意一个图像块$Q_j\pmb{X}$, 需要求解该图像块在字典下的稀疏表示系数. OMP (Orthogonal matching pursuit)[17]算法可以有效地求解稀疏表示系数, 它可以在约束表示系数稀疏性的前提下最小化表示误差, 也可以在约束表示误差的前提下使表示系数尽量稀疏, 其最优化目标函数可以写为

$ \begin{equation} \min\limits_{\pmb{\alpha}_j} ||Q_j\pmb{X}-\Psi\pmb{\alpha}_j||_2^2\quad {{\rm s. t.}}\ ||\pmb{\alpha}_j||_0 \leq T \end{equation} $ (10)

$ \begin{equation} \min\limits_{\pmb{\alpha}_j} ||\pmb{\alpha}_j||_0 \quad {{\rm s. t.}}\ ||Q_j\pmb{X}-\Psi\pmb{\alpha}_j||_2^2 \leq \epsilon \end{equation} $ (11)

其中, $T$$\epsilon$分别为限制表示系数稀疏性和表示误差的常数.

2 基于稀疏表示和结构自相似性的盲解卷积算法 2.1 基于稀疏表示和结构自相似性的盲解卷积算法数学模型

稀疏表示的关键是确定字典, 如果把清晰图像或它的降采样图像作为字典学习样本, 则学习得到的字典会包含图像自身蕴含的结构自相似信息, 且清晰图像在该字典下的稀疏性较好, 解决了采用图像库训练字典带来的一系列问题.但实际情况下无法得到清晰图像, 因此, 本文把观测模糊图像的降采样图像作为字典学习样本, 同样可以利用蕴含在图像不同尺度间的结构自相似信息. 图 2说明了采用模糊图像的降采样图像作为字典训练样本的合理性.图 2(a)图 1(a)对应的模糊图像, 图 2(c)为模糊图像的降采样图像, 在图 2(a)图 2(c)中分别搜索与图 1(b)相似的图像块, 如图 2(b)图 2(d)所示.可以看出由于模糊的作用, 模糊图像与清晰图像的结构相似性比较弱, 但由于降采样后的图像的模糊程度相应减弱, 导致模糊图像的降采样图像与清晰图像有较强的相似性, 因而把模糊图像的降采样图像作为字典训练样本是合理、有效的.

图 2 清晰图像与模糊图像的结构相似性 Figure 2 Structural self-similarity between sharp image and blurry image

Michaeli等[9]以一维连续信号为例, 证明了模糊信号的降采样信号与清晰信号的相似性, 本文给出二维连续信号相似性的简要证明.记二维坐标为$\xi$$\eta$, 二维清晰图像中的一个图像块为$\pmb{f}(\xi, \eta)$, 模糊核为$\pmb{h}(\xi, \eta)$.在$\pmb{h}(\xi, \eta)$的作用下, 则有:

$ \begin{equation} \pmb{q}(\xi, \eta) = \pmb{f}(\xi, \eta) * \pmb{h}(\xi, \eta) \label{eq:q} \end{equation} $ (12)

其中, $\pmb{q}(\xi, \eta)$为清晰图像块$\pmb{f}(\xi, \eta)$对应的模糊图像块.由于多尺度结构自相似性普遍存在于清晰图像中, 因此可以假设清晰图像中存在一个与$\pmb{f}(\xi, \eta)$相似的图像块, 且其尺度为$\pmb{f}(\xi, \eta)$尺度的$\alpha$倍, 记为$\pmb{f}(\xi/\alpha, \eta/\alpha)$, 则模糊核$\pmb{h}(\xi, \eta)$$\pmb{f}(\xi/\alpha, \eta/\alpha)$的卷积可表示为

$ \begin{equation} \pmb{r}(\xi, \eta) = \pmb{f}\Big(\frac{\xi}{\alpha}, \frac{\eta}{\alpha}\Big) * \pmb{h}(\xi, \eta) \label{eq:r} \end{equation} $ (13)

其中, $\pmb{r}(\xi, \eta)$为清晰图像块$\pmb{f}(\xi/\alpha, \eta/\alpha)$对应的模糊图像块.若将模糊图像缩小$\alpha$倍, 则缩小后的图像块$\pmb{r}$可以表示为

$ \begin{equation} \pmb{r}^{\alpha}(\xi, \eta) = \pmb{r}(\alpha\xi, \alpha\eta)=\pmb{f}(\xi, \eta)*\pmb{h}(\alpha\xi, \alpha\eta) \label{eq:13} \end{equation} $ (14)

根据式(14), 图像块$\pmb{r}^{\alpha}(\xi, \eta)$可以认为是由清晰图像块$\pmb{f}(\xi, \eta)$与模糊核$\pmb{h}(\alpha\xi, \alpha\eta)$卷积的结果.由于$\pmb{h}(\alpha\xi, \alpha\eta)$的尺寸是$\pmb{h}(\xi, \eta)$尺寸的$1/\alpha$倍, 相对于$\pmb{h}(\xi, \eta)$, $\pmb{h}(\alpha\xi, \alpha\eta)$对图像造成的模糊程度更小, 比较式(12)和式(14)可知, $\pmb{r}^{\alpha}(\xi, \eta)$的模糊程度小于$\pmb{q}(\xi, \eta)$, 即与$\pmb{q}(\xi, \eta)$相比, $ \pmb{r}^{\alpha}(\xi, \eta)$与清晰图像块$\pmb{f}(\xi, \eta)$更相似.综上, 由于图像多尺度结构自相似性的普遍存在, 因此与模糊图像相比, 模糊图像的降采样图像与清晰图像的相似性更高.

本文以观测模糊图像的降采样图像作为字典学习样本, 并将图像的结构自相似性作为正则化约束, 则结合稀疏表示与结构自相似性的单幅图像盲解卷积算法可以表示为如下所示目标函数的最优化求解问题:

$ \begin{equation} \begin{array}{l} \min\limits_{\pmb{x}, \pmb{h}} \Big\{||\nabla\pmb{y}-\nabla\pmb{x}\otimes \pmb{h}||_2^2 + \lambda_c\sum\limits_{j} ||Q_j\pmb{X}-\Psi\pmb{\alpha}_j||_2^2+ \\ \qquad \lambda_s\sum\limits_j||Q_j\pmb{X}-\sum\limits_{i\in S_j}w_i^j R_i\pmb{X}^{\alpha}||_2^2 + \lambda_g||\nabla\pmb{x}||_2^2+ \\ \qquad \lambda_h||\pmb{h}||_2^2 \Big\}\quad {\rm s. t.}\ \forall j\ ||\pmb{\alpha}_j||_0\leq T \end{array} \label{eq:ObjFunc} \end{equation} $ (15)

其中, $\nabla=\{\partial_{x}, \partial_{y}\}$为图像的梯度算子.式(15)中第一项为数据保真项; 第二项为稀疏表示约束项, $\Psi$为模糊图像的降采样图像作为训练样本学习得到的稀疏表示字典, 这里的稀疏表示约束项在保证表示系数稀疏性的前提下约束表示误差, 稀疏性约束常数为$T$; 第三项为结构自相似约束项, $\pmb{X}^{\alpha}$$\pmb{X}$的降采样图像, 降采样因子为$\alpha$, 这一项要求用$\pmb{X}^{\alpha}$中的相似图像块的线性组合近似$\pmb{X}$中图像块的误差要尽量小; 第4项为梯度约束项, 限制复原图像的梯度可以抑制噪声; 第5项为对模糊核的正则化约束; $\lambda_c$$\lambda_s$$\lambda_g$$\lambda_h$为正则化常数.

2.2 本文算法整体流程

本文算法的整体流程主要包括两个步骤, 分别为模糊核估计和清晰图像估计, 如图 3所示.模糊核估计对应于求解式(15)所示的最优化问题, 获得对模糊核的估计结果$\hat{\pmb{h}}$.清晰图像估计在$\hat{\pmb{h}}$的基础上采用有效的非盲解卷积算法进一步提高复原图像的质量, 常用的非盲解卷积算法有全变分正则化方法[3]、稀疏非盲解卷积方法[4]和EPLL (Expected patch log likelihood)算法[18]等.

图 3 本文算法流程 Figure 3 The pipeline of our method

由于式(15)是非凸的, 没有闭式解, 因此在模糊核估计步骤中, 本文采取交替求解的方式来估计$\hat{\pmb{h}}$, 即固定当前对清晰图像的估计$\hat{\pmb{x}}$, 更新对模糊核的估计$\hat{\pmb{h}}$, 然后在固定$\hat{\pmb{h}}$的基础上更新$\hat{\pmb{x}}$, 如此循环迭代直到估计结果收敛或者迭代次数达到某一预设的阈值.在更新$\hat{\pmb{x}}$时算法需要利用两个参考图像, 分别为用稀疏表示先验和结构自相似性先验对上一次迭代中估计的清晰图像进行重建得到的结果, 其具体求解过程将在第2.3节中详细描述.

为了可以处理较大的模糊核并且加快算法的收敛速度, 与其他大部分算法相同, 在模糊核估计步骤中, 本文采用图像金字塔的方式, 在每一层金字塔上估计清晰图像和模糊核, 对当前层的清晰图像估计进行插值, 作为下一层金字塔上清晰图像的初始估计, 第一层金字塔上可用模糊图像作为清晰图像的初始估计.

2.3 数学模型求解

每一层金字塔上都需要求解式(15)所示目标函数的最优化问题, 但该问题是非凸的, 因此没有闭式解.本文采取交替求解的方式, 基本流程描述如下:

1) 初始化设置$k=0$, 如果当前所在金字塔为第一层, 则$\hat{\pmb{x}}_0 = \pmb{y}$; 否则, 上一层金字塔得到的对清晰图像的估计结果插值后作为$\hat{\pmb{x}}_0$.

2) 固定$\hat{\pmb{x}}_k$, 更新$\hat{\pmb{h}}_k$.

此时目标函数简化为

$ \begin{equation} \hat{\pmb{h}}_k=\arg\min\limits_{\pmb{h}} \Big\{||\nabla\pmb{y}-\nabla\hat{\pmb{x}}_k\otimes \pmb{h}||_2^2 + \lambda_h||\pmb{h}||_2^2 \Big\} \label{eq:ObjFuncK} \end{equation} $ (16)

根据帕塞瓦尔定理, 空域中图像的能量等于频域中图像傅里叶变换的能量.空域中式(16)所示的最小化问题等效于频域中$||\mathcal{F}(\nabla\pmb{y})-\mathcal{F}(\nabla\hat{\pmb{x}}_k)\mathcal{F}(\pmb{h})||_2^2+ \lambda_h||\mathcal{F}(\pmb{h})||_2^2$的最小化问题[2-3, 9, 19].这是关于$\mathcal{F}(\pmb{h})$的二次函数, 因此存在闭式解.令上式对$\mathcal{F}(\pmb{h})$的导数为零, 可得到闭式解为

$ \begin{equation} \hat{\pmb{h}}_k = \mathcal{F}^{-1}\left(\frac{\overline{\mathcal{F}(\partial_x\hat{\pmb{x}}_k)}\mathcal{F}(\partial_x\pmb{y}) + \overline{\mathcal{F}(\partial_y\hat{\pmb{x}}_k)}\mathcal{F}(\partial_y\pmb{y})}{\mathcal{F}(\partial_x\hat{\pmb{x}}_k)^2 + \mathcal{F}(\partial_y\hat{\pmb{x}}_k)^2 + \lambda_h}\right) \end{equation} $ (17)

其中, $\mathcal{F}(\cdot)$$\mathcal{F}^{-1}(\cdot)$分别表示傅里叶变换和傅里叶逆变换, $\overline{\mathcal{F}(\cdot)}$表示傅里叶变换的复共轭.

3) 固定$\hat{\pmb{h}}_k$, 给定$\hat{\pmb{x}}_k$, 更新$\hat{\pmb{x}}_{k+1}$.

此时目标函数简化为

$ \begin{equation} \begin{array}{l} \hat{\pmb{x}}_{k+1} = \arg\min\limits_{\pmb{x}} \Big\{||\nabla\pmb{y}-\nabla\pmb{x}\otimes \hat{\pmb{h}}_k||_2^2+ \\ \qquad\quad\ \lambda_c\sum\limits_{j} ||Q_j\pmb{X}-\Psi\pmb{\alpha}_j||_2^2+ \\ \qquad\quad\ \lambda_s\sum\limits_j||Q_j\pmb{X}-\sum\limits_{i\in S_j}w_i^j R_i\pmb{X}^{\alpha}||_2^2+ \\ \qquad\quad\ \lambda_g||\nabla\pmb{x}||_2^2\Big\}\quad{\rm s. t.}\ \forall j\ ||\pmb{\alpha}_j||_0\leq T \end{array} \label{eq:ObjFuncX} \end{equation} $ (18)

记模糊图像$\pmb{y}$组成的一维列向量为$\pmb{Y}\in{\bf{R}}^{N}$, 将式(18)中的卷积表示成矩阵乘积的形式, 则有:

$ \begin{equation} \begin{array}{l} \hat{\pmb{X}}_{k+1} = \arg\min\limits_{\pmb{X}} \Big\{||G_x\pmb{Y}-H_kG_x\pmb{X}||_2^2+ \\ \qquad\quad\ \ ||G_y\pmb{Y}-H_kG_y\pmb{X}||_2^2+ \\ \qquad\quad\ \ \lambda_c\sum\limits_{j}||Q_j\pmb{X}-\Psi\pmb{\alpha}_j||_2^2+ \\ \qquad\quad\ \ \lambda_s\sum\limits_j||Q_j\pmb{X}-\sum\limits_{i\in S_j}w_i^j R_i\pmb{X}^{\alpha}||_2^2+ \\ \qquad\quad\ \ \lambda_g(||G_x\pmb{X}||_2^2+||G_y\pmb{X}||_2^2)\Big\} \\ \qquad\quad\ \ {\rm s. t.}\ \forall j\ ||\pmb{\alpha}_j||_0\leq T \end{array} \label{eq:ObjFuncXVector} \end{equation} $ (19)

其中, $G_x, G_y\in{\bf{R}}^{N\times N}$分别为梯度算子$\partial_{x}$$\partial_{y}$的矩阵表示形式, $H_k\in{\bf{R}}^{N\times N}$为模糊矩阵.记$G=G_x^{\rm T}G_x + G_y^{\rm T}G_y$, 并令式(19)对$\pmb{X}$的导数为0, 则有:

$ \begin{equation} \begin{array}{l} \big((H_k^{\rm T}H_k+\lambda_g)G + (\lambda_c+\lambda_s)\sum\limits_{j}Q_j^{\rm T}Q_j\big)\pmb{X} = \\\quad H_k^{\rm T}G\pmb{Y} + \lambda_c\sum\limits_{j}Q_j^{\rm T}\Psi\pmb{\alpha}_j + \lambda_s\sum\limits_{j}Q_j^{\rm T}\sum\limits_{i\in S_j}w_i^j R_i\pmb{X}^{\alpha} \end{array} \label{eq:ObjFuncXDerivative} \end{equation} $ (20)

因为式(20)等号右边的稀疏表示系数$\pmb{\alpha}_j$和降采样图像$\pmb{X}^{\alpha}$都依赖于待求解的未知变量$\pmb{X}$, 所以该式没有闭式解.本文采取如下所述的近似解法:

1) 利用稀疏表示约束重建图像$\hat{\pmb{X}}_k$, 重建结果记为$\pmb{Z}_c$.

对于每一个图像块$Q_j\hat{\pmb{X}}_k$, 用OMP算法求解其在字典$\Psi$下的表示系数, 即最优化

$ \begin{equation} \min\limits_{\pmb{\alpha}_j}||Q_j\hat{\pmb{X}}_k-\Psi\pmb{\alpha}_j||_2^2\quad {\rm s. t.}\ ||\pmb{\alpha}_j||_0\leq T \end{equation} $ (21)

然后通过对所有重建块$\Psi\pmb{\alpha}_j$进行平均处理获得重建图像$\pmb{Z}_c$:

$ \begin{equation} \begin{array}{l} \pmb{Z}_c = \big(\sum\limits_{j}Q_j^{\rm T}Q_j\big)^{-1}\sum\limits_jQ_j^{\rm T}\Psi\pmb{\alpha}_j \end{array} \end{equation} $ (22)

2) 利用自相似图像块重建图像$\hat{\pmb{X}}_k$, 重建结果记为$\pmb{Z}_s$.

对于每一个图像块$Q_j\hat{\pmb{X}}_k$, 在$\hat{\pmb{X}}_k$的降采样图像$\hat{\pmb{X}}_k^{\alpha}$中搜索相似图像块, 并用相似图像块的线性组合重建该图像块, 最后通过对所有重建图像块$\sum_{i\in \mathcal{S}_j}w_i^jR_i\hat{\pmb{X}}_k^{\alpha}$进行平均处理获得重建图像$\pmb{Z}_s$:

$ \begin{equation} \begin{array}{l} \pmb{Z}_s = \big(\sum\limits_{j}Q_j^{\rm T}Q_j\big)^{-1}\sum\limits_jQ_j^{\rm T}\sum\limits_{i \in\mathcal{S}_j}w_i^jR_i\hat{\pmb{X}}_k^{\alpha} \end{array} \end{equation} $ (23)

3) 在$\pmb{Z}_c$$\pmb{Z}_s$的基础上求解$\hat{\pmb{x}}_{k+1}$.

容易证明如果按照一定的规律抽取图像块, 则有$\sum_j Q_j^{\rm T}Q_j=nI$, 其中$n$为图像块的大小, $I$$N$阶单位矩阵.因此用$\pmb{Z}_c$近似式(20)中的$\sum_{j}{Q}_j^{\rm T}\Psi\pmb{\alpha}_j$, 用$\pmb{Z}_s$近似$\sum_{j}{Q}_j^{\rm T}\sum_{i\in S_j}w_i^j{R}_i\pmb{X}^{\alpha}$, 此时式(20)可以写为

$ \begin{equation} \begin{array}{l} \big(({H}_k^{\rm T}{H}_k+\lambda_g){G} + (\lambda_c+\lambda_s)n{I}\big)\pmb{X} = \\\qquad {H}_k^{\rm T}{G}\pmb{Y} + \lambda_cn\pmb{Z}_c + \lambda_sn\pmb{Z}_s \end{array} \label{eq:ObjFuncXDerivativeJinsi} \end{equation} $ (24)

式(24)是关于$\pmb{X}$的线性方程, 可以利用矩阵求逆或者共轭梯度法等数值解法来求解.本文转换到频域求解, 记$\pmb{Z}_c$$\pmb{Z}_s$的矩阵形式分别为$\pmb{z}_c$$\pmb{z}_s$, 则有式(25).

4) $k=k+1$, 重复2)、3)步, 直到收敛.

3 实验结果与分析

本文测试硬件环境为配置Intel(R) Core(TM) i5-2400 S CPU 2.50 GHz以及8 GB内存的单机, 软件环境为运行于Linux (发行版为deepin 2014.3桌面版)上的Matlab R2015b.对于所有的实验,

$ \begin{equation} \hat{\pmb{x}}_{k+1} = \mathcal{F}^{-1}\left(\frac{\overline{\mathcal{F}(\hat{\pmb{h}}_{k+1})}\left(\overline{\mathcal{F}(\partial_{x})}\mathcal{F}(\partial_{x})+\overline{\mathcal{F}(\partial_{y})}\mathcal{F}(\partial_{y})\right)\mathcal{F}(\pmb{y})+\lambda_cn\mathcal{F}(\pmb{z}_c)+\lambda_sn\mathcal{F}(\pmb{z}_s)}{\left(\overline{\mathcal{F}(\hat{\pmb{h}}_{k+1})}\mathcal{F}(\hat{\pmb{h}}_{k+1})+\lambda_g\right)\left(\overline{\mathcal{F}(\partial_{x})}\mathcal{F}(\partial_{x})+\overline{\mathcal{F}(\partial_{y})}\mathcal{F}(\partial_{y})\right)+ \lambda_cn+\lambda_sn}\right) \end{equation} $ (25)

本文设置图像块大小$n=5\times5$, 字典大小$t=100$, 稀疏度约束$T=4$, 正则化参数$\lambda_c=0.15/n, \lambda_s=0.15/n, \lambda_g=0.001, \lambda_h=0.0015N$.由式(14)可知降采样因子$\alpha$越大, 模糊图像降采样图像中的图像块越清晰, 但同时不同尺度图像之间的相似图像块的数目越少[20], 因此需要综合考虑设置降采样因子的取值, 本文采取与Michaeli等[9]相同的设置, 即设置金字塔之间的缩放因子为$4/3$, 在$4/3$倍降采样图像中搜索相似图像块, 且采用快速近似搜索方法[21]搜索最相似的一个图像块.

3.1 模拟模糊图像实验

为了有效评估测试各盲解卷积算法的性能, 本文采用了两个公开数据集中模拟生成的模糊图像[4, 19], 在Levin等[4]的数据集中, 利用4幅清晰图像和8个模糊核卷积生成了32幅模糊图像1, 其中, 模糊核的尺寸从$13\times13$$27\times27$不等, 而在Sun等[19]的数据集中, 利用80幅自然图像和Levin等[18]提供的8个模糊核合成了640幅有噪的模糊图像2.本文算法在这两个最常用的模糊图像集合上都有很好的盲解卷积效果.由于盲复原不知道模糊核的真实大小, 在复原时需要通过其他方式估计模糊核的尺寸[22], 或者预先设定模糊核的大小.若估计或预先设定的模糊核尺寸过大, 则不容易求解小尺寸的模糊核; 若估计或预设的模糊核尺寸较小, 则无法求解出完整的模糊核[5].本文采取与Sun等[19]以及Michaeli等[9]相同的方式, 设置模糊核的尺寸为$51\times51$.模拟和真实数据上实验表明绝大多数模糊图像的模糊核尺寸不大于$51\times51$, 且当真实模糊核较小时, 本文算法在设定模糊核尺寸为$51\times51$的情况仍然可以获得准确的估计结果.

1http://www.wisdom.weizmann.ac.il/~levina/

2http://cs.brown.edu/~lbsun/deblur2013/deblur2013iccp.html

记估计模糊核和真实模糊核分别为$\hat{\pmb{h}}$$\pmb{h}$, 真实清晰图像为$\pmb{x}$, 用$\hat{\pmb{h}}$$\pmb{h}$对模糊图像进行非盲解卷积得到的结果分别为$\hat{\pmb{x}}_{\hat{\pmb{h}}}$$\hat{\pmb{x}}_{\pmb{h}}$, Levin等[4]提出按下式计算ER (Error ratio)值用于评价模糊核的估计结果:

$ \begin{equation} {\rm ER}= \frac{||\pmb{x}-\hat{\pmb{x}}_{\hat{\pmb{h}}}||_2^2}{||\pmb{x}-\hat{\pmb{x}}_{\pmb{h}}||_2^2} \label{eq:ErrorRation} \end{equation} $ (26)

ER值越小表示算法估计的模糊核越准确, 理想情况下ER值为1, 说明估计模糊核的复原效果达到了真实模糊核的复原效果水平. Levin等[6]采用稀疏非盲解卷积算法[6]来获得$\hat{\pmb{x}}_{\hat{\pmb{k}}}$$\hat{\pmb{x}}_{\pmb{k}}$, 并指出当采用该非盲解卷积算法时, 如果ER值不大于3则可以认为复原结果是"成功"的.

本文算法与Fergus等[5]、Cho等[2]、Xu等[3]、Levin等[6]、P-errone等[8]以及Perrone等[23]等算法在该模糊图像集合上的ER累积分布曲线(即32幅图像中ER值小于一定阈值的图像比例)如图 4所示, 其中, Fergus等[5]、Cho等[2]和Levin等[6]等所提算法在该图像集合上的实验结果参见Levin的个人主页3, Xu等[3]所提算法的实验结果由作者提供的程序4运行得到, Perrone等[8, 23]所提算法的实验结果参见作者的个人主5.由图 4可见本文算法的结果中ER值小于等于3的比例最高, 即本文算法具有最高的"成功率", 证明了本文算法的有效性和可靠性.其中, Levin等[6]、Perrone等[8, 23]在该模糊图像集合上进行盲解卷积时, 假设已知真实模糊核的尺寸, 然而, 实际上真实模糊核的尺寸是未知的.

3http://www.wisdom.weizmann.ac.il/~levina/

4http://www.cse.cuhk.edu.hk/~leojia/projects/robust deblur/index.html

5https://danieleperrone.com/publications

图 4 各算法在Levin等[4]数据集上的ER累积分布 Figure 4 Cumulative distribution of error ratios on Levin et al.[4] dataset

本文算法与Cho等[2]、Xu等[3]、Levin等[6]、Michaeli等[9]、Cho等[24]、Sun等[19]以及Krishnan等[25]等所提算法在Sun等[19]合成的模糊图像集合上的ER累积分布如图 5所示, 其中, Michaeli等[9]所提算法在该图像集合上的实验结果参见作者的个人主页6, 其他参与比较的算法的实验结果参见Sun的个人主页7. Sun等[19]在模糊核估计的基础上采用EPLL算法[18]进行非盲解卷积, 为了便于和其他算法进行比较, 本文算法在该集合上也采用EPLL算法进行非盲复原. Michaeli等[9]指出在该数据集上采用EPLL算法作为非盲解卷积算法时, 只要ER值不大于5即可认为模糊核的估计是准确的.由图 5可以看出, 本文算法与Michaeli等[9]以及Sun等[19]提出的算法具有最好的性能, 而本文算法的运行时间最短.处理一幅$1 024\times800$的模糊图像, 模糊核的尺寸设置为$51\times51$, Michaeli等[9]以及Sun等[19]提出的算法的平均运行时间分别是9 213 s和4 899 s, 而本文算法只需要1 823 s.

6http://www.wisdom.weizmann.ac.il/~vision/BlindDeblur.html

7http://cs.brown.edu/~lbsun/deblur2013/deblur2013iccp.html

图 5 各算法在Sun等[19]数据集上的ER累积分布 Figure 5 Cumulative distribution of error ratios on Sun et al.[19] dataset

图 5中所有算法的"成功率" (即ER值小于等于5的图像比例)以及平均ER值如表 1所示, 可见本文算法具有最高的"成功率"以及最低的平均ER值. Sun等[19]、Michaeli等[9]以及本文算法在该数据集上的部分实验结果如图 6所示, 图 6中第一列为输入模糊图像, 第二列为真实清晰图像, 其左下角为真实模糊核, 其余三列分别为三种算法的实验结果, 左下角对应为各算法估计得到的模糊核.由图 6可见本文算法估计得到的模糊核更加准确, 复原图像的边缘清晰且含有较少的振铃效应, 具有更好的视觉质量.

表 1 各算法“成功率”及平均ER值 Table 1 "Success rate" and average error rate of different methods
图 6 Sun等[19]、Michaeli等[9]以及本文算法实验结果比较 Figure 6 Visual comparisons with methods of Sun et al.[19], Michaeli et al.[9] and ours

由于本文算法没有针对噪声做特殊处理, 因而算法的抗噪声能力不是特别突出.为了比较各算法对噪声的鲁棒性, 本文对由图 7(a)所示的清晰图像和模糊核生成的模糊图像分别加入标准差为0.02、0.04、0.06、0.08和0.1的高斯噪声, 并通过定性和定量实验比较这几种噪声水平的高斯噪声干扰下各算法的盲解卷积结果. 图 8直观地给出了在不同强度的高斯噪声干扰下各算法进行盲解卷积的均方误差, 其中, 横坐标为高斯噪声的标准差, 纵坐标为复原图像与清晰图像的均方误差.可以看到, 当噪声水平较低时, 本文算法的复原图像与清晰图像的均方误差仅比Sun等[19]算法略高, 小于其他6种算法; 当噪声水平较高时, 本文算法复原图像的均方误差有所下降, 但与其他算法的复原结果仍是可比的.

图 7 各算法对有噪模糊图像的复原结果比较 Figure 7 Visual comparisons with some methods on noisy blurry image
图 8 不同强度高斯噪声下各算法盲解卷积结果的均方误差 Figure 8 Mean squared error of some methods under different noise levels

图 7(b)为噪声标准差为0.1时的含噪模糊图像, 图 7(c) $\sim$ (j)分别为各算法对图 7(b)所示图像进行盲解卷积的结果.由图 7可见, 当模糊图像中的噪声水平较高时, 各算法估计的模糊核都不甚准确, 导致复原图像的质量都比较差.然而, 本文算法的运行时间较短, 表 2给出了各算法对图 7(b)所示的含噪模糊图像进行非盲解卷积的时间开销.从表 2可以看出, 本文算法的运行时间仅高于Xu等[3]以及Krishnan等[25]算法的运行时间.与Xu等[3]的算法相比, 在各个噪声水平下本文算法复原图像的均方误差均较小; 与Krishnan等[25]的算法相比, 本文算法在低噪声水平下具有更好的复原结果, 而在高噪声水平下也与其效果相当.因此, 本文算法在保证效率的同时, 对噪声具有较好的鲁棒性.

表 2 各算法运行时间比较 Table 2 Comparison of different methods0 running time
3.2 真实模糊图像实验

由于成像时成像设备的旋转和散焦等因素, 模糊图像往往不能简单表示为清晰图像和模糊核的卷积, 因此很多基于卷积模型的去模糊算法在真实模糊图像上的去模糊效果并不理想. 图 9图 10展示了本文算法以及其他一些算法对真实模糊图像进行盲解卷积的结果.为了避免由于各算法采用不同的非盲解卷积算法而带来的影响, 这里在估计的模糊核的基础上统一采用EPLL算法[18]进行非盲解卷积.由于没有真实清晰图像和模糊核作为参考, 因而无法量化比较各算法的复原效果, 这里只能给出视觉上的比较结果.图 9图 10左上角第一幅图为模糊图像, 后面7幅图分别为各个算法的复原结果, 其中左下角为各算法估计的模糊核, 模糊图像和复原图像的部分细节放大显示于各幅图像的下方.由图 9图 10可见, 本文算法可以准确地恢复出原始图像的细节信息, 复原结果的边缘清晰, 失真较少, 说明本文算法应用于实际模糊图像时具有很好的鲁棒性.

图 9 各算法在真实模糊图像(模糊核未知)上的实验结果比较 Figure 9 Visual comparisons with some state-of-the-art methods on real-world photos with unknown kernel
图 10 各算法在真实模糊图像(模糊核未知)上的实验结果比较 Figure 10 Visual comparisons with some state-of-the-art methods on real-world photos with unknown kernel
4 结论

本文提出了一种基于稀疏表示与结构自相似性的单幅图像盲解卷积算法.该算法通过结构自相似性正则化约束直接将图像自身蕴含的多尺度结构自相似性信息加入到复原图像中, 并通过将模糊图像的降采样图像作为稀疏表示字典的训练样本, 间接利用了图像的结构自相似性信息.模拟数据上的定量实验结果表明相比其他多种单幅图像盲解卷积算法, 本文算法的"成功率"更高, 平均ER值更低.真实数据上的实验结果表明本文算法复原图像的边缘更加清晰, 振铃效应更少, 具有更好的复原效果, 验证了本文算法应用于实际模糊图像上的鲁棒性.

参考文献
1
Joshi N, Szeliski R, Kriegman D J. PSF estimation using sharp edge prediction. In: Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK, USA:IEEE, 2008. 1-8 http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=4587834
2
Cho S, Lee S. Fast motion deblurring. ACM Transactions on Graphics, 2009, 28(5): Article No.145.
3
Xu L, Jia J Y. Two-phase kernel estimation for robust motion deblurring. In: Proceedings of the 11th European Conference on Computer Vision. Heraklion, Crete, Greece:Springer, 2010. 157-170 http://dl.acm.org/citation.cfm?id=1886077
4
Levin A, Weiss Y, Durand F, Freeman W T. Understanding and evaluating blind deconvolution algorithms. In: Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL, USA:IEEE, 2009. 1964-1971 http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=5206815
5
Fergus R, Singh B, Hertzmann A, Rowels S T, Freeman W T. Removing camera shake from a single photograph. ACM Transactions on Graphics, 2006, 25(3): 787-794. DOI:10.1145/1141911
6
Levin A, Weiss Y, Durand F, Freeman W T. Efficient marginal likelihood optimization in blind deconvolution. In: Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA:IEEE, 2011. 2657-2664 http://dl.acm.org/citation.cfm?id=2192016
7
Shan Q, Jia J Y, Agarwala A. High-quality motion deblurring from a single image. ACM Transactions on Graphics, 2008, 27(3): Article No. 73.
8
Perrone D, Favaro P. Total variation blind deconvolution:the devil is in the details. In: Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA:IEEE, 2014. 2909-2916 http://ieeexplore.ieee.org/document/6909768/
9
Michaeli T, Irani M. Blind deblurring using internal patch recurrence. In: Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland:Springer International Publishing, 2014. 783-798 http://www.researchgate.net/publication/291197096_Blind_Deblurring_Using_Internal_Patch_Recurrence
10
Lai W S, Ding J J, Lin Y Y, Chuang Y Y. Blur kernel estimation using normalized color-line priors. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA:IEEE, 2015. 64-72 http://doi.ieeecomputersociety.org/10.1109/CVPR.2015.7298601
11
Zhang H C, Yang J C, Zhang Y N, Huang T S. Sparse representation based blind image deblurring. In: Proceedings of the 2011 IEEE International Conference on Multimedia and Expo. Barcelona, Spain:IEEE, 2011. 1-6 http://ieeexplore.ieee.org/document/6012035/
12
Li H S, Zhang Y N, Zhang H C, Zhu Y, Sun J Q. Blind image deblurring based on sparse prior of dictionary pair. In: Proceedings of the 21st International Conference on Pattern Recognition. Tsukuba, Japan:IEEE, 2012. 3054-3057 http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=6460809
13
Pan Zong-Xu, Yu Jing, Xiao Chuang-Bai, Sun Wei-Dong. Single-image super-resolution algorithm based on multi-scale nonlocal regularization. Acta Automatica Sinica, 2014, 40(10): 2233-2244.
( 潘宗序, 禹晶, 肖创柏, 孙卫东. 基于多尺度非局部约束的单幅图像超分辨率算法. 自动化学报, 2014, 40(10): 2233-2244.)
14
Pan Zong-Xu, Yu Jing, Hu Shao-Xing, Sun Wei-Dong. Single image super resolution based on multi-scale structural self-similarity. Acta Automatica Sinica, 2014, 40(4): 594-603.
( 潘宗序, 禹晶, 胡少兴, 孙卫东. 基于多尺度结构自相似性的单幅图像超分辨率算法. 自动化学报, 2014, 40(4): 594-603.)
15
Pan Zong-Xu, Yu Jing, Xiao Chuang-Bai, Sun Wei-Dong. Dictionary learning and structural self-similarity-based codebook mapping for single image super resolution. Journal of Computer-Aided Design & Computer Graphics, 2015, 27(6): 1032-1038.
( 潘宗序, 禹晶, 肖创柏, 孙卫东. 基于字典学习与结构自相似性的码本映射超分辨率算法. 计算机辅助设计与图形学学报, 2015, 27(6): 1032-1038.)
16
Aharon M, Elad M, Bruckstein A. rmK-SVD:an algorithm for designing overcomplete dictionaries for sparse representation. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322. DOI:10.1109/TSP.2006.881199
17
Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit. IEEE Transactions on Information Theory, 2007, 53(12): 4655-4666. DOI:10.1109/TIT.2007.909108
18
Zoran D, Weiss Y. From learning models of natural image patches to whole image restoration. In: Proceedings of the 2011 IEEE International Conference on Computer Vision. Barcelona, Spain:IEEE, 2011. 479-486 http://dl.acm.org/citation.cfm?id=2356307
19
Sun L B, Cho S, Wang J, Hays J. Edge-based blur kernel estimation using patch priors. In: Proceedings of the 2013 IEEE International Conference on Computational Photography. Cambridge, MA, USA:IEEE, 2013. 1-8 http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=6528301
20
Glasner D, Bagon S, Irani M. Super-resolution from a single image. In: Proceedings of the 12th IEEE International Conference on Computer Vision. Kyoto, Japan:IEEE, 2009. 349-356 http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=5459271
21
Olonetsky I, Avidan S. TreeCANN-k-d tree coherence approximate nearest neighbor algorithm. In: Proceedings of the 12th European Conference on Computer Vision. Florence, Italy:Springer, 2012. 602-615 http://link.springer.com/chapter/10.1007%2F978-3-642-33765-9_43
22
Liu S G, Wang H B, Wang J, Cho S, Pan C H. Automatic blur-kernel-size estimation for motion deblurring. The Visual Computer, 2015, 31(5): 733-746. DOI:10.1007/s00371-014-0998-2
23
Perrone D, Diethelm R, Favaro P. Blind deconvolution via lower-bounded logarithmic image priors. In: Proceedings of the 10th International Conference on Energy Minimization Methods in Computer Vision and Pattern Recognition. Hong Kong, China:Springer International Publishing, 2015. 112-125 http://link.springer.com/chapter/10.1007/978-3-319-14612-6_9
24
Cho T S, Paris S, Horn B K P, Freeman W T. Blur kernel estimation using the radon transform. In: Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA:IEEE, 2011. 241-248 http://doi.ieeecomputersociety.org/10.1109/CVPR.2011.5995479
25
Krishnan D, Tay T, Fergus R. Blind deconvolution using a normalized sparsity measure. In: Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA:IEEE, 2011. 233-240 https://www.computer.org/csdl/proceedings/cvpr/2011/0394/00/05995521-abs.html