收稿日期: 2018-01-11
基金项目: 国家自然科学基金(编号:61505219);中国科学院国防科技创新基金(编号:CXJJ-16S045);青岛市光电智库联合基金资助项目
第一作者简介: 谭政,1982年生,男,工程师,研究方向为计算光学成像、遥感数据增强。E-mail:
tanzheng@aoe.ac.cn
通信作者简介: 相里斌,1967年生,男,研究员,研究方向为光学工程、计算光学成像技术。E-mail:
xiangli@aoe.ac.cn
|
摘要
面向微纳卫星高分辨率对地遥感,将超分辨率成像应用于中国整星60公斤级的CX-6(02)微纳卫星设计中,解决因体积和重量限制导致传统长焦距、大口径成像载荷无法应用于微纳卫星的问题。图像获取上,采用高帧频面阵CMOS探测器对同一地物目标多次曝光的方式,利用卫星姿态控制偏差和地速补偿来获得多帧具有亚像元位移的图像;超分辨率重建算法上,在变分贝叶斯框架下提出加权双向差分模型,提高先验概率模型的方向约束性,削弱观测方程求解的病态性。CX-6(02)星成像数据实验结果表明,本文的图像采样方法可获得较为充分的亚像元信息;相比传统的L1范数先验和全变分先验的变分贝叶斯超分辨算法重建结果,本文重建结果对反卷积运算导致的噪声放大具有更好的抑制作用,可获得两倍分辨率提升,有效提高数据质量和应用价值。
关键词
CX-6(02)微纳卫星, 超分辨率成像, 亚像元信息, 重建算法, 变分贝叶斯, 先验模型
Abstract
Micro-nano satellite is one of the developing trends of remote sensing technology with the advantages of light-weight, small size, low cost. However, because of the limitation of the volume and weight, the traditional high resolution optical imaging payload with long focal length and large aperture is difficult to apply to earth observation of micro-nano satellite. In order to solve this problem, a super-resolution imaging scheme is demonstrated in this paper. First, in the mode of images acquisition, to obtain multi frame images of the same region, the velocity of imaging relative to the ground should be controlled by satellite attitude. And because the attitude control deviation of satellite is objective, so subpixel displacement information can be generated by pitching, yaw, and rolling random deviations, without to install any other displacement generators; Secondly, In the super-resolution reconstruction algorithm, aiming at solving the problem of prior constraints on variational bayesian super-resolution reconstruction method, we propose a weighted bi-directional difference prior model to overcome the under-constraint of non-edge regions of image due to total variation prior and L1 norm prior, to further restrain the solving space of the observation equation. The above scheme is applied to the China’s first super-resolution imaging micro-nano satellite:CX-6(02) micro-nano satellite. The imaging results of this satellite show that: our images acquisition method can obtain sufficient subpixel information, which is approximately uniformly distributed with 0.1 pixel magnitude; The result of super-resolution reconstruction is superior to the same variational bayesian method based on L1 norm prior model and total variation prior model, it is hardly to introduce or amplify the computational noise in the iterative process of the algorithm, effectively weakens the ill-posed property of the deconvolution operation. Make the CX-6(02) satellite’s imaging resolution increased from 2.8 to 1.4 meters in the 700 km orbit altitude, and the whole satellite is only 66 kg. Except for micro-nano satellite, the design scheme of this paper can also be applied to medium or large optical imaging satellite, it may provide a certain theoretical and experimental support for high resolution earth-observing remote sensing.
Key words
CX-6(02) micro-nano satellite, super-resolution imaging, images acquisition, reconstruction algorithm, variational Bayes, prior model
1 引 言
高分辨率遥感是衡量一个国家光电技术水平的重要标志,具有巨大的商业与军事价值。微纳卫星以造价低、周期短、发射灵活等优点成为遥感技术发展趋势之一。然而由于受到体积和重量的限制,微纳卫星的成像载荷难以通过大口径、长焦距的常规方式实现高分辨率观测。
提高微纳卫星对地观测分辨率的途径主要有3种:(1)为降低轨道高度,但是会大幅缩短卫星的寿命;(2)为使用轻型材料,如基于衍射薄膜的光子筛成像,但这类光学系统研制难度大,目前尚无法应用;(3)为使用超分辨率成像体制的载荷,通过提取多帧影像构成的图像序列之间的亚像元信息,以图像重建的方式提高分辨率。
在航天遥感领域,超分辨率成像最早应用于法国的大型卫星SPOT 5,它实现了在800 km轨道从5—2.5 m的分辨率提升(Jacobsen,2005);后又应用于美国100 kg的SkySat系列微卫星,实现了在600 km轨道从1.1—0.87 m的分辨率提升(Murthy 等,2014)。中国于2016年12月22日发射的创新六号02微纳卫星(以下简称CX-6(02)星)整星重量66 kg,由中国科学院微小卫星创新研究院和中国科学院计算光学成像技术重点实验室联合研制,实现了在700 km轨道从2.8—1.4 m的分辨率提升,是中国首个超分辨率成像体制的微纳卫星。
超分辨率成像的设计主要包含亚像元信息获取方式设计和图像重建算法设计两方面的内容。
亚像元信息获取方式是针对探测器的成像采样而言,主要有线阵CCD错位拼接采样(Latry 等,2003)和高帧频CMOS画幅式重采样两类,CCD错位拼接是指将线阵CCD行与行之间错开一定的亚像元距离进行拼接,再对错位距离进行标定,这样就可直接获得亚像元信息,而避免了图像配准的步骤;高帧频CMOS画幅式重采样是指通过运动驱动机构,使高帧频CMOS探测器可以对同一地物目标进行多次成像采样,任意两次成像结果包含一定的旋转位移和平移位移,位移包含亚像元信息,如果运动驱动机构的位移不能精确测得,还需要通过图像配准算法获得亚像元信息。这两种方式都已经取得了航天应用,SPOT 5卫星采用的是线阵CCD拼接方式,SkySat卫星采用的是CMOS方式。
超分辨重建算法包含图像配准和图像复原,图像配准主要用于提取多帧图像之间的亚像元信息;图像复原主要是从成像场景、点扩散函数、探测器采样函数、亚像元信息投影函数、以及噪声函数,5者耦合中求解超分辨重建结果,属于反卷积运算,具有病态性(邹谋炎,2001)。目前多帧图像超分辨算法主要包括频域差值法(谭政 等,2017)、投影凸集法(Chen,2010)、迭代反投影法(Nitta 等,2006)、Tikhonov正则化法(Farsiu 等,2004;沈焕锋 等,2005)、最大后验法(Shen 等,2007)、变分贝叶斯法等,其中变分贝叶斯法将配准参数建模为高斯分布,将先验信息建模为L1范数模型(Villena 等,2009)或全变分模型(Babacan 等,2011;Woods和Katsaggelos,2017),在一步迭代中对建模涉及的所有变量进行求解,一定程度上阻止了误差的传播,获得了较好的超分辨率重建效果,然而,该种方法采用的L1范数先验模型和全变分先验模型都具有较强的稀疏性,这会导致算法对图像的非边缘区域约束较弱而影响重建效果,特别是对于遥感影像来说,由于受大气的不均匀性和各种噪声的影响,图像的非边缘区域信噪比较低,从而限制了该类算法在遥感影像超分辨率重建上的应用,因此,还需要针对遥感图像的特性对算法进行改进。
本文结合CX-6(02)星超分辨率成像设计和成像结果,阐述了一种星载超分辨成像的设计方法。首先,在图像获取方面,为获得同一区域的多帧图像就要通过卫星姿态控制图像相对于地面的运动速度,由于卫星姿态控制偏差客观存在,就可以利用这个随机偏差来获得亚像元位移信息,而无需再在卫星上安装其他位移发生装置;其次,在超分辨重建算法设计方面,在变分贝叶斯超分辨求解框架下,基于马尔可夫随机场模型建立每个像元点4邻域之间的不一致关系,提出加权双向差分先验模型,进一步约束观测方程的解空间,削弱求解的病态性。CX-6(02)星成像数据实验结果表明,本文的设计方法能够获得较好的超分辨率重建效果。
2 基本原理
2.1 图像序列获取方式
获得具有亚像元位移信息的多帧图像是进行超分辨率成像的先决条件。由于CCD探测器具有较好的感光能力和较高的调制传递函数,使CCD探测器在航天遥感中取得了非常广泛的应用,但是CCD探测器像元尺寸较大,特别是线阵CCD的像元尺寸通常在10 μm以上(https://camera-finder.e2v.com [2018-01-11]),而光学系统的焦距与探测器像元尺寸成反比,这就意味着要实现相同的成像分辨率,若使用10 μm像元的CCD探测器的系统焦距比5—6 μm像元CMOS探测器的系统焦距要长一倍,因此,由于体积的限制,线阵CCD拼接的方式难以应用于微纳卫星。此外,卫星固有的姿态控制误差会使相机光轴指向呈一定频率的偏转,所以就可以利用这个姿态控制偏差,并与CMOS探测器的帧频相配合,来获得不同大小的亚像元位移,从而不必专门设计快反镜、压电陶瓷等微扫描驱动装置来产生亚像元位移,进一步的简化了系统,节约了成本。
综合以上分析,CX-6(02)星载荷采用CMOS探测器画幅式重采样来获得图像序列,探测器最大帧频为35帧/s。卫星相对于地面的运动速度较快,为了能够对同一地物目标多次成像,要通过控制卫星姿态来降低CMOS探测器在地面上的投影沿轨道方向的运动速度,以下对这种成像补偿方式简称为地速补偿,补偿前后探测器投影相对于地面的运动速度之比称为地速补偿比,记为
如图1所示,以3帧图像为例,第Ⅰ、Ⅱ、Ⅲ帧图像重叠区域就构成了目标多次采样的图像序列。图像之间的相对位移可以分解为图像坐标系下的X方向位移和Y方向位移,以及光轴指向方向Z的旋转位移。若对同一目标区域观测
${\theta _k} = {D_{{\textit{z}}k}} - {D_{{\textit{z}}1}}$ | (1) |
式中,
${c_k} = H\left( {\tan ({D_{{\rm{x}}k}}) - \tan ({D_{{\rm{x}}1}})} \right)/GSD$ | (2) |
式中,
${d_K} = \frac{{(K - 1)v/R}}{{GSD \cdot {f_{\rm{p}}}}} + \frac{H}{{GSD}}\left( {\sum\limits_{k = 2}^K {\tan ({D_{yk}})} - \tan ({D_{y1}})} \right)$ | (3) |
式中,
${m_{{\rm{OY}}}} = {m_Y} - {d_K}$ | (4) |
式中,
在X或Y方向的位移可以表示为
2.2 超分辨率重建算法
对目标区域
${{{y}}_k} = {{A}} {{HC}}({{{s}}_k}) {{x}} + {{{n}}_k}$ | (5) |
式中,
$p({{x}}|{{{y}}_k}) = {{p({{{y}}_k}|{{x}})p({{x}})} / {p({{{y}}_k})}}$ | (6) |
式中,等号左侧的条件概率为要求的超分辨率重建结果;等号右侧第1项和第3项与获取的图像数据
若噪声
$p({{{y}}_k}{\rm{|}}{{x}},{{{s}}_k},{\beta _k}) \propto \beta _k^{N/2}\exp \left( { - \frac{{{\beta _k}}}{2}{{\left\| {{{{y}}_k} - {{AHC}}({{{s}}_k}){{x}}} \right\|}^2}} \right)$ | (7) |
式中,
$p({{{y}}_k}{{|x}}) \propto p({{{y}}_k}|{{x}}, {{{s}}_k}, \alpha, {\beta _k})p({{{s}}_k})p(\,{\beta _k})$ | (8) |
图像中每个像元点可以用马尔可夫模型描述,则先验概率
$p({{x}}|\alpha ) = Z(\alpha )\exp \left( { - \alpha U({{x}})} \right)$ | (9) |
式中,
$p({ x}|\alpha ) = {(\alpha )^{\frac{P}{2}}}\exp \left( { - \alpha \sum\limits_{i = 1}^P {\left( {\sqrt {{\Lambda _i}({{x}})} } \right)} } \right)$ | (10) |
$\begin{split} {\Lambda _i}({{x}}) = & {\left( {\Delta _{hi}^ \leftarrow ({{x}})} \right)^2} + {\left( {\Delta _{vi}^ \uparrow ({{x}})} \right)^2} + \\ & {\textit{λ}} \left( {{{\left( {\Delta _{hi}^ \to ({{x}})} \right)}^2} + {{\left( {\Delta _{vi}^ \downarrow ({{x}})} \right)}^2}} \right) \end{split}$ | (11) |
式中,“箭头”符号表示沿着该方向向
$p({{x}}) = p({{x}}|\alpha)p(\alpha)$ | (12) |
将式(8)和式(12)代入式(6)得
$\begin{split} p({{x}},{{{s}}_k},\alpha ,{\beta _k}|{{{y}}_k}) = & p({{{y}}_k}|{{x}},{{{s}}_k},{\beta _k})p({{{s}}_k}) \times \\ & p({\beta _k})p({{x}}|\alpha )p(\alpha )/p({{{y}}_k}) \end{split}$ | (13) |
由于难以对分布
$\begin{split} \hat q(\Theta ) = & \arg \min {C_{{\rm{KL}}}}(q(\Theta )\left\| {p(\Theta |{{y}})} \right.)\approx \\ & \arg \min \left( {\int q(\Theta )\log (\frac{{q(\Theta )}}{{p(\Theta ,{{y}})}}){\rm{d}}\Theta } \right) \end{split}$ | (14) |
通过使分布
$\max \left( {\inf \left( {p({{{y}}_k}|{{x}},{{{s}}_k},{\beta _k})p({{{s}}_k})p({\beta _k})p({{x}}|\alpha )p(\alpha )} \right)} \right)$ | (15) |
式(15)下边界的最大值由先验分布
$\gamma ({{x}},\alpha ,{{w}}) = {(\alpha )^{P/2}}\exp \left( { - \alpha \sum\limits_i {\frac{{{\Lambda _i}({{x}}) + {w_i}}}{{2\sqrt {{w_i}} }}} } \right)$ | (16) |
因此,式(14)变为
$\hat q(\Theta) = \arg \min \int {{q} (\Theta)\log \frac{{{q} (\Omega)}}{{p(\Omega)\varUpsilon ({ x}, \alpha, { w})}}} {\rm{d}}\Theta $ | (17) |
集合
${q} (\varTheta) = {q} ({ x})\prod\limits_{k = 1}^K {{q} ({\beta _k})} {q} ({{{s}}_k}){q} (\alpha)$ | (18) |
再对式(17)分别对分布
$\begin{split} q({{x}}) \propto \exp & \left( { - \frac{1}{2}\left\langle \alpha \right\rangle \sum\limits_{i = 1}^P {\frac{{{\Lambda _i}({{x}}) + {w_i}}}{{\sqrt {{w_i}} }}} - } \right.\\ & \left. {\frac{1}{2}\sum\limits_k {\left\langle {{\beta _k}} \right\rangle {E_{{{{s}}_k}}}\left[ {{{\left\| {{{{y}}_k} - {\bf{AHC}}({{{s}}_k}){{x}}} \right\|}^2}} \right]} } \right) \end{split}$ | (19) |
式中,符号
$\begin{split} & {E_{{{{s}}_k}}}\left[ {{{\left\| {{{{y}}_k} - {\bf{AHC}}({{{s}}_k}){{x}}} \right\|}^2}} \right] \approx{\left\| {{{{y}}_k} - {\bf{AHC}}({{{\bar{ s}}}_k}){{x}}} \right\|^2}+\\ & \sum\limits_{i = 1}^3 {\sum\limits_{j = 1}^3 {{\zeta _{kij}}{{{x}}^{\rm{T}}}{{{O}}_{ki}}{{({{{\bar{ s}}}_k})}^{\rm{T}}}{{{O}}_{kj}}({{{\bar{ s}}}_k}){{x}}} } \end{split}$ | (20) |
式中,
$\begin{split} [{{{N}}_1}({{{\bar{ s}}}_k}){{x}}, &{{{N}}_2}({{{\bar{ s}}}_k}){{x}},{{{N}}_3}({{{\bar{ s}}}_k}){{x}}] = [({{{P}}_1}({{{\bar{ s}}}_k}){{{M}}_1}({{{\bar{ s}}}_k}) + \\ & {{{P}}_2}({{{\bar{ s}}}_k}){{{M}}_2}({{{\bar{ s}}}_k})){{x}},{{{M}}_1}({{{\bar{ s}}}_k}){{x}},{{{M}}_2}({{{\bar{ s}}}_k}){{x}}] \end{split}$ | (21) |
${{{P}}_1}({{\bar{ s}}_k}) = diag(- u\sin ({\theta _k}) - v\cos ({\theta _k}))$ | (22) |
${{{P}}_2}({{\bar{ s}}_k}) = diag(u\cos ({\theta _k}) - v\sin ({\theta _k}))$ | (23) |
$\begin{split} {{{M}}_1}({{{\bar{ s}}}_k}) = & ({{I}} - {{{V}}_{{{\bar s}_k}}})({{{L}}_{tr({{\bar s}_k})}} - {{{L}}_{tl({{\bar s}_k})}}) + \\ & {{{V}}_{{{\bar s}_k}}}({{{L}}_{br({{\bar s}_k})}} - {{{L}}_{bl({{\bar s}_k})}}) \end{split}$ | (24) |
$\begin{split} {{{M}}_2}({{{\bar{ s}}}_k}) = & ({{I}} - {{{U}}_{{{\bar s}_k}}})({{{L}}_{bl({{\bar s}_k})}} - {{{L}}_{tl({{\bar s}_k})}}) + \\ & {{{U}}_{{{\bar s}_k}}}({{{L}}_{br({{\bar s}_k})}} - {{{L}}_{tr({{\bar s}_k})}}) \end{split}$ | (25) |
式(24)和(25)中,
将式(20)代入到(19)中,则
${\left[ {{{{\Sigma }}_{{\hat{ x}}}}} \right]^{ - 1}}{\hat{ x}} = \sum\limits_k {\left\langle {{\beta _k}} \right\rangle {{[{\bf{AHC}}({{{\bar{ s}}}_k})]}^{\rm{T}}}{{{y}}_k}} $ | (26) |
其中,
$\begin{split} {\left[ {{{{\Sigma }}_{\hat x}}} \right]^{ - 1}} = & \sum\limits_k {\left\langle {{\beta _k}} \right\rangle {{[{\bf{AHC}}({{{\bar{ s}}}_k})]}^{\rm{T}}}} {\bf{AHC}}({{{\bar{ s}}}_k}) + \\ & \sum\limits_k {\sum\limits_{i = 1}^3 {\sum\limits_{j = 1}^3 {\left\langle {{\beta _k}} \right\rangle {\zeta _{kij}}{{{x}}^{\rm{T}}}{{{O}}_{ki}}{{({{{\bar{ s}}}_k})}^{\rm{T}}}{{{O}}_{kj}}({{{\bar{ s}}}_k})} } } + \\ & \left\langle \alpha \right\rangle {[{\Lambda _i}({{x}})]^{\rm{T}}}\sqrt {{w}} [{\Lambda _i}({{x}})] \end{split}$ | (27) |
辅助变量矩阵表示为
对于配准参数分布
$\begin{split} {\left[ {{{{\bar{ s}}}_k}} \right]_{n + 1}} = & {{{S}}_k}[{({{S}}_k^p)^{ - 1}}{\bar{ s}}_k^p + \\ & \left\langle {{\beta _k}} \right\rangle ({{{\varGamma }}_k}{\left[ {{{{\bar{ s}}}_k}} \right]_n} + {{{\varPsi }}_k}{\left[ {{{{\bar{ s}}}_k}} \right]_n} + {{{Q}}_k} - {{{\varPhi }}_k})] \end{split}$ | (28) |
式中,
${{{\varPhi}} _{ki}} = trace[{({\bf{AHC}})^{\rm{T}}}{{{O}}_{ki}}({{\bar{ s}}_k}){{{\Sigma }}_{{\hat{ x}}}}]$ | (29) |
${{{Q}}_{ki}} = {[{y_k}{{ - }}{\bf AHC}({s_k})x]^{\rm{T}}}{{{\psi }}_{ki}}$ | (30) |
${{{\varPsi }}_k} = [{{{O}}_{k1}}({{\bar{ s}}_k}){\hat{ x}}, {{{O}}_{k2}}({{\bar{ s}}_k}){\hat{ x}}, {{{O}}_{k3}}({{\bar{ s}}_k}){\hat{ x}}]$ | (31) |
式(29)、式(30)、式(31)中,下标
${{{\varPsi}} _{kij}} = trace[{{{O}}_{ki}}{({{\bar{ s}}_k})^{\rm{T}}}{{{O}}_{kj}}({{\bar{ s}}_k}){\Sigma _{{\hat{ x}}}}]$ | (32) |
${{{\varGamma}} _{kij}} = \psi _{ki}^{\rm{T}}{\psi _{kj}}$ | (33) |
式中,下标
将式(27)、式(28)代入到式(26)中,利用共轭梯度等方法即可求出超分辨率重建结果
3 超分辨结果与分析
3.1 亚像元位移分析
对中国包头遥感定标场区域的图像序列进行分析,提取25帧图像X方向和Y方向的亚像元信息,并分别按从小到大的顺序重新排序,如图2所示,图像序列可覆盖0.1像元量级的亚像元信息,可保证为重建算法提供充分的亚像元参数,因此,本文中利用卫星姿态控制偏差来获得随机亚像元信息的方式是有效可行的。
3.2 算法对比分析
对该组图像序列进行超分辨率重建,并分别与基于L1范数先验模型和全变分先验模型的变分贝叶斯方法重建结果进行对比,扇形分辨率靶标和刃边靶标的原始成像以及3种算法的超分辨率重建结果如图3所示。首先,通过对扇形分辨率靶标的测量来分析算法对分辨率的提升效果,由于难以测量图像的绝对几何分辨率,因此,用相对分辨率的方式来对靶标进行测量,具体判定方法为:设扇形靶标半径为
当黑白线对恰能分辨时,圆弧各点对应的图像灰度值构成的曲线应有15个能够清晰识别的“波谷”,此时,所画圆弧的半径记为
图3(a)、(b)、(c)、(d)中圆弧对应的像元灰度值如图4所示,图4中的标注的1#—15#即为扇形靶标恰能分辨时对应的15根黑色靶标线。图3(a)圆弧对应半径为52.5个像元,图3(b)、(c)、(d)的圆弧对应半径均为33.5个像元,因此基于全变分先验、基于L1范数先验、基于加权双向差分先验的变分贝叶斯算法重建结果的相对分辨率都为0.52,原图的相对分辨率为0.25,那么,算法对于分辨率的提升约为2倍。
其次,从对噪声的抑制作用来看,视觉上本文方法的重建结果要明显优于其他两种方法,采用如图3(a)中标注的A、B、C 3个灰阶靶标来量化的评价算法对噪声的抑制效果,计算方法为:在图3(a)的灰阶靶标A处选取一块灰度分布较为均匀的ROI区域,然后在图3(b)、(c)、(d)的灰阶靶标A上选取与图3(a)所选区域坐标相同的ROI区域,这4块ROI区域都记为区域A,用区域内所有像元灰度均值与方差之比来估算该区域的信噪比 (朱博 等,2010)。灰阶靶标B和C信噪比的计算方式与A相同。估算结果如表1所示,本文方法重建结果在A、B、C区域的信噪比估算值均高于原始图像和其他两种算法,对原始图像噪声和计算噪声均有较好的抑制作用。
表 1 A/B/C灰阶靶标ROI区域的信噪比
Table 1 Comparison of A/B/C gray scale target ROI’s signal-to-noise ratio
区域A | 区域B | 区域C | |
原始图像SNR | 89.18 | 47.69 | 62.08 |
全变分先验超分辨结果SNR | 61.89 | 44.61 | 50.84 |
L1范数先验超分辨结果SNR | 43.84 | 35.69 | 39.11 |
本文方法超分辨结果SNR | 126.65 | 62.50 | 73.91 |
因此,基于L1范数先验和基于全变分先验的算法重建结果对于图像非边缘信息的约束均劣于本文算法,特别如灰阶靶标这样灰度均匀且面积较大的地物目标上体现的更为明显,从视觉上这两种算法的结果均具有一定的“布纹”感,且随着算法迭代次数的增加这种现象也会逐渐增强,导致信噪比下降。这就说明L1先验模型和全变分先验模型均未对观测方程的解空间起到较好的约束作用,在计算中引入了新的噪声,反卷积运算导致的强病态性未得以解决。而与原图相比,本文提出的基于加权双向差分先验模型的变分贝叶斯算法在图像的分辨率和信噪比上都保持了较好的像质提升,且在获得最优解后随迭代次数的增加像质保持不变,没有引入明显的计算噪声,从而对方程的解空间起到了更好的约束作用,削弱了反卷积的病态性。
CX-6(02)星除可获得全色波段的超分辨率图像外,还可获得同一地物目标区域的红、绿、蓝、及两个近红外,共5个多光谱波段的图像,从而可利用全色增强(Pan-Sharpening)算法(Sun 等,2017)进行超分辨图像与多光谱图像的融合,提高多光谱伪彩色合成图像的空间分辨率,卫星对鸟巢和水立方区域的伪彩色合成结果如图5(a)所示,图5(b)为图5(a)中鸟巢和水立方的局部放大结果,图5(c)为图5(b)表示区域的全色波段超分辨率重建结果与红、绿、蓝波段伪彩色图像的融合结果,融合后图5(c)的灰度平均梯度GMG(Gray Mean Gradient)是图5(b)的1.43倍,因此图5(c)具有更多的纹理特征,视觉上鸟巢和水立方的顶部细节表现力明显增强,进一步提高了卫星数据的应用价值。
4 结 论
本文提出一种星载超分辨率成像方案:图像获取设计上,将高帧频面阵CMOS探测器与卫星地速补偿相结合,通过姿态控制随机偏差来获得同一区域的多帧具有亚像元位移的图像;超分辨率重建算法设计方面,在变分贝叶斯框架下,提出了加权双向差分先验模型,进一步削弱反卷积运算的病态性。经CX-6(02)微纳卫星真实成像数据验证,本文图像获取方法可得到分布较为充分的亚像元位移信息,与同为变分贝叶斯框架的L1范数和全变分先验算法相比,本文重建算法具有较好的噪声抑制作用,可实现2倍分辨率的提升,为高分辨率对地遥感提供了一定的理论和试验支撑。
超分辨算法的初衷是解除因探测器奈奎斯特采样频率低于光学截止频率导致的频谱混叠,因此,超分辨率重建的效能与光学系统设计参数密切相关,需要围绕算法效能参数对成像系统进行整体优化;另外,还需在本文提出的先验模型基础上,结合图像的边缘特征和非边缘特征进一步对变分贝叶斯超分辨重建算法进行优化。这都是未来研究工作的重要方向。
志 谢 CX-6(02)星图像数据的存储和传输获得了中国科学院遥感与数字地球研究所中国遥感卫星地面站卫星数据技术部的大力支持,在此致以诚挚的感谢。
参考文献(References)
-
Babacan S D, Molina R and Katsaggelos A K. 2011. Variational Bayesian super resolution. IEEE Transactions on Image Processing, 20 (4): 984–999. [DOI: 10.1109/TIP.2010.2080278]
-
Chen C C. 2010. A Multi-Frame Super-Resolution Algorithm Using POCS and Wavelet. Montréal, Québec, Canada: Concordia University
-
Farsiu S, Robinson M D, Elad M and Milanfar P. 2004. Fast and robust multiframe super resolution. IEEE Transactions on Image Processing, 13 (10): 1327–1344. [DOI: 10.1109/TIP.2004.834669]
-
He Y, Yap K H, Chen L and Chau L P. 2007. A nonlinear least square technique for simultaneous image registration and super-resolution. IEEE Transactions on Image Processing, 16 (11): 2830–2841. [DOI: 10.1109/TIP.2007.908074]
-
Heinrich G and Goesele M. 2009. Variational bayes for generic topic models//Mertsching B, Hund M and Aziz Z, eds. KI 2009: Advances in Artificial Intelligence. Berlin, Heidelberg: Springer, 5803: 161–168 [DOI: 10.1007/978-3-642-04617-9_21]
-
Jacobsen K. 2005. High resolution imaging satellite systems//EARSeL Workshop on Remote Sensing Use of the 3rd Dimension for Remote Sensing Purposes. Porto, Portugal: [s.n.]
-
Latry C, Vadon H, Lefevre M J and De Boissezon H. 2003. SPOT5 THX: a 2.5m fused product//Proceedings of the 2nd GRSS/ISPRS Joint Workshop on Remote Sensing and Data Fusion over Urban Areas. Berlin, Germany, Germany: IEEE: 87–89. [DOI: 10.1109/DFUA.2003.1219963]
-
Murthy K, Shearn M, Smiley B D, Chau A H, Levine J and Robinson M D. 2014. SkySat-1: very high-resolution imagery from a small satellite//Proceedings Volume 9241, Sensors, Systems, and Next-generation Satellites XVIII. Amsterdam, Netherlands: SPIE, 9241: 92411E [DOI: 10.1117/12.2074163]
-
Nitta K, Shogenji R, Miyatake S and Tanida J. 2006. Image reconstruction for thin observation module by bound optics by using the iterative backprojection method. Applied Optics, 45 (13): 2893–2900. [DOI: 10.1364/AO.45.002893]
-
Shen H F, Li P X and Zhang L P. 2005. A regularized super-resolution image reconstruction method. Journal of Image and Graphics, 10 (4): 436–440. [DOI: 10.11834/jig.20050489] ( 沈焕锋, 李平湘, 张良培. 2005. 一种基于正则化技术的超分辨影像重建方法. 中国图象图形学报, 10 (4): 436–440. [DOI: 10.11834/jig.20050489] )
-
Shen H F, Zhang L P, Huang B and Li P X. 2007. A MAP approach for joint motion estimation, segmentation, and super resolution. IEEE Transactions on Image Processing, 16 (2): 479–490. [DOI: 10.1109/TIP.2006.888334]
-
Sun J Y, Tan Z, Lv Q B and Pei L L. 2017. Multispectral image enhancement processing for microsat-borne imager//Proceedings of the Volume 10427, Image and Signal Processing for Remote Sensing XXIII. Warsaw, Poland: SPIE: 104271W [DOI: 10.1117/12.2280556]
-
Tan Z, Xiang L B, Lv Q B, Sun J Y, Zhao N, Fang Y and Liu Y Y. 2017. A sequence images super-resolution enhancement approach based on frequency-domain. Acta Optica Sinica, 37 (7): 0710001 [DOI: 10.3788/aos201737.0710001] ( 谭政, 相里斌, 吕群波, 孙建颖, 赵娜, 方煜, 刘扬阳. 2017. 一种基于频域的序列图像超分辨率增强方法. 光学学报, 37 (7): 0710001 [DOI: 10.3788/aos201737.0710001] )
-
Villena S, Vega M, Molina R and Katsaggelos A K. 2009. Bayesian super-resolution image reconstruction using an ℓ1 prior//Proceedings of the 6th International Symposium on Image and Signal Processing and Analysis. Salzburg, Austria: IEEE: 152–157 [DOI: 10.1109/ISPA.2009.5297740]
-
Woods M and Katsaggelos A. 2017. A Bayesian multi-frame image super-resolution algorithm using the Gaussian Information Filter//Proceedings of 2017 IEEE International Conference on Acoustics, Speech and Signal Processing. New Orleans, LA, USA: IEEE [DOI: 10.1109/ICASSP.2017.7952380]
-
Zhu B, Wang X H, Tang L L and Li C R. 2010. Review on methods for snr estimation of optical remote sensing imagery. Remote Sensing Technology and Application, 25 (2): 304–309. ( 朱博, 王新鸿, 唐伶俐, 李传荣. 2010. 光学遥感图像信噪比评估方法研究进展. 遥感技术与应用, 25 (2): 304–309. )
-
Zou M Y. 2001. Deconvolution and Signal Recovery. Beijing: National Defense Industry Press (邹谋炎. 2001. 反卷积和信号复原. 北京: 国防工业出版社)