应用气象学报  2016, 27 (1): 123-128   PDF    
引用本文
陈博洋, 谷松岩, 陈凡胜. FY-3微波成像仪10.6 GHz通道超分辨率图像重建[J]. 应用气象学报, 2016, 27(1): 123-128.
Chen Boyang, Gu Songyan, Chen Fansheng. Super Resolution Image Reconstruction for FY-3 MWRI 10.6 GHz Band[J]. Journal of Applied Meteorological Science, 2016, 27(1): 123-128  
FY-3微波成像仪10.6 GHz通道超分辨率图像重建
陈博洋1, 谷松岩1, 陈凡胜2     
1. 国家卫星气象中心，北京 100081;
1. 中国科学院上海技术物理研究所，上海 200083
2015-07-06 收到, 2015-10-10 收到修改稿.
资助项目: 国家自然科学基金项目 (41375023, 40905013)    
通讯作者: 陈博洋, email: chenby@cma.gov.cn.
摘要: 为改善风云三号 (FY-3) 微波成像仪10.6 GHz通道空间分辨率，提出利用超分辨率图像重建算法进行图像重建。分析并指出FY-3微波成像仪10.6 GHz通道具有过采样特征，具备重建得到高于瞬时视场图像的潜力；基于超分辨率图像重建理论，根据FY-3气象卫星轨道、姿态，微波成像仪性能参数以及工作模式等物理约束，建立微波成像仪的超分辨率成像模型，并推导计算出超分辨率成像模型参数；采用POCS算法重建得到10.6 GHz通道的超分辨率图像，采用目视比较分析、图像统计分析对重建图像进行质量评价：重建图像像元平均梯度提高26.5%，功率谱分量和提高5.7%，重建图像具有更高的空间分辨率；台风亮温分析应用显示了从重建图像可发现更微小的景物细节目标。采用超分辨率图像重建算法对FY-3微波成像仪10.6 GHz通道进行重建处理，结果有效且正确，可为数据用户提供更多可用的遥感数据，对微波遥感数据应用具有提升作用。
关键词: 微波成像仪    过采样    超分辨率图像重建    
Super Resolution Image Reconstruction for FY-3 MWRI 10.6 GHz Band
Chen Boyang1, Gu Songyan1, Chen Fansheng2     
1. National Satellite Meteorological Center, Beijing 100081;
1. Shanghai Institute of Technical Physics, CAS, Shanghai 200083
Abstract: To improve the spatial resolution of FY-3 MWRI, super-resolution reconstruction algorithm is used for the first time. Analysis on the working model of FY-3 MWRI indicates that the 10.6 GHz channel data are over-sampled, and the information included in the over-sample data is the key factor for improving the spatial resolution by super-resolution reconstruction algorithm. Based on the super-resolution reconstruction theory, the orbit, attitude and characteristics of MWRI are all used as the physics restriction, the speed of the satellite and the antenna pattern are both used to calculate the over-sample rate along the orbit, the ground sample distance dividing the flying distance in the integral time of one pixel is over-sample rate along the orbit, the speed of scanning mirror and antenna pattern are both used to calculate the over-sample rate across the orbit, and the field of view dividing the scanning angel in the integral time is over-sample rate across the orbit. Based on the over-sample rates of two directions, the super-resolution imaging matrix is estimated, the scale of the matrix is over-sample rate value along the orbit times the over-sample rate value across the orbit, and parameters of the matrix are calculated out from the metrical value of the antenna pattern by integral. The 10.6 GHz image reconstruction is conducted with POCS reconstruction algorithm. Firstly, a high-resolution image is estimated from the low-resolution image by interpolation algorithm, the new observing image is estimated by the high-resolution times the super-resolution imaging matrix, and then the process is repeated over and over based on the error, through which the high-resolution image becomes closer and closer to the factual scene. In the experiment, a real 10.6 GHz image of FY-3 MWRI is processed, the spatial resolution of the high-resolution image is estimated by artificial observation and mathematic statistic. The average grads of one pixel advances from 11.72 to 14.82, the sum of the power spectral increases 5.7%, and reconstruction image is of a higher spatial resolution. The typhoon temperature analysis shows that more details can be found in the reconstruction image, and details are similar as that in the image of 37 GHz, proving the reconstruction is effective and right. The super-resolution reconstruction is useful for FY-3 MWRI image of 10.6 GHz, which can offer more images with higher spatial resolution, accelerating the application of FY-3 MWRI.
Key words: MWRI     over-sample     super resolution image reconstruction    
引言

微波遥感具有穿透云雨大气的能力，能够全天时全天候监测云雨大气的垂直分布[1]，得到降雨云团的结构特征[2]，在台风监测、数值天气预报系统中作用明显[3-4]。各国都在积极发展空间微波遥感仪器用于台风强对流等气象观测[5]，我国第2代极轨气象卫星风云三号 (FY-3) 搭载微波成像仪 (MWRI) 极大提高了我国在微波遥感领域的观测能力。FY-3 MWRI在5个频点工作：10.65，18.7，23.8，36.5，89 GHz，受微波遥感的频率和星载微波遥感仪器天线口径的限制，MWRI的10.6 GHz通道图像的空间分辨率只有50 km×80 km，美国同类遥感仪器AMSR-E于2002年发射，其10.6 GHz通道图像的空间分辨率为28 km×49 km，如能提高微波遥感图像的空间分辨率，可发现更多的景物细节目标，显著提高遥感数据的应用效果。经分析，FY-3 MWRI的采样间隔为9 km，10.6 GHz通道波束足迹大小为50 km，采样间隔远小于波束足迹，数据具有过采样特征，过采样率达到5倍，根据信息论，过采样数据存在信息冗余，可通过数据处理挖掘出更多有效信息。

目前有多种微波遥感图像空间分辨率增强方法，可达到提高微波遥感图像空间分辨率的目的，目前常用的方法有图像反卷积算法[6]、频谱非线性外推法[7]、SIR (scatterometer image restruction) 算法[8-10]以及BG反演算法 (Bockus-Gilbert algorithm)[11]等，其中，图像反卷积算法和频谱非线性外推法主要改善单帧图像的可视化锐利程度，图像反卷积法是通过空间解混叠，频谱非线性外推法通过增加图像高频分量达到目的，SIR算法和BG反演算法靠融合过采样数据提供的多于单帧图像信息量使图像的灰度值接近景物真实亮温, 从而提高图像分辨率，但SIR算法和BG反演算法未按照采样定理充分利用过采样图像序列的信息量，使重建得到的图像空间分辨率提高到空间采样频率的1/2。

前期研究显示，超分辨率图像重建算法根据仪器成像的物理过程，从数学角度进行方程求解，通过先验知识进行高强度约束，具有很好的超分辨率图像重建效果：超分辨率图像重建已在遥感领域显示出成效。但目前的超分辨率重建研究和应用主要集中在光学遥感领域，光学遥感采用超分辨率图像重建具有先天优势：光学图像序列相位固定，易于采用超分辨率图像重建算法。而微波遥感成像模型相对复杂，需要对处理算法进行较大改进才能完成图像重建处理。本文采用超分辨率图像重建算法对FY-3 MWRI 10.6 GHz通道进行超分辨率重建，重建图像可更有效地发现更小尺度天气的细节，为天气预报系统提供更加丰富的信息。

1 超分辨率图像重建理论简介

20世纪80年代初期，Tsai等[12]首先提出从图像序列中进行超分辨率图像重建的问题，超分辨率图像重建的基础是提高对目标的采样频率。

离散傅立叶变换有如下性质[13]：对于时域有限信号x(t), t∈[0, T0]，若按照间隔Δt的分辨率采样，样本量为K，则其在频率域的离散频谱分辨率为，其离散频谱为, m=0, 1, 2, …，K-1；反之，若对频率域间隔为，每个周期有K个样本X(0), X(W), …X((K-1)W) 的频率域周期信号，则可恢复出时间域间隔为的时间域信号样本x(nΔt), n=0, 1, 2, …, K-1。根据以上性质，空间域采样频率提高L倍的数据可通过傅立叶变换在频率域进行叠加，得到频率域上的LK个样本值，进而估计出x(t) 在时间域内周期长度为KΔt内的LK样本值，时间域内的采样间隔变为，即分辨率改变L倍。

超分辨率图像重建一般选用空间域重建方法进行计算：迭代反投影法 (iterative back-projection，IBP)[14]、凸集投影法 (projection onto convex sets，POCS)[15]、最大后验概率法 (maximum a posteriori，MAP)[16]和最大似然估计法 (maximum likelihood，ML)[17]均为常用的超分辨率图像重建算法。

超分辨率图像重建技术已用于卫星遥感，法国SPOT-5卫星和MSG卫星是太阳同步轨道和地球同步轨道的典型代表。另外，以色列EROS-A卫星利用该技术从获取到的1.8 m空间分辨率图像序列重建得到0.9 m空间分辨率图像。

上述理论和实践证明，超分辨率重建可提高具有过采样特征图像的空间分辨率，促进遥感数据的有效应用。

2 FY-3 MWRI超分辨率图像重建

FY-3 MWRI不同频点的地面足迹示意见图 1，MWRI各频点采用同一天线，但频点不同导致不同通道的地面足迹大小不同，图 1中相切的实线小圆是89 GHz相邻采样足迹，虚线大圆是10.6 GHz相邻采样足迹，采样足迹在空间上的重叠带来信息冗余，也是超分辨率图像重建的基础。需要从实际观测值中挖掘出冗余信息，通过重建算法得到更高分辨率的图像。本文中超分辨率图像重建算法采用POCS算法，POCS算法可以根据多种物理规律构建重建约束集，处理效果较好，是超分辨率图像重建常用的方法。重建流程如图 2所示。

图 1. FY-3 MWRI足迹 Fig 1. FY-3 MWRI foot print

图 2. 基于POCS算法的FY-3 MWRI超分辨率图像重建 Fig 2. High resolution image reconstruction based POCS of FY-3 MWRI

首先根据飞行速度、扫描速度和10.6 GHz地面足迹大小分别计算出行方向和列方向的重叠率，在行方向，卫星的速度为v，飞行高度为H，考虑其对地面成像矩阵和信息重叠量的影响，将其计算转换为地速

(1)

式 (1) 中，φ为卫星运动速度的俯仰角，由此确定卫星运动方向的信息重叠率

(2)

同时，MWRI扫描镜扫描角速度vScan决定了穿轨方向信息重叠率

(3)

其中，θ为MWRI瞬时视场，τ为MWRI积分时间，k1和k2的倒数分别为行和列方向的相位差。代入FY-3B各项指标得到参数k1=15，k2=21。

根据行和列方向的相位差对天线方向图进行分割，得到超分辨率成像矩阵，成像矩阵基于天线方向图，矩阵元素值从天线方向图增益测量值按照矩阵规模积分得到。

利用超分辨率成像矩阵对待求解的高分辨率图像 (初值可由实际观测的低分辨率图像插值得到) 进行重采样，得到符合真实观测条件的低分辨率图像，用重采样图像减去实际观测图像求出待求解高分辨率图像误差，再通过误差反传修正待求解高分辨率图像，不断迭代得到理想的超分辨率图像，重建结果见图 3。

图 3. 2011年5月27日04:27 FY-3B MWRI 10.6 GHz通道原始图像 (a) 与重建图像 (b) Fig 3. Original image (a) and reconstruction image (b) of FY-3B MWRI at 0427 UTC 27 May 2011

图 3为FY-3B MWRI 2011年5月27日04:27(世界时, 下同)10.6 GHz通道原始图像及超分辨率重建结果。通过目视比较，重建后的10.6 GHz图像中，不同亮度区域的边缘更佳锐利，显示出更多景物细节目标。

3 重建图像应用与质量评价 3.1 超分辨率重建图像应用

微波遥感图像可穿透云层，相比光学遥感，微波遥感观测台风具有得天独厚的优势，空间分辨率对观测目标细节很重要，李小青等[18]明确指出，美国微波遥感仪器AMSR-E于2002年发射，其10.6 GHz通道图像的空间分辨率为49 km×28 km，空间分辨能力是FY-3 MWRI的2倍，通过MWRI和AMSR-E图像对比发现，AMSR-E遥感图像对台风等地球大气结构的细节探测明显高于FY-3 MWRI。分别应用重建前后的图像进行台风亮温分析，结果见图 4。

图 4. 2011年5月27日04:27 FY-3B MWRI台风桑达 (1102) 亮温 (a) 原始图像，(b) 重建图像，(c)37 GHz图像 Fig 4. Bright temperature of typhoon Songda at 0427 UTC 27 May 2011 (a) original image, (b) reconstruction image, (c) image of 37 GHz

图 4a是利用2011年5月27日04:27 FY-3 MWRI 10.6 GHz通道原始图像进行台风桑达 (1102) 亮温分析结果，由于图像空间分辨率较低，图 4a左侧中部台风区域中心计数值较均匀。图 4b为10.6 GHz通道重建图像台风亮温分析结果，重建后可以较清晰地看到台风中部有高亮温区域，左下部的高亮温区域形态更细致，为了比较应用效果，图 4c同时次的37 GHz图像，由于观测频点不同，观测到的目标有差异，但可看到台风中部除了台风眼外，还有一圈明显的高亮温区域，区域与重建图像中显示的高亮温区域一致，重建图像中出现的左下部高亮温区域与37 GHz图像中的高亮温区域形态更加接近。图 4显示重建图像能有效提高图像空间分辨率，可提升微波遥感数据应用效果。

3.2 超分辨率重建图像定量评价

除目视比较与应用比较外，对重建前后图像的空间分辨率进行定量化评价，采用像元平均梯度评价和功率谱分量和方法。像元平均梯度评价方法有很好的单峰性，作为图像相对锐度的一种计算方法十分有效，通过对同一场景进行像元平均梯度计算，可判别两幅图像的清晰度。

利用Sobel边缘算子计算一阶微分[19]，大小为M×N的图像像元平均梯度

(4)

其中, T[I(i, j)]=Gx2(i, j)+Gy2(i, j)；Gx(i, j) 和Gy(i, j) 分别为图像与Sobel算子的卷积。

图像功率谱是图像在不同频率上各分量所占比例，对于固定场景来说，图像功率谱之和越大，功率谱高频部分比例越大，原图像空间分辨率越高，因此，功率谱之和部分表征图像空间分辨率，谷松岩等[20]曾用该方法评价空间遥感图像质量，准确地评价了FY-2C气象卫星图像质量。

对于大小为M×N的二维图像，图像功率谱分量和

(5)

其中，F(P, Q) 为图像的傅里叶变换。10.6 GHz通道原始图像和重建图像的像元平均梯度与功率谱分量和计算结果，像元平均梯度由11.72提高到14.82，提高26.5%；功率谱分量和由9.92×1015提高到1.05×1016，提高5.7%。结合图 4，说明超分辨率图像重建结果正确，有效提高了图像空间分辨率，可发现景物目标更细微特征。

4 结论

为改善FY-3 MWRI 10.6 GHz通道空间分辨率，促进微波遥感数据应用，从图像处理角度，引入超分辨率图像重建技术对10.6 GHz通道数据进行重建处理。通过重建处理与评价得到以下主要结论：

1) FY-3 MWRI的10.6 GHz通道数据具有过采样特性，包含冗余信息，具备超分辨率重建的潜力。

2) 根据FY-3B MWRI性能参数建立了FY-3B MWRI 10.6 GHz通道过采样成像矩阵，基于超分辨率成像矩阵的10.6 GHz通道图像重建效果显示，过采样模型正确有效。

3) 通过目视比较与统计分析确定重建后的图像能量空间分布具有高分辨率特征，图像像元平均梯度与功率谱分量和均得到提高。

4) 利用重建后的图像进行台风亮温分析，可从重建图像中更有效地发现景物目标的细微特征，提取更多信息量，提升微波遥感数据应用效果。

参考文献
[1] 邱红, 方翔, 谷松岩, 等. 利用AMSU分析热带气旋结构特征. 应用气象学报, 2007, 18, (6): 810–820. DOI:10.11898/1001-7313.200706123
[2] 刘健, 张文建, 朱元竞, 等. 中尺度强暴雨云团云特征的多种卫星资料综合分析. 应用气象学报, 2007, 18, (2): 158–164. DOI:10.11898/1001-7313.20070228
[3] 杜明斌, 杨引明, 杨玉华, 等. FY-3A微波资料偏差订正及台风路径预报应用. 应用气象学报, 2012, 23, (1): 89–95.
[4] 任强, 董佩明, 薛纪善. 台风数值预报中受云影响微波卫星资料的同化试验. 应用气象学报, 2009, 20, (2): 137–146. DOI:10.11898/1001-7313.20090202
[5] 刘喆, 韩志刚, 赵增亮, 等. 利用ATOVS反演产品分析“云娜”台风. 应用气象学报, 2006, 17, (4): 473–477. DOI:10.11898/1001-7313.20060413
[6] Sethmann R, Burns B A, Heygster G C. Spatial resolution improvement of SSM/I data with image restoration techniques. IEEE Trans Geosci Remote Sensing, 1994, 32, (6): 1144–1151. DOI:10.1109/36.338362
[7] Greenspan H, Anderson C A. Image enhancement by nonlinear extrapolation in frequency space. IEEE Trans Image Processing, 2009, (9): 1035–1048.
[8] Long G, Hardin P J, Whiting P T. Resolution enhancement of spaceborne scattermeter data. IEEE Trans Geosci Remote Sensing, 1993, 31, (3): 700–715. DOI:10.1109/36.225536
[9] Early D S, Long D G. Image reconstruction and enhanced resolution imaging from irregular samples. IEEE Trans Geosci Remote Sensing, 2001, 39, (2): 291–302. DOI:10.1109/36.905237
[10] Gilbert P. Iterative methods for three-dimensional reconstruction of an object from projections. J Theor Biol, 1972, 36: 105–117. DOI:10.1016/0022-5193(72)90180-4
[11] Backus G, Gilbert F. Numerical applications of a formalism for geophysical inverse problem. Geophys J R Astr Soc, 1967, 13: 247–276. DOI:10.1111/gji.1967.13.issue-1-3
[12] Tsai R Y, Huang T S. Multi-frame image restoration and registration. Advance in Computer Vision and Image Processing, 1984, (1): 317–339.
[13] Alan O V, Alan S W, Nawab S H. 信号与系统 (第一版). 刘树棠, 译. 西安: 西安交通大学出版社, 1998: 233-234;277-282.
[14] Itani M, Peleg S. Improving resolution by image registration. CVGIP:Graph.Models Image Process, 1991, 53, (3): 231–239. DOI:10.1016/1049-9652(91)90045-L
[15] Stark H, Oskoui P. High-resolution image recovery from image-plane arrays, using convex projections. Journal of the Optical Society of America A, 1989, 6, (11): 1715–1726. DOI:10.1364/JOSAA.6.001715
[16] Schultz R R, Stevenson R L. Extraction of high-resolution frames from video sequences. IEEE Trans IP, 1996, 5, (6): 996–1011.
[17] Tom B C, Katsaggelos A K. Reconstruction of a High-resolution Image by Simultaneous Registration, Restoration, and Interpolation of Low-resolution Images. Proc 1995 IEEE Int Conf Image Processing, 1995, (2): 539–542.
[18] 李小青, 杨虎, 游然, 等. 利用风云三号微波成像仪资料遥感“桑达”台风降雨云结构. 地球物理学报, 2012, 55, (9): 2843–2853.
[19] 章毓晋. 图像处理和分析. (第一版). 北京: 清华大学出版社, 1999: 182–183.
[20] 谷松岩, 范天锡. FY-2和GMS-5红外通道遥感图像质量的功率谱分析. 应用气象学报, 1999, 10, (3): 374–378.