文章快速检索  
  高级检索
资源三号多光谱影像谱段间相对内参关系标定及高精度配准
李奇峻1, 范大昭1, 雷蓉1, 纪松1, 张文朝2     
1. 信息工程大学地理空间信息学院,河南 郑州 450052 ;
2. 61287部队,四川 成都 610000
摘要:针对资源三号多光谱相机,提出利用同时获取的各谱段影像间高精度提取的同名像点建立多光谱相机各谱段对应分片CCD之间的位置模型,求解它们的相对内参关系参数,并应用此模型实现了谱段间影像的高精度谱段配准。试验结果表明该方法能够实现资源三号卫星多光谱影像优于0.3像素精度的谱段间自动配准。
关键词: 多光谱相机     同名像点     相对内参关系     高精度     配准    
Calibration for Relative Interior Orientation Relationship and Band-to-band Registration with High Accuracy of ZY-3 Multi-spectral Image
LI Qijun1, FAN Dazhao1, LEI Rong1, JI Song1, ZHANG Wenzhao2     
1. Institute of Surveying and Mapping,Informing Engineering University,Zhengzhou 450052,China ;
2. 61287 Troops,Chengdu 610000,China
Foundation support: The National Natural Science Foundation of China(No.41401534);The Open Fund of State Key Laboratory of Geographic Information Engineering(No.SKLGIE2013-M-3-1);The Scientific Research Foundation for Public Welfare Industry of Surveying and Mapping and Geographic Information(No.201412007);Master Dissertation Innovation Foundation of Institute of Surveying and Mapping of Information Engineering University (No.XS201510)
First author: LI Qijun(1991-), male, postgraduate, majors in digital photogrammetry.E-mail: hangben61ban@163.com
Corresponding author: FAN Dazhao, E-mail: fdzcehui@163.com
Abstract: Using high accuracy match points extracted between the multi-spectral images that obtained at the same time,a position model of the CCD chips of the ZY-3 multi-spectral camera was proposed. Relative interior orientation relationship parameters were calculated and accurate band-to-band automatic registration of ZY-3 multi-spectral image was achieved based on the position model. The experimental result indicates that the band-to-band automatic registration accuracy of ZY-3 multi-spectral image is better than 0.3 pixels with the proposed method.
Key words: multi-spectral camera     match point     relative interior orientation relationship     high accuracy     registration    

资源三号卫星(ZY-3)是我国第一颗民用高精度立体测绘卫星,发射于2012年1月9日。在卫星上安装了一台能获取5.8 m分辨率影像的多光谱相机,相机焦平面内排列着共视场成像的红(B3)、绿(B2)、蓝(B1)和近红外(B4)4个谱段[1-2]。每个谱段的CCD由3片小CCD拼成,每片有3072个探元,谱段间CCD沿轨道方向有一定的间隔[3]。虽然相机制造方在安置CCD阵列时考虑了谱段间配准需求的严密几何关系[4],实际上影像的谱段配准精度不能满足应用要求,这是因为存在镜头光学畸变、卫星颤振和安装误差。在多光谱影像处理上,国外学者在在轨检校时先补偿了多光谱相机的镜头畸变,然后应用检校后的内方位元素进行影像配准,使RapidEye、ALOS和SPOT等卫星的影像配准精度得到了提高,达到0.2像素[5-10];文献[11]利用虚拟CCD成像的方法实现了多光谱影像的高精度谱段配准,但需要先对相机进行在轨检校;文献[12]在资源三号多光谱影像自动配准时采用类似于相对定向的方式来恢复各波段影像间精确的相对几何成像关系,该方法在理论上具有严密性,且配准结果与影像质量无关;文献[13]对SPOT全色影像和TM多光谱影像配准时采用了多级影像概率松弛整体匹配技术;文献[14]使用基于梯度幅度最大值的方法进行多传感器影像配准;文献[15]在对于角度和尺度偏差较大的SPOT5和TM影像进行配准时采用了一种基于虚拟匹配窗口的SIFT算法;文献[16]提出了基于特征约束与光流场方法的遥感图像配准。

本文从多光谱相机谱段间相对内参关系出发,利用同时获取的各谱段影像间高精度提取的同名像点建立了多光谱相机各谱段对应分片CCD之间的位置模型,求解出它们的相对内参关系参数,并应用此模型实现了谱段间影像的高精度谱段配准。利用资源三号多光谱影像进行试验,试验结果表明该方法能使资源三号多光谱谱段间影像的配准精度达到亚像素级。

1 原理简介 1.1 同名像点间空间几何模型

文献[17]提出了SIFT特征,SIFT特征能够抗影像尺度变换、抗影像亮度变换和抗影像旋转变换,它在遥感影像匹配中的应用前景十分广阔[18],本文利用SIFT算法提取特征点并进行匹配获取同名像点。构建同名像点间的几何关系是实现本文多光谱影像后续匹配的基础。对于谱段B1影像和谱段B2影像,假设P是谱段B1影像和谱段B2影像所覆盖的地面重叠区域内的一点,对应像点分别为p1p2S1S2为对应的投影中心,由于同名点物方定位一致,则光线S1p1S2p2必然相交于物方点P,根据两影像的严格几何成像模型有

式中,m1m2是摄影比例尺因子;(XS1,YS1,ZS1)和XS2,YS2,ZS2为投影中心S1S2WGS-84坐标系下的坐标;Rsensor1starRsensor2star是成像时本体坐标系旋转到轨道坐标系的矩阵;Rstar1CISRstar2CIS是成像时轨道坐标系旋转到J2000坐标系的矩阵;RCISCTS、RCIS1CTS2是成像时J2000坐标系旋转到WGS-84坐标系矩阵。

利用严格几何成像模型和地面物方高程信息可以得到同名像点之间的几何关系,获得粗匹配的约束条件。实际情况中谱段影像的成像几何参数以及物方高程信息总存在一定的误差,在卫星飞行过程中,各谱段CCD同时排列在多光谱相机焦平面内,因此可以认为各CCD的外方位元素一致,而高程信息对像方的影响很小,可以忽略[12],总的误差由CCD的畸变带来,且误差不大。因此可以以计算值为中心开辟窗口,以最小二乘匹配进行精确配准。

1.2 单点最小二乘匹配

最小二乘匹配算法考虑了影像之间的灰度畸变和几何畸变,能够同时改正匹配影像之间的辐射误差和几何变形误差,同时可以在平差过程中灵活地加入一些约束条件,使配准精度达到1/10~1/100像素。同时考虑辐射和几何畸变有

将式(3)线性化,得到匹配的误差方程式

式中,v是相应像素的灰度差;ci(i=1,…,8)是误差方程式的系数,由此构建法方程,设置迭代阈值,当满足精度时,迭代终止,就可以计算出同名点坐标。

在本文方法中,先将在基准谱段影像中提取的特征点经过同名像点空间几何模型解算到目标谱段影像,再将解算坐标作为最小二乘匹配的初始值,就可以经过最小二乘匹配获得精确的同名像点坐标。

1.3 谱段间相对内参关系模型

资源三号多光谱相机焦平面内依次排列着红、绿、蓝和近红外4个CCD阵列,每个阵列由3个分片CCD组成,在各波段CCD成像时CCD可能存在位置错移和物理畸变。对于焦平面内的两个分片CCD阵列而言,若以其中一个CCD阵列为基准,则另一CCD阵列可以看作是基准CCD阵列经过一系列的旋转、弯曲、缩放等变形后平移至目标CCD阵列位置,因此可以仿照线阵CCD内方位误差模型[19-21]来建立两个分片CCD阵列之间的相对内参关系模型,通过最小二乘匹配获取足够多的同名像点坐标,将分片同名像点坐标转换为整幅影像同名像点坐标,将转换后的同名像点坐标作为分片CCD阵列中相应探元在焦平面内的位置,重建CCD之间的位置关系模型,从而解算出不同谱段间对应分片CCD之间的相对内参关系。

1.3.1 主点偏移

线阵CCD在轨成像时由于环境变化导致相机主点产生微小的偏移(图 1),微小偏移会使像点发生偏差记为(Δxpyp)。

图 1 主点偏移 Fig. 1 Principal point of photograph error

1.3.2 像元尺寸变化

xy轴上,假如像元尺寸变化率为dpxdpy,像元一般在x轴方向较多,在y轴方向只有1个(图 2),因此可忽略在y轴方向上的变形,重点考虑在x轴方向上像元变形的影响,此时像元在xy轴上的变化大小为

图 2 瞬时影像坐标系 Fig. 2 Instantaneous image coordinate

1.3.3 焦平面内CCD旋转

引起像点位置变化的不仅是像元尺寸变化,还有焦平面内CCD的旋转,如图 3所示。在焦平面内CCD的旋转会对飞行方向上像点的坐标产生较大误差影响。设在焦平面内线阵CCD旋转了θ度,此时像元在CCD上的坐标为,则在x方向和y方向的像点坐标误差dxθdyθ

图 3 线阵CCD旋转误差 Fig. 3 The rotation angle of CCD line error

式中,x=x-x0

1.3.4 CCD弯曲误差

CCD弯曲使像点在飞行方向(y方向)上产生误差,如图 4所示。如果CCD的弯曲度是b,则由CCD弯曲引起像点i的误差为

式中,ri2=(xi-x0)2+(yi-y0)2

图 4 线阵CCD的弯曲 Fig. 4 The bend error of CCD line

1.3.5 谱段间相对内参关系模型

由此可以建立基准分片CCD位置和目标分片CCD位置的相对内参关系模型

式中,x=x-x0x2=x2-x20,利用足够多的同名像点对即可求解出相关参数,作为不同谱段间对应分片CCD之间的相对内参关系。

进行多光谱影像谱段间相对内参关系的解算可分为4步:①利用SIFT算法对基准谱段分片影像进行特征点提取;②利用资源三号卫星中的辅助数据和高程信息由严格几何模型构建同名像点空间几何模型,求出目标谱段分片影像上同名像点坐标的概略值,将其作为单点最小二乘匹配的初值;③以求出的同名像点坐标为中心开取窗口,进行单点最小二乘匹配;④由多对精确的同名像点坐标构建谱段间相对内参关系模型,解算精确的相对内参关系参数。

2 试验分析

为了验证本文方法的可行性,采用2012-01-11大连地区和2012-02-18安平地区的资源三号多光谱影像0级影像进行试验,以及星上下传的辅助数据:姿态、轨道、成像时间和成像参数等数据的记录文件。本文使用的高程数据为Aster G-DEM。

2.1 相对内参关系参数求解试验

利用安平地区的多光谱影像中谱段B1的分片影像和谱段B2的分片影像进行对应分片CCD之间的相对内参关系参数求解,以谱段B1影像为基准影像。相对内参关系模型有5个未知数,至少需要3对同名像点才能解算出相对内参关系参数,为了满足多余观测和提高可靠性,设定SIFT特征点算子的阈值,利用SIFT算子在谱段B1的分片影像上提取5000~10 000个高精度特征点,先运用同名像点空间几何模型计算出特征点在谱段B2的分片影像上的同名像点的概略坐标,然后以单点最小二乘匹配获得精确的同名像点,得到同名像点精确坐标,获得同名像点对。选取同名像点对中分布均匀的1000对同名像点,利用最小二乘法则进行相对内参关系参数解算,得到对应分片CCD的相对内参关系参数,如表 1所示。

表 1 谱段对应分片CCD间相对内参关系参数 Tab. 1 Relative interior orientation relationship parameters of corresponding CCD chips
对应分片CCDdpxθ/radΔxp/像素Δyp/像素b
B1_CCD1-B2_CCD13.380e-0052.270e-005-0.1337152.145-8.449e-013
B1_CCD2-B2_CCD28.001e-0051.327e-005-0.0707152.119-1.617e-012
B1_CCD3-B2_CCD3-1.57e-0041.241e-005-0.3440152.130-7.534e-013
B1_CCD1-B3_CCD18.780e-0053.270e-005-0.3621280.231-1.220e-012
B1_CCD2-B3_CCD28.308e-0052.234e-005-0.2838280.194-2.658e-012
B1_CCD3-B3_CCD3-4.20e-004-3.80e-0050.3257280.290-3.249e-012
B1_CCD1-B4_CCD11.539e-0043.890e-005-0.4971408.271-1.062e-0121
B1_CCD2-B4_CCD26.560e-0041.767e-0060.3793408.207-1.131e-012
B1_CCD3-B4_CCD34.916e-004-4.49e-0040.5656408.255-1.131e-012

表 1可知,根据相对内参关系模型解算出的谱段间CCD沿轨向移位Δyp与资源三号官方公布的数据基本一致,误差在0.3个像素以内。

2.2 相对内参关系模型精度检验及影像配准

利用安平地区各谱段影像上1000对同名像点以外的同名像点对求解出的对应分片CCD间的相对内参关系参数进行精度验证,检查相对内参关系模型的正确性。谱段间分片CCD的相对内参关系得到恢复,则可以建立谱段间分片影像的同名像点对的约束关系,运用相对内参关系模型进行谱段间影像的高精度自动配准,认为由相对内参关系模型求出的目标谱段影像像点是对应的基准谱段影像像点的配准点,具有一定的误差,而由最小二乘匹配获取的同名像点为精确像点,两者之差即为相对内参关系模型及影像配准的精度,统计精度如表 2所示。

表 2 安平地区相对内参关系模型精度及谱段间配准精度 Tab. 2 Accuracy of relative interior orientation relationship model and registration in Anping
对应分片CCD点数x/像素y/像素xy/像素
B1_CCD1-B2_CCD153560.1310.0460.139
B1_CCD2-B2_CCD272450.1770.0590.187
B1_CCD3-B2_CCD358930.1810.1060.209
B1_CCD1-B3_CCD164200.1550.0600.166
B1_CCD2-B3_CCD251450.1850.0730.199
B1_CCD3-B3_CCD372760.1740.1440.226
B1_CCD1-B4_CCD173670.1830.0830.201
B1_CCD2-B4_CCD257420.1730.1040.202
B1_CCD3-B4_CCD361380.1610.1090.194

对大连地区,利用SIFT算子提取5000~10 000个高精度特征点,利用最小二乘匹配获取高精度的同名像点对,用这些同名像点对对由安平地区计算出的相对内参关系模型进行检查,同时进行影像配准,统计配准精度如表 3所示。

表 3 大连地区相对内参关系参数检查精度及谱段间配准精度 Tab. 3 Accuracy of relative interior orientation relationship parameters and registration in Dalian
对应分片CCD点数x/像素y/像素xy/像素
B1_CCD1-B2_CCD178460.1740.0300.177
B1_CCD2-B2_CCD286720.1480.0560.158
B1_CCD3-B2_CCD393650.1920.1470.242
B1_CCD1-B3_CCD191240.1670.0560.176
B1_CCD2-B3_CCD283680.1680.0760.184
B1_CCD3-B3_CCD373610.1910.1470.241
B1_CCD1-B4_CCD182350.1890.0780.204
B1_CCD2-B4_CCD294370.1760.1050.205
B1_CCD3-B4_CCD378230.1780.1420.228

表 2表 3,安平地区和大连地区相对内参关系模型的检查精度和影像配准精度具有一致性,误差在0.3像素以内,说明相对内参关系模型是正确的,对消除谱段间对应CCD之间的畸变具有较好的效果,可以运用相对内参关系模型进行谱段间影像的配准。

3 结束语

本文从多光谱相机谱段间相对内参关系出发,利用同时获取的各谱段影像间的高精度提取的同名像点对建立了多光谱相机各谱段对应分片CCD之间的位置模型,求解出对应分片CCD间的相对内参关系参数,恢复了谱段间的相对内参关系即建立了谱段间同名像点对的约束关系,可以运用该模型进行谱段间影像的高精度自动配准,在理论上具有严密性,可操作性强。最后求解出精确的谱段间相对内参关系参数并进行影像配准,统计了相对内参关系模型和影像配准的精度。试验结果表明,该方法能够实现资源三号卫星多光谱影像谱段间高精度自动配准(优于0.3像素),同时该方法对与资源三号卫星多光谱影像相似的卫星多光谱影像具有通用性,下一步将研究该方法在这类卫星多光谱影像间自动配准中的应用。


参考文献
[1] 曹海翔, 刘希刚, 李少辉, 等. “资源三号”卫星遥感技术[J].航天返回与遥感,2012, 33 (3) : 7 –16 .
CAO Haixiang, LIU Xigang, LI Shaohui, et al. ZY-3 Satellite Remote Sensing Technology[J]. Spacecraft Recovery &Remote Sensing,2012, 33 (3) : 7 –16 .
[2] 李德仁. 我国第一颗民用三线阵立体测图卫星——资源三号测绘卫星[J].测绘学报,2012, 41 (3) : 317 –322 .
LI Deren. China’s First Civilian Three-line-array Stereo Mapping Satellite: ZY-3[J]. Acta Geodaetica et Cartographica Sinica,2012, 41 (3) : 317 –322 .
[3] 范斌, 蔡伟军, 张孝弘, 等. “资源三号”卫星多光谱相机技术[J].航天返回与遥感,2012, 33 (3) : 75 –84 .
FAN Bin, CAI Weijun, ZHANG Xiaohong, et al. Technology of the Multi-spectral Camera of ZY-3 Satellite[J]. Spacecraft Recovery &Remote Sensing,2012, 33 (3) : 75 –84 .
[4] 郭悦, 杨桦. 多光谱CCD相机的光学配准[J].航天返回与遥感,2003, 24 (1) : 29 –32 .
GUO Yue, YANG Hua. Optical Registration of the Multi-spectral CCD Camera[J]. Spacecraft Recovery &Remote Sensing,2003, 24 (1) : 29 –32 .
[5] BECKTT K,RAMPERSAD C,PUTIH R, et al. RapidEye Product Quality Assessment[C]//Proceedings of SPIE 7474, Sensors, Systems, and Next-generation Satellites ⅩⅢ. Berlin: SPIE, 2009: 1-10.
[6] BOUILLON A,BRETON E,DE LUSSY F,et al. SPOT5 Geometric Image Quality[C]//Proceedings of 2003 IEEE International Geoscience and Remote Sensing Symposium. Toulouse: IEEE, 2003: 303-305.
[7] TADONO T, SHIMADA M, HASHIMOTO T, et al. Results of Calibration and Validation of ALOS Optical Sensors, and Their Accuracy Assessments[C]//Proceedings of 2007 IEEE International Geoscience and Remote Sensing Symposium. Barcelona: IEEE, 2007: 3602-3605.
[8] TADONO T, SHIMADA M, WATANABE M, et al. Initial Results of Calibration and Validation for ALOS Optical Sensors[C]//Proceedings of 2006 IEEE International Symposium on Geoscience and Remote Sensing. Denver: IEEE, 2006: 1643-1646.
[9] GRODECKIJ, DIAL G. IKONOS Geometric Accuracy[C]//Proceedings of Joint Workshop of ISPRS Working Groups I/2, I/5 and IV/7 on High Resolution Mapping from Space 2001. Hannover: University of Hannover, 2001: 19-21.
[10] 詹总谦. 基于纯平液晶显示器的相机标定方法与应用研究[D]. 武汉: 武汉大学, 2006: 20-28.
ZHAN Zongqian. Research on Camera Calibration Based on Completely Flat Liquid Crystal Display[D]. Wuhan: Wuhan University, 2006: 20-28.
[11] 蒋永华, 张过, 唐新明, 等. 资源三号测绘卫星多光谱影像高精度谱段配准[J].测绘学报,2013, 42 (6) : 884 –890 .
JIANG Yonghua, ZHANG Guo, TANG Xinming, et al. Research on the High Accuracy Band-to-band Registration Method of ZY-3 Multispectral Image[J]. Acta Geodaetica et Cartographica Sinica,2013, 42 (6) : 884 –890 .
[12] 王密, 杨博, 金淑英. 一种利用物方定位一致性的多光谱卫星影像自动精确配准方法[J].武汉大学学报(信息科学版),2013, 38 (7) : 765 –769 .
WANG Mi, YANG Bo, JIN Shuying. A Registration Method Based on Object-space Positioning Consistency for Satellite Multi-spectral Image[J]. Geomatics and Information Science of Wuhan University,2013, 38 (7) : 765 –769 .
[13] 张祖勋, 张剑清, 廖明生, 等. 遥感影像的高精度自动配准[J].武汉测绘科技大学学报,1998, 23 (4) : 320 –323 .
ZHANG Zuxun, ZHANG Jianqing, LIAO Mingsheng, et al. Automatic Precision Registration of Multi-resolution Remote Sensing Imagery[J]. Journal of Wuhan Technical University of Surveying and Mapping,1998, 23 (4) : 320 –323 .
[14] KELLER Y, AVERBUCH A. Multisensor Image Registration via Implicit Similarity[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2006, 28 (5) : 794 –801 .
[15] 王瑞瑞, 马建文, 陈雪. 多传感器影像配准中基于虚拟匹配窗口的SIFT算法[J].武汉大学学报(信息科学版),2011, 36 (2) : 163 –166 .
WANG Ruirui, MA Jianwen, CHEN Xue. SIFT Algorithm Based on Visual Matching Window for Registration between Multi-sensor Imagery[J]. Geomatics and Information Science of Wuhan University,2011, 36 (2) : 163 –166 .
[16] 刘璐, 陈甫, 刘建波. 基于特征约束与光流场方法的遥感图像配准[J].计算机工程与设计,2014, 35 (9) : 3127 –3131 .
LIU Lu, CHEN Fu, LIU Jianbo. Optical Flow and Feature Constrains Algorithm for Remote Sensing Image Registration[J]. Computer Engineering and Design,2014, 35 (9) : 3127 –3131 .
[17] Lowe D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision,2004, 60 (2) : 91 –110 .
[18] 李然, 张云生. 基于SIFT特征的多源遥感影像自动匹配方法[J].测绘科学,2011, 36 (3) : 8 –10 .
LI Ran, ZHANG Yunsheng. Auto-matching between Multi-source Remote Sensing Images Based on SIFT Features[J]. Science of Surveying and Mapping,2011, 36 (3) : 8 –10 .
[19] 雷蓉. 星载线阵传感器在轨几何定标的理论与算法研究[D]. 郑州: 信息工程大学, 2011.
LEI Rong. Study on the Theory and Algorithm of the In-flight Geometric Calibration of Spaceborne Linear Array Sensor[D]. Zhengzhou: Information Engineering University, 2011.
[20] 刘楚斌. 高分辨率遥感卫星在轨几何定标关键技术研究[D]. 郑州: 信息工程大学, 2012.
LIU Chubin. Study on Crucial Technique of the On-orbit Geometric Calibration of High Resolution Satellite[D]. Zhengzhou: Information Engineering University, 2012.
[21] 朱敏, 金伟其, 徐彭梅. 遥感卫星多镜头多光谱相机的配准技术[J].北京理工大学学报,2003, 23 (5) : 633 –637 .
ZHU Min, JIN Weiqi, XU Pengmei. Registration of Multi-lens Multi-spectrum Cameras for Use in Remote Sensing Satellites[J]. Transactions of Beijing Institute of Technology,2003, 23 (5) : 633 –637 .
http://dx.doi.org/10.11947/j.AGCS.2016.20150363
中国科学技术协会主管、中国测绘地理信息学会主办。
0

文章信息

李奇峻,范大昭,雷蓉,纪松,张文朝
LI Qijun, FAN Dazhao, LEI Rong, JI Song, ZHANG Wenzhao
资源三号多光谱影像谱段间相对内参关系标定及高精度配准
Calibration for Relative Interior Orientation Relationship and Band-to-band Registration with High Accuracy of ZY-3 Multi-spectral Image
测绘学报,2016,45(6): 685-690
Acta Geodaetica et Cartographica Sinica, 2016, 45(6): 685-690
http://dx.doi.org/10.11947/j.AGCS.2016.20150363

文章历史

收稿日期: 2015-07-08
修回日期: 2016-04-12

相关文章

工作空间