1 引 言
利用多时相相同或不同传感器遥感影像对地表参数进行反演或动态变化监测是近年来遥感领域研究的热点问题之一[1]。但不论是参数反演还是动态监测,都要求先对多期遥感影像进行精确的几何配准。研究表明,即便是微小的配准误差,也会大大降低结果的精度[2]。一般的图像配准是将两幅影像中的显著要素作为较理想的控制点进行手工提取。这种方法的精度受到配准人员主观因素的影响,并且处理海量遥感影像耗时耗力。近些年来,大量的研究都集中于如何实现两幅影像间的自动配准,这些研究可分为两类:基于区域的配准[3, 4, 5]和基于特征的配准[6, 7, 8, 9, 10, 11, 12, 13, 14, 15]。
基于区域的配准方法通常利用一个固定窗口分别滑过参照影像和获取影像,寻找灰度值最相似的窗口对,然后将窗口对的中心作为控制点对,控制点提取和匹配过程一般同时进行。这类方法有两个缺点。首先,在图像间相对形变严重的情况下,窗口的形状难以确定,通常采用的简单几何形状(如矩形和圆)会产生误差,影响控制点对提取的精度[16]。其次,由于控制点对的选择取决于窗口内像元灰度值的相似性,如果两幅影像间灰度差异较大,就会产生很多错配点,降低配准精度。
基于特征的配准方法是从影像中提取显著的特征进行匹配,包括点、线或面状地物。目前的研究主要集中在点特征的提取和匹配方面[7, 8, 9, 10],例如文献[7]利用改进的Harris算子提取航片中的角点进行配准。线特征的方法很少[11, 12],面特征的配准技术由来已久却讨论不多[13, 14, 15, 16]。基于点特征的方法能够部分解决基于区域配准方法存在的问题,它不需要任何形式的窗口,采用的也是灰度的梯度变化。然而,由于遥感影像间的光谱和亮度差异,这种方法往往会产生大量的错配点,而且单个点对的精度不高。面特征的方法是将同名面状特征质心作为潜在的控制点,具有两个优点[13]:① 面状特征的质心不随旋转、缩放和扭曲而改变;② 面状特征质心的位置在随机噪声和灰阶变化下,较点状特征能更好地保持稳定,且面状特征面积越大,质心越稳定。但是,目前利用面状要素进行遥感影像配准时,仅仅考虑了“面”的几何属性(边界、形状等)[19, 20, 21]。实际上由于遥感影像的复杂性,影像中“面”的物理属性(土地覆盖类型)也是十分重要的,如果“面”的物理属性并不稳定,例如,土地覆盖容易发生变化,面状特征也就不精确,配准效果就会降低。
综上所述,不论是点方法,还是面方法,在配准过程中均仅利用了遥感影像几何特征和部分波段的灰度特征,并没有充分利用多光谱遥感影像丰富的多光谱特征来提取控制点对。针对以上问题,本文提出一种利用稳定的土地覆盖图斑(stable land cover patch,SLP)的多时相遥感影像自动配准新方法,旨在充分利用遥感影像多光谱信息和大量存在的、不变的土地覆盖图斑信息进行图像配准。研究选取了土地覆盖年际变化(农田地块的边界、形状变化)最为强烈的农业种植区,作为试验区,利用同一传感器不同时相和不同传感器不同时相的影像,对SLP方法的实用性和精度进行了验证。
2 土地覆盖图斑的概念 2.1 稳定的土地覆盖图斑地球表面各种地物(不同土地覆盖类型)在遥感影像上均表现为遥感光谱的聚合体,即大小不同、形状各异、内容不同的图斑,我们称之为土地覆盖图斑(land cover patch,LP)。LP随时间变化而变化,可以表示为
式中,S(shape)、A(area)、T(type)、C(centroid)分别表示LP的形状、面积、土地覆盖类型和质心;t(time)表示时间。当t1≠t2 时,若LP(t1)≠LP(t2),称之为变化图斑;若LP(t1)=LP(t2),称之为稳定土地覆盖图斑。
实际上,变化是相对的,在实际工作中,如果完全稳定的图斑数量较少,也可以将形状、面积、质心位置不发生变化,只有类型发生变化的图斑称为稳定土地覆盖图斑。
2.2 图斑的稳定性分析遥感影像中不同地物的交界处往往表现为过渡带,即通常所说的混合像元。混合像元给图斑提取带来了不确定因素,使得不同时相下的图斑不会完全相同,而是呈现相互重叠或包含/被包含的关系。
如图 1,LP(t1)(实线)与LP(t2)(虚线)是不同时相下对同一土地覆盖区域的提取结果,它们在混合区域出现了偏差,没有重合。但它们形状相似(ΔS→0),面积相近(ΔA→0),质心间的位置差异很小(ΔC→0),这种情况下,认为LP(t1)=LP(t2),即两者为稳定土地覆盖图斑,可以将它们的质心作为精确的控制点进行影像配准。
3 方 法遥感影像配准的目的是将一幅影像(称为待配准影像)校正到另一幅影像(称为参照影像)上,使得两者具有相同的空间坐标系统,其核心问题是自动而精确地提取和匹配控制点对。根据多光谱遥感影像的特点,尤其是不同时相遥感影像土地覆盖类型相对稳定和局部变化的特点,本文提出一种利用稳定的土地覆盖图斑提取控制点对的方法,以实现不同时相间遥感图像的精确配准。该方法的主要过程分为影像预处理、图斑提取、图斑匹配和影像配准4个步骤,技术框架如图 2所示。
3.1 影像预处理不论是基于区域的还是基于特征的图像配准技术,都需要尽量消除影像无关噪声对控制点对提取的影响。本文的预处理过程分为两个步骤:信息压缩和噪声消除。
3.1.1 信息压缩不同传感器获得的遥感影像其波段设置(波段光谱范围、波段个数)各不相同,为了使图斑提取的方法保持在同一框架下,同时充分利用遥感影像多光谱的特征更加准确地提取图斑,本文预处理的第一步是信息压缩和转换。本文选择在主成分分析(principal component analysis,PCA)[25]后提出前3个主分量的方法。前3个主成分一般包含了原始影像的主要信息[20],剩余的部分信息不仅不利于主要地物特征的描述,反而会影响土地覆盖图斑的提取[8]。
3.1.2 噪声消除由于遥感影像成像过程及其反映的地物的复杂性,即使均质的图斑内也会存在大量的随机噪声,这些噪声常常会将同一图斑分割成不同的部分,严重地影响图斑提取的精度。为了消除噪声的影响,本文对影像进行中值滤波[21]。虽然中值滤波可能会降低不同地物的可区分度,但在消除随机噪声方面有较好的表现,而且具有保留边缘的特性。
令g(x,y)表示处理前的影像,(x,y)是中值滤波结果,Sxy表示中心在(x,y)点的子图像窗口的坐标集合,则中值滤波如式(3)所示
3.2 图斑提取图斑提取是SLP方法的核心部分,为了全自动高效率地提取土地覆盖图斑,本文设计了图斑分类与识别、图斑边缘检测和分离、相连图斑打断与过滤3个步骤,最终获得用于配准的有效图斑。
3.2.1 图斑分类与识别图斑分类与识别是图斑提取的基础,常用的方法有两种:单波段影像分割技术[21, 22]和多波段影像的分类技术(监督和非监督分类)。单波段影像分割技术因其简单易行,已广泛应用于各类基于特征提取的图像配准方法中[13, 14, 15],但对于复杂的土地覆盖图斑的提取显然并不适合。影像分类技术可以充分利用影像多光谱信息提取土地利用图斑,鉴于监督分类过程的复杂性不亚于手工图像配准,因此,本文选择了非监督分类中简单易行的k-means方法[23],利用PCA的前3个主成分对图像进行非监督分类,实现图斑的分类与识别。
3.2.2 图斑边缘检测和分离非监督分类虽然较好地将影像分成不同的土地覆盖类型,但各个土地覆盖图斑之间往往并不能有效分离,存在着大量彼此相接的情景,因此利用图斑边缘检测技术进行分离是必须的步骤。在众多的边缘检测算法中,Canny算子[24]是效果较好、使用较广泛的算法之一。本文设计使用PCA第一主成分,利用Canny算子进行边缘检测,然后将k-means结果和Canny结果相互叠加,实现图斑的有效分离。
边缘检测结果不仅能分离相连的图斑,也能检测出影像中次要土地覆盖类型图斑的边界,经过打断操作,可提取出这些图斑。
3.2.3 图斑打断和过滤上述提取过程得到的土地覆盖图斑仍然不能直接用来匹配。某一相同尺度下,因为光谱的不稳定性,参照影像和待配准影像中具有相同土地覆盖类型,本应从属于不同对象的相邻图斑可能相连,也可能断开。这时需要对狭窄连接的图斑进行打断,以得到准确的SLP。本文使用了形态学图像处理中的基本运算--开操作,这种运算能使得对象的轮廓变得光滑,断开狭窄的间断和消除细的突出物[21]。使用结构元素B对集合A进行开操作,表示为A▫B,定义为
式中,⊕表示膨胀;!表示腐蚀。因此用B对A进行开操作就是用B对A腐蚀,然后用B对结果进行膨胀。
3.3 图斑匹配 3.3.1 图斑配对从地面卫星站获取的遥感影像一般都经过了系统校正,两幅影像间不会有巨大的几何差异。如果存在的话,通过手工提取很少的控制点对或简单的自动配准方法(如基于频率域的方法)就可以消除[14, 16]。本文假设两幅影像间已经过了粗配准,影像间的相对位移不会过大(例如超过5个像元)。
在这个前提下,根据SLP的定义,以参照影像中的图斑为目标,遍历待配准影像中的图斑,将图斑面积变化和质心距离小于指定阈值的图斑初步配对。
初步配对的图斑虽然具有土地覆盖类型编码,但编码并没有对应。为此,假设两种情况:当影像间发生了剧烈的土地覆盖变化时,可以认为类型相同的配对图斑很少,应该放宽条件,不考虑类型的变化;而如果两幅影像间的土地覆盖变化较小,就认为大部分配对图斑的类型是相同的,可以通过数量统计进行类型编码匹配,然后将类型发生变化的图斑对排除。
3.3.2 组合边界不变矩筛选SLP对经过初步配对的图斑只有在形状也相似时才能确定为SLP对,对形状的比较需要精确的参数描述。如前文所提,多期遥感影像间可能会有相对的平移、旋转和缩放差异,因而需要寻找一种描述算子,这种描述算子并不会随着上述差异而发生变化。不变矩是一种广泛应用于图像配准领域的区域描绘子[16, 25, 26],它不仅能在上述差异下保持不变[27],而且能较好地抑制噪声。在此基础上,文献[28]提出了边界不变矩,并证明了它具有与不变矩相同的特性,因其仅针对目标的边缘点进行计算,因此大大减少了计算量,加快了计算速度。
文献[28]定义边界矩如下。
设二值数字图像f(x,y)中边缘C上的像素的灰度值为1,其他像素的灰度值为0,则目标的边界矩为
为了保持平移不变性,定义边界中心矩
式中,xc=m10/m00,yc=m01/m00,表示目标的质心。
为了保证尺度不变性,定义归一化边界中心矩
式中,γ=p+q+1,p+q≥2。
利用边界中心矩和归一化边界中心矩还可进一步推导出随对称模糊和旋转不变的边界矩。由于高阶的矩对噪声敏感,这里选用最常用的7个边界不变矩
这7个边界不变矩可以组成向量:φ=[φ1 φ2 φ3 φ4 φ5 φ6 φ7],则两个多边形p1、p2矩距定义为
可以看出,矩距越小,两个多边形越相似。当配对图斑的矩距小于一个阈值时,这对图斑就同时满足了形状、面积和质心位置不变,从而 LP(t1)=LP(t2),认为是SLP。确定了所有的SLP后,用其质心对作为控制点对进行最终配准。
3.4 图像扭曲和重采样图像扭曲和重采样的作用在于根据控制点拟合得到的函数系数,确定一个函数关系,使之能较好地描述两幅影像间的相对几何畸变,从而将待配准影像校正到参照影像上。
本文选用全局函数与局部函数相结合的方式对待配准影像进行扭曲和重采样,首先利用一次多项式进行全局匹配,然后通过不规则三角网插值[30]优化控制点周围的局部匹配效果。
4 试验结果与分析为了验证本研究提出的SLP方法,尤其是稳定土地覆盖图斑(SLP)提取过程的有效性和适用性,设计了本文的试验过程。第一,设计了两种情景下的配准试验:① 相同传感器不同年份影像间的配准试验。② 不同传感器不同年份影像间的配准试验。第二,以稳定图斑普遍存在的农业种植区作为目标,选择了种植结构(主要指种植的破碎程度)完全不同的两个试验区。第三,两幅图像配准前经过了几何粗校正,且几何精度在5个像元以内。
试验中主要考虑3个参数的设定:k-means聚类数、面积变化阈值以及图斑类型是否变化。本文将k-means聚类数定为参照影像或待配准影像中的主要土地覆盖类型数,这种情况下利用本文的方法能较精确地提取出土地覆盖图斑。面积变化阈值及图斑类型是否变化的确定需要根据参照影像和待配准影像间的光谱差异而定。当两幅影像间的差异不大时,将面积变化阈值定为3%[30],同时考虑图斑类型的变化。反之,若影像间差异较大,则将面积变化阈值调高至5%,同时不考虑图斑的类型变化。试验中的其他参数采用默认设置。Canny算子使用原作者建议的参数设置[24]。为了能在取得良好打断效果的同时保留原图斑的形状特征,形态学开操作的结构元素大小定为5像元×5像元。矩距阈值设为常用的0.001[16]。应该指出,不同情境下调整这些默认参数,是有可能取得更好的配准效果的,但使用本文的建议值已能达到较好的效果。
4.1 相同传感器不同年份影像间的配准试验 4.1.1 试验区与试验数据试验区位于江苏省大丰地区,覆盖范围东经:120°13′-120°23′,北纬:33°16′-33°24′,如图 3所示。试验区以大片的农田斑块为主,另有少数建设用地和裸地(两者光谱特征相似),影像中的道路比较明显,且农作物种植斑块较为规则,有利于稳定土地覆盖图斑的提取。
试验数据选取了两期环境减灾卫星(HJ)影像,时间:2009-04-10和2010-04-13,波段数:4个,空间分辨率:30 m,大小:512像元×512像元。配准过程中以2009年的影像作为参照影像,2010年的影像作为待配准影像。如图 3,由于传感器相同,两幅影像光谱相似,大部分农田地块在两年间没有发生显著变化。
4.1.2 配准过程与结果如图 4所示,在影像预处理的基础上,本文根据影像的目视特征将k-means聚类数定为两类,Canny算子采用默认参数,对两幅影像进行了分割。从图 4中可以看出,经过提取土地覆盖图斑依稀可见,但存在狭窄相连的情况,显然仅仅以分割结果作为图斑,是无法准确提取出SLP的。为了打断这样的图斑,本文进一步进行形态学开操作,结构元素使用5像元×5像元窗口,开操作后图斑间的狭窄相连得到了有效的打断。
然后,利用质心和面积对图斑进行匹配。匹配的原则包括:① 根据假设条件,质心间距离不超过5个像元;② 图斑间面积变化率不超过3%。鉴于本试验区土地覆盖变化较小,在试验过程中将类型变化的图斑作为了非稳定图斑。图斑匹配完成后进一步用组合边界不变矩筛选SLP,矩距阈值设定为0.001。最终匹配的同名图斑的数量达到41对。
在这41对均匀分布于整幅影像的同名质心点对中,随机选取2/3的点对(28对),使用全局与局部相结合的转换模型进行配准,余下的点对用来进行精度评价,最终得到的配准精度为0.57个像元。
4.2 不同传感器不同年份影像间的配准试验 4.2.1 试验区与试验数据为了进一步验证方法的适用性,本文选择了天津地区作为第二个试验区,覆盖范围东经:116°58′-117°9′,北纬:39°27′-39°35′,如图 5所示。试验区3类主要地物农田、建设用地和裸地相互混杂,且各种土地利用图斑形状极不规则。
试验数据分别为:2009-06-02的TM5影像(波段数为6)和2010-05-20的HJ影像,区域大小为512像元×512像元,分辨率同为30 m。试验中以TM影像为基准影像,HJ影像为待配准影像。分析两期影像(图 5)可以看出,首先由于传感器的不同,两幅影像间不仅存在巨大的光谱差异,细节信息的体现也很不同;其次,由于地处大都市周边,土地覆盖发生了较大的变化。这些都为配准工作带来了困难。
4.2.2 配准过程与结果本试验的配准过程与第一个试验区的过程完全一致,只是在配准过程中参数的选择有所区别,主要为:① k-means聚类数定为两类,Canny算子采用默认参数,开操作的结构元素大小为5个像元。② 质心距离阈值为5个像元,由于光谱差异很大,将面积变化率阈值为5%,也没有考虑图斑类型的变化,矩距阈值为0.001。图 6中的黑框显示了最终匹配的图斑,共21对,分布较为均匀。同样,在这21对同名质心点对中随机选取14对进行配准,用剩余的7对进行检验,最终得到的配准精度为0.65个像元。
从图 6可以看出,对于不同传感器的情况,虽然影像间的差异很大,稳定农田斑块难以精确获取,本文方法仍然能够充分利用影像的多光谱信息,将影像中的建筑用地、裸地作为SLP成功地提取出来,达到较高配准精度,说明了本文方法的适用性。
5 结 论本文提出了稳定土地覆盖图斑的概念,充分利用遥感影像信息获取土地覆盖图斑,通过图斑形状、面积、质心距离和类型确定不同时相影像之间的稳定图斑,实现了多期遥感影像之间的快速、自动配准。试验结果表明,针对同一传感器之间、不同传感器之间的影像数据,在农田地块规整、破碎两种不同的景观特征下,本文方法能够充分利用光谱信息特征,有效地提取出土地覆盖图斑,并通过图像间的图斑配对、组合边界不变矩筛选出足够数量的稳定图斑,满足图像配准控制点数量的要求。在两个试验区,配准精度分别达到了0.57个像元、0.65个像元,说明了本文方法具有较高的配准精度以及不同区域景观特征下较好的适用性。
本文仍存在一些问题有待进一步的研究:① 基于稳定图斑搜索同名图斑受限于不同时相间图斑提取精度的影响,由于图斑识别误差的累积,降低了同名图斑筛选的效率;② 不同分辨率(如30 m、20 m分辨率之间)遥感影像之间进行自动配准是否适用;③ 在异质性更为复杂的区域,如城市,本文方法能否有效地获取同名图斑,进行图像的自动、准确地配准。
[1] | ASHBINDU S. Review Article Digital Change Detection Techniques Using Remotely-sensed Data[J].International Journal of Remote Sensing,1989,10(6):989-1003. |
[2] | DAI Xiaolong,KHORRAM S. The Effects of Image Misregistration on the Accuracy of Remotely Sensed Change Detection[J].IEEE Transactions on Geoscience and Remote Sensing,1998,36(5):1566-1577. |
[3] | HANAIZUMI H,FUJIMURA S. An Automated Method for Registration of Satellite Remote Sensing Images[J].Geoscience and Remote Sensing Symposium,1993,3:1348-1350. |
[4] | LIU Desheng, GONG Peng, MAGGI K, et al. Automatic Registration of Airborne Images with Complex Local Distortion[J].Photogrammetric Engineering and Remote Sensing,2006,72(9):1049-1059. |
[5] | FREDERIK M, ANDR C, DIRK V, et al. Multimodality Image Registration by Maximization of Mutual Information[J].IEEE Transactions on Medical Imaging,1997,16(2):187-198. |
[6] | LI Yuqian, PI Yiming, WANG Jinfeng. The Registration between SAR and Optical Image Based on Level Set[J].Acta Geodaetica et Cartographica Sinica,2010,39(3):276-282(李雨谦,皮亦鸣,王金峰.基于水平集的SAR图像与光学图像的配准[J].测绘学报,2010,39(3):276-282). |
[7] | YANG Changqing, WANG Xiaotong, XU Xiaogang, et al. Automatic Registration of Aerophotos Based on Feature Space[J].Acta Geodaetica et Cartographic Sinica,2005,34(3):218-222 (杨常清,王孝通,徐晓刚,等.测绘学报,2005,34(3):218-222). |
[8] | HERNANI G,CORTE R L,GONCALVES J A. Automatic Image Registration through Image Segmentation and SIFT[J].IEEE Transactions on Geoscience and Remote Sensing, 2011,49(7):2589-2600. |
[9] | MUKHERJEE A, VELEZ R M, ROYSAM B. Interest Points for Hyperspectral Image Data[J].IEEE Transactions on Geoscience and Remote Sensing, 2009,47(3):748-760. |
[10] | SEDAGHAT A,MOKHTARZADE M, EBADI H. Uniform Robust Scale-invariant Feature Matching for Optical Remote Sensing Images[J].IEEE Transactions on Geoscience and Remote Sensing,2011,49(11):4516-4527. |
[11] | HUI Li,MANJUNATH B S, MITRA S K. A Contour-Based Approach to Multisensor Image Registration[J].IEEE Transactions on Image Processing, 1995,4(3):320-334. |
[12] | DONGSEOK S, POLLARD J K, MULLER J P. Accurate Geometric Correction of ATSR Images[J].IEEE Transactions on Geoscience and Remote Sensing, 1997,35(4):997-1006. |
[13] | FLUSSER J, SUK T. A Moment-based Approach to Registration of Images with Affine Geometric Distortion[J].IEEE Transactions on Geoscience and Remote Sensing,1994,32(2):382-387. |
[14] | DARE P,DOWMAN I. An Improved Model for Automatic Feature-based Registration of SAR and SPOT Images[J].ISPRS Journal of Photogrammetry and Remote Sensing,2001,56(1):13-28. |
[15] | GONCALVES H, GONCALVES J A,CORTE-REAL L. HAIRIS: A Method for Automatic Image Registration through Histogram-based Image Segmentation[J].2011,20(3):776-789. |
[16] | SHAH C A, SHENG Y W, SMITH L C. Automated Image Registration Based on Pseudoinvariant Metrics of Dynamic Land-surface Features[J].IEEE Transactions on Geoscience and Remote Sensing,2008,46(11):3908-3916. |
[17] | ZITOVA B,FLUSSER J. Image Registration Methods: A Survey[J].Image and Vision Computing,2003,21(11):977-1000. |
[18] | JENSEN J R. Introductory Digital Image Processing: A Remote Sensing Perspective[M]. 3rd Edition.[S.l.]:Pearson Prentice Hall,1986. |
[19] | HOTELLING H. Analysis of a Complex of Statistical Variables into Principal Components[J].Journal of Educational Psychology,1933,24(7):498-520. |
[20] | PAUL M B T. Classification Methods for Remotely Sensed Data[M].2nd Edition.[S.l.]: Taylor&Francis Group,2009. |
[21] | RAFAEL C, GONZALES R E W. Digital Image Processing [M] . 2nd Edition. New York: Pearson Education,2007. |
[22] | NIKHIL R P, SANKAR K P. A Review on Image Segmentation Techniques[J].Pattern Recognition,1993,26(9):1274-1294. |
[23] | TAPAS K, DAVID M M, NATHAN S N, et al. An Efficient k-means Clustering Algorithm: Analysis and Implementation[J].IEEE Transactions on Pattern Analysis and Machine Intellegence, 2002,24(7):881-892. |
[24] | CANNY J. A Computational Approach to Edge Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986, 8(6):679-698. |
[25] | DAI X,KHORRAM S. A Feature-based Image Registration Algorithm Using Improved Chain-code Representation Combined with Invariant Moments[J].IEEE Transactions on Geoscience and Remote Sensing,1999,37(5):2351-2362. |
[26] | YOUCEF B, NASREDDINE T, KIDIYO K, et al. An Automatic Image Registration for Applications in Remote Sensing[J].IEEE Transactions on Geoscience and Remote Sensing,2005,43(9):2127-2137. |
[27] | HU M K. Visual Pattern Recognition by Moment Invariants[J].IRE Transactions on Information Theory,1962,8(2):179-187. |
[28] | CHEN C C. Improved Moment Invariants for Shape Discrimination[J].Pattern Recognition,1993,26(5):683-686. |
[29] | GOSHTASBY A A. Piecewise Linear Mapping Functions for Image Registration[J].Pattern Recognition,1986,19(6):459-466. |
[30] | SHENG Y W, CHINTAN A S, LAUREVCE C S. Automated Image Registration for Hydrologic Change Detection in the Lake-Rich Arctic[J].IEEE Geoscience and Remote Sensing Letters,2008,5(3):414-41. |