2. 中国测绘科学研究院,北京 100830
2. Chinese Academy of Surveying and Mapping, Beijing 100830, China
SAR立体测量是获取和更新地形信息的重要技术方法[1]。其中,影像匹配是SAR立体测量中不可或缺的关键技术[2],其目的是识别并量测单一或多立体SAR影像对重叠区域的同名点。SAR立体测量仅利用SAR的幅度影像,由于受侧视斜距成像方式、相干斑噪声和测区地形等因素影响,SAR影像会产生较大的几何变形和辐射畸变,使大多数匹配方法在SAR影像上效果欠佳甚至无效,严重影响了SAR立体测量的精度和可靠性。因此,近年来很多学者都致力于SAR影像匹配的研究。文献[3]采用回溯算法和分层策略进行SAR影像配准,获得的匹配点对精度较高、分布均匀、计算时间短,但是数量较少。文献[4]介绍了雷达摄影测量处理软件SISAR(software per immagini satellitari ad alta risoluzione)中使用的匹配方案,该方案在由粗到精的分层策略中采用了几何约束条件和基于灰度的影像匹配方法。文献[5]研究利用主方向改进的SIFT(scale invariant feature transform)和结构相似性指数获得初始匹配,然后利用聚类优化得到稳定匹配点,该方法在地形平坦区可获得较好的精度,却不适用山区和城区,且匹配点数量较少。文献[6]提出利用已有精度较差的外部数字高程模型(digital elevation model,DEM)提供匹配初值,减少误匹配,但是该方法生成的DEM精度不高。文献[7]提出一种利用外部DEM的星载交叉轨道SAR影像匹配流程,并在试验中将不同单立体像对计算的归一化互相关系数(normalized cross-correlation,NCC)通过简单相乘扩展到多立体影像匹配,但是由于SAR影像相关系数普遍偏低,确定正确的同名点仍十分困难。
综上所述,虽然基于特征的SAR影像匹配方法具有较高的稳健性,但是匹配点精度低、数量有限,难以满足应用需求;而基于灰度的单立体SAR影像匹配方法可获得较高精度的匹配点,却由于受SAR影像间较大几何变形、辐射畸变和斑点噪声的影响[8],误匹配概率很高。随着SAR数据获取和成像系统的发展,使覆盖同一区域的多基线(影像数大于2)SAR影像匹配成为可能。多基线影像匹配方法通过有效利用多幅影像间的冗余信息,理论上可以减少误匹配,提高匹配点的准确性和稳健性。然而对于如何利用多基线影像提高SAR影像匹配点的精度和可靠性,并进行信息盲区(叠掩、阴影[9]和纹理匮乏区等)的匹配仍是研究的重点和难点。
鉴于此,本文提出一种适用于机载SAR影像的SANCC多基线影像匹配方法。该方法在匹配方向线确定的搜索空间内,利用融合自适应权值方案和多基线影像匹配思想的SANCC方法进行匹配。 2 SANCC多基线影像匹配方法
本文提出的SANCC多基线影像匹配方法的流程如图 1所示,首先根据提取的特征点和格网点、成像参数、平台参数和测区高程范围确定匹配方向线,约束搜索空间;然后在搜索空间内基于多基线影像的几何和幅度信息利用SANCC方法进行匹配;最后采用WTA[10]方法确定最佳的匹配点,实现多基线SAR影像的匹配和物方三维信息的提取。由于受SAR影像数据量和匹配点初始值精度的限制,SNACC多基线SAR影像匹配中采用由粗到精的金字塔匹配策略。
2.1 匹配方向线的获取已知影像覆盖区域的最大高程值Zmax、最小高程值Zmin和步距。在Zmin~Zmax高程范围内,根据严格成像模型计算得到的若干候选匹配点,可构建匹配方向线[11, 12]。匹配方向线的类型取决于采用的匹配方法[13],本文提出的SANCC多基线影像匹配方法的匹配方向线为近似核线。
获取匹配方向线的具体步骤为:首先,将Zmin~Zmax高程范围内通过逐步增加或减少步距获得的序列高程值及参考影像中目标点的像点坐标作为已知条件,根据距离-多普勒模型[14]和地球椭球方程,通过直接定位[15]解算得到该目标点在物方的坐标移动轨迹。然后,利用目标点在物方的坐标移动轨迹,根据距离-多普勒模型,通过间接定位[15]确定该目标点在各匹配影像中对应的匹配方向线。
通过大量多基线机载SAR影像试验,发现计算得到的匹配方向线方向接近SAR影像距离向方向,但是两者并不平行。在图 2中的3张影像中,视角按图(a)—(c)的顺序逐渐增加,选取图(b)为参考影像,(a)和(c)为匹配影像。图中红线是图(b)A点在(a)和(c)上的匹配方向线,黄色箭头表示影像的距离向方向。可以看出,两者之间存在一定的夹角,且视角越大,该夹角越大,常规二维搜索相应的方位向搜索范围也越大。
理论上,正确的匹配点必定位于SAR影像的匹配方向线上。但是,如果SAR影像的成像、轨道等参数不精确,则匹配方向线可能不经过正确的匹配点。为此,在进行SAR影像匹配搜索时不能仅沿匹配方向线进行,还需沿与匹配方向线距离分别为±1~m像素的平行线进行,其中,m是残余方位向视差(m的取值与SAR影像成像、轨道等参数有关)。因此,利用匹配方向线可以有效缩小二维搜索的范围、减少计算量和误匹配、提高匹配的有效率。 2.2 SANCC多基线影像匹配方法原理 2.2.1 NCC匹配方法
由于NCC匹配方法理论成熟、精度优良[16],一直是影像匹配的研究热点。众所周知,NCC方法是计算两张影像上像素相似性的测度之一[17]。
假设p为参考影像R中模板窗口WR内的一个像素,q为匹配影像M中搜索窗口WM内的一个像素,则窗口WR和WM中心像素的NCC值可表示为[18]
式中,IR(p)和IM(q)分别为p点和q点在影像R和M中的灰度值;IR和IM分别为模板窗口WR和搜索窗口WM中所有像素灰度的平均值。由于SAR影像受斑点噪声和辐射畸变的影响,同一点各候选匹配的NCC测度值常很低且非常接近,极易产生误匹配甚至无法获取匹配信息。为了增强SAR影像的可匹配性并提高匹配精度,本文引入Gestalt原理的接近性和相似性原则对传统的NCC匹配方法进行改进,得到ANCC(adaptive NCC)匹配方法。 2.2.2 ANCC匹配方法
Gestalt原理在计算机视觉中有着广泛的应用,其中接近性和相似性均是传统Gestalt原理的主要原则之一[19]。本文利用Gestalt原理的接近性和相似性原则计算模板窗口和搜索窗口内像素的权值。窗口的邻域像素与中心像素距离越近,接近性权值越大;灰度值差异越小,相似性权值越大;反之亦然。假设i是m×m窗口W的中心像素,j是窗口W中i的邻域像素。根据接近性和相似性原则,像素j的权值w(j)可得
式中,Δdij和Δgij分别表示像素i和j空间距离和像素灰度值差异的大小;fproximityΔdij和fsimilarityΔgij分别表示像素i和像素j的接近性和相似性的大小。具体表达式为 式中,σd与匹配窗口大小相关;σs与窗口内灰度值的变化程度相关。窗口W中所有像素的加权灰度值和Si为
由Si计算得到的像素灰度加权平均值Iw为
根据式(1),可得匹配窗口WR和搜索窗口WM中心像素间的ANCC相似性测度为
式中,IwR(p)=w(p)·IRp,表示匹配窗口WR中点p的加权像素灰度值;IwM(q)=w(q)·IMq,表示搜索窗口WM中点q的加权像素灰度值;IwR为WR窗口内所有像素灰度的加权平均值;IwM为WM窗口内所有像素灰度的加权平均值。此时,ANCC匹配方法只能处理单立体像对的匹配。为了更好地利用多基线影像间的几何和幅度信息、抑制SAR影像间较大几何变形和重复纹理的影响,提出了结合ANCC匹配方法和SNCC(sum of normalized cross-correlation)[20]多基线影像匹配思想的SANCC多基线影像匹配方法。 2.2.3 SANCC多基线影像匹配方法
SNCC是文献[20]针对光学线阵影像提出的多基线影像匹配方法,它将所有单立体像对(由参考影像和待匹配影像组成)的NCC测度值进行加和平均。本文将SNCC多基线影像匹配思想和权值自适应确定的ANCC影像匹配方法相结合,得到SANCC多基线影像匹配方法,公式为
式中,n为待匹配影像个数。该方法能同时匹配n+1幅影像,并获取匹配点的高程信息。利用图 2中的数据进行SANCC多基线影像匹配,图 2(b)中A点在图 2(a)和(c)匹配方向线上的ANCC和SANCC相关测度曲线,如图 3所示。图 3(a)为A点与图 2(a)显示的匹配方向线中各点计算得到的ANCC测度值。同理,得到图 3(c)。 图 3(b)为图 2中3幅影像共同计算得到的A点的SANCC测度值。由于受A点左边相似性纹理的影响,图 3(a)出现了两个ANCC测度峰值,所以由图 2(a)和(b)组成的单立体像对在A点进行匹配时会出现虚假响应,得到误匹配结果。故根据ANCC测度值仅能获取A点在图 2(c)上的正确匹配。而图 3(b)所示的SANCC测度曲线消除了图 3(a)中的虚假响应,此时相关系数具有唯一的峰值,可以获取A点在图 2所有匹配影像中的正确匹配点。因此,SANCC多基线影像匹配方法可以有效利用多基线影像的几何和幅度信息,同时匹配多幅影像、提高匹配的成功率。
3 试验与分析 3.1 试验数据及评价指标本文采用国产机载SAR测图系统——CASMSAR获取的X波段多基线SAR影像进行匹配试验。图 4为3条相邻航带上同一场景的3张影像,影像分辨率为0.5 m,方位向像元大小为0.23 m,距离向像元大小为0.25 m,影像大小为1000像素×900像素。
由于SAR波束照射角度变化较大,影像间存在很大的几何变形和辐射畸变;建筑物由于照射角度的变化对周围地物造成不同程度的遮挡,产生很多阴影;且建筑物四周包含大量纹理匮乏区(如图 4(b)中椭圆区),因此要获取试验影像的同名点并不容易。
图 4中选取(b)作为参考影像,(a)和(c)为匹配影像。在图(b)中划分格网,在每个格网中选取Forstner[21]特征点作为待匹配点,若某格网中未得到特征点则选取该格网中心点,并剔除影像边缘的格网点。
本文进行多基线SAR影像匹配性能评价的指标包括:①正确匹配点数目nright,设点位误差阈值为T0,若匹配点的点位误差小于T0,则认为该匹配点对为正确匹配;②匹配有效率为nright/ n,其中n为匹配点总数;③中误差σ,通过式(7)计算,其中,Δ为匹配方法获取的匹配点值和真值的差值。
3.2 SANCC模型参数对匹配性能的影响分析SANCC匹配方法的自适应权值包括两部分:接近性权值和相似性权值。影响接近性权值的因素包括邻域像素j与窗口中心像素i之间的距离和窗口大小。影响相似性权值的因素包括邻域像素j和窗口中心像素i灰度值差异的大小和σs的取值。
为了测试窗口大小对SANCC匹配方法性能的影响程度,试验仅改变窗口大小,范围从7像素×7像素至41像素×41像素,其余参数固定(见图 5)。SANCC方法的匹配性能通过正确匹配点数目、匹配有效率和坐标中误差进行评价。
如图 5所示,随着窗口变大,其包含的信息也越丰富,匹配有效率呈上升趋势,匹配点的数目和中误差值呈下降趋势,匹配精度和准确性逐步提高。窗口大小在15像素×15像素及更小时,正确匹配点数目最多;窗口大小增加到25像素×25像素之后,中误差下降的幅度减缓;窗口大小为30像素×30像素时,匹配有效率趋于饱和。
为了测试σs的变化对SANCC匹配方法性能的影响程度,试验同样将窗口大小等参数固定,仅改变σs。因为该区域SAR影像兼具纹理丰富区和纹理匮乏区,影像像素灰度值差异变化较大,所以σs的变化范围选择从40至180,SANCC方法的匹配性能仍从上述3个方面进行分析。
如图 6所示,随着σs的增大,正确匹配点数目逐步增加,在σs=80处开始趋于平稳。同时随着σs的增大,匹配有效率也呈现出缓慢增加的趋势。与前两者趋势不同,中误差的值急速减小,直到σs为70之后下降趋势逐渐变缓,当σs≥120时,σs的变化对中误差影响很小。
综上所述,后续试验中SANCC多基线影像匹配方法的窗口大小选择为19像素,σs为80。 3.3 SNCC和SANCC匹配方法性能比较分析
本文提出的SANCC多基线影像匹配方法根据匹配窗口内邻域像素与中心像素的距离和灰度值的差异计算权值。其中,离中心像素越近、灰度值差异越小、像素权值越大,因此可以有效减弱辐射畸变和斑点噪声对相似性测度值的影响。
基于灰度的相似性测度进行光学影像匹配时,阈值通常选取0.7甚至更高。但是由于SAR影像具有较大的几何变形、辐射畸变和斑点噪声等,其相似性测度值一般很低,大多集中在0.1~0.3。
图 7为分别利用SNCC和SANCC多基线影像匹配方法得到的大量待匹配点的最大匹配测度直方图。即使在图 4所示的纹理较丰富区,SNCC测度值仍大多集中在0.2附近(见图 7(a))。如图 7(b)所示,本文提出的SANCC匹配方法得到的匹配测度峰值出现在0.7~0.8,显著提高了SAR影像间匹配点对的相似性测度值,增加了匹配点与非匹配点的可区分性。
3.4 SANCC多基线影像匹配方法有效性分析为了分析提出的SANCC多基线影像匹配方法的有效性,试验中NCC、SNCC及SANCC匹配方法均采用winner-takes-all(WTA)[20]方法选择匹配点,仅利用匹配方向线对搜索范围进行约束。WTA方法是指选择局部区域内匹配测度值最大的点为匹配点。每个候选匹配点对应于Zmin~Zmax范围内的一个高程Z,因此可在影像匹配的同时获取目标点的高程值。匹配点位的精度取决于候选点的定位精度、步距、幅度信息及其周围像素的幅度信息等,残余方位向视差m=3。对图 4(b)划分格网,数目为29×24。根据SAR影像各类匹配测度的分布直方图,选择NCC方法的匹配测度阈值为0.2,SNCC方法的阈值为0.3,SANCC方法的阈值为0.4。图 8显示了分别利用NCC、SNCC和SANCC匹配方法提取的正确匹配点的分布情况。NCC单立体像对匹配方法的试验影像见图 4(a)和图 4(b);SNCC和SANCC多基线影像匹配方法的试验影像见图 4(a)—(c)。
如图 8和表 1所示,NCC匹配方法得到的正确匹配点数目最少,SNCC次之,SANCC得到的匹配点最为密集、均匀。而且NCC和SNCC方法在影像左上角的纹理匮乏区域都较难获取匹配点对,而本文提出的SANCC方法在该区域则可得到一定密度的匹配点对。
图 9为图 8某重复性纹理区域的局部放大图,同一种方法的匹配点用相同点号表示。图 9(a)中的点59、76为误匹配点,可知NCC匹配方法对于重复性纹理区域显得无能为力,而本文提出的SANCC方法则可得到该区域更加密集且准确的匹配点。
3.5 SANCC多基线影像匹配方法精度分析为了更加准确地分析SANCC多基线影像匹配方法的精度,并与SNCC方法进行比较,对参考影像上6个控制点进行匹配试验,其点位分布如图 10所示。试验影像为3条相邻航带上同一区域的3景影像,选择中间航带的影像为参考影像(见图 10),飞行方向左侧航带的影像为匹配影像1,右侧航带的影像为匹配影像2。
已知控制点在参考影像及匹配影像上的像点坐标和物方三维空间坐标,将SNCC和SANCC方法得到匹配结果与已知值进行比较,结果如表 2所示。表 2中Δx、Δy表示通过多基线影像匹配方法获得的匹配点坐标与已知坐标的差值;高程差值表示通过多基线影像匹配方法获得的高程值与已知高程的差值。
点号 | SNCC方法 | SANCC方法 | ||||||||
匹配影像1 | 匹配影像2 | 高程差值 | 匹配影像1 | 匹配影像2 | 高程差值 | |||||
Δx | Δy | Δx | Δy | Δx | Δy | Δx | Δy | |||
1 | 0.65 | -8.61 | -2.24 | 0.50 | -1.53 | -0.45 | -8.59 | -1.50 | -0.52 | -0.53 |
2 | -0.50 | 2.89 | 2.90 | 3.12 | 2.16 | -0.23 | -0.12 | 2.71 | 3.13 | 1.65 |
3 | -0.62 | 0.11 | -1.64 | -2.52 | -0.49 | -0.45 | 1.10 | -1.75 | -2.51 | -0.64 |
4 | -2.37 | 2.26 | -0.33 | -0.99 | 1.13 | -0.16 | -0.78 | -1.82 | -1.94 | -0.87 |
5 | 0.06 | 1.35 | -0.41 | 2.70 | -0.82 | 0.33 | 1.35 | -0.60 | 0.70 | -1.14 |
6 | 2.67 | 0.13 | -1.42 | 0.08 | -3.90 | 1.57 | 0.15 | -0.67 | 0.05 | -2.46 |
中误差 | 1.52 | 3.85 | 1.67 | 1.97 | 1.93 | 0.71 | 3.40 | 1.56 | 1.84 | 1.21 |
注:Δx、Δy的单位为像素,高程差值单位为m。 |
由表 2可知,SANCC匹配方法比SNCC方法获取的匹配结果点位更为精确,高程精度由1.93 m提高到1.21 m,证明了本文提出的SANCC匹配方法较SNCC方法精度更高。其中,获取的高程值精度除了受多基线影像匹配点的点位精度影响外,还受轨道参数、SAR成像参数、基线长度等因素的影响。 4 结 论
本文通过匹配方向线缩小匹配搜索范围,然后引入Gestalt原理的接近性和相似性原则,提出了SANCC多基线影像匹配方法。通过利用同一区域不同航带的多基线机载SAR影像,对本文提出的SANCC匹配方法与NCC方法和SNCC方法进行比较试验,证明本文方法具有正确匹配点数目多、点位分布均匀和精度高的优点,并在斑点噪声影响较大的纹理匮乏区表现出更高的精确性和稳健性,可为SAR立体测量的后续步骤提供高精度、密集且分布均匀的同名点及其高程信息。
由于本文所能获取的覆盖同一区域的多基线SAR影像数据有限,匹配步骤前对立体像对的质量控制存在一定的难度。后续的研究工作将围绕此方面进行,减弱质量不佳的影像对匹配结果的影响。
[1] | TOUTIN T, GRAY L. State-of-the-Art of Elevation Extraction from Satellite SAR Data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2000, 55: 13-33. |
[2] | MÉRIC S, FAYARD F, POTTIER É. A Multiwindow Approach for Radargrammetric Improvement[J]. IEEE Transaction on Geoscience and Remote Sensing, 2011, 49(10): 3803-3810. |
[3] | CHEN Fulong, ZHANG Hong, WANG Chao. Automatic Matching of Tie-points with High-resolution SAR Images[J]. Journal of Image and Graphics, 2006, 11(9): 1276-1281. (陈富龙, 张红, 王超. 高分辨率SAR影像同名点自动匹配技术[J]. 中国图象图形学报, 2006, 11(9): 1276-1281.) |
[4] | CRESPI M, CAPALDO P, FRATARCANGELI F, et al. DSM Generation from Very High Optical and Radar Sensors: Problems and Potentialities along the Road form the 3D Geometric Modeling to the Surface Model[C]//IEEE International Geoscience and Remote Sensing Symposium (IGARSS). [S.l.]:IEEE, 2010:3596-3599. |
[5] | YUE Chunyu,JIANG Wanshou.An Automatic Registration Algorithm for SAR and Optical Images Based on Geometry Constraint and Improved SIFT[J].Acta Geodaetica et Cartographica Sinica,2012,41(4):570-576.(岳春宇,江万寿.几何约束和改进SIFT的SAR影像和光学影像自动配准方法[J]. 测绘学报,2012,41(4):570-576.) |
[6] | HE Xueyan,ZHANG Lu,BALZ T,et al.Topographic Mapping in Mountainous Areas Using Stereo SAR Assistedby External DEM[J].Acta Geodaetica et Cartographica Sinica,2013,42(3):425-432.(贺雪艳,张路,BALZ T,等. 利用外部DEM 辅助山区SAR立体像对匹配及地形制图[J]. 测绘学报,2013,42(3):425-432.) |
[7] | BALZ T, ZHANG L, LIAO M. Direct Stereo Radargrammetric Processing Using Massively Parallel Processing[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2013, 79: 137-146. |
[8] | EDWARDS E. Digital Surface Modelling in Developing Countries Using Spaceborne SAR Techniques[D]. Nottingham: University of Nottingham, 2005. |
[9] | WANG Jingxue,ZHU Qing,WANG Weixi.A Dense Matching Algorithm of MultiView Image Based on the Integrated Multiple Matching Primitives[J].Acta Geodaetica et Cartographica Sinica,2013,42(5):691-698.(王竞雪,朱庆,王伟玺.多匹配基元集成的多视影像密集匹配方法[J]. 测绘学报,2013,42(5):691-698.) |
[10] | SCHARSTEIN D, SZELISKI R. A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms[J]. International Journal of Computer Vision, 2002, 47(1-3): 7-42. |
[11] | FAN Dazhao, JI Song, DAI Chenguang, et al. Research on Correlation Line of GC3 Multi-view Matching Models for Line-array Digital Imagery[J]. Bulletin of Surveying and Mapping, 2013(9): 19-23. (范大昭, 纪松, 戴晨光, 等. 线阵影像GC3多视匹配模型的匹配方向线研究[J]. 测绘通报, 2013(9): 19-23.) |
[12] | JI Song, FAN Dazhao, ZHANG Yongsheng, et al. Self-adaptive Window Extension Strategies of Discontinuity Features for MVLL Algorithm[J]. Geomatics and Information Science of Wuhan University, 2011, 36(2): 199-203. (纪松, 范大昭, 张永生, 等. MVLL 算法中地表断裂特征的自适应窗口变化策略研究[J]. 武汉大学学报:信息科学版, 2011, 36(2): 199-203.) |
[13] | JI Song. Study on The Strategy and Improvement Method of Multi-view Matching Technology[D]. Zhengzhou:Information Engineering University, 2012. (纪松. 多视匹配策略与优化方法研究[D].郑州:信息工程大学, 2012.) |
[14] | CURLANDER J. Location of Space-borne SAR Imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 1982, GE-20(3): 359-364. |
[15] | CHEN Erxue. Study on Ortho-rectification Methodology of Space-borne Synthetic Aperture Radar Imagery[D]. Beijing: Chinese Academy of Forestry, 2004. (陈尔学. 星载合成孔径雷达影像正射校正方法研究[D]. 北京:中国林业科学研究院, 2004.) |
[16] | LEBERL F, MAURICE K, THOMAS J, et al. Automated Radar Image Matching Experiment[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 1994, 49(3): 19-33. |
[17] | FAUGERAS O, HOTZ B, MATHIEU H, et al. Real Time Correlation-based Stereo: Algorithm, Implementations and Applications[R]. Technical Report RR-2013, INRIA, 1993. |
[18] | ZHANG Zuxun, ZHANG Jianqing. Digital Photogrammetry[M]. Wuhan: Wuhan University Press, 1997.(张祖勋, 张剑清. 数字摄影测量学[M]. 武汉: 武汉大学出版社, 1997.) |
[19] | YOON K, KWEON I. Locally Adaptive Support-weight Approach for Visual Correspondence Search[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE, 2005:924-931. |
[20] | ZHANG L. Automatic Digital Surface Model(DSM) Generation from Linear Array Images[D]. Swiss: Swiss Federal Institute of Technology Zurich, 2005. |
[21] | FORSTNER W. A Feature Based Correspondence Algorithm for Image Matching[C]//Proceedings of the ISPRS Commission Ⅲ Symposium. Rovaniemi: ISPRS,1986:150-166. |