2. 中国测绘科学研究院, 北京 100830 ;
3. 中南大学地球科学与信息物理学院, 湖南 长沙 410083
2. China Academy of Surveying and Mapping, Beijing 100830, China ;
3. School of Geosciences and Info-Physics, Central South University, Changsha 410083, China
雷达摄影测量(radargrammetry，又称StereoSAR)是合成孔径雷达(synthetic aperture radar，SAR)进行三维信息提取的一种重要技术手段，与干涉SAR相比，其对数据成像条件和地表覆盖类型的要求相对宽松。近年来，随着COSMO-SkyMed与TerraSAR-X等高分辨率SAR卫星的投入运行，雷达摄影测量得到了更为广泛的关注[1-5]。雷达摄影测量利用SAR立体影像间的视差提取地面的三维信息，其关键是提取SAR立体视差图，即影像匹配。由于SAR为侧视斜距相干成像，导致SAR影像存有斑点噪声，影像信噪比低，使得SAR立体影像的匹配变得更加困难。
SAR影像匹配方法主要有特征匹配和灰度匹配两种。特征匹配存在匹配点稀疏、匹配点集中在纹理丰富区域等缺点[6-7]，因此，在雷达摄影测量中使用较少。而灰度匹配虽存在匹配搜索耗时、匹配结果易受纹理信息影响等缺点，但通过引入更多的辅助信息和适当的匹配策略，也能取得不错的匹配效果[8-17]。文献[11]对比分析归一化互相关系数(normalized cross correlation,NCC)、互信息等不同的相似测度在SAR影像城区、山区和纹理缺乏区域3种不同场景的适应能力，结果表明NCC在场景适应性与匹配正确率上综合表现最好，同时指出在纹理缺乏区域需用较大的匹配窗口，视差不连续区域采用较小的匹配窗口。文献[12]计算窗口内的灰度变化和视差估计，自适应调整窗口大小，以适应影像不同纹理区域的要求。文献[13]采用自适应权值在保持视差不连续区域匹配正确率的同时，提高了纹理缺乏区域的匹配正确率。文献[14]将影像分割为纹理缺乏区域和纹理丰富区域，在不同区域采用不同的匹配方法。文献[15]为提高纹理缺乏区域的匹配正确率，利用多个自适应窗口的NCC相乘，以提高其置信水平，有效地提高了DEM的高程精度。文献[16]通过外部DEM和金字塔匹配策略约束匹配搜索范围，采用外部DEM和左右一致性约束(left right consistency，LRC)对NCC匹配结果进行误差控制，也取得较为可观的DEM精度。文献[17]利用信噪比(signal to noise ratio，SNR)提取NCC匹配结果中的稳定匹配点，同样取得了较高的DEM高程精度。
综上所述，多数研究致力于匹配窗口尺寸自适应或者像素权重自适应，以满足影像不同纹理区域的要求：纹理丰富区域需要较小的匹配窗口，纹理缺乏区域需要较大的匹配窗口，而上述方法受SAR影像斑点噪声影响，满足影像不同区域阈值的设置较为困难，算法易用性较差。基于此，本文提出一种基于视差图融合的匹配方法，基于提出的置信测度SL，对不同匹配窗口NCC匹配获取的视差图进行加权融合，融合时不仅考虑了视差本身的置信水平，还兼顾了其邻域视差的影响，从而实现了较高精度的匹配。
1 方 法本文方法的详细流程如图 1所示，方法首先选取多个不同尺寸的匹配窗口分别进行NCC匹配，获取多幅视差图，然后基于提出的置信测度SL，对视差图中的每个视差进行置信水平评价，最后依据置信水平进行多幅视差图加权融合。方法实现过程中，引入外部粗分辨率DEM和金字塔匹配策略，约束匹配搜索范围。此外，由于SAR影像存在乘性斑点噪声，影像信噪比低，滤波方法又易引入虚假纹理信息，而NCC具有一定的抗高斯噪声能力，因此，本文首先对影像进行对数变换。
|
| 图 1 本文方法流程图 Fig. 1 Flowchart of the proposed algorithm |
1.1 NCC匹配方法
NCC匹配方法根据两幅影像上匹配窗口内的灰度信息进行匹配，能适应影像间的灰度线性变化，同时也具有一定的抗噪声能力，与其他相似测度(如互信息等)相比，在SAR影像匹配不同场景的适应性上综合表现最好[11]，其计算公式如下
(1)
式中，ri表示参考影像窗口内的像素值；mi表示待匹配影像的像素值；r表示参考影像窗口内的像素均值；m表示待匹配影像窗口内的像素均值；σr表示参考影像窗口内的像素标准差；σm表示待匹配影像窗口内的像素标准差；n表示匹配窗口内的像素个数。
1.2 置信测度SLNCC匹配正确率受匹配窗口尺寸影响，不同尺寸匹配窗口获取的视差图精度不同，对获取的多幅视差图进行融合，需要利用置信测度评价视差图中每个视差(匹配点)的置信水平。常用的置信测度[18-21]有MSM(matching score measure)、LRD(left right difference)、LRC、SNR等。
1.2.1 LRCLRC是一种常用的误匹配检测方法，利用双向匹配的视差之差进行置信水平评价，能成功检测出由遮挡等问题引起的误匹配点[18, 21]，计算公式如下
(2)
式中，dl表示以参考影像为主影像求取的视差；dr表示以待匹配影像为主影像求取的视差；l值越小，其置信水平越高，为正确匹配点的概率越大。
1.2.2 SNRSNR是一种衡量NCC匹配质量的置信测度，能有效地反映影像纹理缺乏区域和重复纹理区域匹配点的置信水平，在SAR立体影像匹配中使用广泛[17, 20]，其定义如下
(3)
式中，ρmax表示搜索范围内的NCC最大值；ρ表示搜索范围内的NCC均值；SNR的取值范围为[1, +∞)。匹配点SNR值越小，其置信水平越低，匹配点为正确匹配点的概率越小。
1.2.3 SL由式(2)可知，LRC取值为一系列离散值(如0，1，…)，其值越小，置信水平越高，但对多幅视差图进行融合时，当匹配点的LRC值相等时，不能对视差进行优选，影响融合后的视差图精度；置信测度SNR取值为连续值，其值越大，置信水平越高，其只利用NCC最大值与NCC搜索范围内平均值进行置信水平评价，没有顾及双向匹配的视差约束。基于此，本文结合LRC和SNR，提出一种新的置信测度SL，其定义为
(4)
式中，ε为避免分母为零的极小正值；sl取值范围是(0, +∞)，其值越大，匹配点置信水平越高，表示匹配正确的概率越大。
1.3 视差图融合策略基于提出的置信测度SL，对不同尺寸匹配窗口获取的视差图中每个视差进行置信水平评价。视差的置信水平受匹配窗口尺寸、匹配窗口内信息量等的影响，不同尺寸匹配窗口获取的视差，其置信水平不同，而直接根据视差本身的置信水平进行融合，则未考虑邻域视差的影响。基于此，本文提出一种视差图融合策略，该策略利用视差本身和其邻域视差的置信水平进行加权计算，比较选出置信水平最高的视差，融合过程如图 2所示。
(1) 由不同尺寸的匹配窗口进行NCC匹配获取的视差图记为Di(i=1,2,…,n)，n表示匹配窗口的个数。融合后的视差图记为Df，对于Df上每一位置(xc,yc)，在Di(xc,yc)周围选取一定尺寸的融合窗口W，如图 2(a)中矩形框所示，其邻域视差的权重wi(x,y)由其与中心像素的视差之差决定，定义为
(5)
式中，di(xc,yc)表示Di上融合窗口中心像素的视差值；di(x,y)表示Di上融合窗口内像素的视差值；W表示选取的融合窗口；e为自然常数。
(2) 根据融合窗口内各视差的权重wi(x,y)和置信水平，计算位置(xc,yc)的总置信水平ci(xc,yc,di)，其计算公式为
(6)
式中，sli(x,y)表示Di(x,y)位置处的置信水平。
(3)比较多幅视差图(xc,yc)位置处的总置信水平，选取总置信水平最高的视差作为最终视差Df(xc,yc,d)，如图 2(c)所示，定义为
(7)
|
| 图 2 视差图融合过程 Fig. 2 The procedure of disparity maps fusion |
1.4 误匹配剔除
金字塔匹配策略能有效地约束匹配搜索范围，提高算法运行速度，但金字塔上层匹配结果中的误匹配点，在下层匹配中影响区域会逐渐增大，因此，有必要剔除金字塔匹配过程中的误匹配点。本文采用文献[16]的方法，利用融合后的视差图计算出每一点的高程，并与采用的外部粗分辨率DEM高程作差，大于外部DEM的高程误差的4倍视为误匹配点。与文献[16]不同的是，本文误匹配点的视差由其相邻像素视差的最小值代替，主要是因为立体SAR影像为近似核线影像[8]，其与邻域像素的视差较为接近，而采用外部粗分辨率DEM构建的初始视差受其精度影响，其搜索范围会随着匹配传递而增大。
2 试验与分析 2.1 试验数据试验数据采用TanDEM-X卫星升轨聚束地距立体影像，试验区位于四川省南充市下辖的南部县，影像覆盖区域以山地为主，区域高程变化范围约为270～550 m。影像方位向分辨率约为1.3 m，距离向分辨率约为1.5 m，影像中心侧视角θ分别为37.7°和51.6°，如图 3所示。
|
| 图 3 试验影像 Fig. 3 Test images 注：红色点为试验区实地量测的6个地面控制点 |
为验证本文匹配方法的有效性，本文选取3个不同尺寸的匹配窗口分别进行NCC匹配，匹配窗口分别设置为7×7、11×11、15×15。试验时先对试验数据进行常数对数变换，然后构建金字塔影像：金字塔影像层数设置为4层，每层金字塔影像的1个像素对应于下层金字塔影像的4个像素，上层金字塔影像是由下层金字塔影像经均值滤波获得。试验采用的外部粗分辨率DEM为SRTM的3弧秒DEM，高程精度标称约为18 m。试验过程中依据采用的外部DEM，对于金字塔顶层参考影像上每个像素，利用距离多普勒模型依次进行直接定位和间接定位[22]，从而获得金字塔顶层影像每个像素的初始视差。考虑到SRTM的高程基准为EGM96，与大地高存在高程异常，金字塔影像顶层匹配时距离向搜索范围设置为17像素，金字塔其余各层距离向搜索范围设置为11像素，方位向搜索范围恒为3像素。算法程序基于Visual Studio 2008 C++编程实现。
2.2 置信测度的有效性分析为准确评价本文提出的置信测度的有效性，试验对比分析了几种常用的置信测度，而置信测度LRC没有进行对比，这是由于视差图融合时，多个匹配点可能具有相同的LRC值。试验过程中只根据匹配点本身的置信水平进行视差图融合，以避免视差图融合策略的影响。试验时先对影像进行常数对数变换，然后再进行不同尺寸匹配窗口的匹配结果进行融合。试验结果采用误匹配百分比进行评价。由于原始影像匹配点的真实位置不可知，试验影像为8视处理后的影像，其匹配点的真实位置可以根据立体影像间的几何定位关系获得，几何定位时采用的DEM为国家1∶1万的大地高DEM，几何定位精度约为1个像素，故可以视几何定位点作为匹配点的真实位置。
图 4是几种不同置信测度进行视差图融合的结果，图中“窗7”“窗11”“窗15”分别表示试验影像对应窗口NCC匹配结果，“窗7′”“窗11′”“窗15′”分别表示对数变换后的试验影像对应窗口NCC匹配结果。从图 4中可以看出：①对数变换后的误匹配百分比均小于变换前的匹配结果，说明本文进行对数变换的有效性；②SNR、LRD和SL误匹配百分比均优于融合前单一匹配窗口获取的匹配结果，表明本文利用多幅视差图进行融合，能有效提高匹配正确率；③SL的误匹配百分比最小，优于SNR，说明本文结合LRC和SNR进行置信水平评价的有效性。
|
| 图 4 置信测度的有效性分析图 Fig. 4 performance of different confidence measures |
2.3 融合窗口尺寸的性能分析
视差图融合策略需要设置的唯一参数是融合窗口尺寸，为测试视差图融合窗口尺寸对匹配结果的影响，本文设置不同尺寸的融合窗口，其变化范围是1～21个像素。试验影像和评价方法同2.2节。需要说明的是：当融合窗口设置为1个像素时，即根据视差本身的置信测度进行视差图融合。
如图 5所示，融合窗口尺寸为7时误匹配百分比最小，误匹配百分比与融合窗口尺寸为1时相比减少13%，说明采用考虑邻域视差影响的融合策略，能有效提高匹配正确率。随着融合窗口进一步增大，误匹配百分比随之增大，这主要由于试验影像以山区为主，透视收缩等视差不连续区域较多，而采用较大的融合窗口进行视差图融合时，易受与中心像素视差相等的误匹配影响。因此，在视差图融合过程中，融合窗口尺寸的选取需要考虑整幅影像的视差不连续区域，本文采用的融合窗口尺寸为7。
|
| 图 5 融合窗口尺寸对视差图融合结果的影响 Fig. 5 Performance of disparity maps fusion with respect to different fuse window sizes |
2.4 结果DEM精度分析
为了准确评价本文方法的有效性，本文依据距离多普勒几何定位模型，将融合后的视差图利用几何交会原理[15]生成DEM，如图 6所示。采用国家标准图幅1∶1万的大地高DEM作为参考，DEM的格网间隔为5 m。本文从像素高差统计百分比和误差统计量2个方面进行DEM精度评价，表 1列出了试验生成的DEM高程精度，表中“窗口7”“窗口11”“窗口15”分别表示对应尺寸匹配窗口NCC匹配生成的DEM。
| 方法 | 像素高差统计百分比 | 误差统计量/m | ||||||
| <5 m | <15 m | <25 m | 均值 | 绝对均值 | 最大值 | 最小值 | 中误差 | |
| 窗口7 | 25.27 | 65.75 | 84.92 | 9.77 | 14.04 | 242.23 | -129.14 | 19.38 |
| 窗口11 | 34.61 | 81.83 | 94.37 | 7.25 | 9.71 | 230.72 | -166.38 | 13.55 |
| 窗口15 | 37.35 | 86.80 | 97.01 | 6.55 | 8.41 | 208.30 | -130.95 | 11.28 |
| 本文方法 | 43.62 | 93.24 | 99.48 | 5.07 | 6.74 | 52.79 | -49.51 | 8.41 |
|
| 图 6 DEM结果 Fig. 6 DEMs derived from experiment |
表 1统计结果表明：本文方法生成的DEM精度在像素高差统计百分比和误差统计量两个方面均优于单一匹配窗口的DEM，与单一窗口最优DEM(窗口15)相比，高程精度提高了2.9 m，DEM误差小于5 m的像素百分比提高了6.3%，说明本文匹配方法能有效提高匹配正确率，较大幅度地减少了粗差点，进而提高DEM精度。
从图 6中可以看出，采用单一匹配窗口生成的DEM均存在一些明显的异常值区域，而本文方法生成的DEM异常值区域大幅减少。由表 1也可知，本文方法生成的DEM误差最大值和最小值都得到明显的降低，大幅降低了DEM的粗差范围，表明本文视差图融合策略能综合利用不同匹配窗口的匹配结果，进而提高匹配正确率。
本文还利用实地量测6个GPS控制点对本文方法生成的DEM进行平面精度和高程精度验证，本文方法生成的DEM的平面精度：东方向为1.82 m，北方向为2.69 m；高程精度为2.47 m。各个控制点的精度如表 2所示。
| 点号 | DEM误差/m | ||
| 东 | 北 | 高程 | |
| A34 | -0.25 | -1.22 | -0.31 |
| D9 | -0.18 | -5.22 | -5.30 |
| D16 | -3.30 | -1.10 | -2.21 |
| D17 | -0.25 | -2.62 | 1.04 |
| D22 | 0.28 | -2.37 | -0.95 |
| D30 | 2.94 | -1.12 | -1.25 |
3 结 论
针对影像不同纹理区域的需求，本文提出了一种SAR立体影像匹配的视差图融合方法，该方法根据提出的置信测度和视差图融合策略，综合利用不同匹配窗口的匹配结果，从而提高金字塔每层的匹配正确率，进而实现SAR立体影像的较高精度匹配。该方法避免了窗口自适应机制的权重计算和自适应准则设置等问题。试验结果表明，本文方法能够大幅减少DEM的粗差点，进而提高了DEM精度。然而，由于本文方法利用多个不同的匹配窗口分别进行匹配，导致匹配算法的复杂度比较高，后续研究将通过并行化处理，进一步提高算法运行速度。
| [1] | LEBERL F, DOMIK G, RRGGAM J, et al. Radar Stereo-mapping Techniques and Application to SIR-B Images of Mt. Shasta[J]. IEEE Transactions on Geoscience and Remote Sensing , 1986, GE-24 (4) : 473 –481. DOI:10.1109/TGRS.1986.289661 |
| [2] | TOUTIN T. Evaluation of Radargrammetric DEM from RADARSAT Images in High Relief Areas[J]. IEEE Transactions on Geoscience and Remote Sensing , 2000, 38 (2) : 782 –789. DOI:10.1109/36.842007 |
| [3] | TOUTIN T. Impact of Radarsat-2 SAR Ultrafine-mode Parameters on Stereo-radargrammetric DEMs[J]. IEEE Transactions on Geoscience and Remote Sensing , 2010, 48 (10) : 3816 –3823. DOI:10.1109/TGRS.2010.2048715 |
| [4] | CAPALDO P, CRESPI M, FRATARCANGELI F, et al. High-resolution SAR Radargrammetry:A First Application with COSMO-SkyMed SpotLight Imagery[J]. IEEE Geoscience and Remote Sensing Letters , 2011, 8 (6) : 1100 –1104. DOI:10.1109/LGRS.2011.2157803 |
| [5] | TOUTIN T, BLONDEL E, CLAVET D, et al. Stereo Radargrammetry with Radarsat-2 in the Canadian Arctic[J]. IEEE Transactions on Geoscience and Remote Sensing , 2013, 51 (5) : 2601 –2609. DOI:10.1109/TGRS.2012.2211605 |
| [6] | DELLINGER F, DELON J, GOUSSEAU Y, et al. SAR-SIFT:A SIFT-like Algorithm for SAR Images[J]. IEEE Transactions on Geoscience and Remote Sensing , 2015, 53 (1) : 453 –466. DOI:10.1109/TGRS.2014.2323552 |
| [7] | 丁昊, 张继贤, 黄国满, 等. 多基线机载合成孔径雷达影像匹配的SANCC法[J]. 测绘学报 , 2015, 44 (3) : 274–281. DOI:10.11947/j.AGCS.2015.20140257 DING Hao, ZHANG Jixian, HUANG Guoman, et al. Multi-image Matching of Airborne SAR Imagery by SANCC[J]. Acta Geodaetica et Cartographica Sinica , 2015, 44 (3) : 274 –281. DOI:10.11947/j.AGCS.2015.20140257 |
| [8] | BALZ T, ZHANG Lu, LIAO Mingsheng. Direct Stereo Radargrammetric Processing Using Massively Parallel Processing[J]. ISPRS Journal of Photogrammetry and Remote Sensing , 2013, 79 : 137 –146. DOI:10.1016/j.isprsjprs.2013.02.014 |
| [9] | GUTJAHR K, PERKO R, RAGGAM H, et al. The Epipolarity Constraint in Stereo-radargrammetric DEM Generation[J]. IEEE Transactions on Geoscience and Remote Sensing , 2014, 52 (8) : 5014 –5022. DOI:10.1109/TGRS.2013.2286409 |
| [10] | RAGGAM H, GUTJAHR K, PERKO R, et al. Assessment of the Stereo-radargrammetric Mapping Potential of TerraSAR-X Multibeam Spotlight Data[J]. IEEE Transactions on Geoscience and Remote Sensing , 2010, 48 (2) : 971 –977. DOI:10.1109/TGRS.2009.2037315 |
| [11] | OLLER G, ROGNANT L, MARTHON P. Correlation and Similarity Measures for SAR Image Matching[C]//Proceedings of the SPIE SAR Image Analysis, Modeling, and Techniques VI. Barcelona:SPIE, 2004, 5236:182-189. |
| [12] | 林宗坚, 刘正坤, 支晓栋. 一种基于统计模型的自适应窗口匹配方法[J]. 测绘科学 , 2010, 35 (6) : 5–8. LIN Zongjian, LIU Zhengkun, ZHI Xiaodong. A Matching Method with Adaptive Window Based on a Statistical Model[J]. Science of Surveying and Mapping , 2010, 35 (6) : 5 –8. |
| [13] | YOON K J, KWEON I S. Adaptive Support-weight Approach for Correspondence Search[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2006, 28 (4) : 650 –656. DOI:10.1109/TPAMI.2006.70 |
| [14] | 曹晓倩, 马彩文. 基于弱纹理检测及视差图融合的立体匹配[J]. 仪器仪表学报 , 2013, 34 (9) : 2074–2079. CAO Xiaoqian, MA Caiwen. Stereo Matching Based on Low-texture Detection and Disparity Map Fusion[J]. Chinese Journal of Scientific Instrument , 2013, 34 (9) : 2074 –2079. |
| [15] | MERIC S, FAYARD F, POTTIER E. A Multiwindow Approach for Radargrammetric Improvements[J]. IEEE Transactions on Geoscience and Remote Sensing , 2011, 49 (10) : 3803 –3810. DOI:10.1109/TGRS.2011.2144606 |
| [16] | 贺雪艳, 张路, BALZT, 等. 利用外部DEM辅助山区SAR立体像对匹配及地形制图[J]. 测绘学报 , 2013, 42 (3) : 425–432. HE Xueyan, ZHANG Lu, BALZ T, et al. Topographic Mapping in Mountainous Areas Using StereoSAR Assisted by External DEM[J]. Acta Geodaetica et Cartographica Sinica , 2013, 42 (3) : 425 –432. |
| [17] | CAPALDO P, NASCETTI A, PORFIRI M, et al. Evaluation and Comparison of Different Radargrammetric Approaches for Digital Surface Models Generation from COSMO-SkyMed, TerraSAR-X, RADARSAT-2 Imagery:Analysis of Beauport (Canada) Test Site[J]. ISPRS Journal of Photogrammetry and Remote Sensing , 2015, 100 : 60 –70. DOI:10.1016/j.isprsjprs.2014.05.007 |
| [18] | HU Xiaoyan, MORDOHAI P. A Quantitative Evaluation of Confidence Measures for Stereo Vision[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2012, 34 (11) : 2121 –2133. DOI:10.1109/TPAMI.2012.46 |
| [19] | SAYGILI G, VAN DER MAATEN L, HENDRIKS E A. Adaptive Stereo Similarity Fusion Using Confidence Measures[J]. Computer Vision and Image Understanding , 2015, 135 : 95 –108. DOI:10.1016/j.cviu.2015.02.005 |
| [20] | LEE H. Opposite-side Radargrammetry of Magellan Synthetic Aperture Radar on Venus[J]. Geosciences Journal , 2012, 16 (2) : 165 –170. DOI:10.1007/s12303-012-0016-5 |
| [21] | EGNAL G, MINTZ M, WILDES R P. A Stereo Confidence Metric Using Single View Imagery with Comparison to Five Alternative Approaches[J]. Image and Vision Computing , 2004, 22 (12) : 943 –957. DOI:10.1016/j.imavis.2004.03.018 |
| [22] | 陈尔学. 星载合成孔径雷达影像正射校正方法研究[D]. 北京:中国林业科学研究院, 2004. CHEN Erxue. Study on Ortho-rectification Methodology of Space-borne Synthetic Aperture Radar Imagery[D]. Beijing:Chinese Academy of Forestry, 2004. |