影像匹配是摄影测量和计算机视觉领域研究的关键问题，是实现影像三维重建的基础。常用的匹配基元有点(像方特征点^{[1, 2, 3, 4]}、规则格网点^[5]、物方面元^[6]等)、线(单直线^{[5, 6]}、组直线^{[7, 8]}、边缘线^[9]等)两种。与点匹配相比，线匹配更具有挑战性，主要原因在于：①受噪声、光照、遮挡及直线提取算法的影响，同一地物的直线特征在不同影像上不能被同时提取出来，或者提取结果差异较大，如提取过程中产生的直线断裂，使得同一条直线在不同影像上提取结果存在数目不等、长度不同、端点不一致等问题。这些都将增加匹配的难度，造成匹配结果存在“一配零”、“一配多”、“多配一”、“多配多”的现象；②单一的核线约束不能给予直线匹配提供强有力的搜索范围约束。

而直线匹配过程中主要问题是匹配约束问题，可归为3个方面：①约束匹配的搜索范围，确定候选直线。常用的约束条件有核线约束^[9]、同名三角形约束^{[10, 11, 12, 13]}、同名点约束等^{[14, 15, 16]}。其中同名点约束包括直接利用同名点与直线间的相对位置关系约束或者利用同名点计算左、右影像间的仿射变换矩阵或者单位矩阵。该约束需要一定数量可靠的同名点作为前提，文献^[16]中也提及这类方法对特征点匹配具有一定的要求。②在候选直线中，利用相似性约束确定同名直线。该方面是匹配的关键，常用的约束有属性相似性测度函数约束^[17]、灰度窗口相似性约束及自适应窗口相似性约束^[18]。其中灰度相似性约束首先需要利用核线约束确定直线同名端点，建立相关窗口，然后在候选直线中选择灰度相似性系数最大的直线作为同名直线。该过程没有考虑由于直线提取结果的断裂，候选直线中存在多条与目标直线对应的同名直线的情况。③匹配结果检核。经典的约束是双向一致性约束，该约束受限于两张影像之间，同时由于左、右影像上同名直线提取结果差异，在保证正确匹配的前提下，从左到右的匹配与从右到左的直线匹配结果并非一一对应，因此该过程会导致一些正确的匹配结果被剔除。同时，上述所有约束条件大多停留在像方，而忽略物方这一核心基础。

针对上述直线匹配的难点问题及匹配约束的有效性，本文提出同名点及高程平面约束的航空影像直线匹配算法，该算法结合像方和物方相似性约束代替传统单一的像方相似性约束，保证了直线匹配的可靠性。

本文算法整体流程如图 1所示。匹配过程中首先利用同名点约束候选直线搜索范围，与现有同名点获取方法不同，本文利用文献[19—20]中移动高程平面约束特征点匹配算法对影像上的边缘像素点进行匹配。将边缘点作为匹配基元可以更好地保证待匹配直线上或其邻域内同名点的分布，因此本文首先利用Canny算子对左、右影像进行边缘检测，得到左、右影像上的边缘像素点。同时对左、右影像进行直线提取。为了约束边缘点及后续直线匹配，根据影像覆盖范围及影像分辨率大小，构建物方栅格化金字塔平面。下层金字塔平面格网单元大小(即分辨率大小)与试验影像分辨率大小相同，为0.045m；上层金字塔平面格网单元大小为0.315m，即上层平面一个面元对应下层7×7个平面元。上层平面用于约束边缘点匹配，并将匹配结果传递到下层金字塔平面，下层金字塔平面用于约束直线匹配。直线匹配主要包括4个步骤：①确定候选直线；②确定同名直线；③直线合并；④直线同名端点确定。

图 1 直线匹配流程图 Fig. 1 Flowchart of line matching

图选项

移动高程平面约束匹配后，得到的同名点可表示为

点击浏览公式

图 2 左、右影像直线邻域窗口 Fig. 2 Neighborhoods of lines on the left and right images

图选项

在上述条件约束下得到目标直线对应的候选直线的情况大致可以归为以下6种情况：“一对零”、“一对一”正确、“一对一”错误、“一对多”正确、“一对多”错误、“一对多”正确同错误。如图 3所示，为了更好地区分候选直线正确与否(即是否为目标直线的同名直线)，图中将直线邻域内的同名点同时显示出来。其中，如图 3(a)所示“一对零”：即左影像上的目标直线，在右影像上没有对应的候选直线；如图 3(b)所示，“一对一”正确：即左影像上的目标直线，在右影像上仅有一条候选直线，且该直线为同名直线；如图 3(c)所示，“一对一”错误：即左影像上的目标直线，在右影像上仅有一条候选直线，该直线不是同名直线；其他3种“一对多”情况表达含义依此类推。

图 3 目标直线对应候选直线情况 Fig. 3 Situation of straight line and the matching candidates

图选项

针对每条目标直线得到的候选集合C_m，进一步利用相似性约束确定同名直线。即在C_m(l₂ⁿ¹,l₂ⁿ²,l₂ⁿ³,…)中确定l₁^m的同名直线，该过程分为物方约束和像方约束两个步骤。

(1) 物方约束。计算直线l₁^m邻域内所有同名点高程值的均值，将其作为物方投影平面的高程值。利用共线方程将左影像上目标直线l₁^m和其对应的右影像上的候选直线集合C_m(l₂ⁿ¹,l₂ⁿ²,l₂ⁿ³,…)中的所有直线分别投影到高程平面，得到平面上对应直线l₁^m′和候选直线集合C′_m(l₂^n1′,l₂^n2′,l₂^n3′,…)。分别比较l₁^m′与C′_m中每条候选直线间的垂直距离和重叠距离^[17]。如图 4所示，以l₁^m′和l₂^n1′为例，以l₁^m′作为基准，D(l₁^m′,l₂^n1′)表示候选直线l₂^n1′的中点到目标直线l₁^m′的垂直距离，O(l₁^m′,l₂^n1′)表示候选直线l₂^n1′在目标直线l₁^m′上的投影与直线l₁^m′的重叠距离。当同时满足D(l₁^m′,l₂ⁿ¹)＜T_D，O(l₁^m′,l₂^n1′)＞T_O两个条件时，再利用像方同名点与直线相对位置关系和点到直线最短距离进一步确定同名直线。其中T_D和T_O分别为垂直距离和重叠距离阈值，文中分别取T_D=3，T_O=5。

图 4 直线间垂直距离和重叠距离 Fig. 4 Vertical distance and overlap distance between lines

图选项

(2) 像方约束。如图 5所示，在左影像上，直线l₁^m邻域内存在4个点，其中，点P₁、P₂位于l₁^m上方，点P₃、P₄位于l₁^m下方。以左影像上和4个点的相对位置关系为基准，判断右影像上l₂ⁿ¹(假设l₂ⁿ¹符合上述物方约束条件)与同名点的位置关系是否与左影像相一致。同时，根据点到直线距离进行判断，即左影像上点P₃到l₁^m的距离最小，记为D_P3，同样，计算右影像上P_3′点到l₂ⁿ¹的距离D′_P3′，如果abs(D_P3-D′_P3′)＜T_C，则确定候选直线l₂ⁿ¹为l₁^m同名直线，试验过程中取T_C=1。

图 5 同名点与直线相对位置关系 Fig. 5 Relative positions from corresponding points to lines

图选项

鉴于直线提取过程中存在断裂，本文算法匹配过程中充分考虑了同一直线提取结果在左影像上连续、右影像上断裂的情况，即匹配结果中左影像上一条直线对应右影像上多条直线的情况，简称左影像上直线“一配多”的结果。如图 6匹配结果中第3组同名直线所示，左影像上的索引号为3的直线同时对应右影像上索引号为443和784两条直线。但匹配过程中没有对直线提取结果中右影像上连续、左影像上断裂的情况进行考虑。如图 6中第1、2、4组同名直线所示，右影像上索引号为343的直线分别对应左影像上1、2、5这3条直线，得到3组同名直线，即匹配结果中右影像上直线还存在“一配多”的结果没有整合。因此还需进一步利用索引对应关系对其进行整合，具体原理如下。

图 6 右影像上“一配多”结果整合 Fig. 6 Integrated results of “one-to-many” on the right image

图选项

假设初始匹配共得到n组同名直线，S_i={M_i,N_i}记录第i组同名直线索引号，i≤n，其中M_i为左影像上的直线索引号，N_i为右影像上的直线索引号。初始情况下，每个M_i记录单个索引号，每个N_i记录单个或者多个直线索引号。初始i=1，m=n，m为后续合并产生新的同名直线组索引，直线合并具体步骤如下。

(1) 令m=m+1，定义变量Z_e、M_m、N_m、S_m为空。取S_i={M_i,N_i}中N_i记录的右影像直线索引号，并将其赋值给Z_e。

(2) 将Z_e中第一个索引值作为基准，置为当前，将该值记为v，并将其从Z_e中删除。

(3) 依次判断第N_i+1到N_n中，是否存在于与v相同的索引号。如果存在，进行步骤(4)，如果不存在，进行步骤(5)。

(4) 假设N_k中存在索引号v，分别合并M_i和M_k到M_m中，合并N_i和N_k到N_m中，记为M_m={M_m;[M_i,M_k,…]}，N_m={N_m;[N_i,N_k,…]}，并将其记录到S_m中，即S_m=[M_m,N_m]，令S_i和S_k为空，同时更新Z_e，增加N_k中新的索引值到Z_e中，转到步骤(5)。

(5) 判断Z_e是否为空，如果不为空，转到步骤(2)，如果为空，取i=i+1；如果i＜n，转到步骤(1)，如果i=n，转到步骤(6)。

(6) “一配多”结果整合结束，清除其中所有为空的元素。

通过上述处理后，右影像上“一配多”的情况得到合并，该过程使得右影像直线提取过程中断裂的直线得到合并。最终得到左、右影像上同名单直线间、同名组直线间的一一对应关系。进一步将匹配结果全部转化为“一对一”的同名直线关系，对M_i和N_i中记录的多条直线进行合并，使其构成一条直线。该过程是对M_i或者N_i中包含的所有直线端点坐标按照x坐标(或y坐标)从小到大进行排序，连接最大、最小值点构成新的直线，并将其作为直线端点坐标进行存储。

经过上述匹配和直线合并后，得到“一对一”的同名直线。但是左、右影像上同名直线长度不等、端点不一，因此还需进一步确定直线的同名端点。现有算法均在像方利用核线约束进行同名直线重叠部分截取或者延伸直线与核线相交，尽量得到长度较长的直线，该过程可能会对同名直线对的4个端点都进行判断，增加了计算量。本文通过“像方-物方-像方”模式确定直线的同名端点。如图 7所示，首先分别将左、右影像上的同名直线l₁^m、l₂ⁿ¹投影到其对应的物方高程平面，得到直线l₁^m′、l₂^n1′。对两条直线4个端点坐标按照x坐标(或y坐标)从小到大进行排序，本文以x坐标进行排序结果为③、①、④、②。选择最小和最大值对应的端点，即③和②，分别将其投影到像方。以端点③为例，该点来自右影像直线l₂ⁿ¹的投影点，因此，将其反投影到左影像上，得到点3，在左影像上，过点3作垂直于直线l₁^m的直线，记为l₁^⊥m，延长l₁^m与l₁^⊥m的交点即为最终的同名端点。

图 7 直线同名端点确定 Fig. 7 Determination of corresponding endpoints for corresponding lines

图选项

为了验证本文算法的有效性，本文采用两组UCX数字航空影像的子影像数据进行直线匹配试验。第1组影像数据如图 8(a)所示，左、右影像大小分别为1319×1411像素、1389×1330像素。影像集中在城市建筑物密集区域，包含建筑物立面信息及屋顶边缘，存在纹理断裂。第2组影像数据如图 8(b)所示，左、右影像大小分别为1772×1985像素、1735×1827像素。图中包含高大建筑物，不同视角拍摄使其在两张影像上成像差异较大，对周围地物产生不同程度的遮挡，增加了匹配的难度。试验过程中，首先对图 8所示每组影像进行边缘点匹配及直线提取，然后在此基础上实现直线匹配。对于第1组试验影像，边缘点匹配后共得到5220对同名点，左、右影像直线提取数目分别为1861条、2162条。第2组试验影像，边缘点匹配后共得到7781对同名点，左、右影像直线提取数目分别为4068条、3819条。两组数据的直线提取结果如图 9所示。

图 8 航空影像 Fig. 8Aerial images

图选项

图 9 直线提取结果 Fig. 9 Results of line extraction

图选项

本文算法在确定同名直线过程中主要涉及T_D、T_O、T_C 3个阈值的设定，因此本文针对第1组影像数据，在T_D、T_O、T_C取不同值的情况下进行匹配试验，并对结果进行对比分析。

(1) 阈值T_D的设定。T_D是用于限定物方平面上目标直线与候选直线间的垂直距离。理论上，不同影像上的同名直线(水平直线)投影到其对应的物方平面上应重合，因此，T_D取值不宜过大。首先，固定T_O=11，T_C=1，对T_D值为1~6时的匹配结果进行分析，结果如表 1所示。通过比较，T_D值为1~3时，匹配得到同名直线的数目及其包含左、右上直线的数目具有较大幅度的增加。而当T_D＞3时，同名直线数目变化较小。同时随着T_D值的增加，匹配正确率降低。因此，综合同名直线数目和正确率来看，本文设定T_D值为3。

(2) 阈值T_O的设定。T_O是限定物方平面上目标直线与候选直线间的重叠距离。理想状态下，两条直线应100%重叠，即重叠距离等于直线的长度。但是由于左、右影像上直线提取结果的不连续，同名直线投影到物方平面可能存在很小的重叠范围或者完全不重叠。因此，阈值分析过程中对与目标直线存在重叠的候选直线都进行考虑。固定T_D=3，T_C=1，分别对T_O在1~11范围内取值进行分析，结果如表 2所示。可以看出，匹配结果在T_O取不同值的情况下变动较小。最终，为了最大程度减小直线提取结果不连续对匹配造成的影响，本文设定T_O值为5。

(3) 阈值T_C的设定。T_C是用于约束不同影像上同名点与同名直线的相对位置关系。该约束的主要作用是避免同一影像上邻近直线引起的错误匹配。在连续表面情况下，不同影像上同名点到同名直线的距离应近似相等。因此，T_C设定不宜过大。固定T_D=3，T_O=5，对T_C值为1~4的匹配结果进行分析。从表 3可知，随着T_C值变大，匹配结果中包含的左、右影像上直线的数目逐渐增多，但同时匹配的正确率也在减小。从匹配的正确率考虑，设定T_C值为1。

此外，从匹配结果中可以看出，同名直线中包含左、右影像上直线的数目随着参数的变化依次增加或者减小，但同名直线的数目呈现无规律现象，没有随着参数的变化或者直线数目的变化递增或者递减，如表 2中T_O=3，表 3中T_C=3、T_C=4的结果。这是由于直线合并产生的，即匹配结果中由于新直线的出现引起原有一些同名直线组的合并产生的结果。

采用本文算法对图 8所示的两组影像进行匹配试验。第1组影像数据初始匹配共得到同名直线组数为432，结果如图 10(a)所示。其中包含左影像上的直线482条，右影像上的直线497条。再对上述结果中“一对多”、“多对一”及“多对多”的同名直线组进行合并，并确定同名端点，使其变为“一对一”同名直线关系的同时并保证最长的直线效果。最终得到的同名直线如图 10(b)所示。第2组影像数据初始匹配共得到同名直线组数为527，结果如图 11(a)所示。其中包含左影像上的直线576条，右影像上的直线598条。经直线合并及同名端点确定后得到的同名直线如图 11(b)所示。从结果图中可以看出，本文算法在建筑物屋顶主要边缘处均能获得较好的匹配结果。两组影像匹配结果正确率分别为98.8%、97.9%。为了更好地观察后续的处理效果，分别将图 10和图 11中每组结果的对应区域(如图中黄色方框所示)进行局部放大，如图 12所示。对比图中椭圆形区域内的直线效果，可以看出，直线合并及同名端点确定在一定程度上改善了直线提取结果的断裂及不完整。此外，从图 12(b)中还可以看出，影像上由于遮挡未被提取完整的直线也得到延长，尽管延长的直线与影像上灰度信息不吻合，但从直线本身而言，它是真实存在的，因此该匹配结果也是正确的。

图 10 第1组影像数据直线匹配结果 Fig. 10 Matching results of lines on the first group images by algorithm in this paper

图选项

图 11 第2组影像数据直线匹配结果 Fig. 11 Matching results of lines on the second group images by algorithm in this paper

图选项

图 12 部分结果放大 Fig. 12 Parts of zooming results

图选项

为了分析不同约束条件对匹配的影响，本文实现了文献^[9]中以核线约束为主的直线匹配算法及文献^[16]中以同名点约束为主的直线匹配算法，结果分别如图 13、图 14所示。同时为了验证边缘点匹配结果在直线匹配过程中的优势，在文献^[16]及本文算法实现过程中分别采用SIFT匹配和边缘点匹配得到的同名点约束直线匹配。对于两组试验影像，SIFT匹配得到同名点数目分别为2043和5811。不同算法的直线匹配结果统计如表 4所示。下面将从约束条件及同名点获取方式两个方面对结果进行分析。

图 13 文献[9]算法直线匹配结果 Fig. 13 Results of line matching by algorithm inreference document [9]

图选项

图 14 文献[16]算法直线匹配结果 Fig. 14 Results of line matching by algorithm inreference document [16]

图选项

与同名点约束匹配相比较，文献^[9]中采用核线约束得到同名直线数目较多，但是正确率也相对较低。这是由于该算法不受同名点分布限制，每条直线均参与匹配。但航空影像上重复纹理较多，且单一的核线约束搜索范围较大，从而导致较多的错误匹配。

对文献^[16]及本文算法，对其分析如下：

(1) 对于单一算法中，采用不同方式获取同名点约束直线匹配而言，边缘点约束匹配得到同名直线数目多于SIFT同名点约束匹配的数目，但后者正确率相对较高。这是由于SIFT匹配得到的同名点少，可靠性高，且同名点多分布在地面和屋顶，而对于匹配难度较大的区域，如建筑物边缘，影像上纹理断裂处分布较少，几乎没有同名点，这也导致后续该区域无直线参与匹配，降低了该区域产生错误匹配的概率。

(2) 对于同一组影像数据而言，采用SIFT同名点约束匹配，两种算法得到的同名直线数目相当；而采用边缘点约束匹配，本文算法匹配得到同名直线数目多于文献^[16]算法，且本文算法正确率高于文献^[16]算法。这是由于本文算法采用直线邻域内所有同名点同时约束匹配，且对初始匹配获取的同名点具有一定的容错能力。

(3) 就两种算法本身而言，与文献^[16]算法相比，本文算法得到的同名直线数目相对较多，这是由于边缘点匹配得到的同名点数目多于SIFT匹配得到的同名点的数目，且分布均匀，均位于影像边缘线上或其邻域内，这对确定候选直线具有较好的约束效果。而文献^[16]算法的弊端是只选取直线两侧距离直线最近的点，而最近的点并非是确定候选直线最优的点，这将导致一些候选直线漏选从而没有匹配到同名直线。

综上所述，同名点约束能有效避免重复纹理引起的错误匹配。此外，与传统同名点约束直线匹配相比较，本文算法能获取较多数目的同名直线，且保证了匹配的可靠性，具有较高的正确率。

本文提出了一种同名点及高程平面约束的航空影像直线匹配算法，该算法具有以下特点：①利用边缘点匹配结果代替传统特征点匹配结果约束后续直线匹配，更有利于保证直线邻域内存在较多同名点，有效约束了候选直线范围；②采用像方和物方相结合的匹配模式，提高了直线匹配结果的可靠性；③匹配过程中有效地考虑了左、右影像直线提取过程中产生的断裂，并对“一配多”、“多配一”、“多配多”的匹配结果进行合并，最终得到“一配一”的同名直线，提高了边缘的连续性；④利用物方平面作为中介确定直线同名端点，有效地避免了与核线平行的直线端点难以确定的问题。

鉴于本文较严格的直线约束条件，相对于影像本身直线提取数目而言，匹配得到同名直线的数目相对较少，同时，算法没有对垂直线和倾斜直线进行针对性研究，这两方面有待进一步深入研究。