经过近20年的发展，车载移动测量技术已经逐渐成为城市空间信息快速获取的一种重要技术手段。通过灵活集成GPS、IMU、CCD相机、激光扫描仪等传感器设备，能够快速获取城市道路、建筑、绿化植被等目标的精细几何及光谱信息^[1]。其中，多面阵全景相机由于具有集成方式简单、同步控制方便、分辨率高、处理方式灵活等优点而作为主要传感器广泛应用于各类移动测量系统中^[2-3]。目前，针对多面阵全景影像的处理主要集中在全景匹配与拼接、全景成像模型及全景模型重建^[4-5]等领域，但由于多面阵拼接全景存在由不可避免的拼接误差而导致的定位误差^[6]，因而目前将多面阵全景影像中面向地面道路或街区立面的影像作为多片序列影像处理仍然是一种主要手段，而其中涉及的可视化浏览的拼接过程及三维空间信息提取的区域网构建过程都需要正确且数量充足的同名点，高效可靠的匹配过程是核心问题。

相对于航摄影像而言，街景影像拍摄场景复杂，存在遮挡和移动物体，光照变化显著，建筑物纹理重复且影像视角及尺度变化明显^[3]。SIFT (scale-invariant feature transform)^[7]及其改进方法^[8-9]具有优良的尺度和旋转不变特性，但其在街景重复纹理区域会得到大量的误匹配点。文献[10]提出一种光流聚类的车载影像匹配方法，通过建立影像间光流场，实现了光流的均值漂移聚类，但对于长基线序列影像难以得到稳定光流场，而且效率相对较低。文献[11]通过构造匹配点集，利用特征纹理在图像上的空间信息从集合中选择最佳匹配点，提升了匹配效果，但是该方法只适用于解决具有少量对称重复纹理区域的匹配问题。文献[3]利用SIFT提取建筑物上的点特征，利用Forstner提取道路上的角点特征并结合点云提取路面来约束模板匹配同名点。文献[12]利用相位相关预测同名点在平移、旋转和尺度上的遍历范围，在遍历范围内检测角点并利用相关系数来匹配同名点，但是由于车载序列影像的摄影距离很近，导致相邻影像之间的投影变形十分严重，无法适用于该方法。上述方法在序列影像基线较短的条件下均能得到较好的结果，但是受限于车辆速度和相机快门速度，实际采集车载序列影像一般在5~10 m，导致该类方法难以得到可靠匹配点，尤其是路面区域存在较大视角变化时会导致匹配点分布不均匀。

针对该问题，本文提出一种基于POS辅助的车载序列影像匹配方法，通过引入视频跟踪领域的KLT算法^[13]，充分利用车载移动测量系统所能够提供的POS信息，针对待匹配影像建立局部近似建筑立面分层平面及DEM信息，获取KLT跟踪算法中所需的初始位移信息，并将建筑立面及路面区域这两类主要待匹配目标进行分开匹配，以保证匹配点的良好分布特性，最后利用RANSAC结合极线几何约束进行误差剔除得到最终匹配结果。

1 POS辅助车载序列影像匹配

本文所提出的车载序列影像匹配策略主要包括7个关键过程：①提取参考影像特征Harris角点；②根据车载平台到建筑的平均距离可将影像近似分为上下两部分，上部分对应建筑区域，下部分对应路面；③针对建筑区域，利用POS信息构建与基线平行的不同深度的分层平面，并在各分层平面计算参考影像角点特征在待匹配影像的初始位置；④利用KLT在各分层平面进行追踪，并合并所有层的特征追踪结果；⑤针对路面区域，利用POS信息及平台高度建立局部路面近似DEM，并对路面区域进行纠正；⑥针对纠正后影像采用KLT进行追踪匹配，并映射到原始影像；⑦利用RANSAC结合核线约束剔除误匹配点，输出最后匹配结果。流程如图 1所示。

1.1 KLT跟踪匹配方法

KLT跟踪算法是目前在视频图像处理领域使用非常广泛的一种特征追踪算法^[14-15]，其主要思想是将传统的滑动窗口搜索法变为一个求解偏移量的过程：考虑序列图像中的相邻两帧影像I (x, y) 和J (x, y)，假设某同名特征点之间存在微小相对位移，现以某一特征点为中心开辟一个小窗口W，以两小窗口之间的灰度差平方和作为代价，得到

式中，p=(x, y)^T代表的是特征点的位置；d=[dx, dy]^T代表特征点在两帧图像之间的平移量；ω(p) 为权值函数，一般设为常数1；W为跟踪的窗口范围。将式 (1) 对d求偏导数，得

为了得到特征点之间的平移量，令=0，θ=即可以得到下式

此时偏移量为

1.2 POS辅助的KLT建筑立面匹配

KLT算法作为视频跟踪领域的优秀算法，具有计算简单、效率高且能够达到亚像素精度的优点，但是其应用前提是相邻两帧影像视差较小，尽管通过金字塔KLT跟踪方法^[15]能够从一定程度上解决视差变化较大条件下的特征跟踪匹配问题，但对于间隔较大的车载影像序列仍然存在错误跟踪难题，且街道序列影像中存在的重复纹理会导致跟踪范围扩大后算法容易收敛到错误的角点上。为了满足KLT特征跟踪匹配条件，引入车载影像序列的POS信息，通过建立分层建筑平面并依次在每层平面上进行追踪获取追踪结果。分层KLT追踪如图 2所示。

图 2中S_A、S_B表示相邻的车载序列影像曝光位置，其外方位元素通过POS信息近似得到；PL_A、PL_B、PL_C表示根据S_A及S_B两站POS信息建立起来的分层平面；G_A、G_B表示根据POS信息建立的局部近似路面DEM；PB_objA表示S_A站参考影像的某待匹配特征点；Obj_A、Obj′_A表示PB_objA分别与PL_A、PL_B的交会点；PA_objA、PA_objA′表示Obj_A与Obj′_A在S_B站待匹配影像的投影像点。

根据图 2所示，利用POS辅助的KLT建筑立面匹配的具体步骤为:

(1) 在参考影像中利用Harris提取特征角点，记为点集M。

(2) 根据S_A及S_B的POS线元素信息建立与基线平行的分层平面用来近似建筑立面，最近分层平面PL_A可根据车载平台到建筑区域的平均最近距离进行设置，为保证较好的交会条件，设置最远平面PL_C与PL_A不超过20 m，即较远处的建筑不参与特征优化追踪过程。分层平面之间的等距离间隔根据KLT追踪窗口大小进行设置，如图 3所示。

图 3中，f表示焦距；D_pl表示最近分层平面PL_A的距离；D_BL表示S_A与S_B的基线长度；I_pl表示分层平面间隔；D_KLT表示由于分层平面深度变化I_pl引起追踪窗口中心的像素位移；W_KLT表示KLT搜索窗口大小。设置D_KLT≤W_KLT，使得搜索窗口具有一定的重叠度，以保证分层平面之间的任意特征点处于搜索窗口内。根据图 3可得

(3) 对于M_i(M_i∈M)，根据S_A站的POS信息计算其在各分层平面的物方交点，得到物方点集O，并进一步计算其O_i(O_i∈O) 在S_A站的投影像点P_i，构成投影点集P。

(4) 对于P_i(P_i∈P)，利用金字塔KLT匹配算法以P_i为搜索窗口中心在搜索窗口内寻找最优匹配点。如果O_i所在分层平面与其所在的建筑平面位置较为接近，则其与M_i所对应的实际物方点坐标接近，而使得P_i能够作为KLT搜索的良好初始位移条件，进而能够保证正确特征点追踪匹配结果。但需要注意的是，对应于M_i，P_i中可能有多个点同时满足跟踪阈值条件，即可能存在重复纹理或近似局部灰度分布导致的错误匹配点。针对该问题，可采用一种预剔除的方法，即针对每个待匹配点，仅取其在不同分层平面跟踪结果中满足跟踪阈值且按跟踪响应值由大到小进行排序的前3个匹配点作为备选结果，后期再结合RANSAC及核线约束进行进一步的误匹配点剔除。

1.3 POS辅助的路面特征匹配

由于路面在成像过程中与主光轴方向平行而导致路面在车载序列影像的投影变形十分严重，因此利用现有如SIFT等匹配方法难以获取有效的路面匹配点。为了有效地得到序列影像的路面匹配点，由于路面在局部范围内与车载平台平行，因此可根据当前POS信息构建局部路面的近似DEM，并进一步对影像的路面区域进行纠正来解决路面形变所带来的匹配困难问题。具体步骤如下：

(1) 根据S_A站的POS信息建立局部近似DEM平面G_A。

(2) 对S_A站影像的路面区域利用G_A及S_B的POS信息建立纠正前后影像的单应映射关系，改正S_A站相对于S_B站的路面投影形变。

(3) 利用KLT方法，采用与建筑立面的类似匹配过程获取纠正后的路面影像匹配特征点。

(4) 根据S_A站原始路面影像和纠正影像的单应对应关系，将步骤 (3) 中的特征匹配关系映射到原始影像，得到路面特征匹配结果。

1.4 RANSAC结合核线约束的误匹配点剔除

为了进一步剔除由于分层平面深度误差及纹理相似性而导致的追踪匹配误差，采用RANSAC结合核线约束的方法进行误匹配点剔除，具体过程可参见文献[16]，在此不进行赘述。

2 试验与分析

试验数据采用了宁波市某街区的车载多面阵全景影像中面向街边建筑的CCD传感器所获取的序列影像，并选取了其中包含建筑、地面、植被等特征的两幅典型影像作为试验影像。影像分辨率为2058×2456像素，像素大小为3.45×10^-6 m，焦距为0.005 m，基线长度约为11 m，POS信息由车载GPS及IMU传感器获取。

试验中，根据车载平台到建筑区域的平均区域设置分层平面最近距离为40，最远距离设置为60，追踪窗口大小设置为32×32，追踪阈值设置为10，根据式 (6) 计算得到的分层平面间隔为3.3 m，即分层平面个数为7，建筑立面和地面区域的分割线设置为高度为1250像素位置 (如图 4(a) 所示)。另外，为了验证本文方法的有效性，将其与SIFT匹配方法进行了比较，并统计了剔除前后的匹配点个数、匹配耗时等指标。试验结果及统计表格分别如图 4和表 1所示。

从图 4及表 1分析得到，相比较于SIFT匹配方法在建筑立面重复纹理区域严重缺乏同名匹配点的匹配结果，本文的方法利用Harris角点提取结合POS辅助的KLT匹配方法能够有效支持建筑立面重复纹理区域的角点特征追踪匹配 (如图 4(c) 所示)，而且匹配同名点数据更为充分 (接近SIFT匹配结果的10倍)，在影像上具有良好的均匀分布特性。另外，从地面区域的匹配结果来看，由于车载影像的地面成像变形严重，SIFT无法提取有效的同名点，而在利用POS先验地面信息进行待匹配区域的相对变形纠正后，能够有效地进行地面重叠区域的同名点追踪匹配 (如图 4(g) 所示)，为后期空中三角测量提供更稳健的同名约束条件。从匹配方法的耗时来看，本文方法在单线程模式下与SIFT单线程下的匹配效率相当，与SIFT-GPU算法的差异明显，但本文方法中的各点追踪匹配过程相互独立，能够支持结合多线程并行或GPU进一步提高匹配效率。

3 结语

针对车载序列影像中重复纹理区域及地面成像变形所带来的匹配困难问题，本文提出了一种联合POS辅助及KLT角点特征跟踪的新匹配方法。通过充分利用POS信息建立局部近似建筑立面分层平面及DEM信息，有效解决了KLT跟踪算法中初始位移值确定及地面投影变形问题，并通过试验验证了本文方法能够有效解决车载序列影像中重复纹理区域的匹配问题，可高效获取分布均匀、数量充足的匹配特征点，为后期空中三角测量提供更稳健的同名约束条件。下一步的研究方向主要为该方法在全景影像匹配中的深化拓展应用。