近景影像特征点匹配方法比较研究

引用本文

余俊鹏, 林洁鸿, 詹松辉, 姚乃文. 近景影像特征点匹配方法比较研究[J]. 广东工业大学学报, 2018, 35(4): 56-60. DOI: 10.12052/gdutxb.170166.

Yu Jun-peng, Lin Jie-hong, Zhan Song-hui, Yao Nai-wen. A Comparative Study of Close-Range Image Feature Points Matching Methods[J]. JOURNAL OF GUANGDONG UNIVERSITY OF TECHNOLOGY, 2018, 35(4): 56-60. DOI: 10.12052/gdutxb.170166. 复制到剪切板

基金项目:

国家自然科学基金青年基金资助项目(41704019)；2017年大学生创新创业训练项目(201711845126)

作者简介:

余俊鹏(1982–)，男，高级工程师，博士，主要研究方向为摄影测量与遥感。

文章历史

收稿日期：2017-12-05

Contents Abstract Full text Figures/Tables PDF

近景影像特征点匹配方法比较研究

余俊鹏, 林洁鸿, 詹松辉, 姚乃文

广东工业大学　土木与交通工程学院，广东　广州 510006

收稿日期：2017-12-05

基金项目：国家自然科学基金青年基金资助项目(41704019)；2017年大学生创新创业训练项目(201711845126)

作者简介：余俊鹏(1982–)，男，高级工程师，博士，主要研究方向为摄影测量与遥感。

摘要: 近景摄影测量因其拍摄方式灵活, 影像之间的相对几何变形大, 常导致同名点匹配失败. 本文采用SIFT、SURF、FAST+BRIEF和ORB 4种计算机视觉算法, 对不同场景和摄影条件下的近景像对进行特征点检测与描述, 结合BFMatch和FlannMatch两种方法对特征点实施匹配. 实验表明, 所用算法的计算耗时越长, 匹配结果越好. SIFT、SURF适合于高精度连接点的自动生成, 而FAST+BRIEF和ORB可用于相对几何变形小的立体影像密集点匹配.

关键词: 影像匹配 SIFT SURF 摄影测量

A Comparative Study of Close-Range Image Feature Points Matching Methods

Yu Jun-peng, Lin Jie-hong, Zhan Song-hui, Yao Nai-wen

School of Transportation and Traffic Engineering, Guangdong University of Technology, Guangzhou 510006, China

Abstract: Because of flexible shooting mode, the relative geometric deformation between images, one of the main problems of close-range photogrammetry is same name point matching. The SIFT, SURF, FAST + BRIEF, ORB were used to detect and describe the feature points of close-range images under different scenes and photography conditions. The BFMatch and FlannMatch methods were used to match the feature points. Experiments show that the longer the algorithm is, the better the matching result is. SIFT and SURF are both suitable for automatic generation of high-precision connection points. FAST + BRIEF and ORB can be used for stereo image matching with small relative geometric deformation.

Key words: image matching SIFT SURF photogrammetry

影像匹配是指通过某种匹配算法在两幅或多幅影像之间识别同名点的过程. 它是影像分析和处理的重要技术环节，在遥感、摄影测量、计算机视觉、地图学以及军事目标侦察等多个领域都有广泛的应用. 由于近景立体影像的相对几何变形较大，传统的基于灰度的影像匹配方法的成功率和正确率大幅下降，难以满足要求^[1]. 近年来基于特征的影像匹配方法得到快速发展，逐步展现出其抗旋转、可适应尺度变化等优势^[2]. 本文采用计算机视觉领域中受关注度较高的几种特征点匹配方法^[3-4]，包括SIFT、SURF、FAST+BRIEF和ORB，对各方法在不同摄影条件下近景像对的点特征匹配性能进行对比实验分析，为其应用于近景摄影测量提供参考依据.

1 特征点检测方法 1.1 SIFT

1999，Lowe^[5]提出尺度不变特征变换算法(SIFT)，原理是利用高斯拉普拉斯算子(LOG)进行特征点检测. 其主要实现步骤为：

(1) 创建尺度空间. 采用组与层的结构建立高斯影像金字塔，得到影像在一系列不同细节尺度下的描述，即Gauss尺度空间. 在Gauss空间中对相邻层图像依次作差分，得到高斯差分图像序列，即DOG尺度空间. DOG是LOG的近似计算结果，计算量较后者大大减少^[6].

(2) 提取特征点. 在DOG尺度空间中，通过判断待检测点与其相邻点的差异程度初步定位出关键点. 再经过子像元插值和边缘点筛除，提取出亚像素精度的稳定特征点.

(3) 统计特征描述子. 对特征点邻域进行梯度方向直方图统计，提取主方向并构成SIFT特征描述子.

1.2 SURF

2006年，Herbert Bay等^[7]提出了加速鲁棒特征算法即SURF，原理是利用像素点的Hessian矩阵及其行列式值(DOH)进行特征检测.

为了简化DOH的计算，SURF算法中用盒状滤波器(box filter)代替高斯核，由不同尺寸的滤波器对一图像滤波后得到其不同尺度下的响应图，即SURF尺度空间. SURF特征点的检测及亚像素定位方法与SIFT基本相同，而特征点的主方向和特征描述子则通过对邻域点的harr小波特征值统计得到.

1.3 FAST

2006年，E.Rosten和T.Drummond^[8]提出FAST特征点检测算法. 该算法原理十分简单：若灰度图像中某像素点与邻域内其他点存在显著的灰度差异，则该点可能为角点^[9]. FAST结合其他算法如贪心算法可进一步加快检测速度，以满足快速检测的要求.

对于FAST特征点，常采用BRIEF特征描述子，即在其邻域内选取若干个像素点对，将这些点对的灰度值比较结果组合成一个二进制串字符串来描述特征^[10] .

1.4 ORB

2011年Ethan Rublee等^[11]提出ORB算法，在FAST+BRIEF方法的基础上作了如下改进：(1) 通过构建图像高斯金字塔，并在每一层金字塔图像上进行FAST角点检测，以实现尺度不变性；(2) 通过灰度质心法提取特征点的主方向，对BRIEF沿主方向进行调整，以实现旋转不变性；(3) 采用rBRIEF描述子以提高特征可区分性^[12]，降低误匹配概率.

1.5 各方法特点分析

上述算法中，SIFT算法设计具有仿射不变性，视角不变性，旋转不变性和光照不变性，算法实现较为复杂. SURF算法的基本结构、步骤与SIFT相似，但具体实现的过程有所不同. FAST算法原理和实现过程简单，配合二进制字符串特征描述子，具有存储空间小、计算速度快的优势. ORB算法在FAST基础上，增强了尺度不变性和旋转不变性.

对于以上4种算法，已有大量文献对其中的1~2种方法进行对比分析，但缺乏多种方法之间的对比实验研究. 本文以计算机视觉算法的近景摄影测量应用为目标，对4种方法在近景影像匹配中的性能进行实验分析，为其进一步实用化提供参考依据.

2 近景影像特征点匹配实验 2.1 实验过程

实验选取了3个近景拍摄场景，分别为图书馆外景、图书馆楼梯和实验楼外景. 对每一场景，以短基线、长基线、不同旋转角度、不同距离4种摄影条件进行拍摄，共获取12组实验影像对.

以Visual Studio 2015为平台开发实验程序框架，并利用OpenCV3.2库函数实现主要程序功能. 实验程序框架如图1所示. 主要流程为：读取每组左右影像后，建立4种特征检测及计算描述子的类对象，分别完成左右影像的特征点及特征描述子提取. 然后，再分别以BFMatch和FlannMatch两种算法对特征点进行匹配，将具有最相似描述子的点对视作同名点^[13-15]. 其中，BFMatch遍历所有的可能匹配点对，理论上可以找到最佳匹配结果，但匹配效率低；FlannMatch算法速度快，但得到的是最近邻近似匹配结果. 按上述流程完成各组像对特征点匹配实验后，对结果进行对比分析.

图 1 影像特征点匹配实验程序框架图 Figure 1 Frame chart of image feature points matching

2.2 实验结果及分析

实验统计结果如表1所示，部分实验图片如图2所示. 表1中，算法1～8依次表示SIFT+BFMatch、SIFT+Flann、SURF+BFMatch、SURF+ Flann、FAST+BRIEF+BFMatch、ORB+BFMatch、ORB+Flann和ORB+Flann方法组合；场景一、二、三分别是图书馆外景、图书馆楼梯和实验楼外景；A、B、C、D分别对应短基线、长基线、不同旋转角度和不同距离4种摄影条件下近景像对的匹配实验结果；匹配成功率指用某方法组合对左影像和右影像提取的特征点进行匹配后，所得到的同名点对数与左右影像特征点平均数的百分比；匹配错误率通过随机抽取100对匹配成功点，利用同名点连线辅助人工判别方法统计得到.

表 1 影像匹配实验结果统计 Table 1 Statistics of image matching experiment results

场景	算法	检测速度/(个·秒^–1)				匹配速度/(个·秒^–1)				成功率/%				错误率/%
场景	算法	A	B	C	D	A	B	C	D	A	B	C	D	A	B	C	D
一	1	269	329	316	348	65	2	66	8	25.8	1.5	33.0	4.5	0.3	5.3	0.3	2.3
	2	271	355	312	365	267	199	314	54	26.5	1.6	33.7	5.1	0	5.3	0	4.0
	3	569	693	717	692	165	9	57	18	34.5	2.2	12.8	4.6	0.7	4.3	2.6	2.3
	4	697	764	775	782	429	32	154	60	35.2	2.6	13.6	5.2	0.7	2.7	3	2.7
	5	9 044	9 477	9 898	9 248	46	2	1	3	11.0	0.7	0.4	1.0	0	8.3	35	9.0
	6	9 828	9 760	9 748	9 878	65	2	1	3	28.8	0.9	0.6	1.3	0	3.7	10.1	2.0
	7	8 485	8 188	8 060	7 715	50	3	38	6	7.0	0.5	5.5	0.8	0.7	23.3	5	20.3
	8	8 216	7 676	7 903	7 556	61	2	61	14	16.9	0.5	16.9	1.1	0	11.0	3.3	5.3
二	1	303	297	344	287	46	24	43	15	20.9	10.6	24.1	7.5	0	1.7	0.3	1.0
	2	289	288	335	299	218	116	229	83	21.6	11.3	24.8	8.1	0	1.3	0.3	0.3
	3	628	732	750	764	69	29	16	17	23.9	8.4	4.1	5.0	1.7	2	1.3	1.0
	4	785	786	779	781	288	107	61	61	24.7	9.0	4.4	5.5	2.3	2.7	2	1.7
	5	9 681	9 543	9 734	9 697	20	10	1	5	8.5	3.8	0.4	2.5	6.3	7.0	74.3	6.7
	6	9 366	9 501	9 163	9 374	36	8	0	2	16.1	3.1	0	0.7	2.3	2.7	30	1.7
	7	8 109	8 347	7 694	8 193	34	10	32	12	4.8	1.4	4.5	1.7	4	5.3	9.7	7.0
	8	8 292	8 314	8 034	8 416	28	4	32	6	8.9	1.2	10	1.9	0.7	2.0	1	4.7
三	1	306	293	283	241	41	3	101	1	18.0	1.1	39.2	0.3	0.7	8.7	0.3	4.6
	2	311	290	278	245	202	15	411	7	18.8	1.4	39.9	0.5	0.7	10.3	0	4.0
	3	538	532	519	498	121	8	121	3	24.7	1.6	22.8	0.4	0	8.0	2.3	11.8
	4	544	534	527	502	312	24	289	8	25.5	1.9	23.8	0.5	0.3	10.0	1.7	8.1
	5	9 211	9 352	9 620	9 689	24	7	3	3	6.4	1.5	0.8	0.6	4.0	27.0	68.3	10.7
	6	9 421	9 608	9 048	9 361	33	1	3	0	11.9	0.4	1.1	0	0.7	18.4	10.4	34.8
	7	8 286	8 465	7 985	8 122	23	3	50	1	3.3	0.4	7.2	0.2	4.0	33.3	4.7	39.9
	8	8 265	8 187	8 268	8 603	26	1	71	0	7.1	0.2	21.0	0	0.7	19.8	0.7	19.3

表 1 影像匹配实验结果统计 Table 1 Statistics of image matching experiment results

图 2 匹配实验结果图 Figure 2 Matching results of images

实验结果分析如下：

(1) 短基线像对相对几何变形小，匹配难度低，主要用以考察各方法组合的特征点检测和匹配效率. 从匹配效率看，SIFT检测和生成描述子的速度最慢；SURF在速度上约为SIFT的2.3倍；FAST+BRIEF最快，可达SIFT的35倍；ORB方法速度较FAST+BRIEF下降约10%；在匹配方法上，各特征点检测方法无论与FlannMatch还是BFMatch组合使用，所取得的匹配错误率无显著差别，但FlannMatch的效率明显优于BFMatch.

(2) 从相对旋转的近景像对的匹配结果看，SIFT匹配成功率和错误率明显优于其他方法，表明其抗旋转能力最强. SURF和ORB也体现了一定的旋转不变性. FAST+BRIEF方法匹配成功率极低，且在配合BFMatch使用时错误率很高，表明其不具备抗旋转能力.

(3) 对同一场景以不同距离拍摄的影像具有不同的尺度，其匹配结果可反映匹配方法的尺度不变性. 从实验结果看，SIFT方法的尺度不变性最优，SURF方法次之. FAST+BRIEF方法的成功率很低，表明其不具备尺度不变性. 尽管ORB方法在理论设计上考虑了尺度不变性，但实际效果不佳.

(4) 从长基线像对的匹配成功率和错误率来看，采用SIFT和SURF特征点的匹配结果最好，FAST+BRIEF方法次之. ORB方法的结果最差，反映出ORB方法稳定性不足的问题. 对比短基线像对匹配结果，长基线像对的总体匹配成功率明显下降而错误率上升，可见影像间相对几何变形大将导致匹配难度增大，影响算法实用效果.

3 结论

总体而言，实验场景一～三的匹配成功率依次下降，其匹配难度越来越大. 根据本文实验结果，对SIFT、SURF、FAST+BRIEF和ORB 4种方法的匹配性能评价结果如表2所示.

表 2 4种特征点描述方法的匹配性能比较 Table 2 Matching performance comparison of four feature point description methods

SIFT方法的匹配性能及稳定性最优，在本文实验中的最大错误率仅为10%，但计算量大、效率低，可用于生成近景影像精确相对定向所需的同名点. SURF方法匹配结果最大错误率为12%，其性能接近于SIFT，而计算速度提高了1倍以上，可用于自动生成大规模空中三角网构建所需的高精度连接点. FAST +BRIEF方法计算速度快，但不具备抗旋转和抗尺度变化性，可用于短基线或相对几何变形小的近景立体影像密集点匹配. ORB方法具有一定的旋转不变性，效率较高但稳定性不足，实际应用中还需注意粗差检测以降低匹配错误率.

计算机视觉特征匹配方法已成为解决近景影像匹配难题的重要途径. 其进一步发展，一方面有赖于影像特征提取基本理论的突破，以更小的算法复杂度和计算量取得更优的匹配性能；另一方面，可在匹配过程中引入摄影测量的几何约束条件^[16]，缩小特征点匹配搜索的范围，提高目前算法的匹配效率和准确性.

参考文献

[1]	张岩,李建增,李德良,等. 基于特征的遥感图像匹配技术研究[J]. 无线电工程, 2016, 46(2): 61-64. ZHANG Y, LI J Z, LI D L, et al. Research of remote sensing image matching based on key points[J]. Radio Engineering, 2016, 46(2): 61-64.
[2]	王中杰. 基于图像特征提取和特征点描述的匹配方法的研究[J]. 电子设计工程, 2015, 23(24): 173-174. WANG Z J. The research of matching method based on image for retraction and description of feature points[J]. Electronic Design Engineering, 2015, 23(24): 173-174. DOI: 10.3969/j.issn.1674-6236.2015.24.052.
[3]	周莉莉,姜枫. 基于FAST和BRIEF的图像匹配算法[J]. 计算机工程与设计, 2015, 36(5): 1269-1273. ZHOU L L, JIANG F. Image matching algorithm based on Fast and BRIEF[J]. Engineering and Design, 2015, 36(5): 1269-1273.
[4]	冯莞舒. 基于特征点的影像匹配[J]. 电子测试, 2014, 303(17): 17-19. FENG G S. Feature based image matching[J]. Electronic Test, 2014, 303(17): 17-19. DOI: 10.3969/j.issn.1000-8519.2014.17.008.
[5]	LOWE D G. Object recognition from local scale-invariant features[C]//IEEE International Conference on Computer Vision. Corfu: [s.n.], 1999: 1150-1157.
[6]	毛星云,冷雪飞, 王碧辉,等. OpenCV3编程入门[M]. 北京:电子工业出版社,2016.
[7]	BAY H, TINNE T, GOOL L V. Surf: speeded up robust features[J]. Proceedings of the European Conference on Computer Vision, 2006, 3951: 404-417.
[8]	ROSTEN E, DRUMMOND T. Machine learning for high-speed corner detection[J]. Proceedings of the European Conference on Computer Vision, 2006, 1: 430-443.
[9]	寇媛,徐景中. 基于结构特征的遥感影像匹配[J]. 中国图象图形学报, 2013, 18(5): 565-573. KOU Y, XU J Z. Algorithm for remote sensing matching based on the structure characteristics[J]. Journal of Image and Graphics, 2013, 18(5): 565-573. DOI: 10.11834/jig.20130511.
[10]	王培珍,陈平,周芳,等. 复杂图像特征点提取与匹配方法[J]. 安徽工业大学学报(自然科学版), 2012, 29(1): 73-77. WANG P Z, CHEN P, ZHOU F, et al. Method of feature extraction and matching for complex image[J]. Journal of Anhui University of Technology (Natural Science), 2012, 29(1): 73-77.
[11]	RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF[C]//2011 International Conference on Computer Vision. Barcelona:IEEE, 2011: 2564-2571.
[12]	HUANG W, WU L D, SONG H C. RBRIEF: a robust descriptor based on random binary comparisons[J]. Computer Vision Iet, 2013, 7(1): 29-35. DOI: 10.1049/iet-cvi.2012.0087.
[13]	彭丹妹,刘荣,刘洋. 基于OpenCV的图像特征点匹配方法的研究及实现[J]. 测绘与空间地理信息, 2016, 39(9): 61-63. PENG D M, LIU R, LIU Y. Research and implementation of image feature point matching method based on OpenCV[J]. Geomatics & Spatial Information Technology, 2016, 39(9): 61-63.
[14]	HUO J ,YANG N , CAO M Y , et al. A reliable algorithm for image matching based on SIFT[J]. Journal of Harbin Institute of Technology, 2012, 19(4): 90-95.
[15]	余淮,杨文. 一种无人机航拍影像快速特征提取与匹配算法[J]. 电子与信息学报, 2016, 38(3): 509-516. YU H, YANG W. A fast feature extraction and matching algorithm for unmanned aerial vehicle image[J]. Journal of Electronics & Information Technology, 2016, 38(3): 509-516.
[16]	余俊鹏, 何炽荣. GPS-RTK辅助近景摄影测量光束法平差及精度分析[J]. 广东工业大学学报, 2017, 34(6): 73-77. YU J P, HE C R. An accuracy analysis of GPS-RTK assisted close-range photogrammetric bundle adjustment[J]. Journal of Guangdong University of Technology, 2017, 34(6): 73-77.