2. 北京航空航天大学 电子信息工程学院, 北京 100191
2. School of Electronic and Information Engineering, Beijing University of Aeronautics and Astronautics, Beijing 100191, China
近年来,随着技术的不断发展,无人机广泛应用在军事和民用领域.建筑区域对于无人机而言,是一类重要的感兴趣目标,一方面对其快速检测,是无人机完成导航、侦察、监测等任务的基础和重要内容;另一方面,无人机在出现故障等紧急情况时,通过对建筑区域进行准确检测并及时规避,从而极大地减少或避免人员伤亡和财产损失.
与现有文献针对的SAR图像、高光谱图像及航空数码图像不同,无人机机载CCD摄像机拍摄的中低航空高度图像,主要具有以下特征:
1) 在空间分布方面,无人机可拍摄的地域广阔;
2) 从获取时间上,不同时间可获取的无人机图像会受到不同气象条件的影响;
3) 从建筑区域在图像中的特性而言,建筑区内部及周围纹理复杂,部分地区建筑分布不规则,区域整体没有明显的方向性,不利于纹理特征的检测.
目前,建筑区域提取的方法主要分为基于监督学习的方法和基于特征统计的方法.基于监督学习的方法主要是融合多种特征训练分类器,从而完成图像区域分类和建筑区域提取.文献[1]提出一种知识规则与支持向量机(SVM,Support Vector Machine)相结合的面向对象建筑物提取方法;文献[2]利用多核SVM学习,综合多种特征,并设计基于图割的算法提高边界分割精细程度.这类方法需要人工确定合适的训练特征和分类类别,并且训练样本的选取对分类结果具有很大影响.无人机执行任务的地域广阔,不同的地域图像特征差异较大及工况条件复杂,以现有无人机图像作为样本训练得到的分类器,往往不能适应实际应用需求.
基于特征统计的方法,利用多种特征进行统计分析,从而判断图像中的建筑区域.文献[3]利用SIFT特征、多模版匹配和图论的方法进行检测,取得一定效果,但是时间复杂度高,并且当房屋屋顶与背景对比度不高以及房屋密度过于集中的情况下,检测结果不理想;文献[4]利用地面高程模型(DSM,Digital Surface Model)和光谱信息排除非建筑物,该方法依赖DSM高度等信息,应用范围狭窄;文献[5]利用知识规则,依靠几何、灰度及拓扑特征对建筑物进行描述,并不能适应多种多样的建筑;文献[6]利用直线检测形成屋顶矩形几何形状结合亮度信息,综合纹理特征的SVM噪点去除,但该方法在直线特征复杂及对比度低的场景具有局限性.在基于特征统计的方法中,利用纹理进行建筑区域检测的方法是国内外研究学者关注的重点.由于Gabor滤波器兼具方向性和纹理分析的优点,研究者提出了多种基于Gabor纹理描述的建筑区域检测方法.文献[7]利用Gabor滤波器提取图像特征,再使用最优决策分类方法,取得了较文献[3]相似的性能,大大减少了计算时间;文献[8]利用核密度估计生成居民区置信图像并计算自适应阈值分割置信图,对候选区几何形状进行选择,较文献[7]方法计算效率更高,但由于光照视角等因素影响,某些地质区域会呈现居民区域相似纹理,导致准确度下降.纹理特征提取尺度参数仍需依据经验值给定,缺乏自适应性,并且无人机图像中建筑区内部纹理复杂,纹理特征往往不具备明显主方向,影响检测效果;同时,在无人机中低空侦察图像中,道路、草地、水域等纹理对建筑区纹理的提取形成很大干扰.
基于上述分析,利用纹理、监督训练等方法对无人机中低空侦察图像进行建筑区域检测并不能完全满足要求.注意到,无人机图像中建筑区域表现出高亮性和团聚性,主要是由于自然背景的光反射能力较弱,使得人造区域的亮度值较大,形成局部高亮,同时会团聚成具有一定面积大小、分布集中的区域.本文结合无人机实际应用需求,从无人机图像中建筑区域的高亮性和团聚性出发,利用最大稳定极值区域(MSER，Maximum Stable Extremal Regions)检测建筑物,并根据局部房屋密度去除噪点,采用自适应K均值聚类算法得到聚集的若干建筑区域,最后采用Graham算法生成建筑区边界,从而实现建筑区域的自动快速提取. 1 最大稳定极值区域提取算法
Matas等[9]所提出的最大稳定极值区域主要基于鲁棒性的宽基线立体重建,使用地形中分水岭的概念来求解稳定局部区域.文献[10]证明,MSER检测算子在众多仿射不变特征区域检测中,多数情况下具有最佳性能.实验证明,该方法具有仿射变化不变性、良好的稳定性、计算简单高效,并且可以检测不同精细程度的区域.其基本思想如下:选取一系列阈值t={0,1,…,255}对图像进行二值分割,低于阈值的像素置为黑色,高于或等于阈值的像素置为白色.在阈值t从0增大到255的过程中,图像中会形成闭合区域,其中在一定阈值范围内面积变化最小的区域即为最大极值稳定区域.
最大稳定极值稳定区域提取算法步骤包括以下几个步骤[11]. 1.1 MSER检测
1) 对给定的图像根据灰度值排序,如果是彩色图像,需要将彩色图像转换成灰度图像
2) 按照降序或升序将排序后的像素放入图像中,链接区域的列表和面积使用高效的合并-查找(UnionFind)[12]算法来维护.
3) Qi表示二值化阈值对应的二值图像中的任意连通区域,当二值化阈值在[i-Δ,i+Δ]变化时,连通区域也相应地变为Qi+Δ和Qi-Δ.在这个变化范围内具有极小变化率q(i)区域就被认为是MSER.
为了能同时得到最小灰度(即黑色)和最大灰度(即白色)的MSER,在求得最小灰度MSER+后,需要将原始图像进行反转:Ir=Imax-I,再利用反转后的图像求取最大灰度的MSER-. 1.2 MSER区域拟合及归一化
完成图像中MSER的区域检测后,不规则区域不便于进行归一化和提取特征描述,必须对它们进行椭圆拟合.为了能够构造具有仿射不变性的特征描述子,首先将MSER对应的椭圆拟合区域扩大成抽取特征用的椭圆特征测量区,测量区与拟合区同中心,一般测量区尺度是拟合区尺度的3倍.然后将测量区归一化为指定大小的区域(成为归一化区),再在归一化区的图像上提取特征描述子.区域归一化的方法主要包括3步[13]:
1) 将MSER拟合区对应的测量区进行仿射归一化,得到一个半径指定大小的归一化区,归一化区的半径尺寸为20~30像素.
2) 在归一化区内进行图像梯度直方图统计,其目的是找出该直方图的最大值,并将该最大值对应的方向作为归一化区图像梯度的主方向.
3) 根据主方向对归一化区图像再进行旋转归一化,旋转后图像的梯度主方向为零度. 2 建筑区域提取算法 2.1 方法框架和流程
如图 1所示,本方法的总体思路为:首先对无人机航拍图像进行预处理,去除模糊,然后利用MSER算法提取建筑房屋,进而计算每个房屋中心点邻域内的房屋密度,房屋密度较低的区域被认为是干扰点予以剔除,完成点的选择与滤波后,再利用自适应K均值聚类算法,将离散点聚成若干建筑区,最后采用Graham算法,生成每个建筑区的包络,完成建筑区的自动提取与标记,并在最后输出区域的数量K,若为K=0,则表示不存在建筑区.
 |
| 图 1 算法流程图Fig. 1 Algorithm flow chart |
无人机图像容易受不同气象条件的影响,尤其在雾天等不良天气状况下拍摄的图像模糊不清,图像质量差,导致提取的特征数量较少,给建筑区域检测带来影响.为了使算法既简洁又高效,采用直方图均衡和GAMMA调节对图像进行预处理,扩展图像的动态范围,同时增强图像的亮度,实验表明经过预处理之后,检测的特征数量明显增加,进一步提高建筑区的可分辨性.预处理前后的结果对比如图 2和图 3所示.
 |
| 图 2 原始图像 Fig. 2 Initial image |
 |
| 图 3 预处理后的图像Fig. 3 Preprocessed image |
屋顶等人造物体,光反射能力比自然背景更加强烈,呈现团块高亮特点,如图 4所示,每个图对应的下方图像为其二值化图像,对比度高,并且在一定阈值范围内面积变化最小,符合MSER特征.
 |
| 图 4 单个房屋特征 Fig. 4 Features of single house |
利用第1节所述最大稳定极值区域提取算法,计算并标记图像稳定区域,数量为1 358个区域,图 5中椭圆标注的区域为稳定区域MSER+,图 6中椭圆标注的区域为代表图像反转后得到的稳定区域MSER-.
 |
| 图 5 MSER+区域Fig. 5 MSER+area |
 |
| 图 6 MSER-区域Fig. 6 MSER-area |
为了确定图像中建筑房屋的大小,还需知道图像的像素地面分辨率,在垂直下视的情况下,无人机高度为H(单位:m),拍摄的图像大小为w×h(单位:像素),摄像机的视角为水平α×垂直β(单位:°),计算方法如式(1)~式(4).选取实飞图像数据,飞行高度为5 km,摄像机视场角为14.38°×10.59°,图像大小为1 392像素×1 040像素,像素地面分辨率计算如图 7所示.水平距离=2×5 000×tan(7.19)=1 261.15 m=1 392像素,因为 1个像素≈0.906 m，同样，垂直方向:1个像素≈0.891 m.
 |
| 图 7 像素地面分辨率计算Fig. 7 Calculation of ground pixel resolution |
郊区或农村房屋的面积S一般在30~200 m2,根据图 7计算的像素地面分辨率结果可知,在图像中一间房屋长度和宽度所占像素个数的范围分别在[8, 20]和[5, 12]之间,以此限定MSER检测的稳定区域大小,检测结果如图 8所示.
 |
| 图 8 建筑区域检测Fig. 8 Building area detection |
在实际图像中,MSER所检测得到的最大稳定极值区域并不都是建筑区,如图 7所示,田野中也存在部分最大稳定极值区域,形成干扰.鉴于通过平滑滤波或无重叠框遍历图像的方法来排除干扰不够准确,本方法利用建筑区特征丰富密集的特点,通过计算最大稳定极值区域密度筛选出建筑区.
确定MSER检测的最大稳定极值区域的中心,并用来代替最大稳定极值区域计算区域密度.如图 9所示,黑点代表特征区域,白色为背景.采用m×m大小的窗口,依次计算每个特征位置(x,y)的区域密度f(x,y).
时,认为该点是房屋,属于建筑区,筛选之后的效果如图 10所示.
 |
| 图 9 建筑区检测点 Fig. 9 Detected points of building area |
 |
| 图 10 滤波去除噪点Fig. 10 Filter to remove noise |
因为聚集性和分群而居的特点,同一幅图像中可能出现多个聚集的建筑区域,为了准确标记建筑区,需要对上述特征区域中心点进行聚类.K均值聚类算法[14]处理这种聚类问题简单高效,但是无人机图像中建筑区域的个数并不确定,因此无法自动确定算法的参数.由于无人机视场较小,在单幅无人机图像中,出现的建筑区域个数并不会太多,因此本文在K均值算法的基础上提出了一种自适应策略,给定K一个较大的初始值K=6,从而达到自动确定建筑区数量的目的.具体流程如图 11所示.
 |
| 图 11 自适应K均值聚类计算流程图 Fig. 11 Flow chart of adaptive K-means clustering calculation |
限于图像实际地理范围,给定初始K值为6,自适应聚类步骤如下:
1) 利用K均值聚类算法,对离散点进行聚类;
2) 分别计算K个区域的中心点;
3) K个区域两两组合,如图 12所示,计算区域间最短距离CD;
 |
| 图 12 区域间距离计算方法Fig. 12 Calculation methods of distance between areas |
4) 若距离CD>V或者K=1,则认为全部都是独立区域,否则K值减1,继续循环计算,阈值V的选取根据像素所代表的实际距离计算,V=
，按照图 7条件,V值取150.
基于此方法,对图 10处理结果为K=1,存在一个建筑区. 2.2.5 生成建筑区包络
根据2.2.4节得到的K个离散区域,采用经典的Graham算法[15]生成建筑区凸壳包络,该算法为最优凸壳算法,时间复杂度约为O(nlogn).
Graham算法的基本思想是:以y坐标最小点为初始点P1,计算该点与其他点连线的水平夹角,按夹角大小和到初始点P1的距离进行排序,得到一系列点集合P={P1,P2,…,Pn},其中Pn+1=P1,对点集合{P1,P2,…,Pn,Pn+1}依据凸多边形的各顶点必在该多边形的任意一条边的同一侧的方法原理,删除不属于凸壳上的点,得到新的点集合P′={P1,P2,…,Pm},最后根据点集合P′标记边界,实现建筑区的自动提取,效果如图 13所示.
 |
| 图 13 建筑区包络图 Fig. 13 Envelop of building area |
对部分图像人工标注出建筑区域作为基准数据,并将提取结果与人工标注结果相比较.图 14展示了不同测试数据的提取结果.
 |
| 图 14 测试结果Fig. 14 Experiment results |
从图 14直观上看,人工标记的结果与自动提取的结果大体上比较接近,由于Graham算法是凸包算法,只能生成区域凸壳,因此人工标注结果与自动提取结果有部分位置的偏差.为了更好地描述算法效果,采用无人机图像数据集,对自动提取的像素数目做统计,并以人工提取的像素数目作为标准,统计准确率、误检率和漏检率及时间性能.本文进行两个方面的测试：一方面是MSER性能分析;另一方面是分析图像预处理和自适应K均值聚类方法对结果的影响.
本方法以无人机中低空侦察图像集为对象,无人机高度为5 km,摄像机视场角为14.38×10.59°,图像大小为1 392像素×1 040像素,实验计算机配置为Intel Core 2 Duo双核处理器,主频2.20 GHz,内存2.00 GB,平台为Microsoft Visual C++6.0. 3.1 MSER性能分析
基于特征统计的建筑区域提取方法中,利用DSM、光谱等信息有自身应用的局限性,而根据SIFT、纹理特征有更为广泛的适用性.本部分讨论MSER算法相比基于Gabor变换的纹理特征、SIFT特征点的提取算法的时间性能分析,Gabor滤波器选择4方向,设定滤波窗口大小为尺度为5×5.
时间性能方面,如表 1所示,针对大小为1 392像素×1 040像素的图像集做特征检测,MSER算法平均检测1 358个特征区域耗时1.092 s,SIFT算法平均检测1 175个特征点耗时3.073 s,纹理特征检测算法平均耗时2.509 s.因此,在相同特征点数量的情况下,MSER算法时间性能优于SIFT,在图像大小相同的情况下,MSER算法优于纹理检测方法,计算简单高效.
| 方法 | 图像大小/像素 | 特征数量/个 | 平均耗时/s |
| SIFT | 1 392×1 040 | 1 175 | 3.073 |
| 纹理 | 1 392×1 040 | 2.509 | |
| MSER | 1 392×1 040 | 1 358 | 1.092 |
表 2为本算法提取结果,采取4组图像集测试,共3 722个建筑数量,平均正确率达到92.25%,误检率也较低.同时,分析对比有无图像预处理和自适应K均值聚类两部分的算法结果,如表 3所示,实验1为本文算法结果,实验2为没有图像预处理的提取结果,实验3代表了没有自适应K均值聚类的提取结果.实验1和2对比,在没有预处理的情况下,虽然时间性能得到提高仅有0.06s,但正确率下降了3.5%同时造成误检率上升;实验1和3对比,自适应K均值聚类对正确率和漏检率基本无影响,但有效降低了误检率,非自适应K均值聚类的情况下,虽然运算时间减少了0.02s(约1.69%),但误检率高.
| 图像集 | 建筑数量 | 正确数量 (正确率) | 漏检数量 (漏检率) | 误检数量 (误检率) |
| A1 | 876 | 829(94.10%) | 47(5.90%) | 12(1.37%) |
| A2 | 771 | 733(93.46%) | 38(6.54%) | 7(0.91%) |
| A3 | 799 | 714(86.01%) | 85(13.99%) | 8(1.00%) |
| A4 | 1 276 | 1 225(95.42%) | 51(4.58%) | 15(1.18%) |
| 总计 | 3 722 | 3 501(92.25%) | 221(7.75%) | 42(1.12%) |
| 实验 | 建筑 数量 | 正确数量 (正确率) | 漏检数量 (漏检率) | 误检数量 (误检率) | 时间/s |
| 1 | 3 722 | 3 501(92.25%) | 221(7.75%) | 42(1.12%) | 1.18 |
| 2 | 3 722 | 3 368(87.93%) | 358(12.07%) | 58(1.56%) | 1.12 |
| 3 | 3 722 | 3 501(92.25%) | 221(7.75%) | 111(2.97%) | 1.16 |
因此,本方法在保证时间性能的前提下取得了较高的正确检测率,大多数图像中的建筑区域能够被检出.另外,也会造成区域漏检和误检,例如只检测出部分区域的情况,造成区域的漏检,以及检测出不属于建筑区的区域,造成误检,但漏检率和误检率比较低.这种情况的发生,主要是因为若干建筑区域面积较小不易被检出,或者居民区距离较近,此时居民区之间的空地被连入建筑区范围内,造成误检,误检率在1.1%左右.文献[8, 9]中使用纹理检测原理检测建筑区,使用中低分辨率图像,图像大小为235像素×265像素,算法耗时分别为1.99 s和0.42 s,本文算法使用1 392像素×1 040像素大小图像耗时1.18 s.综上所述,相比SIFT和纹理检测方法,本算法耗时较短,处理效率较高.
4 结 论
通过分析计算,现得出结论如下：
1) 最大稳定极值区域提取算法具有良好的稳定性，计算简单高效;
2) 将MSER检测结果与区域大小、密度计分布特征相结合,采用自适应K均值聚类的方法可稳定地提取建筑区域.
实验数据表明,该方法提取精度为92.25%,具有较好的准确率,有效可行.但是,该算法采用Graham算法生成的凸壳边界较为简单,这也是造成误检率很重要的一个原因;另外,在森林地区由于树木之间的遮挡造成局部存在稳定区域,对建筑区域检测提取造成误扰.如何改进边界生成的方法和增强本文算法鲁棒性是日后工作的重点和方向.
| [1] | 刘海飞, 常庆瑞,李粉玲.高分辨率影像城区建筑物提取研究[J].西北农林科技大学学报:自然科学版,2013,41(10):221-227. Liu H F,Chang Q R,Li F L.Urban building extraction of high-resolution images[J].Northwest Agriculture and Forestry University of Science and Technology:Natural Science Edition,2013,41(10):221-227(in Chinese). |
| Cited By in Cnki | |
| [2] | Tao C, Tan Y H,Yu J G,et al.Urban area detection using multiple Kernel Learning and graph cut[C]//2012 32nd IEEE International Geoscience and Remote Sensing Symposium.Piscataway,NJ:IEEE,2012:83-86. |
| Click to display the text | |
| [3] | Sirmacek B, Unsalan C.Urban-area and building detection using SIFT keypoints and graph theory[J].Geoscience and Remote Sensing,IEEE Transactions on,2009,47(4):1156-1167. |
| Click to display the text | |
| [4] | 张立民,张建廷, 徐涛.基于对象的最优尺度建筑物信息提取方法[J].计算机应用研究,2012,29(12):4789-4792. Zhang L M,Zhang J T,Xu T.Object-based of optimal scale building information extraction method[J].Application Research of Computers,2012,29(12):4789-4792(in Chinese). |
| Cited By in Cnki (1) | |
| [5] | 黄金库,冯险峰, 徐秀莉,等.基于知识规则构建和形态学修复的建筑物提取研究[J].地理与地理信息科学,2011,27(4): 28-31. Huang J K,Feng X F,Xu X L,et al.Building extraction based on knowledge rule and morphological restoration[J].Geography and Geo-Information Science,2011,27(4):28-31(in Chinese). |
| Cited By in Cnki (4) | |
| [6] | 杨萍,姜志国, 刘滨涛.一种遥感图像建筑物检测新方法[J].航天返回与遥感,2013,34(5):70-77. Yang P,Jiang Z G,Liu B T.A new building detection method in remote sensing image[J].Aerospace & Remote Sensing,2013,34(5):70-77(in Chinese). |
| Cited By in Cnki (2) | |
| [7] | Sirmacek B, Unsalan C.Urban area detection using local feature points and spatial voting[J].IEEE Geoscience and Remote Sensing Letters,2010,7(1):146-150. |
| Click to display the text | |
| [8] | 谷多玉,郭江, 李书晓,等.基于Gabor滤波器的航空图像居民区域提取[J].北京航空航天大学学报,2012,38(1):106-110. Gu D Y,Guo J,Li S X,et al.Resident region extraction using Gabor filter in aerial imagery[J].Journal of Beijing University of Aeronautics and Astronautics,2012,38(1):106-110(in Chinese). |
| Cited By in Cnki (1) | |
| [9] | Matas J, Chum O,Urban M,et al.Robust wide-baseline stereo from maximally stable extremal regions[J].Image and Vision Computing,2004,22(10):761-767. |
| Click to display the text | |
| [10] | Mikolajczyk K, Tuytelaars T,Schmid C,et al.A comparison of affine region detectors[J].International Journal of Computer Vision,2005,65(1-2):43-72. |
| Click to display the text | |
| [11] | 王永明,王贵锦. 图像局部不变性特征与描述[M].北京:国防工业出版社,2010:102-127. Wang Y M,Wang G J.Image local invariant features and description[M].Beijing:Defense Industry Press,2010:102-127(in Chinese). |
| [12] | Murphy-Chutorian E, Trivedi M.N-tree disjoint-set forests for maximally stable extremal regions[C]//2006 17th British Machine Vision Conference.Edinburgh,United Kingdom:British Machine Vision Association,2006:739-748. |
| Click to display the text | |
| [13] | Mikolajczyk K, Schmid C.A performance evaluation of local descriptors[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2005,27(10):1615-1630. |
| Click to display the text | |
| [14] | MacQueen J. Some methods for classification and analysis of multivariate observations[C]//Proceedings of the fifth Berkeley Symposium on Mathematical Statistics and Probability.Berkeley,California:University of California Press,1967:281-297. |
| Click to display the text | |
| [15] | Graham R L. An efficient algorithm for determining the convex hull of a finite planar set[J].Information Processing Letters,1972,1(4):132-133. |
| Click to display the text |