测绘地理信息   2022, Vol. 47 Issue (2): 82-86
0
基于视差影像的规则建筑物自动检测方法[PDF全文]
宫一鸣1, 曹辉1    
1. 武汉大学遥感信息工程学院,湖北 武汉,430079
摘要: 以遥感影像和视差影像这两类数据为基础,将遥感影像中的光谱特征与视差影像中的三维信息相结合,对规则城市建筑物进行自动检测。首先,在核线影像对上利用逐像素密集匹配算法,实现3D/2D数据融合,获取视差影像和视差点云,通过八叉树算法对视差点云进行体素化分割,构建属性特征和空间特征,建立案例的推理模型,对分类结果中各个规则建筑物进行独立分割并编号存储,提取规则建筑物位置信息。最后,采用中点算法提高运行效率,在遥感影像上采用区域增长法进行建筑物轮廓提取,并从个体化的规则建筑物位置信息中选取种子点集合,寻找轮廓线单元并计算轮廓线,提取出高完整性和高准确性的规则建筑物轮廓。
关键词: 视差影像    视差点云    八叉树算法    规则建筑物轮廓提取    中点算法    
Automatic Detection Method of Regular Buildings Based on Parallax Image
GONG Yiming1, CAO Hui1    
1. School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China
Abstract: Based on the data of remote sensing image and parallax image, this paper combines the spectral features of remote sensing image with the three?dimensional information of parallax image to detect the regular urban buildings automatically. First of all, applying per pixel dense matching algorithm on the epipolar image pair to realize 3 D / 2 D data fusion and obtain parallax images and parallax points cloud. Then voxel segmentation of the parallax points cloud is achieved through octree algorithm, and the properties and spatial characteristics are established. A case reasoning model is also established to divide individual regular building in the result of the classification, to numbere storage buildings and to extract building location information. Finally, the midpoint algorithm is used to improve the operating efficiency, and the area growth method is used to extract the building contour from the remote sensing image, and the seed point set is selected from the individual regular building position information, an the contour unit is found and the contour is calculated, so as to extract the regular building contour with high integrity and accuracy.
Key words: parallax images    parallax points cloud    octree algorithm    regular building contour extraction    midpoint algorithm    

基于遥感影像提取建筑物的理论研究最早开始于20世纪80年代,经过多年的不断发展,学者们相继提出了许多有关建筑物提取的方法[1-6]。根据数据的选用可分为两类:基于遥感影像的建筑物提取和基于点云的建筑物提取。基于遥感影像的建筑物提取例如王子明[7]结合数字表面模型(digital surface model,DSM)提出了一种基于对象和基于知识的建筑物提取方法,李百寿等[8]采用多尺度影像分割、CART决策树分类和Canny算子进行建筑物轮廓的标绘。基于点云的建筑物提取例如朱依民等[9]利用区域增长改进算法、三维Hough变换算法和α⁃shape算法在机载LiDAR点云数据中提取建筑物轮廓,郝明等[10]利用ISDATA算法对LiDAR数据聚类后结合高度信息、坡度信息和地物的空间关系,由粗略到精细地进行建筑物的提取。

1 视差影像自动检测建筑物方法

由于视差图包含了场景的三维信息,而场景中建筑物具有较为独特的三维突变的特点,因此研究利用视差影像进行建筑物检测和提取的基本思路是:首先将遥感影像对进行自动影像匹配处理,获取视差影像数据,然后基于视差影像数据中所能获取的场景三维信息检测建筑物的位置信息,在此基础上在原始影像中提取建筑物的轮廓信息,获得如图 1的技术路线。

图 1 技术流程 Fig.1 Flow Chart of Technical Process

1.1 视差影像生成

首先,根据空中三角测量结果,对逐个立体像对进行核线影像纠正;并通过逐像素密集匹配,获取立体像对的视差图[11];然后对视差影像产生过程中出现的匹配误差进行修复,采用种子生长法对视差值黑色的空洞部分进行修补,得到完整的视差影像。最后通过所获取的视差影像进行实验区深度信息和视差点云数据的恢复,获取实验区三维信息。

1.2 基于视差点云的规则建筑物分类与自动检测 1.2.1 体素分割

八叉树数据结构是一种广泛应用于描述三维空间结构中的一种树状数据结构[12]。对于视差影像恢复出的实验区视差点云信息,为了提高分割算法的效率和精确度,本文采用基于八叉树的区域增长算法[13],对由视差影像恢复出的实验区视差点云数据进行分割。

1.2.2 体素聚类

不同的地物对光谱的反射特性不同,例如植被等地物的NDVI(normalized difference vegetation in⁃ dex)等植被指数可作为很好的度量,结合到本文中:体素是各阶层地物的表达对象,各体素中包含一些点云数据,其中规则建筑物的属性特征隐含在体素中包含的这些点云数据中,所以本文选取的属性特征包括3个方面,即体素中点的3种颜色的平均值(red⁃green⁃blue,RGB),以此为属性特征可以将植被等地物与建筑物很好的区分开来。由于本文实验数据的选取,每个点的RGB属性值是已经可用的。因此每个规则建筑物的RGB值可以分别用体素中所有点的平均值来表示。所以属性相似性推理的建立的综合表达式如下:

$ C_{1}=(R, G, B) $ (1)

体素中点云数据的三维信息的平均值h为重要的空间特征,每个规则建筑物的深度信息可以分别用体素中所有点的平均值来表示。此外,本文在空间特征的建立中增加采用了地物的表面平滑度θ。地物的表面平滑度定义为视差点云数据中点距与这些点相适应的平面之间距离的标准差。正交距离回归(orthogonal distance regression,ODR)技术,又称为全最小二乘(total least squares,TLS),用于确定地物表面粗糙度或平滑度的误差较小,适用于各地物的表面平滑度的估算。以深度信息和地物表面平滑度为空间特征可以将围墙、汽车等地物与建筑物很好的区分开来所以空间相似性推理的建立的综合表达式为:

$ C_{2}=(h, \theta) $ (2)

采用属性特征和空间特征的综合相似性推理,基于案例的推理分析法进行体素分类[14]步骤如下:

1)建立案例库:根据先验知识人工选取样本案例来建立案例库,每个案例由属性特征、空间特征和所属类别3个部分组成,,表达式为:

$ C=\left(C_{1}, C_{2}, k\right) $ (3)

2)案例的推理:对于一个新的案例,给出了它的特征就可以推断其所属的地物类别,这里通过具有更高分类精度的模糊方法来进行分类,即采用隶属度F (xC)来表示推理的相似度,通过k最近邻算法(k-NN)来计算隶属度。

3)分类的结果:对于不同的地物类别,一个新案例可有不同的隶属度函数,由最大值来推理出其最后所属的地物类别。

基于案例的推理分析法进行体素分类,可以有效地将植被、围墙、汽车等地物与建筑物区分开来,对建筑物的分类提取精度均达到90% 以上,效果与精度较为稳健。

1.2.3 建筑物个体化

由于规则建筑物的视差点云数据在体素化后具有体素与体素之间的闭合性和连通性,基于属性特征和空间特征综合相似性推理后所获得的体素分类数据,在每一片规则建筑物的体素单元中随机设置一处体素单元为种子点,基于种子生长算法对体素单元的4领域中每一个体素单元进行是否属于规则建筑物的判别,并不断迭代计算聚类,直至遍历完一片规则建筑物中所有体素单元为止。在获得所有体素的聚类连接后,聚类存储这一片区域中所有连接体素,并对所有体素单元进行编号,获取各个规则建筑物的位置信息。

1.3 规则建筑物轮廓确定方法

基于所获取的建筑物的大概位置信息,返回到原始遥感影像数据中,在原始遥感影像数据的基础上,根据所得到的建筑物位置信息,采用区域增长算法提取规则建筑物的轮廓单元。

本文采用了一种中点计算方式来计算一个轮廓线和单元网格的相交点,线性插值采用与一个轮廓线相交的单元网格边的一个中点进行代替,所以该计算方法中间误差的最高值为0. 5个单元边的长度,省去了插值计算的步骤。如果一个网格单元某一个网格顶点函数的估计值与阈值相等,那么这就说明轮廓线通过了这个网格顶点,需要在与此个网格顶点相连的3个单元网格顶点单元中重新搜寻并找到下一个轮廓线的网格单元,这样会明显降低整个算法的效率。所以本文采用中点算法避免这种情况的发生,该算法将函数值等于阈值的顶点归类到小于阈值的情况之中,如此0. 5个单元边长就成了网格单元与轮廓线的实际交点与中点之间的最大误差。因为每一个中点有且仅有一条对应边,这样搜索下个网格单元时即可仅用在上、下、左、右4个方向上搜索,这样就避免了由于轮廓线通过网格单元顶点时造成错误的搜索路径。图 2(a)给出了轮廓线通过网格单元顶点时的情况,下一个搜索单元就会有3种选择,而图 2(b)用中点代替顶点,就能由中点唯一确定下一个搜索单元[15]。这样就避免了需要对原始遥感影像数据中所有单元进行处理的冗余工作,实现对建筑物的轮廓提取。

图 2 中点算法 Fig.2 Midpoint Algorithm

2 结果与分析 2.1 试验数据

选用的试验区域的数据为高分辨率航空影像对及其核线影像,如图 3(a)所示,实验地区有以下两个特点:

图 3 实验数据及视差影像 Fig.3 Experimental Data and Parallax Images

1)平缓的地形。实验地区选用的是大片平坦地形,绝大部分区域地形起伏变化较为平缓,基本没有高程起伏的变化,这为利用三维信息进行地物分析提供了可行性。

2)建筑物分布较多且较为规则。试验地区中占地面积较大的是规则建筑物。建筑物形状规则,绝大部分为矩形组合的房顶规则建筑物。但房屋的附属结构比较多,且实验地区规则建筑物的周围常有树木环绕以及人工围墙的包围,会干扰规则建筑物的检测,需要结合其他地物干扰项和规则建筑物的三维信息或者光谱特征进行区分。

2.2 试验流程及结果

采用多测度半全局匹配算法可高效获取细节丰富、质量可靠的视差结果,结果如图 3(b)所示。

根据视差影像信息恢复出该区域三维信息和视差点云数据如图 4所示。

图 4 视差点云恢复结果 Fig.4 Result of Cloud Recovery

将所得到的实验区数据视差点云信息基于八叉树原理进行体素化处理,经过反复实验确定选择最小体素单元阈值为9,使得边界尽量清晰,结果如图 5所示。

图 5 体素分割结果 Fig.5 The Results of Voxel Segmentation

采用传统的基于案例的推理分析法进行实验区规则建筑物的分类提取,在3 774 969个案例中,人工随机选取21 534个已知案例作为案例库,如图 6所示。

图 6 人工随机选取案例库 Fig.6 Manual Random Selection of Case Base

基于属性特征和空间特征进行综合相似性推理,得到体素化后分类结果如图 7所示。

图 7 综合相似性推理后分类结果 Fig.7 Result of Classification After Synthetic Similarity Reasoning

根据混淆矩阵进行评价,综合相似性推理结果的混淆矩阵如表 1所示。

表 1 综合相似性推理混淆矩阵 Tab.1 Synthetic Similarity Inference Confusion Matrix

由综合相似性推理后分类结果图 7和混淆矩阵表 1计算可得分类准确度为0. 92,规则建筑物的提取精度为0. 96。采用的体素化后进行基于案例的推理分析法对规则建筑物进行分类提取的实验中表现较好,该算法对规则建筑物的提取精度较高,实验样区中的规则建筑物均能较完整地分类出来实现了规则建筑物的位置信息提取,虽然由于围墙的光谱特征与三维信息均与建筑物存在较大的相似性,存在少许规则建筑物与围墙的误分情况,但本文中所采用的算法的提取精度大于90%,效果和精度仍然稳健,能够获取建筑物视差点云位置信息。

分别选取个体建筑物的种子点,基于区域增长的算法对每个建筑物进行独立存储,如图 8所示,不同颜色表达不同的规则建筑物个体。

图 8 个体建筑物独立存储 Fig.8 Individual Building Independent Storage

对所获取的所有规则建筑物的像素位置信息构成单元网格,根据基于区域增长的轮廓线提取算法,对基于视差点云数据体素化后经过综合相似性推理分类后的规则建筑物位置信息进行规则建筑物的轮廓线提取,以及进行规则建筑物提取,实验结果如图 9图 10所示。

图 9 规则建筑物提取结果 Fig.9 Regular Building Extraction Results

图 10 规则建筑物轮廓线提取结果 Fig.10 Extraction Results of Regular Building Contour Lines

采用均误差、均方根误差、最大偏移3个参数指标来对规则建筑物的轮廓线提取进行精度评定。从原始影像上挑选出17个规则建筑物角点为检查点,计算轮廓精度如表 2所示。

表 2 轮廓线误差评定表/像素 Tab.2 Profile Error Evaluation Table/pixel

2.3 讨论

总体上来说,通过基于区域增长的规则建筑物轮廓提取方法对样区进行实验,从实验结果图 9图 10中分析得出,基于区域增长法所得到的试验结果中轮廓线完整度较高和细节的描述较好,而且由于中点算法的原则,运行所用时间较少,效率有了明显的提高;从轮廓线误差评定表 2中分析得出检测出的规则建筑物准确率较高,规则建筑物轮廓线提取的误差主要来自以下几个方面:

1)视差点云精度的影响,视差影像的精度直接影响到基于视差影像的地物分类精度,这直接决定了基于视差点云提取出的规则建筑物初始位置并不能作为最终结果。

2)轮廓线段提取的影响,从影像上提取线段的精度影响着最终结果的精度。

3)围墙、规则建筑物的阴影等与规则建筑物相邻的物质的灰度值相近,会使得该算法得到的轮廓线出现误差,如图 11所示。

图 11 规则建筑物提取漏检结果 Fig.11 Regular Building Extraction Miss Detection Results

此时该小型规则建筑物由于其属性特征与空间特征均与围墙类别地物相似,造成了该小型规则建筑物的漏检情况,导致后续规则建筑物轮廓提取中无法提取该小型建筑物的轮廓。可以考虑添加更加详细的形态学空间特征规则,构建相应的参数,来解决类似的漏检误检情况,这些问题将在后期的研究中加以讨论与处理。

3 结束语

为充分利用遥感影像对数据实现规则建筑物的自动检测,本文研究了在视差影像中独立分割规则建筑物,并基于此返回原始影像中对规则建筑物进行检测的方法。通过试验,验证了本文提出的基于视差影像的规则建筑物自动检测方法的有效性。试验表面,本文方法通过所获取的规则建筑物点云位置信息对规则建筑物进行轮廓提取,大大减少了其他地物对提取结果的干扰,建筑物轮廓的完整性和准确性有明显加强;采用区域增长法进行建筑物轮廓提取,选取起始种子点,通过中点算法,明显提高了计算效率;对建筑物提取结果的效果分析验证了本文算法的可行性、可靠性,同时表明了在提取较大片面积规则建筑物时,本文算法具有高质量、完整性和准确性。

参考文献
[1]
刘涛, 刘正才. 基于点云数据的山区建筑物屋顶轮廓线提取研究[J]. 测绘地理信息, 2021, 46(2): 40-43.
[2]
赖玲莉, 许妙忠, 李明. 基于摄影测量的高精度三维城市建筑物建模技术[J]. 测绘地理信息, 2007, 32(5): 24-27.
[3]
邓非, 徐国杰, 冯晨, 等. LiDAR数据与航空影像结合的建筑物重建[J]. 测绘地理信息, 2010, 35(1): 35-37.
[4]
陶超, 谭毅华, 蔡华杰, 等. 面向对象的高分辨率遥感影像城区建筑物分级提取方法[J]. 测绘学报, 2010, 39(1): 39-45.
[5]
张峰, 薛艳丽, 李英成, 等. 基于SVM的多源遥感影像面向对象建筑物提取方法[J]. 国土资源遥感, 2008(2): 27-29.
[6]
赵玲娜, 花向红, 李万, 等. 基于深度图像的建筑物点云平面边界线提取算法[J]. 测绘地理信息, 2017, 42(3): 48-52.
[7]
王子明. 一种结合数字表面模型的建筑物提取方法[J]. 地理空间信息, 2019, 17(1): 38-40. DOI:10.3969/j.issn.1672-4623.2019.01.012
[8]
吕凤华, 舒宁, 龚颵, 等. 利用多特征进行航空影像建筑物提取[J]. 武汉大学学报·信息科学版, 2017, 42(5): 656-660.
[9]
朱依民, 田林亚, 毕继鑫, 等. 基于机载LiDAR数据的建筑物轮廓提取[J]. 测绘通报, 2019(12): 65-70.
[10]
郝明, 史文中, 张华. 一种基于LiDAR数据的建筑物自动提取方法[J]. 测绘通报, 2014(4): 82-85.
[11]
杨幸彬, 吕京国, 江珊, 等. 高分辨率遥感影像DSM的改进半全局匹配生成方法[J]. 测绘学报, 2018, 47(10): 1372-1384. DOI:10.11947/j.AGCS.2018.20180091
[12]
周磊萌, 徐海军. 基于体素化和几何信息连通性的点云分割算法[J]. 工业控制计算机, 2018, 31(11): 95-97. DOI:10.3969/j.issn.1001-182X.2018.11.040
[13]
许佳宾. 建筑物室内SLAM点云的分割与分类[D]. 北京: 北京建筑大学, 2018
[14]
黎夏, 叶嘉安, 廖其芳. 利用案例推理(CBR)方法对雷达图像进行土地利用分类[J]. 遥感学报, 2004, 8(3): 246-253.
[15]
程东旭, 秦新强, 张太发, 等. 基于区域增长的轮廓线提取算法[J]. 西安理工大学学报, 2005(4): 413-416. DOI:10.3969/j.issn.1006-4710.2005.04.019