测绘地理信息   2020, Vol. 45 Issue (3): 34-38
0
高分辨率遥感图像的道路自动提取[PDF全文]
王国志, 黄玉春    
武汉大学遥感信息工程学院, 湖北 武汉, 430079
摘要: 提出了一种基于路径的数学形态学去噪的方法, 能够在保留道路原有特征的同时, 滤除掉绝大部分的干扰信息, 便于后续的道路网提取。首先, 通过基于路径形态学的闭运算, 剔除图像中深暗的阴影、土地等背景。然后, 利用基于路径形态学的开运算, 剔除掉图像中高亮的建筑物、车辆等背景干扰。最后在去噪的的结果上, 采用Gabor线性滤波器实现道路网的高精度提取。实验证明, 该图像去噪的方法能够有效地提高道路提取的精度、鲁棒性和稳定性较高, 适用于不同场景的高分辨遥感道路影像。
关键词: 高分辨率遥感影像    道路提取    路径形态学    Gabor滤波    
Road Extraction of High-Resolution Remote Sensing Image
WANG Guozhi, HUANG Yuchun    
School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China
Abstract: The paper proposes a path-based mathematical morphological image denoising method, which can remove most of the interference information while preserving the original features of the road, and facilitate the extraction of the road network after the sequence. First of all, the closed-form algorithm based on path morphology is used to remove the dark shadows, land and other backgrounds from the image. Then, the background noises such as highlighted buildings and vehicles in the image are removed by the opening operation based on the path morphology. Finally, on the result of image denoising, Gabor linear filters is used to achieve high-precision extraction of road network. Experiments show that the image denoising method can effectively improve the accuracy of road extraction, and has high robustness and stability. It is suitable for high-resolution remote sensing road images in different scenes.
Key words: high resolution remote sensing image    road extraction    path morphology    Gabor filtering    

近年来,高分辨率遥感影像数据不断普及,为典型地物识别工作提供了良好的数据支持。随着卫星遥感影像分辨率的不断提高,自动提取卫星影像的道路网已经成为国内外学者研究的热点。道路网提取研究的应用领域非常多,主要包含车辆导航、地图绘制及更新、城市规划、地理国情监测等方面。目前,高速发展的无人驾驶技术非常依赖道路网信息的更新速度,而高分辨率遥感影像提供了非常便利可靠、优质的数据支撑。

与中低分辨率遥感影像相比,高分辨率遥感影像在提升分辨率的同时,也为道路自动提取研究带来了挑战,主要表现为:①形状特征复杂。在高分辨率图像上道路的长度、宽度、弯曲程度各异,道路交叉口数量较多、形状不一致。这些特点为道路提取带来了一定程度的困难。②纹理特征复杂。卫星遥感影像包含的地物种类繁多,纹理特征繁多。③上下文特征复杂。利用图像预处理来规避非道路背景以及上下文干扰也是提取研究的重点。

目前,国内外对道路提取的研究很多,主要分为半自动提取和全动提取两类。在半自动提取方面,Chaudhuri等[1]基于道路的属性特征和一些自定义的算子提取道路网。全自动的研究相对较多,Hu等[2]提出了一种自适应非监督的道路提取的全自动方法。张剑清等[3]采用道路矢量数据作为辅助信息,结合Mean-Shift算法收敛得到道路中心点,完成道路的自动提取。胡华龙等[4]通过Gabor滤波器检测线状结构,结合k-means图像分割完成对遥感图像城区道路的提取。傅嘉政等[5]基于小波变换和或霍夫直线检测的方法提取遥感图像中的道路。张永宏等[6]通过全连接神经网络的方法对道路样本进行训练,进而高精度地提取出道路。

本文提出了一种基于路径形态学图像去噪的道路提取方法,在保留道路原有灰度、结构、纹理的基础上,剔除掉遥感影像中非道路结构的背景噪声,降低线条检测的复杂度,提高检测的准确度。首先通过路径形态学闭运算剔除图像深暗色区域噪声,达到平滑背景噪声边缘的效果。其次,路径形态学开运算剔除图像中高亮的背景噪声,例如房屋建筑、车辆、施工场地等,提高后续的形状结构的检测精度。然后,Gabor滤波器组作为线状结构检测算子提取图像中的道路网络。最后对图像进行后处理,得到整个遥感影像的道路网。

1 路径形态学基本原理

数学形态学由一组代数运算子组成,包含膨胀腐蚀、开闭运算。该方法可以有效地对二值图像或者灰度图像进行处理,完成图像形状结构的分析,应用于图像分割、图像滤波、图像增强、边缘检测等多个应用领域。传统的数学形态学算子通常使用单一固定的结构元素作为形态算子进行图像处理,常见的有线结构元素、钻石结构元素、矩形结构元素等。这些结构元素的大小和形状都需要根据实验的需求事先进行定义。因此该方法不能同时处理具有不同结构形状特征的图像。以线结构元素为例,现实图像中,并非所有的线条都是直线。因此选用一定大小的线段作为结构元素,并不能有效地提取出所有的线状结构。Heijmans等[7]提出了一种新的基于路径的数学形态学方法,该方法采用细长、定向的路径作为结构元素,有效避免了线结构元素在处理曲线时的不足。

1.1 定义

E 是表示图像像素的集合,假设E被赋予一个邻接关系xy,表示存在有定向路径从像素点x到像素点y。在这个邻接关系中,xy的前驱,yx的后继。在这个邻接关系的基础上,对于每个点x,其邻接关系的后继集合记为:δ ({x}) ={ yE, xy,该函数成为像素点的前驱膨胀。相反δ ({x}) ={ yE, yx函数为像素点x的后继膨胀。如果存在邻接关系akak+1,长度为lδ路径可以定位l-元组a =(a1, a2, a3…, al),其中a1, a2, a3…, alδ路径的集合元素。

1.2 路径开运算

邻接图是路径形态学的基础,路径按照邻接图的结构以及方向进行延伸运算。图 1是本文采用的4种不同方向的邻接图,主方向分别为0°、45°、90°、135°。采用其中任意一种邻接图都可以进行路径开(闭)运算。

图 1 四种路径邻接图结构 Fig.1 Four Different Adjacency Graphs

图 2是路径开运算效果图,采用图 1中第一种邻接图结构,可以看出每个像素点都有3个前驱和3个后继像素点。图像中红色的点为 δ 路径的像素集合,蓝色的线段为满足该邻接图邻接关系的有效路径,该路径表现为狭长曲线结构,这是传统形态学方法所不能做到的。邻接图的选取对于路径开(闭)运算至关重要,相同的像素点集合在不同的邻接图运算的路径及路径长度都是不一致的。

图 2 路径开运算示意图 Fig.2 Path Opening Operations

Talbot等[8]改进了路径形态学方法,并将其应用于灰度图像中。在路径开运算中,首先对该灰度图像的灰度值大小进行排序,记录每一个灰度值对应图像的具体位置,从小到大对每一个灰度值进行二值化,具体方法是该灰度值标记为0。每一次阈值二值化,计算图像所有元素的路径长度,如果计算的路径长度小于设定的阈值L,那么该像素的灰度值被灰度阈值替代。如果路径长度大于L,该像素则被保留。路径阈值是路径形态学中的非常重要的参数,如果参数设置过大,目标线状结构可能会被削弱。如果参数设置过小,一些非目标干扰结构则没有被剔除。因此,选择最佳的阈值使干扰物和目标之间达到平衡是路径形态学中的重要步骤。

2 基于路径形态学的遥感图像道路去噪 2.1 路径形态学图像去噪

高分辨率遥感影像细节较多,干扰物的种类随之增多,图像较为复杂。但是,道路特征也非常明显,在图像中,道路多由连续的、灰度一致的直线段和曲线段组成。道路的曲率、长度、宽度都不一致。道路段的长度远远大于周围建筑物、树木等干扰物的长度。尽管道路段内会有一些斑马线或者车辆干扰,但总体灰度变化不大。综合以上遥感影像中的道路特点,路径形态学非常适用于道路图像去噪。路径形态学通过定向的、窄长的路径结构元素,可以很好地保留遥感影像中的道路区域特征。同时,剔除或削弱影像中建筑物、树木、车辆等无关信息的背景干扰。图 3是遥感图像经过路径形态学开运算和闭运算的效果图。图 3(a)是影像灰度图,图中道路清晰可见。但是,除道路之外还有很多房屋、树木干扰。因此有必要对图像进行去噪处理。首先对灰度图像进行路径形态学闭运算,剔除树木、阴影等相对较暗的背景噪声。然后,对路径闭运算的结果进行路径形态学的开运算,图像中的白色块状或白色线状噪声会被周围背景替代。路径形态学开运算和闭运算相结合,使得图像背景更加平滑,干扰信息更少。图 3(b)是路径长度阈值为20的情况下,路径形态学开闭运算的结果,可以看出L值取很小的时候,图像中部分白色干扰信息并没有被剔除。图 3(c)是路径长度阈值为50的情况下,道路图像去噪的结果图。与灰度图相比,去噪后的图像保留了道路的原有特征,同时图像中的背景干扰信息更少,图像更加平滑。

图 3 道路路径形态学效果图 Fig.3 The Results of Path Morphology Enhancement

2.2 路径阈值的选取

路径长度阈值L是图像处理中重要的参数。L过小时,不能有效地剔除大部分背景噪声;反之,L过大,部分线状结构也会被削弱甚至被剔除。本文通过计算图像的平均灰度值对不同路径阈值处理的结果图像进行分析,得到最合适的参数L,如图 4(a)所示。图 4(b)图 4(a)对应的图像平均灰度的一阶导数,即f′(10)=f(20)-f(10)。在统计图像灰度均值随着路径长度阈值L变化时,首先使用路径闭运算对原图像进行预处理,剔除图像中的树木、阴影等深暗色背景干扰。然后不断增大路径长度,对闭运算的结果进行开运算处理,统计图像的灰度均值以及灰度均值变化一阶导数。从图 4(a)可以看出,随着L不断增大,图像的平均灰度值越来越小,这是因为图像中更多的高亮干扰噪声被剔除,图像整体灰度值下降,但是,灰度均值的变化量越来越小。选取灰度均值一阶导数最小值对应的路径长度作为阈值。根据图 4(b)可知, f′(120)(f′(120)=f(130)-f(120))最小。这表明L=120时,图像的非道路噪声基本都被剔除,即使L增加到130,图像灰度也基本没有变化。因此选择L=120作为该路径开运算的最佳路径阈值。从图 4中还可以发现,L=140时,图像灰度急剧下降,可能是因为该阈值条件下,一些道路结构被抑制。

图 4 最佳路径阈值的选取 Fig.4 Selection of the Optimal Path Threshold

2.3 影像的道路提取

经过了路径形态学去噪后的遥感影像,因建筑、房屋、树木、阴影等引起的背景噪声被有效剔除,而道路结构特征保存完好,对后续的道路提取提供了重要帮助。但是,仅仅通过路径形态学对遥感影像进行去噪,并不能高精度地提取完整的道路结构。因此本文还采用4尺度、8方向的Gabor滤波器组对增强后的图像进行线状结构提取。对比图 5(a)图 5(b)发现,通过形态学去噪后的图片,其道路响应更加明显,提取的道路完整度较高,噪声也少。相反,未经过路径形态学去噪的图像进行Gabor运算的时候,道路响应值较小,噪声繁多,不利于道路网的精确提取。

图 5 Gabor道路提取 Fig.5 The Result of Gabor Filtering

最后,对Gabor提取的结果进行后处理,去掉多余的毛刺分支,得到完整的道路网结构。

3 实验结果与分析

本文道路提取方法的具体流程如图 6所示。为了验证本文提出算法的精度,对多幅高分辨率的遥感影像进行了实验处理。实验数据部分来自于文献[8-13]数据集,另一部分从Goole Earth截取,数据包含城市道路、山区道路。图 7为本文实验的部分结果图。图 7(a)图 7(c)为乡村道路影像;图 7(b)图 7(d)为城市道路影像,绿色表示正确提取出来的道路线段,蓝色表示漏检的道路段,红色表示错检的道路段。从图 7中可以看出,本文提出的算法可以有效地、完整地提取出影像的道路网。但是,漏检和错检的情况依旧存在,尤其是乡村遥感影像中,提取结果的错检和漏检部分相对较多,可能是乡村遥感影像中道路灰度值和周边山体、土地差异性不大,以至于在路径形态学去噪以及Gabor提取道路的过程中[14-20],部分错误线段也被提取出来。其次,部分乡村道路被树木阴影遮挡严重,路径形态学处理的过程中将零散的道路线段给剔除或者削弱了,导致部分道路漏检。与乡村道路相比,城市影像的道路提取结果较好,错检和漏检都很少,提取的完整度也较高。

图 6 技术流程图 Fig.6 Flow Chart of Proposed Method

图 7 实验结果图 Fig.7 Result of Experiments

本文采用正确率、完整率、检测质量[7]3个指标对提取的道路进行精度评价。

$ {\rm{Completeness}} = \frac{{TP}}{{TP + FP}} $ (1)
$ {\rm{Correctness}} = \frac{{TP}}{{TP + FN}} $ (2)
$ {\rm{Quality}} = \frac{{TP}}{{TP + FP + FN}} $ (3)

式中,TP表示正确读取的道路像素长度;FP表示错误提取的像素长度;FN表示的漏检的道路像素长度。本文一共对9幅图像进行了精度评价,如表 1所示。表 1中图像编号1~4分别为图 7的4张图像;5~9包含4张城市影像和1张乡村影像。城市影像的道路提取精度和质量较高,而乡村影像的道路提取精度和质量还有待提高。

表 1 道路提取精度评价/% Tab.1 Accuracy Evaluation of Road Extraction/%

4 结束语

本文提出了一种基于路径形态学图像去噪的方法。该方法充分利用图像中道路的线性结构,对图像中的复杂背景进行剔除,以达到道路增强的效果,然后通过Gabor滤波器对去噪后的图像进行道路提取。实验证明,该方法能够有效地、高精度地提取遥感影像中的道路网。但是,提取乡村或者山区道路时,该方法精度会有所下降。原因是乡村道路的灰度与道路两边背景差异太小,导致Gabor滤波在提取出道路线段的同时,也错误地提取了部分背景。针对乡村或者山区道路,需要进一步实验验证以及改善。

参考文献
[1]
Chaudhuri D, Kushwaha N K, Samal A. Semi-Automated Road Detection from High Resolution Satellite Images by Directional Morphological Enhancement and Segmentation Techniques[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2015, 5(5): 1538-1544.
[2]
Hu J, Razdan A, Femiani J C, et al. Road Network Extraction and Intersection Detection from Aerial Images by Tracking Road Footprints[J]. IEEE Transactions on Geoscience & Remote Sensing, 2007, 45(12): 4144-4157.
[3]
张剑清, 刘朋飞, 王华, 等. 利用Meanshift进行道路提取[J]. 武汉大学学报·信息科学版, 2010, 35(6): 719-722.
[4]
胡华龙, 吴冰, 黄邵美. 结合Gabor纹理与几何特征的高分辨率遥感影像城区道路提取方法[J]. 测绘科学技术学报, 2015, 32(4): 395-400.
[5]
傅嘉政, 杨少敏, 刘浩. 基于小波变换和霍夫变换的高分辨率遥感影像道路提取[J]. 测绘地理信息, 2015, 40(4): 48-50.
[6]
张永宏, 夏广浩, 阚希, 等. 基于全卷积神经网络的多源高分辨率遥感道路提取[J]. 计算机应用, 2018, 38(7): 2070-2075.
[7]
Heijmans H, Buckley M, Talbot H. Path Openings and Closings[J]. Journal of Mathematical Imaging & Vision, 2005, 22(2/3): 107-119.
[8]
Talbot H, Appleton B. Efficient Complete and Incomplete Path Openings and Closings[J]. Image & Vision Computing, 2007, 25(4): 416-425.
[9]
Heipke C. Empirical Evaluation of Automatically Extracted Road Axes[J]. Empirical Evaluation Methods in Computer Vision, 1998, 50: 172-187.
[10]
Girshick R. Fast R-CNN[C]. IEEE International Conference on Computer Vision, New York, USA, 2015
[11]
Fua P. Automated Reconstruction of Tree Structures Using Path Classifiers and Mixed Integer Programming[C].Computer Vision and Pattern Recognition, IEEE, Providence, Rhode Island, 2012
[12]
刘文涛, 李世华, 覃驭楚. 基于全卷积神经网络的建筑物屋顶自动提取[J]. 地球信息科学学报, 2018, 20(11): 1562-1570.
[13]
何海清, 杜敬, 陈婷, 等. 结合水体指数与卷积神经网络的遥感水体提取[J]. 遥感信息, 2017, 32(5): 82-86.
[14]
施泽浩, 赵启军. 基于全卷积网络的目标检测算法[J]. 计算机技术与发展, 2018, 28(5): 55-58.
[15]
孙秉义, 文珊珊, 吴昊, 等. 基于深度学习的高分辨率遥感图像车辆检测[J]. 东华大学学报(自然科学版), 2018, 44(4): 520-525.
[16]
李淑敏, 冯权泷, 梁其椿, 等. 基于深度学习的国产高分遥感影像飞机目标自动检测[J]. 遥感技术与应用, 2018, 33(6): 1095-1102.
[17]
高鑫, 李慧, 张义, 等. 基于可变形卷积神经网络的遥感影像密集区域车辆检测方法[J]. 电子与信息学报, 2018, 40(12): 2812-2819.
[18]
杨恺, 徐友春, 安相璧, 等. 基于深度学习的车辆检测方法[J]. 计算机与网络, 2018, 44(19): 58-61.
[19]
赵晓, 侯晴宇, 梁冰冰, 等. 基于多属性融合的高分辨率遥感图像云检测方法[J]. 光学技术, 2014, 40(2): 145-150.
[20]
张素兰, 代海山, 赵其昌, 等. FY-3C/MERSI云检测算法研究[J]. 三峡生态环境监测, 2017, 2(4): 66-70.