| 多特征约束的高分辨率光学遥感影像道路提取 |
收稿日期: 2018-01-31
2. Beijing Key Laboratory of Urban Spatial Information Engineering, Beijing 100038, China
从高空间分辨率光学遥感影像(空间分辨率低于1 m,以下简称遥感影像)中提取道路是更新道路信息的一种有效途径(曹帆之 等,2016)。遥感影像不仅能够清晰地呈现道路的几何特征,并且提供精细化的地物纹理信息,这为提取道路目标特征提供了充分有利的依据。但另一方面随着空间分辨率的提高,也给复杂场景的道路提取方法带了更多的难题:(1)道路类型多样化差异进一步增大。当多种类型道路在同一幅遥感影像同时出现时,不同类型道路之间由宽度、曲率所引发的几何差异,以及由非机动车带、人行道、绿化带、分车带、分隔带等地物所产生的差异被进一步放大,使得道路几何纹理统计模型难以建立(傅罡 等,2014);(2)几何光谱噪声干扰更加严重。主要体现在以下3个方面:第一,地物目标外“异物同谱”现象广泛存在。在某些特定场景中,建筑群屋顶、水渠、树木绿化带与目标地物辐射特征趋同,并且空间距离相邻,直接影响了道路提取的精度;第二,地物目标内的光谱混淆现象更加严重。其他地物(如车辆、路面杂物、树木及其阴影)对路面产生的干扰更加强烈,使得道路影像纹理较为一致的特点不再突出(Steger 等,1995);第三,地物目标内的几何噪声增大。受到树木阴影、车辆、山体阴影等地物影响,目标区域内线状地物分布复杂多样,道路边缘特征呈进一步削弱趋势。
近几十年来,国内外学者针对道路提取开展了大量的工作。按照Alshehhi和Marpu (2017)对道路提取方法进行分类:(1)道路区域提取,该类方法主要是以分类与分割方法为主,具有代表性的方法包括面向对象方法(Kumar 等,2014)、阈值分割方法(李华胜 等,2015;Raziq 等,2016)、Snake方法(Nakaguro 等,2011;王峰萍 等,2017)、水平集方法(吴学文和徐涵秋,2010;Rajeswari 等,2011)等;(2)道路中心线提取方法,该类方法侧重于提取道路的骨架信息。典型方法包括模板跟踪方法(Zhang 等,2011;Fu 等,2013;Pudaruth,2016)、道路边缘线提取方法(Sengupta 等,2004) 、Meanshift方法(曹帆之 等,2016)、动态规划方法(曹帆之 等,2015)。尽管上述两类方法在一定程度上能够提取出道路,但受到复杂场景遥感影像道路提取难题的影响,仍存在精度和自动化程度低的问题。
针对上述问题,论文提出一种多特征约束的遥感影像道路提取方法。该方法以提取道路中心线为目标,以道路种子点提取与跟踪为处理核心,依据不同道路影像特征,提出针对性的不同特征检测分析模型,通过多特征约束的方式完成对道路种子点的提取与拟合,最终完成对道路线的提取。
2、方法可行性考虑到论文所涉及的特征检测方法较多,并且方法间衔接复杂,因此有必要对不同特征论文方法中的可行性及必要性进行逐一阐述。故论文以图1北京市WorldView-2影像为例,进行特征分析探讨,如图1可以看到道路位于建筑物下侧,道路与建筑物均有较为清晰的线状边缘信息,并且由于道路路面受到机动车遮挡的影响,因而建筑物边缘相对于道路边缘线段提取效果更佳,同时建筑物屋顶比道路更具有均一化的辐射特征,由此说明图1影像符合复杂场景特点。下述将对道路影像特征(Vosselman和de Knecht,1995)在种子点提取与跟踪中的作用进行分析。
|
| 图 1 道路与建筑物对比 Figure 1 Comparison between road and building |
(1) 几何特征:道路通常呈长条线状,在局部范围内道路宽度曲率的变化概率较小。针对道路这一特点论文将开展线段二次提取模型研究,以获取影像中长度较大的线段,便于进行候选道路种子点集的提取。如图1所示,可在道路、建筑物较大线性边缘附近提取黑色候选道路种子点。
(2) 辐射特征:路面影像灰度分布具有一定的规律性。因此论文将开展道路整体匹配评价模型,以此对候选道路种子点集的辐射特征进行整体分析。可以看到,如图1所示建筑物屋顶、双向道下侧路种子点符合这一特征,但上侧路种子点并不满足要求。
(3) 上下文特征:道路和周边地物间存在一定的空间语义关系,可作为道路提取的间接指示标志,例如行树、建筑物、车辆、道路指示牌、分车带等地物与道路间存在非常强烈的伴生关系。故论文将建立浅色机动车检测模型,并将其作为道路上下文特征,以辅助进行候选道路种子点集的判读,并且也可用于道路种子点的跟踪。如图1所示,当双向车道上侧路面种子点不满足辐射特征时,可依据浅色机动车对道路种子点进行辅助判断,故上侧道路种子点可予以保留。
(4) 拓扑特征:道路具有明显的网状特征,不同交叉路口将不同道路连贯起来。论文将依据这一特点,对已获取的候选种子点集进行拓扑连通分析,以对道路种子点进行最后验证。如图1所示,如果将真实道路种子点与建筑物屋顶点进行区分,只能引入拓扑特征,这是因为建筑物屋顶点在其跟踪方向上不存在辐射、上下文特征连通性,而真实道路种子点满足这一要求。
由上述对4种特征的分析,可以看到利用多种特征组合约束可以有序开展道路种子点的提取,同时也说明4种特征都是道路在影像中相对于其他地物的某一方面差异,反之单一特征并不能将道路与其他地物区分处理。根据感知编组非偶然性定律(Sarkar,2003),影像多种特征呈现绝非偶然,在实际图像中偶然出现的可能性非常小,因此基于这些特征关系有助于识别和定位各种人造目标。由此可以表明,多种特征的结合与约束,才是道路种子点提取与跟踪的有效途径。故基于上述思想,论文建立多种特征检测模型。在特征约束过程中,由于多种特征之间的权重不好确定,因此论文将其分开,在首先在几何特征约束条件下建立候选道路种子点集;其次对利用辐射特征、上下文特征对候选道路种子点集进行逻辑或检验,即道路辐射特征与上下文特征满足其中之一则表明候选道路种子点集满足要求;最后进行道路拓扑特征分析,即连通性分析,以此决定候选种子点的准确性。这样的好处在于进行决策时避免了权重分配不当导致的混淆和错误,以解决道路提取过程中的歧义性与误提取问题。
3、方法原理如图2所示为论文方法的技术路线,具体步骤如下所示:
|
| 图 2 技术路线 Figure 2 Technical routine |
(1) 影像与道路知识输入。输入遥感影像及空间分辨率信息,给出道路相关知识,包括影像中不同类型道路宽度及路面结构信息,道路宽度仅需要了解道路大致宽度,而路面结构信息目视即可判断为沥青或者混凝土。
(2) 几何特征选取。利用论文方法进行线段二次提取,抽取长度最大的M条线段。
(3) 依次以最长线段为基准,利用道路宽度信息,搜索满足要求的平行线对,建立候选道路种子集,进入第4步;若无法满足平行线要求,则在其左右两侧建立符合道路宽度的候选道路种子集,进入第4步。
(4) 辐射特征分析。对候选道路种子集进行整体匹配评价,当满足整体匹配要求时,进入第6步;否则若候选道路种子点为平行线约束形成,则进入第3步,并设定其不符合平行线要求,利用单线段重新选取候选道路种子点;反之若候选道路种子点为单线段约束形成,则进入第5步。
(5) 上下文特征分析。对候选道路种子点缓冲区机动车进行分析,判断车辆走向是否与线段一致,若存在多个与线段方向一致的车辆,则说明当前候选道路种子集满足要求,进入第6步,否则重新进入第3步。
(6) 拓扑特征分析。针对候选道路种子点,利用匹配跟踪模型及上下文特征进行跟踪,如满足要求则说明满足拓扑特征并进入第7步;否则进入第3步。
(7) 后处理。本步骤包括:首先对已获取道路种子点进行优化;其次对优化种子点进行跟踪,并输出道路线。
(3.1) 几何特征道路在影像中具有显著的线状边缘特征,反之较长线段成为道路边缘的概率也随之增大。故论文依据此思路,利用长度较大的线段,结合道路宽度信息,提取候选道路种子点集。
3.1.1. 线段二次提取方法由于受到边缘模糊、地物遮挡等因素的影响,道路边缘线段完整化提取效果很难令人满意(戴激光 等,2017b)。故论文开展线段二次提取方法研究,其中二次是指在已提取线段的基础上再次拟合,以期得到长度更大的线段。论文针对基于感知编组的二次线段提取方法(王理政 等,2017),进行了如下改进:
(1) 线段提取方法选取。起始种子线段通常选取长度较长的线段,这是由于道路线状边缘相对于其他地物边缘长度优势更加明显,长度较大线段更符合道路几何特征。相对于LSD方法(Von Gioi 等,2010)和EDLines方法(Akinlar和Topal,2011),戴激光等人(2017a)的方法提取线段更加完整。为了更好地选取起始种子线段,故论文利用戴激光方法提取影像中的线段。
(2) 聚集度约束。为了提高线段二次提取后的精度,避免二次提取线段是由相邻多条不同地物线性边缘所构成,例如相邻建筑物边缘易被连接起来形成更长的线段,因此论文建立如下约束模型:
| $C = \sum\limits_{i = 0}^n {{L_i}} /L$ | (1) |
式中,C为聚集度,取值范围为[0,1],在论文中提取的二次提取线段C值不应低于0.9,以确保二次提取后线段的精度;Li为第i个断裂线段在二次提取线段上投影长度;L为二次提取线段长度;n为断裂线段数量。
(3) 二次提取线段动态拟合。受到边缘锯齿化的影响,初始线段与实际地物边缘并不能完全吻合,因此需要对二次提取线段进行动态分析,以确定新的跟踪端点及跟踪范围,避免当初始种子线段角度出现偏差时,造成二次提取线段精度下降。但在线段二次提取拟合过程中,不是所有断裂线段均需参与,这是因为当二次提取线段长度较大的情况下,如存在一条角度与二次提取线段相差较大的断裂线段参与提取,则二次提取线段端点坐标将发生较大的位置偏差。因此论文以初始种子线段角度为基准,确定参与二次提取线段拟合的断裂线段,具体如下:
| $w = \sum\limits_{i = 1}^n {l(i)} ,\;\;\;(abs(q(i) - p)) \leqslant \mu $ | (2) |
| ${s = \sum\limits_{i = 1}^n {l(i) \times q(i)} ,\;\;\;(abs(q(i) - p)) \leqslant \mu }$ | (3) |
| $Q = s/w$ | (4) |
式中,w为断裂线段权重总值,p为初始线段角度;q(i)为第i条断裂线段角度,l(i)为对应线段长度,μ为二次提取线段提取角度约束阈值,论文将其设为0.1弧度;s为二次提取线段总值;Q为动态输出二次提取线段角度。
利用式(2)—(4)求取的角度参数,结合线段中点、断裂线段在二次提取线段投影范围,可完成对线段的二次提取。最后需要说明的是,并不是线段均需二次提取,这取决于相邻线段的几何特征相似性,因此影像中最长的线段并不一定均是二次提取后的线段。
3.1.2. 道路候选种子点集确定利用路面宽度知识,结合二次提取线段提取结果,选择影像中线段提取结果中长度最大的N条线段,作为备用道路边缘线。论文对符合路面宽度的不同线段平行关系进行分析:(1)平行线段分析。如图3(a)所示,利用道路宽度可确定多条平行线对,在平行线包含区域内,按照距离线段为道路宽度1/2,步长为10像素抽取黑色点,以此作为候选道路种子点;(2)单线段分析,其可能为道路边缘或隔离带边缘线,按照道路宽度知识,如图3(b)所示设定其左侧或右侧为备选道路区域,同样以距离线段为道路宽度1/2,步长为10像素抽取黑色点,以此确定候选道路种子点集。
|
| 图 3 候选道路种子点集提取 Figure 3 Candidate seed point set extraction for road |
对同一线段取得的候选种子点集,可采取整体匹配评价其辐射特征,以降低光谱混淆现象对道路提取的影响。实际场景中,道路影像内部灰度均质性较差,尤其当道路内部存在车辆、行车线、路灯阴影、行树阴影等地物时,路面影像灰度跳变现象非常严重。因此针对上述两个问题,在候选道路中整体匹配评价中,论文首先将灰度值进行重新量化,以8 Bit影像为例,可将其线性压缩为4 Bit,以解决道路影像灰度均质化较差的问题;其次,针对路面影像发生灰度跳变的问题,论文对候选种子点建立道路宽度为直径的圆形模板,并通过如下计算公式确定模板值:
| $M = \left\{ {\begin{array}{*{20}{l}}{{I_{{\rm{gm}}}},\;\;\left| {{I_{{\rm{gm}}}} - {I_{\rm{m}}}} \right| \leqslant 2}\\{{I_{\rm{m}}},\;\;\;\left| {{I_{{\rm{gm}}}} - {I_{\rm{m}}}} \right| > 2}\end{array}} \right.$ | (5) |
式中,M为圆形模板值,Im为圆形模板的灰度均值,Igm为圆形模板的灰度直方图峰值。
如图4所示为基于式(5)进行的整体匹配评价。假设当前由线段约束的种子点数量为N,满足匹配要求的初始数量点为N1=N。首先,依据道路宽度信息,对每个候选种子点建立直径为道路宽度的圆形模板;其次,分析每个模板内部方差,判断其是否低于方差阈值1,如低于则N1= N1–1,当所有模板遍历结束后,N1/N高于70%则进入下一步,反之当前点集不符合整体匹配要求;再次,分析所有模板均值,判断其是否符合道路结构要求。如道路结构为沥青路面,故道路呈现在影像中为深色,即以位深8 Bit为例,道路影像理论灰度值应低于180,模板均值应低于11,同样道路结构为混凝土路面,模板均值应高于5;最后,统计所有模板值的方差,判断其是否低于方差阈值2,满足条件则当前点集符合整体匹配要求,反之则进入上下文特征判断。
|
| 图 4 候选种子点集整体匹配评价 Figure 4 Global matching assessment of candidate seed point set |
当候选道路种子点集无法满足辐射特征时,可分析其上下文特征,以此对候选种子点进行整体判读。道路是机动车行驶的必要条件,反之机动车的存在也是道路判别的有力依据。在高分辨率遥感影像中,部分机动车位于道路内部,受到遮挡问题影响相对较小。另一方面机动车长度一般在3.5—18 m,可在高分辨率遥感影像中进行几何信息提取。因此,论文拟将机动车检测结果作为道路上下文特征,当候选种子点模板区域内存在与线段方向一致的多辆机动车时,则当前候选种子点集符合上下文特征。目前国内外开展了大量利用卫星影像检测机动车的研究(Leitloff 等,2010;曹天扬和申莉,2015),但均需要设定感兴趣区域,即将道路区域视为先验知识,这一先验条件无法满足对机动车检测的要求,因此提出一种简单的浅色机动车检测方法,之所以仅开展浅色车检测而未进行深色车的检测,主要是非道路区域中植被、小平房、楼顶排风口等地物也具有椭圆类矩形形状,而道路区域阴影区域随机也可能形成相似形状,这些地物均与深色机动车几何和辐射特征上非常相似,故从排除机动车检测误差的角度出发,论文仅开展浅色机动车的检测研究。其中浅色深色机动车的定义来源于曹天扬和申莉(2015)的方法。该方法包括以下步骤:
(1) 机动车影像几何参数分析。在影像中机动车可视为一种面状矩形或类椭圆,其长宽应符合机动车实际几何要求。例如SUV长度不大于5 m,宽度不大于2 m;而大客车长度接近10 m,宽度机动车不大于2.5 m。以此作为机动车知识,结合遥感影像空间分辨率,可进行机动车影像几何参数分析:
| $L1 = v1/r$ | (6) |
| $W1 = v2/r$ | (7) |
式中,L1为理论上符合机动车要求的外接矩形长度,W1为外接矩形宽度,单位为像素;v1和v2分别为机动车长和宽,r为影像空间分辨率。
(2) 形态学处理。浅色机动车车窗、天窗在影像中相对于车体表现为暗色,这将使得浅色机动车影像内部灰度跳变现象异常严重。由于车窗、天窗在遥感影像中通常为1—2像素宽度,因此可以采用形态学膨胀运算将其填补,同时针对膨胀运算导致的车体区域扩张问题,则可采用腐蚀运算进行剔除。故论文将采用形态学闭运算对影像进行预处理,以降低车窗、天窗对机动车影像的干扰。闭运算是先膨胀后腐蚀,其公式如下:
| ${{Y}}\cdot{{S}} = {\rm{ }}\left( {{{Y}}\Theta {{S}}} \right) \oplus {{S}}$ | (8) |
式中,Y表示影像,S表示结构元素(结构元素S在影像Y中不断移动),以使浅色车影像内部纹理分布趋于规律化。
如图5(a)所示可以看到,经过形态学处理后的浅色机动车影像纹理分布更加均匀,与道路背景具有明显的辐射差异。
|
| 图 5 机动车边缘检测结果 Figure 5 Results of edge detection for vehicle |
(3) 闭合边缘检测。如图5(b)所示,利用Canny算法对影像进行检测后可以发现,机动车边缘附近可形成闭合的红色边缘链。
针对图5(b)机动车影像边缘特点,可采用环状端点(戴激光 等, 2017a)进行边缘跟踪。为了准确进行闭合边缘的提取,论文先利用单端点进行线段提取,保留下来的边缘链码通常闭合边缘。如图6所示,当边缘点八邻域内仅有两点,同时两点的方向码相差5—6时,可确定其为环状端点,以此进行八邻域跟踪,当端点与跟踪终点距离小于两个像素时,则当前边缘点集为闭合边缘。如图6所示,闭合边缘经过最小外接面积矩形拟合,可得到近似于机动车几何形状的矩形。
|
| 图 6 闭合边缘端点确定及最小面积外接矩形构建 Figure 6 Determination of closed edge endpoint and minimum area external rectangle construction |
为了提高外接矩形与边缘点的吻合度,使得边缘点尽量分布于外接矩形边缘,论文构建如下模型对边缘点进行几何约束。
| $D(i) = {\mathop{\rm MIN}\nolimits} ({D_1}(i),{D_2}(i),{D_3}(i),{D_4}(i))$ | (9) |
| $S\_D = \frac{1}{n}\sum\limits_{i = 1}^n {D(i)} $ | (10) |
式中,D1(i)、D2(i)、D3(i)、D4(i)为当前边缘点i与矩形4边缘线之间的垂直距离,Di) 为第i个边缘点与矩形4边缘线之间的最小距离;式(9)中S_D为所有跟踪边缘点与外接矩形的最小距离统计平均值,依据经验分析应低于0.5像素,n为边缘点数量。
考虑到机动车边缘无法确保均能构成闭合条件,进而降低机动车的检测率。论文引入了戴激光等人(2017a)提取的线段结果,选择长度近似于L1的线段,按照W1建立左右虚拟矩形,如图7所示,由红色线段可以得到左右两侧不同矩形。考虑到机动车方向与道路方向间的关系,例如机动车走向通常与道路方向一致,因此机动车走向定义为矩形长边的角度值。
|
| 图 7 虚拟矩形 Figure 7 Virtual rectangle |
(4) 机动车辐射信息分析。相对于路面背景,浅色机动车影像可视为具有较高灰度的面状特征,同时机动车附近伴有阴影,这一分布规律可构成机动车的辐射信息判别条件。可如图8(a)为机动车及相邻地物辐射信息变化规律的详细刻画,机动车覆盖区域A灰度均值较大,而机动车邻域为道路区域B因而灰度均值较小,同时机动车前方附近存在阴影带C(随数据采集时间阴影带位置发生变化),三者之间的灰度对比关系必然是A>B>C。依据上述对机动车邻域灰度均值变化特征的描述,如图8(b)所示论文按照45°为单位,将机动车矩形缓存区划分为8个区域,统计不同方向机动车缓存区域灰度均值,可得到不同方向灰度均值描述子I(i), i=1,
|
| 图 8 机动车与道路背景间对比结果 Figure 8 Comparison result between motor vehicles and road background |
当候选道路种子点集符合辐射特征或上下文特征要求后,论文需要对候选种子点集进行拓扑特征分析,以进一步验证道路种子点的准确性。在论文方法中,拓扑特征主要是指已有道路的连通性,即在已有道路种子点的基础上能够继续跟踪,这也是道路区别于其他地物的有力依据。因此从上述角度出发,论文首先构建拓扑特征分析模型,同时对拓扑过程中的匹配跟踪模型进行阐述。
(1) 拓扑特征分析模型。如图9为道路种子点拓扑特征分析模型,以候选种子点集2侧点为起始端点,排列方向为跟踪方向,利用下述模板匹配跟踪的方法进行道路跟踪,当2侧均可跟踪到两个检验点时,可确定红色点为真实道路种子点;其次,当任一侧无法跟踪到两个检验点时,可利用跟踪点所在区域的机动车方向进行验证,如机动车车向满足要求,则确定红色点为道路种子点。
|
| 图 9 候选种子点集跟踪分析 Figure 9 Tracking analysis of candidate seed point set |
(2) 模板匹配跟踪方法。针对拓扑特征分析模型及后续的种子点跟踪过程,论文在谭仁龙等人(2014)方法的基础上,同时结合式(5)对圆形模板值的定义,提出一种改进的道路模板匹配跟踪模型。之所以选择圆形模板,主要考虑到相对于剖面模板与矩形模板,其特点更符合弯曲道路的跟踪,而拓扑分析的检验点并不一定与候选种子同一方向,因而论文选择圆形模板。如图10所示为论文提出的模板匹配跟踪方法,红色点为已获取候选道路种子点或真实道路种子点,蓝色线段为利用最后跟踪5个种子点拟合的道路中心线,黄色点为依据跟踪步长确定的候选种子点,其位于蓝色线段端点为中心,步长为半径的90°对称弧形线上。
|
| 图 10 匹配跟踪示意 Figure 10 Matching tracking schematic |
式(10)为论文提出的模板匹配测度:
| ${f_i} = {{\rm{e}}^{ - \frac{{\left| {{M_i} - {M_0}} \right|}}{2}}} \times \alpha + {\rm{cos}}({\theta _i})\beta $ | (11) |
式中,fi为匹配测度,Mi为当前目标模板(图10黑色点缓冲区)值,M0为前5个已确定跟踪点模板值的均值,α为模板值权重,β为角度权重,式(11)在考虑目标模板与已知局部种子点相似性的同时,兼顾角度约束的权重。
(3.5) 后处理针对已获取的道路种子点,论文需要进行后处理,以最终提取道路线。
(1) 道路种子点优化。由于复杂场景中道路与其两侧地物辐射特征趋同,因而边缘特征不够清晰,因而容易出现如图11(a)所示同一路面存在多组道路种子点的问题:1)虚假种子点。在道路影像中段,受到左侧道路线模糊的影响下,由较长的建筑物边缘线也构成了虚假种子点,虽然其排列方向与道路一致,但可看到虚假种子点没有位于道路上;2)低精度种子点。在道路影像下侧,同样也是受到道路边缘模糊的影响,种子点位于道路边缘附近。对上述问题的深入分析可以发现,虚假及低精度种子点均位于道路附近,这一方面说明论文利用多特征约束进行道路种子点提取方法的有效性,另一方面也表明论文提取的候选种子点需要进行后处理。
针对上述问题,论文对不同组道路种子点进行依次分析,以一组种子点为例,首先对当前组种子点按提取顺序进行逐一判断,分析种子点对应模板内是否存在其他组种子点,因为同组种子点间具有稳定的排列方向顺序,若存在其他方向种子点则必为其他组种子点,判断当前种子点模板与其他组种子点模板方差(圆形模板内部稳定性分析),方差最小的点设为最优道路种子点,以此方式将最优的道路种子点进行保留,将其他组的种子点进行剔除。若发现超过同组道路种子点集中超过1/2的点被舍弃,则该组所有种子点全部删除。因此论文采用上述方法对种子点进行优化,如图11(b)所示论文已将道路附近及边缘附近同组种子点基本剔除。
|
| 图 11 Quickbird影像种子点优化结果 Figure 11 Seed point optimization results of Quickbird image |
(2) 道路种子点跟踪。道路种子点优化后,可利用3.4节中模板匹配跟踪方法向两侧方向追踪,获取道路种子点。在跟踪过程中,当模板匹配无法进行时,可判断待匹配种子点邻域内是否存在机动车,如存在则说明当前目标区域符合跟踪条件,以此确定种子点继续跟踪。通常种子点在跟踪过程中需要设定步长,例如论文通常设定初始步长为10像素。但受到两侧相似辐射特征地物的影响,在规定步长范围内,模板跟踪易出现难以获取满足匹配条件的种子点问题。当临近地物较大时,采用设定步长跟踪过程必然发生难以选取准确种子点。因此论文根据已确定的道路种子点位置,在其道路跟踪方向上逐渐增加追踪步长,进行道路追踪寻找种子点,经过多次实验中发现,设定跨越障碍物的最大步长为50像素。
(3) 道路线拟合与优化。道路种子点跟踪结束后,可采用线段、二次曲线、分段线段进行拟合,这取决于种子点到拟合线之间的最大距离。但当同一路面存在多条角度近似的拟合线时,这种情况通常是由于同一道路不同路段均存在自动提取的道路种子点,跟踪后导致同一路面存在多组种子点,这时可依据道路线长度优先的方式进行多余道路线剔除。
4、实验结果与分析 (4.1) 实验评价指标在实验结果对比分析中,为了防止由作者编写代码造成其他道路提取方法质量下降,例如作者利用圆形模板、矩形模板、T型模板、Snake模型和SVM模型编写的道路提取效果非常不理想,进而导致方法对比的不客观问题,根据论文对道路分类结果,确定提取道路中心线的成熟软件Erdas中IMAGINE Easytracing模块和提取道路面积的ECogntion中的面向对象模块进行人工对比实验。在质量评价中,论文首先选取Wiedemann和Ebner(2000)提出的质量评价方法对实验结果进行评价,分别选取完全率、正确率以及提取质量3种指标对道路提取结果进行评价,3个指标的计算公式如下:
完整率(Completeness)是提取的道路总长度与影像中实际道路总长度的比值:
| ${\rm{Completeness}} = \frac{{Le}}{{Lm}}$ | (12) |
正确率(Correctness)是正确提取的道路长度与提取总长度比值:
| ${\rm{Correctness}} = \frac{{Lo}}{{Le}}$ | (13) |
提取质量(Quality)用正确提取的道路长度与影像中实际的道路总长度的比值:
| ${\rm{Quality}} = \frac{{Lo}}{{Lm}}$ | (14) |
式中,Lm表示影像中道路的实际长度,Le表示算法提取的道路总长度,Lo表示算法正确提取的道路长度。
在上述3个指标的基础上,论文进一步引入了自动化程度及运行时间作为检验指标,选取自动化程度作为评价标准是由于论文方法加入了先验的道路宽度及结构知识,而Erdas软件需要人工选取种子点,ECogntion软件则需要进行人工优选分割参数与分类阈值,3种方法均有人工参与,故自动化程度也是检验论文方法的一个指标。
(4.2) 实验结果与分析 4.2.1. 线段二次提取实验如图12所示为澳大利亚某地区的GeoEye-1光学卫星影像,空间分辨率为0.5 m,影像大小为1024像素×1024像素,覆盖区域为城区。由于线段检测结果数量过多(6741条线段),为了清晰展示遥感影像的线段提取效果,如图12(a)为线段提取结果局部放大图所示,其中蓝色线段为线段,红色点为影像红色框架内存在的线段端点。利用人眼可以观察到影像中长度较大的线段应为道路边缘,但在局部放大图线段检测结果可以清晰看到,受到遮挡、复杂背景、边缘锯齿化等因素的影响,同一道路边缘往往分裂为多条线段(由多个红色端点即可清晰识别),并且道路线段边缘附近存在多条近似的线状地物,这将进一步增加道路边缘提取的难度。
|
| 图 12 GeoEye-1影像线段二次提取效果 Figure 12 Line secondary extraction results for GeoEye-1 image |
在本实验中,论文方法拟提取长度最大的100条线段,其中包括二次提取线段和非二次提取线段。如图12(b)为二次提取线段结果,可以看到道路两侧原有断裂的线段二次提取后形成长度较大的线段。而二次提取后线段的端点未出现在红色框架内,即表明线段在当前框内并未出现断裂。通过对上述实验的分析,可以看到论文方法可提取的长度较大线段,可作为道路种子点的几何特征约束条件。
4.2.2. 机动车检测实验如图13所示为北京市WorldView-2影像机动车检测结果图,其中蓝色矩形框为检测机动车,影像空间分辨率为0.5 m,大小为1024像素×1024像素,覆盖区域内包括大量机动车信息。从机动车空间分布来看,道路、停车场均有出现,尤以停车场密度最大。论文对道路直行处、转弯处以及停车场局部放大后可以看到,道路直行处、转弯处检测精度较高,浅色机动车大部分可以提取出来。但在停车场,可以看到机动车检测率非常低。分析不同区域机动车检测的精度变化原因可以发现,路面机动车检测精度高的原因在于机动车间存在较大距离,并且相互间没有遮挡现象。而在停车场处由于车间距较小,无法构成有效的辐射特征,因而检测精度很低。
|
| 图 13 WorldView-2影像机动车检测 Figure 13 Motor vehicles detection of Worldview-2 image |
同时定量化分析浅色机动车检测结果,对WorldView-2影像进行浅色机动车检测共耗时3.1 s。通过人工统计,共检测出306辆机动车(包括浅色车与深色车),漏检率为65.3%,误检率为2.6%。分析漏检率低产生的原因,主要原因是深色机动车没有检测,同时停车场中机动车呈现出粘连的状态,阴影与背景间的灰度对比关系无法满足机动车辐射要求,并且机动车在其邻域内亮度并不突出,因而在此区域内检测很低。同时对道路影像上的机动车进行检测统计,可以发现机动车漏检率为47.7%,误检率为1.3%,检测精度呈现出明显提高的趋势,这说明较为稀疏的道路环境下更有利于进行机动车的提取,而漏检问题主要发生在等待红绿灯的道路交叉口,该区域有较大范围机动车粘连现象的情况,因而导致机动车检测率下降。
4.2.3. 道路中心线提取结果本文设计了3幅不同类型真实复杂场景下的遥感影像进行试验:实验1是在图13基础上开展的,依据不同道路特征的约束顺序,开展的道路种子点提取与跟踪;实验2在大量遮挡、道路类型变化较小、路面灰度变化较大的普通城市中心区域;实验3在噪声较小的城郊区域。其中,针对实际影像中线段特征,论文选取经过二次提取后长度最大的100条线段,在质量评价过程中,Lm以人工实际勾画为准。在自动化程度对比中,论文方法是将道路宽度与结构特征信息作为人工参与度,而Erdas软件是依据输入种子点数量,在ECognition软件中,将最优形状因子、光谱因子(紧致度、密度)、尺度因子作为分割因子,面积、亮度、长宽比以及密度等特征作为分类依据,即需要人工进行8个参数阈值的设定。
(1) 实验1,道路宽度主要包括以下3种:南北向环路单向路面宽度为17 m,影像对应宽度为34像素;环路辅路宽度为5 m,像方宽度为10像素;东西向道路宽度为11 m,对应影像宽度为22像素。道路结构为沥青路面,对应影像灰度值应低于150,即需要输入4个参数。
为了清晰展示不同特征在论文方法中的作用,如图14(a)所示论文选取局部影像进行分析。首先,如图14(b)所示为利用几何特征约束获取候选道路种子点,其中黄色线为提取线段,可以看到部分道路边缘没有线段,这是由于在该路段检测线段长度未达到要求,红色点为利用平行线段以及单线段获取的候选道路中心点,可以看到候选道路种子点在影像中分布比较密集;其次,对已有的候选道路种子点进行辐射约束,如图14(c)所示,仅有一组平行线约束的候选道路种子点满足要求;再次,论文对不符合辐射特征的平行线进行拆分,并对拆分后的线段进行几何约束,以获取新的候选道路种子点,同时结合已有未满足辐射约束的单线段道路候选点,利用机动车结果进行上下文特征分析,可以看到如图14(d)所示候选道路种子点数量明显增加;接着,可以看到图14(d)左右侧均存在不同组距离临近的候选道路种子点集,对候选道路种子点进行拓扑特征分析,两侧均有一组候选道路种子点集被删除;最后如图14(f)对已确定的道路种子点进行后处理,可以看到道路种子点经过优化、跟踪两个步骤,中间非常接近的两组种子点集已被优化,同时能够较好地跟踪道路种子点。
|
| 图 14 WorldView-2影像提取道路中心线 Figure 14 Road centerline extracted for WorldView-2 image |
如图14(g)所示,对整幅影像的分析表明,利用不同特征分析在整幅影像中可确定365个种子点,经过种子点优化后,采用跟踪方法可获取408个种子点,可以看到论文方法提取的种子点基本覆盖大部分道路,虽然也存在种子点位于道路边缘处的问题,但种子点依然位于路面上。对种子点进行连接优化后,如图14(h)所示可以看到黄色道路中心线已经被清晰连接起来。对道路中心线的目视分析可以发现,左侧东西向道路存在双向误连接问题,因而导致论文方法提取道路质量(89.2%)和正确率(92.1%)下降。但从总体来看,论文方法提取道路种子完整度较高(96.8%),这说明面对几何噪声和光谱混淆问题严重的道路,论文方法是有效的。同时对比Erdas方法图结果,可以看到在最优的情况下选取22个种子点(红色点),由于人工参与程度较大,因而其精度高;同时对比ECognition方法,如图14(j)可以看到基本实现了道路的提取,但提取精度较差。
(2) 实验2。本实验对遮挡严重的辽宁省阜新市中心地带1500像素×1500像素的Quickbird影像进行道路中心线提取,其影像空间分辨率为0.61 m。道路包含南北向的主路与东西向的辅路,其中主路路面宽度为14 m,辅路宽度为11 m,分别对应道路影像为23像素和18像素,道路路面为沥青,人工需要输入3参数。从影像中可以看到,受到太阳高度角的制约,东西向道路路面受到建筑物、树木阴影遮挡问题非常严重,部分路段阴影覆盖整个路面,道路自动化提取难度极大。本文利用道路知识、二次提取线段及机动车检测结果,可在图15提取142个种子点。在此基础上,利用跟踪方法提取243个种子点。如图15(a)所示,从种子点的空间分布上可以明显看出,影像左上方和右下方道路分别受到建筑物阴影和行树遮挡影响,目标区域内灰度变化较大,单纯应用模板匹配跟踪方法难以提取种子点,因此利用线段约束提取道路种子点,并进行整体性匹配评价可解决部分道路的提取。而在阴影完全遮挡的右上侧道路上,由于长度较大的线段难以提取,并且整个区域纹理变化过于剧烈,因而种子点集整体匹配工作难以开展,同样也导致机动车无法检测,故种子点难以获取。从已获取的种子点分布来看,东西向部分阴影覆盖道路的种子点数量较少,在图15(a)右下角阴影覆盖幅度不大区域,在局部放大图中可以看到论文可较好的完成对道路种子点的跟踪。而在图15(a)上方阴影覆盖较大区域,在局部放大图中可以看到由于该区域存在较长线段,并且存在机动车,因而论文可较好的完成对大幅覆盖区域的跟踪。在图15(a)右上侧阴影覆盖区域,由于无法构成长度较长的线段,并且左侧道路上模板为阴影覆盖区域,因而与其难以匹配,故难以种子点检测以及跟踪。如表1所示可以看到道路提取质量较低,仅为83.9%,这说明遮挡依然是制约论文方法的关键因素。同时可以看到,右侧南北向道路跟踪点间存在最终跟踪种子点位于同一道路的问题,这说明论文方法在后续种子点模板范围内进行优化结果并不如意,利用匹配跟踪模板进行种子点优化的方法依然需要改善。对比图15(c)结果图,可以看到在Erdas方法最优的情况下选取19个种子点,可完全提取道路线;对比ECognition方法,由于道路上虽然存在阴影覆盖,但路面上灰度变化少于图15,故其精度略高于图15。
|
| 图 15 Quickbird影像提取道路中心线 Figure 15 Road centerline extracted for Quickbird image |
(3) 实验3。图16为辽宁省葫芦岛市某城镇,由于高分2号影像(大小为2361像素×2052像素)空间分辨率是0.8 m,机动车在影像中几何形状不太明显,故机动车数量检测较少。因此在本实验中,相对于机动车检测结果,论文方法提取道路种子点更依赖于模板跟踪模型。可确定道路宽度为10 m,道路影像宽度为13像素,道路为沥青路面,人工需输入2参数。论文提取112个种子点,经过种子点优化跟踪后获取最终种子点157个,对图16(a)局部放大后可以看到,受到道路两侧相似辐射特征地物的影响,因而种子点的步长均有加大。从图16(a)种子点分布来看,在每条道路上均有分布,但在道路粘连处(道路区域与非道路区域纹理异常接近),种子点存在交叉问题,这在图16(b)道路中心线结果可以清晰呈现。同时对比easy tracing方法图结果,可以看到在最优的情况下选取22个种子点,完全实现了道路线的提取;同时对比ECognition方法,可以看到由于道路影像辐射特征变化较小,因而可较好地实现道路的提取。
|
| 图 16 高分2号影像提取道路中心线 Figure 16 Road centerline extracted for GF-2 image |
如表1可以看到,在多种实际场景遥感影像中,论文方法均能够高精度的提取道路,以此可验证论文方法的可靠性。对比不同影像可以看到,高分2号(GF-2)影像由于覆盖区域场景并不复杂,因而道路提取结果完整度最高,98.9%的道路被提取。而Quickbird影像由于存在大量的遮挡问题,因而提取完整度最差,仅有88.5%。从而表明路面及其周围的复杂程度仍是制约道路提取效果的关键因素。同时对比成熟软件Erdas和ECognition,可以看到论文方法的优势在于运行效率较高,无需太多的先验知识,更适合解决复杂场景下的道路提取问题。
|
|
表 1 不同道路提取方法对比 Table 1 Comparison of different method for road extraction |
论文依据道路宽度与结构,建立针对不同道路特征的检测模型,通过多种特征的约束实现了多种不同场景下的遥感影像道路提取,其中主要工作包括:
(1) 针对道路几何特征建立改进线段二次提取模型,同时利用道路宽度确定候选道路种子点;
(2) 依据道路辐射特征构建候选种子点整体匹配模型,同时结合道路结构信息完成对候选种子点的整体匹配评价;
(3) 提出一种简单的浅色机动车检测方法,以作为道路上下文特征。该特征不仅可用于当候选种子点集无法满足辐射特征情况下辅助判断,同时可用于道路的拓扑跟踪分析;
(4) 针对道路拓扑特征,建立基于候选种子点的匹配跟踪模型,同时也引入浅色机动车检测结果作为拓扑特征分析依据;
(5) 后处理。对道路种子点集进行优化处理,同时依此开展种子点跟踪及道路线拟合输出。
通过实验分析表明,论文方法由于采用了多种特征的约束,较好地解决了复杂场景下的道路提取问题。但论文方法也存在一定的精度问题,同时在部分完全遮挡的道路上难以进行道路种子点提取,并且如何在更大图幅影像以及连续弯道路上实现论文方法的结果,这一系列问题将是论文今后研究的重点。
| [1] | Akinlar C and Topal C. EDLines: a real-time line segment detector with a false detection control[J]. Pattern Recognition Letters, 2011, 32 (13) : 1633 –1642. DOI: 10.1016/j.patrec.2011.06.001 |
| [2] | Alshehhi R and Marpu P R. Hierarchical graph-based segmentation for extracting road networks from high-resolution satellite images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 126 : 245 –260. DOI: 10.1016/j.isprsjprs.2017.02.008 |
| [3] | 曹帆之, 徐杨斌, 朱宝山, 李润生. 利用动态规划半自动提取高分辨率遥感影像道路中心线[J]. 测绘科学技术学报, 2015, 32 (6) : 615 –618, 625. Cao F Z, Xu Y B, Zhu B S and Li R S. Semi-automatic road centerline extraction from high-resolution remote sensing by image utilizing dynamic programming[J]. Journal of Geomatics Science and Technology, 2015, 32 (6) : 615 –618, 625. DOI: 10.3969/j.issn.1673-6338.2015.06.014 |
| [4] | 曹帆之, 朱述龙, 朱宝山, 李润生, 孟伟灿. 均值漂移与卡尔曼滤波相结合的遥感影像道路中心线追踪算法[J]. 测绘学报, 2016, 45 (2) : 205 –212. Cao F Z, Zhu S L, Zhu B S, Li R S and Meng W C. Tracking road centerlines from remotely sensed imagery using mean shift and Kalman filtering[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45 (2) : 205 –212. DOI: 10.11947/j.AGCS.2016.20140610 |
| [5] | 曹天扬, 申莉. 应用光照模型的交通车辆识别定位的高分辨率遥感方法[J]. 测绘学报, 2015, 44 (1) : 39 –45. Cao T Y and Shen L. High resolution RS image processing method for vehicles recognition and location according to the illumination model[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44 (1) : 39 –45. DOI: 10.11947/j.AGCS.2015.20130358 |
| [6] | 戴激光, 张力, 李晋威, 方鑫鑫. 一种链码跟踪与相位验证相结合的直线提取方法[J]. 测绘学报, 2017a, 46 (2) : 218 –227. Dai J G, Zhang L, Li J W and Fang X X. A line extraction method for chain code tracking with phase verification[J]. Acta Geodaetica et Cartographica Sinica, 2017a, 46 (2) : 218 –227. DOI: 10.11947/j.AGCS.2017.20160303 |
| [7] | 戴激光, 张力, 朱恩泽, 廖健驰, 方鑫鑫, 李晋威. 遥感影像主特征线检测[J]. 遥感学报, 2017b, 21 (2) : 228 –238. Dai J G, Zhang L, Zhu E Z, Liao J C, Fang X X and Li J W. Principal line detection in remote sensing image[J]. Journal of Remote Sensing, 2017b, 21 (2) : 228 –238. DOI: 10.11834/JRS.20176234 |
| [8] | Fu G, Zhao H R, Li C and Shi L M. Road detection from optical remote sensing imagery using circular projection matching and tracking strategy[J]. Journal of the Indian Society of Remote Sensing, 2013, 41 (4) : 819 –831. DOI: 10.1007/s12524-013-0295-y |
| [9] | 傅罡, 赵红蕊, 李聪, 石丽梅. 曲折道路遥感影像圆投影匹配改进追踪法[J]. 测绘学报, 2014, 43 (7) : 724 –730. Fu G, Zhao H R, Li C and Shi L M. A method by improved circular projection matching of tracking twisty road from remote sensing imagery[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43 (7) : 724 –730. DOI: 10.13485/j.cnki.11-2089.2014.0097 |
| [10] | Kumar M, Singh R K, Raju P L N and Krishnamurthy Y V N. Road network extraction from high resolution multispectral satellite imagery based on object oriented techniques[J]. ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, II-8 : 107 –110. DOI: 10.5194/isprsannals-II-8-107-2014 |
| [11] | Leitloff J, Hinz S and Stilla U. Vehicle detection in very high resolution satellite images of city areas[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48 (7) : 2795 –2806. DOI: 10.1109/TGRS.2010.2043109 |
| [12] | 李华胜, 黄平平, 苏莹. 一种提取遥感影像中道路信息的方法[J]. 国土资源遥感, 2015, 27 (2) : 56 –62. Li H S, Huang P P and Su Y. A method for road extraction from remote sensing imagery[J]. Remote Sensing for Land and Resources, 2015, 27 (2) : 56 –62. DOI: 10.6046/gtzyyg.2015.02.09 |
| [13] | Nakaguro Y, Makhanov S S and Dailey M N. Numerical experiments with cooperating multiple quadratic snakes for road extraction[J]. International Journal of Geographical Information Science, 2011, 25 (5) : 765 –783. DOI: 10.1080/13658816.2010.498377 |
| [14] | Pudaruth S. 2016. Extraction of roads from remotely sensed images using a multi-angled template matching technique//Proceedings of the 3rd International Symposium on Computer Vision and the Internet. Jaipur, India: ACM: 21–29 [DOI: 10.1145/2983402.2983412] |
| [15] | Rajeswari M, Gurumurthy K S, Omkar S N, Senthilnath J and Reddy L P. 2011. Automatic road extraction using high resolution satellite images based on level set and mean shift methods//Proceedings of the 3rd International Conference on Electronics Computer Technology (ICECT). Kanyakumari, India: IEEE: 424–428 [DOI: 10.1109/ICECTECH.2011.5941731] |
| [16] | Raziq A, Xu A G and Li Y. Automatic extraction of urban road centerlines from high-resolution satellite imagery using automatic thresholding and morphological operation method[J]. Journal of Geographic Information System, 2016, 8 (4) : 517 –525. DOI: 10.4236/jgis.2016.84043 |
| [17] | Sarkar S. 2003. An introduction to perceptual organization//Proceedings of 2003 International Conference on Integration of Knowledge Intensive Multi-Agent Systems. Cambridge: IEEE: 330–335 [DOI: 10.1109/KIMAS.2003.1245066] |
| [18] | Sengupta S K, Lopez A S, Brase J M and Paglieroni D W. 2004. Phase-based road detection in multi-source images//Proceedings of 2004 IEEE International Geoscience and Remote Sensing Symposium. Anchorage, AK: IEEE, 6: 3833–3836 [DOI: 10.1109/IGARSS.2004.1369959] |
| [19] | Steger C, Glock C, Eckstein W, Mayer H and Radig B. 1995. Model-based road extraction from images//Gruen A, Kuebler O and Agouris P. Automatic Extraction of Man-Made Objects from Aerial and Space Images. Basel: Birkhäuser: 275–284 [DOI: 10.1007/978-3-0348-9242-1_26] |
| [20] | 谭仁龙, 万幼川, 袁芳, 李刚. 基于圆形模板的高分辨率遥感影像道路半自动提取[J]. 测绘通报, 2014 (10) : 63 –66. Tan R L, Wan Y C, Yuan F and Li G. Semi-automatic road extraction of high resolution remote sensing images based on circular template[J]. Bulletin of Surveying and Mapping, 2014 (10) : 63 –66. DOI: 10.13474/j.cnki.11-2246.2014.330 |
| [21] | von Gioi R G, Jakubowicz J, Morel J M and Randall G. LSD: a fast line segment detector with a false detection control[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32 (4) : 722 –732. DOI: 10.1109/TPAMI.2008.300 |
| [22] | Vosselman G and de Knecht J. 1995. Road tracing by profile matching and kaiman filtering//Gruen A, Kuebler O, Agouris P. Automatic Extraction of Man-made Objects from Aerial and Space Images. Basel: Birkhäuser: 265–274 |
| [23] | 王峰萍, 王卫星, 薛柏玉, 曹霆, 高婷. GVF Snake与显著特征相结合的高分辨率遥感图像道路提取[J]. 测绘学报, 2017, 46 (12) : 1978 –1985. Wang F P, Wang W X, Xue B Y, Cao T and Gao T. Road extraction from high-spatial-resolution remote sensing image by combining GVF Snake with salient features[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46 (12) : 1978 –1985. DOI: 10.11947/j.AGCS.2017.20170393 |
| [24] | 王理政, 林祥国, 梁勇. 高分辨率遥感影像主干道路提取的感知编组方法[J]. 测绘科学, 2017, 42 (7) : 127 –131. Wang L Z, Lin X G and Liang Y. Automatic extraction of main roads from high resolution remote sensing imagery based on perceptual organization[J]. Science of Surveying and Mapping, 2017, 42 (7) : 127 –131. DOI: 10.16251/j.cnki.1009-2307.2017.07.021 |
| [25] | Wiedemann C, Ebner H. Automatic completion and evaluation of road networks//International Archives of Photogrammetry and Remote Sensing[J]. Amsterdam: International Archives of Photogrammetry and Remote Sensing, 2000, 33 : 979 –986. |
| [26] | 吴学文, 徐涵秋. 一种基于水平集方法提取高分辨率遥感影像中主要道路信息的算法[J]. 宇航学报, 2010, 31 (5) : 1495 –1502. Wu X W and Xu H Q. Level set method major roads information extract from high-resolution remote-sensing imagery[J]. Journal of Astronautics, 2010, 31 (5) : 1495 –1502. DOI: 10.3873/j.issn.1000-1328.2010.05.038 |
| [27] | Zhang J X, Lin X G, Liu Z J and Shen J. Semi-automatic road tracking by template matching and distance transformation in urban areas[J]. International Journal of Remote Sensing, 2011, 32 (23) : 8331 –8347. DOI: 10.1080/01431161.2010.540587 |

