测绘地理信息   2022, Vol. 47 Issue (2): 77-81
0
一种基于神经网络快速检测震后坍塌房屋的方法[PDF全文]
戚瀚文1,2, 花向红1,2, 吴冲1,2,3, 李琪琪1,3    
1. 武汉大学测绘学院,湖北 武汉,430079;
2. 武汉大学灾害监测与防治研究中心,湖北 武汉,430079;
3. 武汉融云科技有限责任公司,湖北 武汉,430079
摘要: 在地质灾害发生后快速进行房屋坍塌检测,可以有效地进行灾害评估,并实施抢险救援工作。传统的房屋坍塌检测方法难以适应现代海量无人机影像处理工作,既需要大量的人力、时间成本,又不能保证检测的精度,无法满足应急测绘的要求。本文提出了一种基于卷积神经网络(convolutional neural network,CNN)快速检测震后坍塌房屋的方法,介绍了该方法原理和流程。以2008年汶川地震和2010年玉树地震无人机影像数据为例,进行了实验验证,结果表明:该方法应用于房屋坍塌检测,训练速度、准确率等都优于传统方法以及传统神经网络。
关键词: 卷积神经网络    region-CNN(RCNN)    区域提案网络    震后坍塌房屋    快速检测    
A Earthquake-Induced Collapsed Building Detection Method Based on Neural Network
QI Hanwen1,2, HUA Xianghong1,2, WU Chong1,2,3, LI Qiqi1,3    
1. School of Surveying and Mapping, Wuhan University, Wuhan 430079, China;
2. Disaster Monitoring and Prevention Research Center of Wuhan University, Wuhan 430079, China;
3. Wuhan Rongyun Technology Co., Ltd., Wuhan 430079, China
Abstract: It is necessary to detect the collapsed houses after the earthquake so that we can assess the disaster efficiently and it can also direct the rescue work. The traditional col lapsed houses detection method can not adapt to the contempo rary massive drone image processing, which consumes lots of labor power and time and can not gurantee the detection accu racy. This article proposes an earthquake induced collapsed building detection based on neural network and introduces its theory and process. Experiments based on 2008 Wenchuan earthquake and 2010 Yushu earthquake drone images in dicate that this method RCNN has a better performance on collapsed houses detection than traditional methods in speed and accuracy.
Key words: convolutional neural networks    region-CNN (RCNN)    region proposal network(RPN)    earthquake-in-duced collapsed building    quick detection    

近年来,我国相继发生了汶川地震和玉树地震等特大地质灾害,这些特大地质灾害给国家和人民带来了巨大的损失。遥感作为及时获取灾害信息的有效手段,在抢险救灾中发挥了极大的作用[1]。利用遥感卫星影像进行坍塌房屋检测,可以有效评估地震灾害,并实施抢险救援工作[2]。传统的房屋坍塌检测方法主要依赖于人工设计的特征表达[3],难以适应海量高分辨率影像数据[4],极大降低了检测的准确率,既耽误了时间又无法得出高质量的检测结果,因而无法满足“应急测绘”的要求。因此,寻找新的震害房屋坍塌检测算法成为当务之急。

传统检测方法利用光学遥感影像、SAR、Li⁃ DAR数据可以对震害坍塌房屋进行有效检测[5]。主要有以下两种:一是仅基于事后数据(post⁃event da⁃ ta)的检测方法;一是基于事前数据(pre⁃event data)和事后数据的检测方法[6]。基于事前和事后数据的检测方法具有较高的检测精度,但种方法也存在不足之处,许多城市,尤其发展中国家的城市无法获得事前参考数据,或者不能获取到相同区域的事后数据[7]。即使能够获得相同区域的事前和事后数据,检测精度也会因为颜色和光谱的差异而下降[8]。基于事后数据的检测方法指在利用震后的灾区影像,借助纹理、内容、边界、阴影、光谱信息进行房屋坍塌检测,超高分辨率影像的出现使得这种方法变得可行[9],但这种方法需要巨大的人力成本和时间成本,需要实地踏勘才能最终确认检测结果[10],不利于震后的快速检测和评估,并且仅基于事后数据的检测方法并不能取得很高的检测精度[11]

卷积神经网络(convolutional neural network,CNN)已经成为影像地物提取的主流方法,并且广泛应用于遥感图像的分类、识别、检索和提取,在语义上基本全面碾压了传统的方法。文献[12]利用CNN实现了高分卫星影像的房屋信息提取。目前将深度学习应用于坍塌房屋提取虽然已经初步取得成效[13],但仍然存在着速度慢、精度差、鲁棒性弱等问题。本文通过制作震后坍塌房屋数据集,并经过数据增强之后,训练得到了一个适用于快速检测震害坍塌房屋的模型,在检测速率上相比较传统方法取得了较大提高。

1 方法原理与流程

本文方法利用fast region-CNN(Fast RCNN)算法实现坍塌房屋检测,其基本原理是通过将经过处理(如数据增强等)后的影像数据直接输入共享卷积层获取特征图,然后将特征图输入区域提案网络(re⁃ gional proposal network,RPN)得到候选区域以及候选区域的特征信息,接着将这些特征信息与之前的特征图一同进行兴趣区池化获取固定维度的特征信息[14, 15],最后利用分类器来判别是否属于坍塌房屋,对于属于坍塌房屋的候选框,用回归器进一步调整其位置,其流程如图 1所示。图 1中,输入训练集则表示模型训练过程,输入原始影像则表示坍塌房屋检测过程。

图 1 算法流程 Fig.1 Flow Chart of Algorithm

1.1 共享卷积层生成特征图

将原始影像输入到一个由13个卷积层、13个ReLU层和4个池化层组成的网络中,生成影像的特征图,对于一个尺寸为H×W的原始影像,通过共享卷积层可以得到维度为H/16 × W/16的特征图,本算法采用了VGG16模型,共得到512个特征图。

1.2 候选区域的确定和特征信息提取

将生成的特征图输入区域提案网络中,首先经过一次3×3的卷积计算以进一步集中特征信息[15],然后分别进行两次全卷积,其中第一次为对各区域可能存在坍塌房屋进行评分,第二次为确定可能存在坍塌房屋的区域。经过两次全卷积计算,每个候选区域得到两组信息,一组是长度为18的特征信息,另一组是长度为36的候选框调整信息。其中特征信息主要用于后续目标识别,候选框调整信息主要用于候选区域框的修正。RPN的结构如图 2所示。

图 2 RPN结构示意图 Fig.2 Structure of RPN

1.3 RoI Pooling生成固定维度特征图

提取到特征信息和坐标信息后还需要进行识别分类和定位,将这些信息和之前共享卷积层生成的特征图一同提交到RoI Pooling层来获取固定维度的特征图[16, 17],RoI Pooling的实现主要分为3步完成:首先将区域提案分成H × W个网格,然后对每一个网格进行最大值池化,最终将全部输出值进行组合,输出一个固定大小为H × W的特征图,这样,对于任意维度的输入图片都可以得到一个固定大小的特征图。

1.4 区域目标识别分类和定位

将经过ROI Pooling得到的特征图输入到一个全连接层中,对全连接层的输出值进行Softmax分类,Softmax值的计算公式为:

$ S_{i}=\frac{e^{i}}{\sum\limits_{j} e^{j}} $ (1)

对于Softmax值大于0. 8的则确定为坍塌房屋,并且用回归器进一步调整预测框的位置,使得标注尽量准确。

2 实验分析

为了考察本文提出的方法可行性,采用实验方法加以分析。通过编程,实现本文的算法,实验环境为Linux 16. 04平台,采用GTX 1080Ti GPU加速,python 3. 6,TensorFlow 1. 12. 0。所采用的实验数据为2008年汶川地震和2010年玉树地震的部分灾后影像数据,该影像数据为无人机拍摄,飞行高度在300~500 m之间,地面分辨率为10~15 cm,格式均为RGB(red-green-blue)影像。实验主要分为4个部分:数据集制作、训练、测试、预测。其中训练是为了得到一组可以用于检测目标的模型,测试是将得到的模型应用在测试集上来检验模型的识别精度,最后预测就是将模型应用在原始的图片上来测试模型真实的识别精度。

2.1 数据集制作

在对影像数据进行处理,去除了模糊、噪声较多、曝光过多的图像后,从600多张照片中挑选了240张作为数据集。图 3给出了部分所采集到的样本照片。

图 3 坍塌房屋无人机影像 Fig.3 UVA Image of Collapsed Building

图 3中可以看出,不论是汶川还是玉树的坍塌房屋样本,坍塌的房屋已经失去了坍塌前矩形独立的特征,变成了分带形分布的碎屑状,因此在本文中坍塌房屋检测指检测坍塌房屋的区域,并非检测单独一栋坍塌的房屋。

为了解决深度学习中过拟合问题,对影像数据进行数据增强处理。数据增强有很多种方式,本文对图像进行旋转、剪切、平移、拉伸的几何变换以及通过调节RGB通道、对比度和亮度、增加噪声对图像像素进行处理,扩大了训练集的规模。

2.2 模型训练

为了得到一组精度高、鲁棒性强的模型,首先将学习率调整为0. 001,然后把训练次数设置为30 000次,并用Tensorboad记录下训练中参数的变化。训练过程中loss的下降曲线如图 4所示。

图 4 loss下降曲线 Fig.4 loss Decline Curve

图 4可视化结果可以看出,模型经过训练,loss值逐步下降,并逐渐收敛到0,这说明神经网络已经学习到了坍塌房屋的特征。

2.3 模型测试

对模型进行精度评定,精度评定的指标为AP值,其计算公式为:

$ \mathrm{AP}=\frac{\text { 检测出的倒塌房屋数 }}{\text { 影像中所有的倒塌房屋数 }} $ (2)

数据增强前后训练30 000次的模型测试精度如表 1所示。

表 1 数据增强前后模型测试精度 Tab.1 Model Accuracy Before and After Data Augmentation

数据增强后训练集中数据达到600幅,测试精度达到了0. 272 3,相比较数据增强之前,提高了35%,这说明经过数据增强,模型的检测精度的确得到了一定的提高。

2.4 震后坍塌房屋检测

将得到的模型用于震后坍塌房屋的检测,图 5~ 图 8给出了部分不同区域的检测结果。

图 5 区域1检测结果 Fig.5 Detection Result of Region 1

图 6 区域2检测结果 Fig.6 Detection Result of Region 4

图 7 检测效果细节 Fig.7 Detail of Detection Result

图 5图 6可以看出:数据增强前的模型只能识别图中很少一部分的坍塌房屋,存在许多漏检的情况,甚至还会有错检的情况发生,其检测出来的坍塌房屋得分普遍比较偏低。数据增强后的模型不论是在检测数量还是平均得分都比数据增强前的模型要好很多,基本上可以将图中的主要坍塌区域全部提取出来,这说明数据增强确实起到了提高模型精度的作用。

从检测的细节效果图 7和图 8中可以看出,汶川数据样本中,大片连成带状的粉碎状坍塌房屋区域都被正确地检测出来,且置信度得分都很高。在玉树数据样本中,坍塌的房屋也都被正确地检测出来,并且没有错检周围并未倒塌的房屋,体现出本文算法具有很好的鲁棒性。

2.5 本文算法与其他方法对比分析

将相同的数据集用不同算法进行坍塌房屋检测,训练及预测速率结果如表 2所示。

表 2 不同方法对比 Tab.2 Comparison of Different Methods

表 2可以看出,在训练效率上,本文算法相比较Fast RCNN算法提高了将近1. 5倍,相比较RCNN算法,训练效率得到了显著提升。在检测速率上,本文算法仅使用0. 2 s就完成了单幅影像的坍塌房屋检测,相比较其他基于人工神经网络的方法效率提升至少在10倍以上,更是完全超越了需要30 min的人工方法。

3 结束语

本文旨在解决地震发生后无法及时获取坍塌房屋分布的问题,借助人工神经网络的强大计算力,得到了一组可以快速较准确识别震害坍塌房屋的模型,这一模型相比较传统方法检测速率提升至少在10倍以上,但在精度上还有提升空间。未来通过不断积累数据集,优化模型参数,必将可以得到更加合适的模型,将会在快速检测坍塌房屋领域发挥举足轻重的作用。

参考文献
[1]
李德仁. 论空天地一体化对地观测网络[J]. 地球信息科学学报, 2012(4): 3-9.
[2]
Amit S N K B, Shiraishi S, Inoshita T, et al. Analysis of Satellite Images for Disaster Detection[C]. Geosci-ence & Remote Sensing Symposium. IEEE, Beijing, China, 2016
[3]
曾渝. 低空遥感影像快速处理及绵竹地区震后震害房屋信息提取[J]. 资源与人居环境, 2012(4): 48-50. DOI:10.3969/j.issn.1672-822X.2012.04.028
[4]
龚健雅. 人工智能时代测绘遥感技术的发展机遇与挑战[J]. 武汉大学学报·信息科学版, 2018, 43(12): 35-43.
[5]
眭海刚, 刘超贤, 黄立洪, 等. 遥感技术在震后建筑物损毁检测中的应用[J]. 武汉大学学报·信息科学版, 2019, 44(7): 1 008-1 019.
[6]
Dong L, Shan J. A Comprehensive Review of Earth-quake-Induced Building Damage Detection with Re-mote Sensing Techniques[J]. ISPRS Journal of Photo-grammetry and Remote Sensing, 2013, 84: 85-99. DOI:10.1016/j.isprsjprs.2013.06.011
[7]
Tong X, Hong Z, Liu S, et al. Building-Damage De-tection Using Pre-and Post-Seismic High-Resolution Satellite Stereo Imagery: A Case Study of the May 2008 Wenchuan Earthquake[J]. ISPRS Journal of Pho-togrammetry and Remote Sensing, 2012, 68(none): 13-27.
[8]
SamadzadeganF, RastiveisiH. Automatic Detection and Classification of Damaged Buildings, Using High Reso-lution Satellite Imagery and Vector Data[C]. ISPRS, Beijing, China, 2008
[9]
Liua Y, Wua L. Geological Disaster Recognition on Optical Remote Sensing Images Using Deep Learning[J]. Procedia Computer Science, 2016, 91: 566-575. DOI:10.1016/j.procs.2016.07.144
[10]
Janalipour M, Mohammadzadeh A. Building Damage Detection Using Object-Based Image Analysis and AN-FIS From High-Resolution Image(Case Study: BAM Earthquake, Iran)[J]. IEEE Journal of Selected Top-ics in Applied Earth Observations and Remote Sensing, 2016, 9(5): 1 937-1 945. DOI:10.1109/JSTARS.2015.2458582
[11]
Vakalopoulou M, Karantzalos K, Komodakis N, et al. Building Detection in very High Resolution Multispec-tral Data with Deep Learning Features[C]. 2015 IEEE International Geoscience and Remote Sensing Sympo-sium, IEEE, Milan, Italy, 2015
[12]
Ren S, He K, Girshick R, et al. Fast RCNN: To-wards Real-Time Object Detection with Region Pro-posal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 39(6): 1 137-1 149.
[13]
Liu P, Zhang H, Eom K B. Active Deep Learning for Classification of Hyperspectral Images[J]. IEEE Jour-nal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(2): 712-724. DOI:10.1109/JSTARS.2016.2598859
[14]
Girshick R, Donahue J, Darrell T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]. CVPR, Columbus, Ohio, 2014
[15]
岳春方, 宋金元. RBF神经网络组合模型在GPS高程拟合中的应用[J]. 测绘地理信息, 2020, 45(1): 20-22.
[16]
Girshick R. Fast RCNN[C]. International Conference on Computer Vision(ICCV), IEEE, Santiago, Chile, 2015
[17]
陈诗佳, 何贞铭, 马海兵, 等. 基于神经网络的山区土地利用信息提取研究[J]. 测绘地理信息, 2018, 43(3): 99-102.