2022, Vol. 31
PDF
2. 中国地质大学 计算机学院, 湖北 武汉 430074
2. School of Computer Science, China University of Geosciences, Wuhan 430074, China
随着遥感科技的发展，遥感影像光谱、空间、时间分辨率不断提高，应用领域和需求逐步延伸，对高效率、高精度提取影像信息的要求显得越来越迫切[1]. 但是受限于遥感数据容量大、难识别、非平稳等特点[2]，加之地表复杂的地质条件，传统的人机交互方法花费时间长、解译精度差的问题开始凸显，因此，遥感大数据分析处理方法应运而生[3-4]. 目前这种分析方法主要有两类：一类是使用关系型数据库的联机分析统计技术方法；另一类是基于机器学习的智能化分析法. 其中的深度学习方法在数据的提取和分析方面具有明显的优越性，是目前遥感智能化应用的研究热点[5].
深度学习是一种利用多个隐含层的神经网络来解决特征表达的学习方法，与监督学习、无监督学习、半监督学习、集成学习等机器学习方法相比，在智能提取遥感影像信息方面，精确度和智能化程度更高[6-10].
由于地表岩体地质成因背景复杂，物理化学性质具有各向异性和不连续性，对遥感智能化精确识别提出了更高要求. 本研究利用深度学习方法在试验区开展岩体智能解译模型工作，结果显示，该方法效果良好，能够有效满足智能、快速、高精度解译需求.
1 研究区与多源数据 1.1 研究区概况本研究依托遥感地质调查数据，重点选取苇河镇、亚布力镇和绥阳镇3个1 ∶ 50 000标准图幅（图 1a、b）为试验区，分别位于黑龙江中东部地区，跨越松嫩地块和佳木斯－兴凯地块，总面积1 092 km2. 图幅内岩性主要发育花岗岩、花岗闪长岩、流纹岩、安山岩、玄武岩、片岩，具有较好的代表性.
|
图 1 研究区地理位置示意图 Fig.1 Geographical sketch map of the study area 1—国界（national boundary）；2—主要道路（main road）；3—水系（river）；4—水域（water area）；5—试验区（test area） |
试验区选取资源三号立体测绘卫星影像为数据源，采用的数据清单见表 1，主要包含3景后视、前视、多光谱和正视影像，数据能够完全覆盖研究区. 所有数据均没有云、雪覆盖，呈像时间在10月、11月和3月，该时段植被裸露程度较高，能够提升遥感数据信息提取精度.
|
表 1 试验区使用的资源3号数据 Table 1 Data from ZY-3 satellite images used in test areas |
采用资源三号前后视立体像对影像提取数字高程模型（DEM）数据，再进行伪洼地填充等后处理，得到精度为5 m的成果数据. 基于DEM数据和有理多项式系数，对资源三号全色和多光谱影像进行正射校正. 接着以全色影像为基准，采用二次多项式对多光谱影像进行几何纠正. 其中，纠正误差控制在0.5个像元之内，重采样选用立方卷积方法. 最后采用Gram-Schmidt光谱锐化（GS）方法融合上述处理后的全色和多光谱影像，从而得到2.1 m的融合多光谱影像.
1.3 岩体数据集构建利用项目影像数据，考虑到岩体在遥感影像上连续性的空间展布特征，按500×500像元制作了安山岩（98幅）、花岗岩（265幅）、石英闪长岩（87幅）、中性火山岩（53幅）4类岩性场景数据集，共503幅，作为参考数据集（图 2）.
|
图 2 典型遥感岩体场景 Fig.2 Typical rock scenes by remote sensing |
根据试验区岩体调查和解译数据，采用资源三号影像数据，分别构建了真彩色、假彩色和DEM场景数据，尺寸为500×500像元和210×210像元. 根据16 bit的多光谱图像和DEM图像，得到8 bit的图像及其裁剪后的真彩色、假彩色和DEM图像（表 2），包含有真实地理坐标和无真实地理坐标两个版本.
|
|
表 2 试验区场景数据集 Table 2 Scene datasets of test areas |
实验环境的构建及主要实现功能分为以下步骤：搭建软件运行平台的系统环境Ubuntu 16.04；遵循系统环境稳定性的原则，分别配置和安装对应版本的NVIDIA Cuda Version 10.0、cu DNN Version 10.0、Open CV Version 3.4.1；安装Anaconda3、Py Charm等Python语言编译环境，并配置Numpy等语言扩展程序库；创建数据集；编译代码并按照一定的窗口大小对数据影像进行随机裁剪；网络训练及数据集扩展，模型验证、测试、结果预测及精度评价.
将数据集按8 ∶ 2划分为训练和测试集. 具体的技术路线如图 3所示. 首先分别提取人工设计特征、中层视觉特征和深度特征；然后输入SVM（支持向量机）、ANN（人工神经网络）和Softmax分类器，从而得到混淆矩阵；接着开展分类精度评价. 人工设计特征包括GLCM（灰度共生矩阵）、HOG（方向梯度直方图）和CH（层次聚类）；中层视觉特征包括BoVW（视觉词袋模型）、超级位置模型SPM（level＝1）和SPM（level＝2）；深度特征包括超分辨率测试序列（VGG）、Xception和ResNet网络提取的特征. SVM算法使用默认参数，未调参；ANN算法包含2个隐含层和1个输出层，隐含层神经元为300，输出层神经元为4，Dropout设为0.2，具体如图 4所示. 人工设计特征和中层视觉特征均输入了SVM和ANN算法，深度特征输入了Softmax算法，从而得到5组分类结果. OA（总体精度）、Kappa和F-score评价各种模型的总体性能，采用统计检验探测不同模型之间是否具有统一意义上的显著性差异.
|
图 3 岩体遥感智能解译路线 Fig.3 Intelligent interpretation route of rock mass remote sensing images |
|
图 4 ANN算法结果图 Fig.4 ANN algorithm result diagram |
选取基于人工设计特征和中层视觉特征的最优模型，与基于深度特征的模型进行对比分析. 模型总体性能见表 3，不同模型总体性能的概率（PD）见表 4. 总体上，基于CH特征的模型明显优于深度学习模型；而深度学习模型略微优于基于中层视觉特征的模型. 相比于VGG模型，基于CH特征的模型OA、Kappa和F-score分别提高了25.00%、72.47%和79.71%；相比于Xception模型，分别提高了29.03%、67.39%和59.30%；相比于ResNet模型，分别提高了31.15%、62.93%和37.98%. 而相比于基于BoVW特征的模型，VGG、Xception和ResNet模型的OA分别提高了10.34%、6.90%和5.17%，Kappa分别提高了31.26%、35.25%和38.95%，F-score的PD分别为－1.95%、10.61%和27.71%.
|
|
表 3 不同模型的总体性能 Table 3 Overall performance of different models |
|
|
表 4 不同模型总体性能的PD值 Table 4 PD values of overall performance for different models |
统计结果（表 5）表明：1）VGG和ResNet模型显著优于基于BoVW特征的模型，即卡方和p值分别为9.60和0.02，12.96和0.00；2）Xception模型和基于BoVW特征的模型之间没有统计意义上显著性的差异，卡方和p值分别为0.52和0.92；3）基于CH特征的模型显著优于VGG和ResNet模型，卡方分别为17.87和12.95，p值均为0.00；4）基于CH特征的模型与Xception模型之间没有显著差异，卡方和p值分别为3.67和0.30.
|
|
表 5 不同模型统计检验结果 Table 5 Statistical test results of different models |
尽管基于CH特征的模型明显优于深度学习模型，但大多数情况下深度学习模型的特征提取能力更强. 可以基于分类实验的结果优选特征提取能力强的深度学习预训练模型，用于后续智能解译模型构建.
2.2 模型构建鉴于岩体类型具有地形异质性的特点，以及精细的土地覆盖分类数据对岩体分类和边界的指示意义，拟构建基于多源多模态数据和多流CNN（卷积神经网络）的岩体分类模型（图 5）. 首先使用多光谱和地形数据及精细的土地覆盖分类数据，提取像元邻域特征；然后构建多流CNN分支，分别提取深度特征并分类；最后采用自适应方法融合多流CNN分类结果，从而得到岩体分类结果. 各个分支采用深度卷积神经网络模型和参数迁移策略构建；精细的土地覆盖分类则采用单独的模型得到.
|
图 5 基于多源多模态数据和多流CNN的岩土体分类模型流程图 Fig.5 Flowchart of rock-soil mass classification model based on multisource, multimodal data and multistream CNN |
使用遥感地质解译数据和遥感影像构建本次实验的训练样本数据集，样本都是48×48的邻域影像数据；在模型的构建阶段，利用迁移学习，结合ImageNet数据和样本池中的数据对VGG16模型进行预训练和微调；最后使用训练好的模型对全图的像元进行预测，依据遥感地质解译数据对预测的标签进行评估. 算法流程如图 6. 将该模型直接迁移给图 5中第一个分支，另两个分支直接迁移VGG16的结构.
|
图 6 基于邻域数据的深度学习岩体分类算法流程图 Fig.6 Flowchart of deep learning rock mass classification algorithm based on neighborhood data |
使用遥感地质解译数据在每一类目标区域中随机选择样本点，将样本点作为图片的中心点，在原始影像数据上裁剪48×48的邻域数据，保存为jpg格式的图片，同一类别的数据保存在一个文件夹中. 由于部分点在图片的边界，裁剪过程中会发生越界，需要进行剔除，所以实际的数据相对于计划样本数有所减少.
本方法使用5个指标进行性能评估：混淆矩阵、总体分类精度（Overall Accuracy）、精确率（Precision）、召回率（Recall）、Kappa系数和F-score.
ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库，大约包含1500万张照片，2.2万个类别，每张图片都是经过严格的人工筛选和标记，利用VGG16通过学习ImageNet数据集提取图像特征的方法，获得预训练的模型.
真彩色训练集是进行独立训练的，使用图像增强等方法增加训练的数据，最终保存验证集精度最好的模型. 实验的硬件平台为RTX 2080 Ti GPU，实验框架为Python＝3.6，kares＝2.3.1和tensorflow＝1.13.1.
利用训练好的模型，对影像数据的每一个像元进行预测，得到一个和原始影像的宽和高相同的图片，作为全图的预测标签图. 在此过程中，需要把每一个像元作为48×48邻域的中心进行预测. 该邻域的标签，即为该像元的标签值. 为了使得最终输出标签的数目与原始影像的像元数目一致，需要对影像的上下左右各填充24个像元，填充值设置为0.
2.2.2 精细土地覆盖分类模型精细的土地覆盖分类数据采用基于波段组合和多模态数据的多流CNN融合模型获取（图 7）. 首先基于多光谱数据的真彩色和假彩色影像及DTM等多波段组合和多模态数据，提取像元邻域特征；然后构建多流CNN分支，分别提取深度特征；最后融合多流深度特征，从而实现基于波段组合和多模态数据的多流CNN融合模型.
|
图 7 基于波段组合和多模态数据的多流CNN融合模型 Fig.7 Multistream CNN fusion model based on band combination and multimodal data |
将研究区土地覆盖类型划分为14个二级类，并构建相应的训练、验证和测试集.
模型训练和构建过程中的主要超参数为：epoch，1000；step＿per＿epoch，568；多光谱输入尺寸，15×15像元邻域；DEM输入尺寸，15×15像元邻域；batch size，50.
测试集精度评价结果为：总精度，88.30%；Kappa系数，86.33%；F1分数（精度和召回率的调和平均数），87.71%.
3.2 岩体分类结果基于真彩色影像数据，最终得到岩体分类结果预测图. 与实际岩体分类结果对比（图 8）显示，预测结果图的整体目测效果较好，整体的区域预测分布正确，但是部分类别中存在“椒盐现象”.
|
图 8 岩体分类结果与实际岩性对比 Fig.8 Comparison of rock mass classification result and actual lithology a-岩体模型预测图(prediction map of rock mass by model); b-研究区岩体分布图(distribution map of rock mass in the study area); 1-安山岩(andesite); 2-板岩(slate); 3-水(water); 4-流纹岩(rhyolite); 5-片岩(schist); 6-玄武岩(basalt); 7-砾岩(conglomerate); 8-第四系松散堆积物 (Quaternary loose deposit); 9-花岗-闪长岩(granite/diorite) |
利用Recall、Precision、F1、Kappa和Acc作为精度评价的指标（表 6），总精度达到84.4%.
|
|
表 6 岩体模型精度评价结果 Table 6 Accuracy evaluation result of rock mass model |
（1）深度学习模型总体性能优于基于中层视觉特征的模型，信息提取能力优于基于人工设计特征的模型，可作为岩体预测学习模型.
（2）由于岩体具有地形异质性特点，以及土地覆盖分类数据对岩体类型和边界的指示意义，采用深度卷积神经网络模型和参数迁移策略构建多流CNN的岩体分类模型，并结合精细的土地覆盖分类模型，从而得到岩体分类数据，结果显示总精度达到84.4%，能够为地质工作者提供辅助决策依据.
利用深度学习方法开展高分辨率遥感地质智能解译研究意义重大[11-14]. 其中的CNN模型被广泛应用在图像识别等领域，取得较好效果[10-12]. 但是，该模型也存在易于过拟合需要大量样本提高模型泛化能力的缺陷[15]. 本研究文尝试使用迁移学习策略对样本数量进行扩容，较好地解决了小样本问题，提高了模型的解译精度. 今后将继续研究深度学习中不同模型的结合，并开展不同研究区、不同季节的测试研究，从而提升模型的泛化能力.
| [1] |
李德仁, 童庆禧, 李荣兴, 等. 高分辨率对地观测的若干前沿科学问题[J]. 中国科学: 地球科学, 2012, 55(6): 805-813. Li D R, Tong Q X, Li R X, et al. Current issues in high-resolution earth observation technology[J]. Science China Earth Sciences, 2012, 55(7): 1043-1051. |
| [2] |
张良培, 黄昕. 遥感影像信息处理技术的研究进展(英文)[J]. 遥感学报, 2009, 13(4): 559-569. Zhang L P, Huang X. Advanced processing techniques for remotely sensed imagery[J]. Journal of Remote Sensing, 2009, 13(4): 559-569. |
| [3] |
邓志鹏, 孙浩, 雷琳, 等. 基于多尺度形变特征卷积网络的高分辨率遥感影像目标检测[J]. 测绘学报, 2018, 47(9): 1216-1227. Deng Z P, Sun H, Lei L, et al. Object detection in remote sensing imagery with multi-scale deformable convolutional networks[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(9): 1216-1227. |
| [4] |
付伟锋, 邹维宝. 深度学习在遥感影像分类中的研究进展[J]. 计算机应用研究, 2018, 35(12): 3521-3525. Fu W F, Zou W B. Review of remote sensing image classification based on deep learning[J]. Application Research of Computers, 2018, 35(12): 3521-3525. DOI:10.3969/j.issn.1001-3695.2018.12.001 |
| [5] |
黄宜华. 大数据机器学习系统研究进展[J]. 大数据, 2015, 1(1): 35-54. Huang Y H. Research progress on big data machine learning system[J]. Big Data Research, 2015, 1(1): 35-54. |
| [6] |
Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554. DOI:10.1162/neco.2006.18.7.1527 |
| [7] |
姚承宽. 人工智能在测绘地理信息行业中的应用[J]. 河北省科学院学报, 2018, 35(4): 66-70. Yao C K. Application of artificial intelligence in surveying and mapping geoinformation industry[J]. Journal of the Hebei Academy of Sciences, 2018, 35(4): 66-70. |
| [8] |
Araya-Polo M, Dahlke T, Frogner C, et al. Automated fault detection without seismic processing[J]. The Leading Edge, 2017, 36(3): 208-214. |
| [9] |
Lawrence S, Giles C L, Tsoi A C, et al. Face recognition: A convolutional neural-network approach[J]. IEEE Transactions on Neural Networks, 1997, 8(1): 98-113. |
| [10] |
Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C] //Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe: Curran Associates Inc., 2012: 1097-1105.
|
| [11] |
Chen Y S, Jiang H L, Li C Y, et al. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(10): 6232-6251. |
| [12] |
Chen S Z, Wang H P, Xu F, et al. Target classification using the deep convolutional networks for SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(8): 4806-4817. |
| [13] |
Zhou Y, Wang H P, Xu F, et al. Polarimetric SAR image classification using deep convolutional neural networks[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(12): 1935-1939. |
| [14] |
Romero A, Gatta C, Camps-Valls G. Unsupervised deep feature extraction for remote sensing image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(3): 1349-1362. |
| [15] |
Scott G J, England M R, Starms W A, et al. Training deep convolutional neural networks for land-cover classification of high-resolution imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(4): 549-553. |