上海海洋大学学报  2020, Vol. 29 Issue (3): 474-480    PDF    
一种改进深度卷积神经网络的海岛识别方法
王振华1, 曲念毅1, 钟元芾1, 何婉雯1, 宋巍1, 黄冬梅2     
1. 上海海洋大学 信息学院, 上海 201306;
2. 上海电力大学, 上海 200090
摘要:受不规律潮汐的影响,现有的海岛地物类别自动识别方法存在精度低和时效性差等问题,通过改进深度卷积神经网络提出了一种基于遥感影像的海岛快速识别方法:(1)在深度卷积神经网络的卷积层中增设1×1的卷积核作为瓶颈单元,对多波段的遥感影像进行降维;(2)在池化层引入了重采样方法,基于灰度值对海量的遥感影像进行特征压缩。以300景Landsat-8遥感影像为源数据,分别采用CNN、RCNN和本文改进的深度卷积神经网络对遥感影像中的海岛进行识别,实验结果表明:(1)改进的深度卷积神经网络降低了海岛识别的计算耗时,其计算耗时仅为CNN的4.56%和RCNN的5.60%;(2)改进的深度卷积神经网络较CNN和RCNN提高了海岛识别的精度,识别精度分别为96.0%、93.3%和95.0%。结果说明,改进的深度卷积神经网络适用于面向遥感影像的海岛自动识别。
关键词深度卷积神经网络    遥感影像    海岛识别    卷积运算    

海岛是生态功能的贮存库,是维护国家权益的战略前沿,也是人类居住生活的重要载体和人类开发海洋的远涉基地和前进支点[1]。海岛远离大陆,现场测绘难度较大;同时受不规律潮汐影响大,其识别方法面临高精度和准实时的双重挑战。遥感因具有无接触的大面积观测优势,解决了海岛现场测绘难的问题,为海岛的研究提供了重要的数据源。新型的计算机技术为海岛地物信息的挖掘提供了重要的技术支撑,如海岛边界的识别[2-8]、海岛地物类别识别与海岛的变化监测[9-14]等方面。

深度学习是一种以神经网络为架构对数据进行表征学习的算法[15],其中图像处理方面应用较多的为深度卷积神经网络(Deep Convolutional Neural Network,DCNN)。在海洋领域,学者利用DCNN对海洋灾害、海面物体识别等进行了研究,如HUANG等[16]利用卷积神经网络识别了西沙、南沙群岛海域的中尺度涡;WANG等[17]基于高分辨雷达图像,利用卷积神经网络识别了海冰;赵亮等[18]将深度卷积神经网络与HOG算法结合,实现了远洋船舶的高精度识别;BENTES等[19]提出多分辨率输入的卷积神经网络模型,对TerraSAR-X图像中的海事目标进行了分类;GARCIA-PINEDA等[20]基于卷积神经网络提出一种纹理分类的卷积神经网络(TCNNA),描绘了SAR影像中的海面浮油。

DCNN因其独特的局部连接及权值共享,提高了图像处理的速率及识别精度。但目前DCNN应用于遥感影像中海岛信息识别的研究报道较少,其主要原因为:(1)受不规律潮汐等影响,海岛边界具有不确定性,其识别的难度高且精度低。(2)遥感影像的多波段特征有别于传统图像,直接进行卷积运算,将产生大量的冗余参数,影响计算效率。针对上述问题,面向Landsat-8遥感影像,改进深度卷积神经网络,在卷积层中增设1×1的卷积核作为瓶颈单元,用于对具有多波段性特点的遥感影像进行降维;在池化层基于重采样对卷积后的遥感影像进行特征压缩,用于降低计算的复杂度,从而提高海岛识别的准确性和时效性。

1 改进的深度卷积神经网络

图 1所示为改进的卷积神经网络架构图,包括1个输入层、3个卷积层、1个池化层、多个全连接与分类器。3个卷积层分别为:第1个卷积层为降维层,为提高计算效率增设1×1的卷积核作为瓶颈单元,通过卷积运算对遥感影像进行降维;第2个卷积层为特征提取层,由多个3×3的卷积核构成,用于提取遥感影像的局部空间或纹理特征;第3个卷积层为反降维层,由3个3×3的卷积核构成,将特征提取后的遥感影像反降维。池化层与第2个卷积层(即特征提取层)相伴而生,用于对卷积核运算提取的特征进行压缩。而后通过全连接层对提取的特征影像拉伸成一维矢量并映射到样本空间,再通过分类器对遥感影像进行分类。

图 1 改进的深度卷积神经网络 Fig. 1 Improved deep convolutional neural network
1.1 卷积层:增设瓶颈单元实现遥感影像降维

卷积层的主要目的是从输入图像中识别目标物体的多种特征。卷积层中的神经元便是针对目标物体的特征提取算子。遥感影像具有多波段性特征,若直接对遥感影像进行卷积运算,将产生大量的参数,卷积过程耗时长,且消耗计算资源量大。

本文在改进的深度卷积神经网络中设置3个卷积层,并在第1个卷积层中增设瓶颈单元,用于对输入的多波段遥感影像进行降维。瓶颈单元的计算为1×1的卷积运算,是两个变量在某范围内相乘后求和的结果,计算公式为

    (1)

式中:y(t)表示卷积结果,函数x(t)和h(t)为卷积的变量,*表示卷积。当时序t=0时,序列h(-p)是h(p)的时序p取反的结果;时序取反使得h(p)以纵轴为中心翻转180°,t是使h(-p)位移的量,不同的t对应不同的卷积结果。

深度卷积神经网络中瓶颈单元在不同的波段上对每个像素点进行线性组合,实现多波段遥感影像的降维。

使用30 m分辨率的Landsat-8遥感影像为例,随机选取遥感影像3个波段为输入数据,每个波段含240×240像素;利用公式(1)对输入的多波段遥感影像数据进行降维,如图 2所示。3个波段的遥感影像经过大小为1×1卷积核即瓶颈单元卷积运算后被降维至1个波段;降维后的单波段遥感影像具有原遥感影像的3个波段的特征;降维后的遥感影像经过第2个卷积层的特征提取,在第3个卷积层实现反降维,完成卷积运算。经瓶颈单元降维后进行的卷积运算较原卷积降低了参数数量,节省了计算资源,比较结果如表 1所示。

图 2 基于瓶颈单元的遥感影像降维 Fig. 2 Process of dimension reduction for remote sensing image on bottleneck unit
表 1 卷积运算参数比较 Tab.1 Comparison of convolution operation parameters

表 1可知,根据卷积计算公式[21]常规卷积结构中,3波段的遥感影像经3个大小为3×3的卷积核卷积运算后,产生参数81个,进行乘法计算467多万次。改进的深度卷积神经网络分3层卷积层,分别为降维层,特征提取层,反降维层,卷积运算参数分别为3、9和27个,共39个,进行乘法计算225多万次,参数量与乘法计算次数减少了52%。

1.2 池化层:引入重采样实现卷积后遥感影像的特征压缩

池化层主要是基于重采样方法逐窗口实现遥感影像的特征值提取,一方面实现了卷积后遥感影像的冗余特征压缩,简化网络的计算复杂度;另一方面提取了遥感影像中海岛的主要特征,丢弃局部空间特征,提高网络训练收敛速度[22]

本文采用的最大值池化重采样器大小为2×2窗口,当最大值池化层在特征图像滑动时,输出是2×2窗口的最大值,如图 3所示:

图 3 基于重采样的卷积后遥感影像特征压缩 Fig. 3 Feature compression of remote sensing image based on resampling and convolution

经重采样后的遥感影像,其空间分辨率降低。在改进深度卷积神经网络中卷积层与池化层交替使用,当重采样后的遥感影像再次进行卷积运算时,神经网络可提取更宏观的影像特征。最后在全连接层将整个特征影像拉伸成一维矢量,通过分类器完成对图像的目标识别。

1.3 分类器:基于softmax特征分类的海岛识别

在深度卷积神经网络中,分类器的作用是在标记好类别的训练数据基础上判断一个新的观察样本所属的类。本文采用的分类器为softmax,公式为

    (2)

式中:K为向量z的维度,softmax函数将一个含任意实数的K维向量z压缩至另一个K维实向量(z)中,使得每一个元素的范围都在(0, 1)之间,并且所有元素的和为1[23]。采用softmax分类器,则以损失误差作为评价指标。损失误差是用来估量网络的预测值与真实值的不一致程度,则损失误差便是网络的预测值与真实值差值,以训练集标记海岛目标特征值为真值。损失函数误差小于0.01则认为网络训练收敛至可接受范围[24],其公式为

    (3)

式中:x(i), y(i)表示已标记的训练样本; m表示训练样本的个数; hθ(x)表示逻辑回归的假设函数; softmax的分类过程便是使损失误差J(θ)最小的过程。

2 实验 2.1 实验数据与实验环境

实验数据为2013年至2016年中国近海的Landsat-8遥感影像,共300景,分辨率为30 m,数据范围涵盖我国东海与南海海域。图 5为部分实验数据,为波段5、6、4的合成影像。自300景遥感影像中随机选取200景作为训练数据集,100景作为验证数据集。将200景训练数据分别进行90°、180°、270°旋转后扩充至800景,构成训练数据集。

图 5 海岛遥感影像 Fig. 5 Island remote sensing image

基于labelImg软件对遥感影像中海岛边界信息进行标记,从而构建了训练数据集,海岛边界标记信息存储在XML文件中。采用GPU为英伟达GM170GL计算卡,并借助CUDA8.0调用基于Tensorflow1.9.0搭建的深度卷积神经网络。

2.2 验证方法

采用10-折交叉验证法对验证集识别结果进行验证。将验证集数据分为10份,轮流将其中9份作为训练数据,1份作为测试数据进行交叉验证。每次交叉验证都会得出对应测试数据的识别精度,将10次交叉验证的精度值取均值,作为网络对海岛识别精度准确性的评估。

2.3 结果分析与比较

为了分析改进深度卷积神经网络的有效性和可行性,分别采用传统卷积神经网络(Convolutional Neural Network,CNN)和区域卷积神经网络(Regional Convolutional Neural Network,RCNN)以及改进的深度卷积神经网络对实验数据中的海岛进行自动识别。

在训练实验中,一景遥感影像每通过网络训练1次(包括1次前向传播和1次后向传播),则称为迭代1次,每迭代1次权重更新1次。图 6所示为迭代20 000次的损失误差收敛比较图。

图 6 损失误差随迭代次数增加的收敛对比图 Fig. 6 Comparison chart of error loss with increasing of iterations

图 6三种网络卷积训练的收敛过程可以看出,当迭代20 000次时:传统CNN的损失误差约为0.1,未达到可接受范围,且损失误差降低幅度较低,共耗时83.3 h;RCNN的损失误差约为0.04,且误差逐步降低趋势,最后趋于0损失误差收敛,共耗时67.8 h;本文改进的深度卷积神经网络最先损失误差趋于0,网络训练收敛,共耗时3.8 h。结果表明本文改进的深度卷积神经网络在训练速度上明显优于传统CNN和RCNN,验证了瓶颈单元的预设对提高卷积效率的有效性。

网络训练收敛后,将验证集数据进行10-折交叉验证,得到改进深度卷积神经网络海岛识别部分结果如图 7所示,与传统CNN和RCNN的识别结果对比如表 2所示。

图 7 改进深度卷积神经网络海岛识别结果 Fig. 7 Island identification results based on improved depth convolutional neural network
表 2 不同网络计算效率对比 Tab.2 Comparison of different network computing efficiencies

图 6图 7表 2可以看出:改进深度卷积神经网络的识别精度高于传统CNN和RCNN,分别为96.0%、93.3%和95.0%;改进深度卷积神经网络总耗时3.8 h,仅为传统CNN的4.56%和RCNN的5.6%。结果表明,改进的深度卷积神经网络在保证海岛识别精度的前提下,极大提高了识别的效率。

3 结论

立足海岛识别面临的精度要求高和实时性要求强的双重挑战,结合遥感影像的多波段特性,提出了一种改进的深度卷积神经网络。通过对100景验证集遥感影像中的海岛进行交叉验证,验证了改进的神经卷积神经网络优越性。但仅对遥感影像中的海岛进行了快速识别研究,如何将对海岛上不同地物类别进行高精度和准实时识别还需进一步研究。同时,本文改进的深度卷积神经网络明显地提高了海岛识别的时效性,但在识别精度方面还需进一步研究。

参考文献
[1]
齐连明, 张祥国, 李晓东. 国内外海岛保护与利用政策比较研究[M]. 北京: 海洋出版社, 2013: 14-15.
QI L M, ZHANG X G, LI X D. Comparative study on domestic and foreign island protection and utilization policies[M]. Beijing: China Ocean Press, 2013: 14-15.
[2]
HSU M K, LIU A K, ZHAO Y, et al. Satellite remote sensing of Spratly Islands using SAR[J]. International Journal of Remote Sensing, 2008, 29(21): 6427-6436. DOI:10.1080/01431160802175405
[3]
LOOS E A, NIEMANN K O. Shoreline feature extraction from remotely-sensed imagery[C]//IEEE International Geoscience and Remote Sensing Symposium. Toronto: IEEE, 2002, 6: 3417-3419.
[4]
WANG F, LIU S M, LU W H, et al. Island instantaneous coastline extraction based on the characteristics of regional statistics of multispectral remote sensing image[J]. Marine Science Bulletin, 2014, 16(1): 25-37.
[5]
赵恩伟, 温金苗, 杨鹤猛, 等. 一种快速遥感影像海岛自动提取方法[J]. 遥感信息, 2015, 30(6): 63-66, 70.
ZHAO E W, WEN J M, YANG H M, et al. A fast method for automatic extraction of island in remote sensing imagery[J]. Remote Sensing Information, 2015, 30(6): 63-66, 70. DOI:10.3969/j.issn.1000-3177.2015.06.012
[6]
李方亮, 付成群, 方涛, 等. 基于均值漂移的海岛(礁)岸线快速提取[J]. 解放军理工大学学报(自然科学版), 2016, 17(5): 488-492.
LI F L, FU C C, FANG T, et al. Rapid abstraction of island or reef shoreline based on mean shift method[J]. Journal of PLA University of Science and Technology (Natural Science Edition), 2016, 17(5): 488-492.
[7]
党亚民, 章传银, 周兴华, 等. 海岛岸线遥感立体测图精细测量方法[J]. 测绘通报, 2017(11): 47-50.
DANG Y M, ZHAGN C Y, ZHOU X H, et al. Shoreline surveying method based on the stereo imaging and mapping[J]. Bulletin of Surveying and Mapping, 2017(11): 47-50.
[8]
王振华, 何婉雯, 孙婧琦, 等. 改进水平集模型的海岛边界快速分割方法研究[J]. 计算机科学与探索, 2019, 13(7): 1206-1216.
WANG Z, HE W W, SUN J Q, et al. Research on improved level set model for island boundary rapid segmentation[J]. Journal of Frontiers of Computer Science and Technology, 2019, 13(7): 1206-1216.
[9]
ROBIN M, CHAPUIS J L, LEBOUVIER M. Remote sensing of vegetation cover change in islands of the Kerguelen archipelago[J]. Polar Biology, 2011, 34(11): 1689-1700. DOI:10.1007/s00300-011-1069-z
[10]
李亚萍, 燕琴, 刘正军, 等. 基于高分辨率遥感影像的西沙赵述岛地表覆盖提取与演变分析[J]. 热带海洋学报, 2016, 35(2): 93-101.
LI Y P, YAN Q, LIU Z J, et al. Extraction and variation analysis of Zhaoshu Isle land cover based on high resolution remote sensing images[J]. Journal of Tropical Oceanography, 2016, 35(2): 93-101.
[11]
李国, 蔡海峰, 王长春, 等. 基于遗传优化的海岛礁彩色影像增强方法[J]. 地理空间信息, 2017, 15(2): 83-85.
LI G, CAI H F, WANG C C, et al. Color image enhancement method of island based on optimized genetic algorithm[J]. Geospatial Information, 2017, 15(2): 83-85. DOI:10.3969/j.issn.1672-4623.2017.02.026
[12]
张琳琳, 周斌, 潘玉良, 等. 基于高分辨率遥感影像的铜盘岛土地利用检测[J]. 杭州师范大学学报(自然科学版), 2018, 17(2): 211-217.
ZHANG L L, ZHOU B, PAN Y L, et al. Land use detection of Tongpan island with high resolution remote sensing images[J]. Journal of Hangzhou Normal University (Natural Sciences Edition), 2018, 17(2): 211-217. DOI:10.3969/j.issn.1674-232X.2018.02.018
[13]
李晓敏, 张杰, 孟俊敏, 等. 高分辨率SAR影像在海岛监视监测中的应用[J]. 海洋开发与管理, 2018, 35(2): 39-43.
LI X M, ZHANG J, MENG J M, et al. Application of high spatial resolution SAR images in islands monitoring[J]. Ocean Development and Management, 2018, 35(2): 39-43. DOI:10.3969/j.issn.1005-9857.2018.02.008
[14]
孙苗, 张宏晔, 张峰, 等. 基于高分遥感影像的海岛建筑物高度测算研究[J]. 海洋通报, 2018, 37(4): 468-474.
SUN M, ZHANG H Y, ZHANG F, et al. Island building height estimation from the shadow information based on high-resolution remote sensing images[J]. Marine Science Bulletin, 2018, 37(4): 468-474.
[15]
DENG L, YU D. Deep learning:methods and applications[J]. Foundations and Trends in Signal Processing, 2014, 7(3/4): 197-387.
[16]
HUANG D M, DU Y L, HE Q, et al. DeepEddy: A simple deep architecture for mesoscale oceanic eddy detection in SAR images[C]//2017 IEEE 14th International Conference on Networking, Sensing and Control (ICNSC). Calabria: IEEE, 2017: 673-678.
[17]
WANG L, SCOTT K A, XU L L, et al. Sea ice concentration estimation during melt from dual-pol SAR scenes using deep convolutional neural networks:A case study[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(8): 4524-4533. DOI:10.1109/TGRS.2016.2543660
[18]
赵亮, 王晓峰, 袁逸涛. 基于深度卷积神经网络的船舶识别方法研究[J]. 舰船科学技术, 2016, 38(8): 119-123.
ZHAO L, WANG X F, YUAN Y T. Research on ship recognition method based on deep convolutional neural network[J]. Ship Science and Technology, 2016, 38(8): 119-123.
[19]
BENTES C, VELOTTO D, TINGS B. Ship classification in terraSAR-X images with convolutional neural networks[J]. IEEE Journal of Oceanic Engineering, 2018, 43(1): 258-266. DOI:10.1109/JOE.2017.2767106
[20]
GARCIA-PINEDA O, ZIMMER B, HOWARD M, et al. Using SAR images to delineate ocean oil slicks with a texture-classifying neural network algorithm (TCNNA)[J]. Canadian Journal of Remote Sensing, 2009, 35(5): 411-421. DOI:10.5589/m09-035
[21]
DUMOULIN V, VISIN F. A guide to convolution arithmetic for deep learning[J]. arXiv preprint arXiv: 1603. 07285, 2016.
[22]
CIRESAN D C, MEIER U, MASCI J, et al. Flexible, high performance convolutional neural networks for image classification[C]//IJCAI Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence. Barcelona: AAAI Press, 2011.
[23]
HINTON G, DENG L, YU D, et al. Deep neural networks for acoustic modeling in speech recognition:The shared views of four research groups[J]. IEEE Signal Processing Magazine, 2012, 29(6): 82-97. DOI:10.1109/MSP.2012.2205597
[24]
段建, 翟慧敏. 深度卷积神经网络在Caltech-101图像分类中的相关研究[J]. 计算机应用与软件, 2016, 33(12): 165-168.
DUAN J, ZHAI H M. Research on deep convolutional neural network for Caltech-101 image classification[J]. Computer Applications and Software, 2016, 33(12): 165-168. DOI:10.3969/j.issn.1000-386x.2016.12.040
A method for identification of island by improving deep convolutional neural network
WANG Zhenhua1, QU Nianyi1, ZHONG Yuanfu1, HE Wanwen1, SONG Wei1, HUANG Dongmei2     
1. College of Information Science, Shanghai Ocean University, Shanghai 201306, China;
2. Shanghai University of Electric Power, Shanghai 200090, China
Abstract: Remote sensing technology has been widely applied in island identification in recent years, but the automatic identification method for island identification has several problems, such as low precision and poor timeliness. Because of these problems, a method for rapid identification of island by improving deep convolutional neural network (DCNN) was proposed. The improved method contains two aspects. Firstly, adding a 1×1 convolution kernel as the bottleneck unit in the convolutional layer, it reduced the dimension of remote sensing images. Secondly, a resampling method has introduced in the pooling layer to perform feature compression on the target features. Taking 300 scenes of Landsat-8 remote sensing image as an example data, the improved method was compared with CNN model and RCNN model by identifying the islands. The results showed that the improved method reduced the computational time of island identification and improved the accuracy of island identification. Based on the experimental results, the model is more suitable for automatic island identification of remote sensing images.
Key words: deep convolutional neural network     remote sensing image     island identification     convolution operation