2. 自然资源部城市国土资源监测与仿真重点实验室, 广东 深圳 518000;
3. 青海省遥感测绘院, 西宁 810001
2. Key Laboratory of Urban Land Resources Monitoring and Simulation, MNR, Shenzhen 518000, Guangdong, China;
3. Institute of Remote Sensing and Surveying and Mapping Qinghai, Xining 810001, China
0 引言
建筑物变化检测是遥感应用的重要方向,它为土地利用监测、城市景观设计、区域环境评估和对破坏性事件的快速反映等方面的决策提供了必要的信息[1]。快速、精准的建筑物变化检测对城市规划、建设等业务管理具有重要的意义。随着城市建设速度日益加快,每天都有新的变化产生,这些变化将对地球资源和生态环境产生深远的影响[2]。目前城市区域遥感影像中建筑物的覆盖率达80%以上,在城市化推进过程中,经常伴有大量建筑物的改建、扩建、拆除等现象,而实际工作中,还是依据人工实地调查等方法对城区建筑物展开调查和筛选[3],需要大量人工、时间以及财力成本,不能满足当前智能化社会的基本要求。因此,建筑物变化的智能化检测成为研究的重要工作。
航天遥感技术经过多年的发展,无论在光谱分辨率、空间分辨率等方面都有巨大的进步,对地观测的综合能力达到了前所未有的水平[4],已经具有了高分辨率、全天时、全天候、实时和准实时的对地观测能力[5],且精度已达到米级甚至亚米级。在大数据时代下,遥感数据获取方法不断丰富,信息提取技术高速发展,我国卫星发射次数不断上升,多颗卫星在太空运作后带来大批遥感数据,成为宝贵的历史材料[6]。然而大量的研究表明,遥感影像分辨率的提高并不一定代表解译精度的提高[7-10]。即随着高分辨率遥感影像数据量的增大,噪声和背景信息带来的干扰也随之增加,空间信息充足的同时光谱信息又相对欠缺,“同物异谱”和“同谱异物”问题突出。因此,对高分辨率遥感影像进行建筑物变化检测仍然具有很大的挑战,具有非常重要的研究意义和实用价值。
近年来,国内外学者在变化检测方面提出了多种方法,从数据源、提取策略、几何建模技术、自动化程度等方面进行了研究[11]。Bouziani等[12]基于遥感图像,利用已有的描述建筑物特征的规则,设计了具有一定自动化能力的检测方法;Chini等[13]对多种类型遥感影像特征进行联合,设计了一种建筑物变化检测算法,对地震前后的建筑物信息进行了提取;Cao等[14]提出一种像元级非监督分类与双时相影像分割相结合的变化检测方法;丁海勇等[15]提出采用数学形态学运算得到高分辨率遥感图像的纹理特征序列,再进行决策树分类,获得土地利用变化前后期的图像类别信息,然后采用图像变化轨迹法进行变化检测;刘波等[16]通过提取影像形态学建筑物指数特征,经卡方变换将其与光谱特征进行融合,利用一种单分类器完成建筑物变化初始判定,再利用改进的长宽比形状特征完成最终的建筑物变化判定。上述方法对遥感影像建筑物变化检测具有重要的意义,但随着遥感影像分辨率的提高、信息量的增大和特征复杂度的上升,这些方法会存在一些信息的误判,导致得到的精度无法满足生产需要,且存在工作过于繁琐、人工成本高等不足之处。深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术,以及其他相关领域都取得了很多成果。深度学习令机器模仿视听和思考等人类的活动,解决了很多复杂的模式识别难题,使得人工智能相关技术取得了很大进步。基于遥感影像的建筑物变化检测是指利用多时相获取的覆盖同一地表区域的航空影像及其他辅助数据来确定和分析建筑物的变化,利用计算机图像处理系统,对不同时段的建筑物变化进行识别、分析,确定一定时间间隔内建筑物的变化,并提供建筑物的变化空间分布及其变化的定量信息。建筑物变化检测是目前遥感研究领域的热点,对于更好的城市规划、灾害评估和国土动态调查起着重要的作用。
本文将深度学习与高分辨率遥感影像相结合,深度挖掘遥感影像数据的价值,将社会生产向信息化、智能化的方向推进,提出了将语义分割的思想用于变化检测,建立了FPN(feature pyramid network, ) Res-Unet模型进行遥感影像建筑物变化检测。将Unet网络编码路径中的所有卷积层替换为ResNet18的残差结构,在两次卷积操作之间加入了BN(BatchNorm)层对数据进行归一化操作,进而加快网络的训练、提取影像的语义信息,结合Unet解码路径的设计思路,搭建完整的网络结构,并在解码路径每级上采样过程中拓展支路径, 将特征金字塔网络(FPN)融合到模型的网络主干中,通过预测每个尺度的分类结果,取代Unet解码路径只对原始分辨率进行输出。因此,可以在反向传播和权重更新中利用多尺度信息,为每一个像素提供全局信息,建立像素之间的相互联系进行建筑物的变化检测。利用武汉大学季顺平教授团队编辑的一套遥感建筑物数据[17]进行实验测试, 以表明本文方法的优越性和稳健性。
1 理论基础 1.1 Unet2015年由Olaf等[18]提出的Unet是全卷积网络(fully convolutional network, FCN)的延伸。FCN的主要思想是对常规的收缩网络进行补充,补充的内容是连续的层。在这些层中,网络由两部分组成(图 1):一个编码路径来获取上下文信息以及一个对应的解码路径用以精确定位。编码路径中,包含多个卷积和池化等操作,生成了从低维到高维不同尺寸的特征图。解码路径中主要进行反卷积上采样,每进行一次反卷积,特征图的尺寸就扩大到上一级的2倍,并与对应级别编码路径的特征图相融合,融合后的特征图既包含高维抽象特征的语义信息,也包含中低维特征的细节信息。Unet能够在图片非常少的情况下对图片进行端到端的训练,融合了编码-解码和跃层连接的特点,与FCN相比主要差别体现在两点:1)Unet是完全对称的,而且对解码器进行了卷积加深处理,FCN只是单纯上采样;2)FCN跃层连接的联合是通过对应像素的求和,而Unet则是对其通道的合并过程,Unet相比于FCN分割的效果更加精细并且考虑了像素与像素之间的关系。
1.2 ResNet随着网络深度的不断增加,常常会出现以下两个问题:1)即使长时间训练,网络仍然存在收敛非常困难甚至不收敛的现象;2)网络性能会逐渐趋于饱和,甚至还会开始下降。针对网络训练加深导致准确度下降的问题,何凯明团队[19]提出了ResNet来减轻训练深层网络的困难。ResNet令几个堆叠的层拟合残差映射,而不直接拟合期望的底层映射,因为残差学习比直接从底层学习要容易得多。在已有设计思路(归一化、小卷积核、全卷积网络)的基础上,引入了残差结构。每个残差结构包含两条路径:一条路径是输入特征的直连通路,另一条路径对该特征做两到三次卷积操作得到该特征的残差。最后再将两条路径上的特征相加。残差学习单元结构如图 2所示。当输入为x时,假设学习到的特征为H(x),残差学习的思想是学习到学习特征与输入特征之间的残差F(x)=H(x)-x,即最初学习到的特征H(x)=F(x)+x。相较于传统的卷积神经网络模型通过多层网络拟合x和F(x)之间的映射关系,残差学习结构更加简便,减少了模型计算的内存,同时不会降低网络的性能。当残差F(x)=0时,该残差结构等价于进行了恒等映射,且在实际计算中F(x)不可能等于0,这样使得残差学习单元能够在输入特征的基础上进一步学习到新的特征,提升了网络性能。传统的卷积层或全连接层在信息传递时,或多或少会存在信息丢失、损耗等问题。ResNet在某种程度上解决了这个问题,通过直接将输入信息绕道传到输出,保护信息的完整性,整个网络则只需要学习输入、输出差别的那一部分,简化学习目标和难度。
本文的残差结构如图 3所示。其中残差结构B的shortcut选择了1×1的卷积,这样的处理方式能够在不增加模型参量的同时,增加变量的特征,使输入网络结构中的特征信息更丰富[20],加深网络结构。
1.3 FPN在卷积神经网络中,对原始图像进行卷积和池化操作,可以得到不同层次、尺寸的特征图。浅层的网络更关注细节信息,深层的网络更关注语义信息,而深层的语义信息能够帮助我们准确地检测出目标,所以传统的卷积神经网络都是利用最后一个卷积层上的特征图进行预测。它的不足之处在于仅仅关注最后一层的特征图,忽略了其他特征图所包含的细节信息。FPN是一种端到端的网络,经过一系列卷积阶段得到了特征图,在每一个阶段均进行预测,每一层预测所用的特征图分别进行对应分辨率的检测[21]。这样保证了每一层都有合适的分辨率以及强语义特征。同时,由于此方法只是在原网络基础上加上了额外的跃层连接,在实际应用中几乎不会增加额外的时间和计算量。FPN通过对各个阶段预测的结果进行加权得到最终的损失函数。原理是将浅层特征和深层特征进行累加,这样做的目的是因为浅层特征可以提供更加准确的位置信息,而多次的降采样和上采样操作使得深层网络的定位信息存在误差,将其结合起来使用,就构建了一个更深的FPN(图 4),它融合了多层特征信息,并将不同的特征进行输出。FPN是一种巧妙的特征金字塔连接方法,对于建筑物变化检测非常有效,极大提高了对小建筑物的检测性能。
2 FPN Res-Unet模型Unet利用了来自编码阶段先前层的一部分信息,但是其对于多尺度信息的泛化能力是有限的。本文提出的FPN Res-Unet模型专门用于处理遥感影像中不同尺寸的物体或不同分辨率遥感影像的多尺度问题,将影像的浅层细节信息和深层语义信息充分融合。模型结构如图 5。该模型以Unet为基础,并且为了使输入和输出影像的尺寸相同,在每一次卷积后使用边界填充。在编码路径中,用ResNet18的残差结构替换Unet所有卷积层来提取影像特征,在解码路径每级上采样的过程中添加支路径,将FPN融合到模型的网络主干中,通过预测上采样步骤中每个尺度不同的分类结果,优化Unet模型只对原始分辨率层输出的不足。因此,可以在反向传播和权重更新中利用多尺度信息,将各层的特征图用于独立预测,充分利用各层的特征进行建筑物的变化检测。
FPN Res-Unet网络呈对称结构,是一种端到端的模型,网络中卷积层有44个,共进行4次下采样、4次上采样操作,无全连接层,每一层输出特征都带有加强的语义信息。网络的编码部分是与ResNet18网络类似,经卷积、池化等操作来缩小输入影像的空间维度进而提取高层特征。每经过两个残差结构提取特征后,采用 2×2 最大池化进行空间降维,过滤掉一些不重要的高频信息,缩小特征图空间尺寸。为了减少梯度消失现象,采用ReLU函数作为模型所有的激活函数[22]。每个残差结构中都含有BN层,将每个batch在编码路径中的每一级特征都进行归一化操作,这样使得每级分布都相对稳定,可以在很大程度上令模型具有更好的鲁棒性,加快收敛速度、提升模型的容纳能力[23]。网络的解码由自底向上的反卷积层构成,在解码开始之前加入了Dropout层,将该层的Probability参数设置为0.5,随机让50%的隐藏节点权重不工作,可以在一定程度上提高网络的泛化能力并且抑制发生过拟合现象[24]。在每次up-conv后,对解码器进行卷积加深处理,采用 3×3 卷积核进行两次卷积用以消除上采样过程中的混淆效应,并且添加支路径;支路径上使用一个1×1卷积核提取特征和一个up-conv层将该级特征图上采样至输入图片相同尺寸,将该特征图传递到模型末端softmax分类器。该策略汇集了不同尺度的信息,并且各个尺度的信息在反向传播和模型训练中都起到了决定性的作用,使得模型的鲁棒性大幅度增强。模型使用随机梯度下降法进行优化。在反向传播过程所用的损失函数是交叉熵函数:
式中:y是期望输出;a是实际输出;N是训练数据的总数;n表示输入的样本;C是我们不断优化的代价值。
3 实验与结果分析实验数据是武汉大学季顺平团队用近一年时间,手工编辑的一套大场景、高分辨率遥感建筑物数据。该数据来自新西兰Christchurch市的部分影像,地面分辨率为0.075 m,其已经提供出真实变化的标签图像,以及前后两时期的(T1、T2)高分辨率影像。本文模型训练时输入的影像尺寸为256×256×3。样本由尺寸相同的T1、T2时期对应波段及像素做差值得到。训练流程如图 6所示。对标签进行one-hot处理,通过随机梯度下降算法不断进行迭代优化,找到全局最优点,得到最佳的效果。
随着模型训练迭代次数的增多,模型精度越来越高,损失不断下降,当模型趋于平稳后,网络收敛,训练过程结束。由准确率和损失值随迭代增加的变化曲线(图 7)可以看出,在1 600次迭代后,模型达到了精度较高的稳定状态。
在训练结束后,对待检测数据进行预测。本文使用了5种语义分割网络模型对影像中建筑物进行两组变化检测实验,取准确率、召回率和F1值作为评价指标。准确率指的是所有预测正确的像元数占总像元数的比例。召回率指的是检测结果中的变化像元数占所有真实变化像元数的比例。F1值是统计学中用来衡量二分类模型精确度的一种指标,它同时兼顾了分类模型的精确率和召回率。F1值可以看作是模型精确率和召回率的一种加权平均,其公式为
式中:P为准确率;R为召回率。
选取两个实验区(A、B)进行实验分析。以两组实验影像大小(行×列×通道数)分别为1 700×3 371×3和836×3 829×3的遥感影像作为测试区域,同时基于FCN、SegNet、Unet 3种语义分割网络建筑物变化检测作对比。实验初始学习率为0.05, 随着训练误差的变化趋势动态对学习率进行微调,动量Momentum设置为0.9。每批次的训练的样本数为16个。
图 8、图 9显示的是不同语义分割模型的建筑物变化检测结果,其中白色表示变化区域。在图上画框区域可以看出:基于对特征图上采样直接产生分割结果的FCN,在建筑物变化检测中产生大量相对模糊的建筑物变化的边界,分割结果较为粗略,对细节不够敏感,这是因为其没有充分考虑像素之间的关系,缺乏空间一致性;利用最大池化索引对输入的特征图进行上采样的SegNet存在大量的伪变化,出现椒盐、孤立点等现象;Unet虽然可以考虑领域像素之间的相互联系,但在建筑物变化检测中却将个别道路的变化错判为建筑物变化,说明其在特征提取能力仍有所欠缺,不满足生产要求;FPN Res-Unet由于同时具有残差结构和Unet的特征提取性能以及FPN的多尺度预测优势,相对于上述模型能更好地学习到影像的上下文信息,无论是特征提取能力还是对微小变化的识别能力都展现出更好的性能,在很大程度上克服了噪声的影响,并对于“伪变化”有较好的抗干扰能力,具有更实用的检测效果。
从表 1和表 2的数据可看出,由于FPN Res-Unet模型具有更强的特征提取能力以及更强的对小目标识别能力,其建筑物变化检测的准确率、召回率和F1值都达到90%以上,与其他语义分割模型相比,整体变化检测效果更好,在检测时具有更强的鲁棒性。
准确率 | 召回率 | F1 | |
FCN | 0.836 8 | 0.850 6 | 0.843 6 |
SegNet | 0.894 0 | 0.640 2 | 0.746 1 |
Unet | 0.926 3 | 0.723 0 | 0.812 1 |
FPN Res-Unet | 0.945 5 | 0.904 7 | 0.924 6 |
准确率 | 召回率 | F1 | |
FCN | 0.915 5 | 0.756 7 | 0.828 6 |
SegNet | 0.936 4 | 0.636 6 | 0.757 9 |
Unet | 0.946 9 | 0.722 3 | 0.819 5 |
FPN Res-Unet | 0.960 6 | 0.967 0 | 0.963 8 |
综上所述,FPN Res-Unet在遥感影像建筑物变化检测上具有一定的优越性和稳定性,可以作为高分辨率遥感影像建筑物变化检测的有效方法。
本文硬件环境为:CPU Core(TM)3.60 GHz,GPU,GPU NVIDIA GeForce RTX 2080 SUPER,内存64 GB,显存8 GB。软件环境为matlab2019a,运行速率可达到0.17 s/幅(256×256×3尺度影像),10 000×10 000×3尺寸影像的处理时间约为71.14 s,相比于传统方法的处理时长,本文方法在时效性上具有较大提升。
4 结论1) 本文将深度学习中语义分割的思想应用于建筑物变化检测,基于ResNet18残差结构和FPN对Unet网络进行改进,建立了FPN Res-Unet模型。该模型以Unet为基础,采用ResNet18网络的残差结构进行深度特征提取,在解码阶段融合了FPN,将浅层细节信息和深层语义信息融合,增强了特征提取和不同尺度目标的检测性能。
2) 通过与FCN、SegNet和Unet网络模型对比实验分析,无论是准确率、召回率,还是F1值均优于其他语义分割模型。FPN Res-Unet模型在建筑物变化检测性能够满足生产需求,在提升检测精度方面表现出较大优势,得到更为准确的检测结果,在建筑物变化检测上具有较好的精确性与泛化性。
该网络模型可以实现大范围、可视化的城市建筑物动态检测,为城市规划、灾害评估和国土动态调查提供依据和理论方法。
[1] |
Huang Xin, Zhang Liangpei, Zhu Tingting. Building Change Detection from Multitemporal High-Resolution Remotely Sensed Images Based on a Morphological Building Index[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(1): 105-115. DOI:10.1109/JSTARS.2013.2252423 |
[2] |
孙晓霞, 张继贤, 燕琴, 等. 遥感影像变化检测方法综述及展望[J]. 遥感信息, 2011(1): 119-123. Sun Xiaoxia, Zhang Jixian, Yan Qin, et al. A Summary on Current Techniques and Prospects of Remote Sensing Change Detection[J]. Remote Sensing Information, 2011(1): 119-123. DOI:10.3969/j.issn.1000-3177.2011.01.023 |
[3] |
明冬萍, 骆剑承, 沈占锋, 等. 高分辨率遥感影像信息提取与目标识别技术研究[J]. 测绘科学, 2005, 30(3): 18-20, 3. Ming Dongping, Luo Jiancheng, Shen Zhanfeng, et al. Research on Information Extraction and Target Recognition from High Resolution Remote Sensing Image[J]. Science of Surveying and Mapping, 2005, 30(3): 18-20, 3. DOI:10.3771/j.issn.1009-2307.2005.03.004 |
[4] |
Wang M, Zhang X, Niu X, et al. Scene Classification of High-Resolution Remotely Sensed Image Based on ResNet[J]. Journal of Geovisualization and Spatial Analysis, 2019, 3: 16. DOI:10.1007/s41651-019-0039-9 |
[5] |
唐文博.基于卷积神经网络的高分辨率多光谱遥感图像上的城区建筑物变化检测技术[D].杭州: 浙江大学, 2019. Tang Wenbo. Building Change Detection Technology Based on Convention Neural Network in High Resolution Multispectral Remote Sensing Images[D]. Hangzhou: Zhejiang University, 2019. |
[6] |
顾炼, 许诗起, 竺乐庆. 基于FlowS-Unet的遥感图像建筑物变化检测[J]. 自动化学报, 2020, 46(6): 1291-1300. Gu Lian, Xu Shiqi, Zhu Leqing. Change Detection for Buildings in Remote Sensing Images Based on FlowS-Unet[J]. Acta Automatica Sinica, 2020, 46(6): 1291-1300. |
[7] |
Myint Soe Win, Lam Nina S N, Tyler John M. Wavelets for Urban Spatial Feature Discrimination[J]. Photogrammetric Engineering and Remote Sensing, 2004, 70(7): 803-812. DOI:10.14358/PERS.70.7.803 |
[8] |
宫鹏, 黎夏, 徐冰. 高分辨率影像解译理论与应用方法中的一些研究问题[J]. 遥感学报, 2006(1): 1-5. Gong Peng, Li Xia, Xu Bing. Interpretation Theory and Application Method Development for Information Extraction from High Resolution Remotely Sensed Data[J]. Journal of Remote Sensing, 2006(1): 1-5. |
[9] |
黄昕.高分辨率遥感影像多尺度纹理、形状特征提取与面向对象分类研究[D].武汉: 武汉大学, 2009. Huang Xin. Multiscale Texture and Shape Feature Extraction and Object-Oriented Classification for Very High Resolution Remotely Sensed Imagery[D]. Wuhan: Wuhan University, 2009. |
[10] |
王明常, 张馨月, 张旭晴, 等. 基于极限学习机的GF-2影像分类[J]. 吉林大学学报(地球科学版), 2018, 48(2): 373-378. Wang Mingchang, Zhang Xinyue, Zhang Xuqing, et al. GF-2 Image Classification Based on Extreme Learning Machine[J]. Journal of Jilin University (Earth Science Edition), 2018, 48(2): 373-378. |
[11] |
杨磊.基于多特征Dempster-Shafe证据融合的高分辨率遥感影像建筑物变化检测[D].成都: 西南交通大学, 2016. Yang Lei. Building Change Detection from Multitemporal High Resolution Remote Sensing Imagery Based on Multi-Features Fusion Using Dempster-Shafer Evidence Theory[D]. Chengdu: Southwest Jiaotong University, 2016. |
[12] |
Bouziani M, Goita K, He Dongchen. Automatic Change Detection of Buildings in Urban Environment from Very High Spatial Resolution Images Using Existing Geodatabase and Prior Knowledge[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2010, 65(1): 143-153. DOI:10.1016/j.isprsjprs.2009.10.002 |
[13] |
Chini M, Pierdicca N, Emery W J. Exploiting SAR and VHR Optical Images to Quantify Damage Caused by the 2003 Bam Earthquake[J]. IEEE Transactions on Geoscience and Remote Sensing, 2009, 47(1): 145-152. DOI:10.1109/TGRS.2008.2002695 |
[14] |
Cao Guo, Li Yupeng, Liu Yazhou, et al. Automatic Chang Detection in High-Resolution Remote-Sensing Images by Means of Level Set Evolution and Support Vector Machine Classification[J]. International Journal of Remote Sensing, 2014, 35(16): 6255-6270. DOI:10.1080/01431161.2014.951740 |
[15] |
丁海勇, 罗麒杰, 王晓英. 基于形态学纹理特征的高分辨率遥感影像变化检测[J]. 测绘科学技术, 2017, 5(3): 143-151. Ding Haiyong, Luo Qijie, Wang Xiaoying. High-Resolution Remote Sensing Image Change Detection Based on Morphological Texture Features[J]. Geomatics Science and Technology, 2017, 5(3): 143-151. |
[16] |
刘波, 燕琴, 刘恒飞, 等. 一种正样本单分类框架下的高分辨率遥感影像建筑物变化检测算法[J]. 测绘工程, 2019, 28(2): 52-56. Liu Bo, Yan Qin, Liu Hengfei, et al. A New Building Change Detection Algorithm of High-Resolution Remote Sensing Image Based on One-Class Classifier Framework[J]. Engineering of Surveying and Mapping, 2019, 28(2): 52-56. |
[17] |
季顺平, 魏世清. 遥感影像建筑物提取的卷积神经元网络与开源数据集方法[J]. 测绘学报, 2019, 48(4): 448-459. Ji Shunping, Wei Shiqing. Building Extraction via Convolutional Neural Networks from an Open Remote Sensing Building Dataset[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(4): 448-459. |
[18] |
Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Verlag, 2015: 234-241.
|
[19] |
He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep Residual Learning for Image Recognition[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE Computer Society, 2016: 770-778.
|
[20] |
马玥.基于多源遥感信息的湿地土地覆被分类研究[D].长春: 吉林大学, 2018. Ma Yue. Land Cover Classification of Wetland Based on Multi-Source Remote Sensing[D]. Changchun: Jilin University, 2018. |
[21] |
Lin T Y, Dollár P, Girshick R, et al. Feature Pyramid Networks for Object Detection[C]//30th IEEE Conference on Computer Vision and Pattern Recognition. United States: Institute of Electrical and Electronics Engineers, 2017: 936-944.
|
[22] |
Glorot X, Bordes A, Bengio Y. Deep Sparse Rectifier Neural Networks[J]. Journal of Machine Learning Research, 2011, 15: 315-323. |
[23] |
Ioffe S, Szegedy C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[C]//32nd International Conference on Machine Learning. Lile: International Machine Learning Society, 2015: 448-456.
|
[24] |
刘丹枫, 刘建霞. 面向深度学习过拟合问题的神经网络模型[J]. 湘潭大学自然科学学报, 2018, 40(2): 96-99. Liu Danfeng, Liu Jianxia. A Neural Network Model for the Overfitting Problem in Deep Learning[J]. Natural Science Journal of Xiangtan University, 2018, 40(2): 96-99. |