随着遥感技术的广泛应用, 提升影像质量逐步成为研究热点之一^{[1, 2]}。修复模糊、部分信息丢失的遥感影像对于影像的拼接、融合和分析决策具有重要的价值。迄今为止, 国内外许多研究人员也对修复遥感影像进行了广泛而深入的研究。陈仁喜等^[1]采用GIS辅助数据修复遥感影像; 吴传庆等^[3]利用遥感影像光谱信息的空间域自适应滤波修复影像; 张继尧^[4]基于结构和纹理的遥感图像修复技术; 朱长明等^[5]基于MODIS(moderate-resolution imaging spectroradiometer)数据的ETM+ SLC-OFF影像修复方法。这些方法在一定程度上抑制噪点, 提高了影像的质量。但由于GIS数据的时效性较差, 难以找到与图像相匹配的GIS数据。基于空间的方法通常不能用于重建大面积的丢失信息。修复遥感影像的主要难点有以下两点:①识别地物类型困难, “缺失”区域边界的不确定性; ②地物相互遮挡时, 其相互关系, 致使难以用一个算法自动完成。近些年, 以全卷积为代表的人工智能算法在遥感目标识别、分类上表现出了优异的性能。

1 多尺度全卷积神经网络修复

在多尺度全卷积神经网络驱动下的遥感影像修复方法主要有以下3个步骤。

1) 利用高斯模糊(Gaussian blur)获取不同尺度影像^[5], 利用FNEA(fractal net evolution approach)算法将影像进行分割减小计算机的运算负担与计算时间^[6];

2) 利用全卷积神经网络(fully convolutional neural network, FCN)识别修补目标与非修补目标, 通过大量样本训练得到卷积层之间的激活函数来寻找最佳匹配像素;

3) 采用全卷积网络反向传播, 对缺失区域像素进行填充, 其主要流程如图 1所示。

1.1 多尺度空间构建

多尺度空间构建的目的是:模仿图像的不同尺度, 分别突出细节部分与轮廓部分。卷全积网络中, 卷积核在图像中逐像素滑动扫描, 卷积核与缺失区域的自适应性对特征提取影响较大, 决定着卷积运算的准确性。本文采用多尺度变化, 首先将影像通过高斯模糊变换, 建立高斯金字塔(Gaussian pyramid)得到不同尺度影像^[7]。对尺度变换后的影像进行全卷积运算。其原理是设一副图像的尺度空间L(x, y, a), 定义原始图像形式为l(x, y)与一个可变化尺度的高斯函F(x, y, a)卷积运算的尺度空间表达形式如下:

$ L\left( {x, y, a} \right) = F\left( {x, y, a} \right) \times I\left( {x, y} \right) $

(1)

$ F({x_i}, {y_i}, a) = \frac{1}{{2{\rm{ \mathsf{ π} }}{a^2}}}\;{\rm{exp}}(-\frac{{(x-{x_i}) + (y-{y_i})}}{{2{a^2}}}) $

(2)

建立高斯金字塔, 首先要将影像扩大一倍, 然后在该尺度下进行高斯模糊, 几副模糊之后的图像构成一个八度, 对八度下最模糊的一张进行下采样, 长和宽分别缩小一倍, 这也是下一个八度的初始图像。以此类推构建满足整个方法所需要的尺度。为了获取层级(i+1)层级的金字塔, 图像金字塔化一般包括两个步骤:

1) 使用低通滤波器平滑图像;

2) 对图像进行降采样(水平, 竖直方向1/2), 得到一系列尺寸缩小的图像。

1.2 深度全卷积框架

卷积神经网络(convolutional neural network, CNN)是当前计算机当前视觉与语音分析领域的研究热点^[8]。传统CNN将输入影像通过卷积层来提取特征点, 由于特征点维度的不断升高, 为保证计算效率与准确度, 加入池化层使之降维。全链接层权值的确定需要多次实验才可确定, 训练与修复的效率低下, 本文采用深度全卷积神经网络, 即将传统的CNN中的全链接层转化为卷积层, 将整张影像进行卷积, 全卷积神经网络的工作流程主要分为以下两个步骤。

1) 首先将输入的影像数据进行多次卷积, 层层提取影像特征点;

2) 利用设计的损失函数对卷积结果计算损失值, 基于损失值沿着卷积方向进行反向传播, 进一步更新卷积核的权值。

2 实验结果及分析 2.1 实验参数

为了更好地评价全卷积法的实验效果与影像质量精度, 本文实验在64位Window 7系统, Intel-I5处理器, 内存为8 G的计算机上, 使用Matlab R2015b软件。对遥感影像进行尺度变化, 进行FENA分割后得到约10 000张遥感影像做为实验训练样本, 每张影像尺寸大小为65像素×65像素, 并放入全卷积神经网络中训练学习。两个相邻的子图像之间滑动距离为16个像素。可以获得大约26万个像素训练数据并验证其训练精度, 从每一层单个卷积核的简单网络结构开始训练, 逐渐在每层增加新的神经元并修改链接权重, 直到达到训练预期后停止^[9]。对训练样本子区域进行分类比较。本文在对应输入训练样本与输出样本的灰度均值相关度达97.31%后完成训练, 生成全卷积神经网络修复算法模型。

2.2 实验过程

为了验证多尺度全卷积神经网络方法的修复效果, 本文模拟两种因传感器故障时的遥感影像, 对影像进行多尺度变换后分别进行全卷积修复, 首先选择一副原始影像, 缺失黑带宽设置为2, 间隔为5。随机噪音参数设为15%。卷积核选择4像素×4像素, 对于原始灰度原图像(T₀), 经过建立高斯金字塔, 将高斯模糊后的影像尺度逐次减小1/2, 得到1/2T₀、1/4T₀、1/8T₀等分别进行训练。如图 2所示。

由图 2(c)、2(e)可以看出, 利用全卷积神经网络方法基本上修复了原始影像中黑色条带, 图 2(d)、2(f)消除了随机噪音, 由于在构建高斯金字塔时将原影像扩大一倍后, 进行模糊下采样。在卷积运算时, 注重边缘信息的采样, 所以随机噪音影像修复结果与黑色横带相比亮度较低, 纹理信息较模糊。1/2T₀尺度修复目视效果优于1/8T₀尺度, 证明了卷积核与待修复区域像元的关系, 影响修复效果。实验结果表明, 黑色条带大致消除, 对影像进行平滑处理, 尤其在像素差较大的相邻边界点修复目视效果良好。

2.3 结果对比分析

为更加精确评价本文方法的修复精度, 通过比较不同尺度下(1/2T₀、1/4T₀、1/8T₀)与插值法和线性平滑法进行其峰值信噪比、结构相似度的比较来衡量修复精度, 如表 1所示。

由表 1、图 3可以得出本文方法得到的影像峰值信噪比、结构相似度值和目视效果均强于其他两种方法。因为不同尺度下修复的效果存在差别, 所以利用这一特性, 针对待修复影像的特点, 选择最佳尺度。通常采用的插值法、扩散法和基于整体的修复方法, 会造成严重的模糊。多尺度卷积神经网络方法对遥感影像的修复有着良好的视觉效果。

综上所述, 多尺度全卷积神经网络驱动下的遥感影像修复方法, 其修复精度高于常用的修复方法, 其灵活多变的尺度与自适应性, 无尺寸限制的输入影像是其显著的特点, 实现了遥感影像修复的自动化。

3 结束语

本文主要阐述了多尺度全卷积神经网络驱动下的遥感影像修复, 构建高斯金字塔实现多尺度变换后进行FNEA算法分割来提高效率, 利用卷积层之间的激活函数值来寻找最佳匹配像素, 最后通过全卷积神经网络反向传播对缺失像素进行填充, 其自动学习遥感影像特征、可选择性的尺度, 使得该算法更加灵活。在修复遥感影像的领域内, 具有一定的实用价值。