随着IKONOS、GeoEye-1、高分五号等各类遥感卫星的成功发射，遥感影像数据呈现爆发式增长，在国民经济和国防建设等领域的作用日益凸显。卫星传感器自身成像机制的局限，导致其无法使同一幅遥感图像兼具高空间分辨率和高光谱分辨率^[1]。然而，各类遥感影像处理与解译任务，如目标检测^[2]、变化监测^[3]、地物分类^[4]等，对高空间分辨率多光谱(high resolution multispectral, HRMS)图像具有迫切需求。因此，全色锐化技术应运而生。该技术是将具有高空间分辨率的全色(Panchromatic, PAN)图像和低空间分辨率的多光谱(low resolution multispectral，LRMS)图像融合，生成兼具高空间分辨率和高光谱分辨率的图像，即HRMS图像^[5]。

随着信息处理技术的不断发展，诸多全色锐化方法被提出。传统的全色锐化方法主要分为3类：分量替换、多分辨率分析和变分优化^[6-7]。分量替换方法的核心思想是将LRMS图像投影到其他特征空间，并利用直方图匹配后的PAN图像替换其第一主分量，然后通过逆变换得到融合图像。其主要代表方法是强度−色调−饱和度^[8]和主成分分析^[9]。虽然分量替换方法能保持融合图像的空间分辨率，但LRMS和PAN图像之间的局部差异会导致融合图像的光谱失真。多分辨率分析方法采用小波变换^[10]、轮廓波变换等多分辨率技术，将从PAN图像提取的空间信息注入LRMS图像。与分量替换方法相比，该类方法能更好地保留光谱信息，但会产生局部区域的空间失真。变分优化方法将融合过程视为图像恢复问题，利用先验正则化约束来构造变分融合能量函数，通过最小化能量函数来重建融合图像。常见的变分优化方法有低秩先验^[11]、稀疏先验^[12]和拉普拉斯先验^[13]。

近年来，深度学习方法因其突出的数据处理和计算能力在全色锐化领域广受青睐。基于深度学习的全色锐化方法分为两类：基于卷积神经网络(convolutional neural network，CNN)和基于生成对抗网络(generative adversarial networks, GAN)的方法。文献[14]创造性地将CNN应用于全色锐化领域。该方法首先对上采样LRMS图像和PAN图像进行拼接，再将拼接后的特征输入三层网络进行融合。文献[15]提出了一种基于双流分支网络(two-stream fusion network，TFNet)的方法，其使用两个子网络分别对LRMS和PAN图像进行特征提取，随后经过特征融合与图像重建网络得到融合图像。此外，文献[16]提出了一种用于全色锐化的深度网络PanNet。该网络在高通滤波域训练网络参数，将上采样多光谱图像添加到 CNN 的输出，从而将光谱信息直接传递至重建图像。基于GAN的全色锐化方法需要将PAN和LRMS作为生成器的输入，再将其映射到所需的HRMS图像，同时利用鉴别器实现对抗训练生成HRMS图像。文献[17]提出了一种PSGAN(GAN for pansharpening )方法，该方法在GAN中添加了双流输入，通过堆叠输入和注意力机制，有效生成高质量的HRMS图像。

3D CNN是在2D CNN基础上衍生而来，其考虑多张图像的关联信息或视频的时序信息，引入了新的维度信息，能够提取3个维度的联合特征。在遥感图像领域，3D CNN 被广泛应用到多光谱/高光谱图像分类^[18-19]。高光谱图像数据的光谱信息在分类中起到重要作用。3D CNN通过利用波段间的相关特性， 能够挖掘光谱波段的联合空谱特征，从而提升分类性能。受此启发，本文利用3D CNN 来提取图像的光谱特征信息。

近年来，图卷积神经网络(graph convolutional neural network，GCNN)^[20]在诸多领域也颇受关注。GCNN的现有应用大多聚焦于图形数据，例如社交网络、物理系统和知识图^[21]。其主要优点是能够充分表达信息之间的传播和数据的交互。文献[22]提出了GCResNet，该网络将GCNN应用到图像去模糊领域，使性能得到显著提升。文献[23]提出了GCPNet，该网络将知识蒸馏与GCNN相结合，设计了用于LRMS和PAN融合的光谱图卷积神经网络模块和空谱图卷积神经网络模块，取得了较好的融合结果。这两个模块分别捕捉了全色图像和多光谱图像的光谱特征和空间信息，从而得到较好的融合结果，展现了GCNN在提取非局部结构信息方面的优势。

考虑到2D CNN、3D CNN和GCNN能够挖掘遥感图像不同层次的结构特征，本文提出了一种基于混合双分支卷积神经网络和图卷积神经网络的全色锐化方法，通过利用2D CNN、3D CNN和GCNN挖掘LRMS图像与PAN图像的空间、光谱与非局部结构特征。本文主要贡献如下：

1)以深度神经网络为基础，构建了特征提取、特征融合和图像重构3个网络模块，增强了融合框架的可解释性。

2)通过结合2D CNN和3D CNN，构建了混合双分支特征提取网络，分别从多光谱图像与全色图像中提取出空间信息和光谱特征。

3)引入了GCNN，有效地捕捉了图像非局部空间关系，为融合图像重建提供了更丰富的特征。

1.   本文算法

1.1   模型整体框架

本文方法的网络框架如图1所示。

图  1  本文算法框架

Fig.  1  Framework of the proposed method

下载: 全尺寸图片

图1该网络主要包括3个阶段：特征提取阶段、特征融合阶段与图像重构阶段。其中，特征提取和特征融合充当编码器，从输入PAN和LRMS图像中提取和编码特征；图像重构阶段要对融合后的特征进行解码，重建出所需的HRMS图像。具体实现细节描述如下：

首先，将LRMS图像上采样至与PAN图像相同尺寸，并将PAN与上采样的LRMS图像的每一个波段进行直方图匹配。然后，将直方图匹配后的PAN图像在通道方向进行拼接，并定义为$ {{\boldsymbol{P}}_{\mathrm{H}}} $。最后，以上采样的LRMS图像和直方图匹配后的PAN图像作为网络输入。

特征提取网络，采用两个网络模块分别对上采样的LRMS图像和直方图匹配后的PAN图像进行提取特征。第1个网络模块为混合双分支卷积神经网络。在该网络中，2D CNN由两个$ 3 \times 3 $的卷积核和一个$ 2 \times 2 $的卷积核构成，旨在从两幅图像中提取出空间特征。3D CNN由两个$ 3 \times 3 \times 3 $的卷积核和一个$ 1 \times 2 \times 2 $的卷积核构成，旨在提取两幅图像的光谱信息。第2个网络模块为GCNN模块。该模块利用了GCNN在捕捉节点中丰富的上下文空间关系和整合非局部信息方面的能力，以提取多光谱图像和全色图像中的非结构化特征。最后，将两个不同源图像的特征拼接，送入特征融合网络。

在特征融合网络中，将LRMS和PAN两幅图像由特征提取网络的混合双分支卷积神经网络模块提取出的特征进行拼接，输入特征融合网络的混合双分支卷积神经网络模块。同时，将两幅图像由特征提取网络的图卷积神经网络模块提取出的特征进行拼接，输入特征融合网络中的图卷积神经网络模块。然后，将特征融合网络输出的两个特征进行整合拼接，以获取最终融合特征图，作为图像重构网络的输入。图像重构网络如图2(c)所示。考虑到随着网络层数的增加，卷积后获取的高级特征会失去原始图像的纹理细节，因此在图像重构网络中使用跳跃连接，将包含图像原始细节纹理的低级特征与高级特征连接，以弥补特征融合过程中的原始细节丢失。

图  2  网络模块结构示意

Fig.  2  Schematic diagram of network module structure

下载: 全尺寸图片

1.2   混合双分支卷积神经网络

本文算法提出的混合双分支卷积神经网络模块具体结构如图2(a)所示，由2D CNN和3D CNN网络构成。其中，2D CNN专注于提取LRMS和PAN图像中的空间信息，而3D CNN主要用于提取图像中的光谱信息。3D CNN具有直接处理多通道数据的能力，表明其可以利用跨光谱通道的卷积操作来捕获不同波段之间的相关性和特征。3D CNN通过在不同光谱维度上进行卷积操作，同时考虑来自多个光谱波段的信息，从而更全面地捕获图像中的光谱特征。该模块应用于特征提取和特征融合两个阶段，在特征提取阶段，其主要作用是分别从LRMS和PAN图像中挖掘光谱特征与空间信息，并将提取的特征拼接后输入特征融合网络进行进一步融合。模块中的2D CNN和3D CNN均由3个卷积层构成，其中2D CNN第l层的输出特征图可以表示为

式中：$ {{\boldsymbol{P}}_{\mathrm{H}}} $为PAN图像，$ \tilde {\boldsymbol{M}} $为上采样的LRMS图像。$ f_{2{\mathrm{D}}}^{(l)}( \cdot ) $为2D CNN第l层，$ {\boldsymbol{F}}_{{{\mathrm{P}}_{2{\mathrm{D}}}}}^{(l)} $为PAN图像经过l层2D CNN后的特征，$ {\boldsymbol{F}}_{{{\mathrm{M}}_{2{\mathrm{D}}}}}^{(l)} $为LRMS图像经过$ l $层2D CNN后的特征。3D CNN第$ l $层的输出特征图可以表示为

式中：$ f_{3{\mathrm{D}}}^{(l)}( \cdot ) $为3D CNN的第$ l $层，$ {\boldsymbol{F}}_{{{\mathrm{P}}_{3{\mathrm{D}}}}}^{(l)} $为PAN图像经过$ l $层3D CNN后的特征，$ {\boldsymbol{F}}_{{{\mathrm{M}}_{3{\mathrm{D}}}}}^{(l)} $表示PAN图像经过$ l $层3D CNN后的特征。LRMS和PAN图像经过第1个混合双分支卷积神经网络模块后的特征图记为$ {{\boldsymbol{F}}_{\mathrm{P}}} $和$ {{\boldsymbol{F}}_{\mathrm{M}}} $，经过三层卷积后，则有

式中$ {\mathrm{ConCat}} $为将特征在通道方向上拼接。

1.3   图卷积神经网络

图卷积神经网络作为一种独特的神经网络结构，与常见的卷积神经网络存在显著差异。它通过图卷积的方式，有效地从图数据中提取关键特征，进而实现节点分类、图分类以及边预测等任务。图卷积可以定义为简单形式^[20] ：

式中：$ {\boldsymbol{Z}} $是卷积信号矩阵，$ \hat {\boldsymbol{A}} $是邻接矩阵，$ {\boldsymbol{\varTheta}} $是滤波器参数矩阵。受到文献[23-24]的启发，全局网络也可以近似地看作图卷积神经网络。全局网络的结构如图3所示：输入特征先分别经过$ \alpha ( \cdot ) $、$ \beta ( \cdot ) $和$ \gamma ( \cdot ) $3个$ 1 \times 1 $的卷积核，通过对图像中所有位置的像素进行加权平均，从而捕捉图像中远距离的关系；再通过重塑操作对输入张量的维度重新排列或重新组合，以计算全局范围内像素间的关联性。

图  3  图卷积神经网络结构

Fig.  3  Graph convolutional neural network structure

下载: 全尺寸图片

重塑后的特征由输入特征$ {{\boldsymbol{F}}_{\rm{in}}} \in {{\bf{R}}^{N \times W \times H}} $变成$ {{\boldsymbol{F}}_\alpha } \in {{\bf{R}}^{WH \times (N/2)}} $、$ {{\boldsymbol{F}}_\beta } \in {{\bf{R}}^{(N/2) \times WH}} $和$ {{\boldsymbol{F}}_\gamma } \in {{\bf{R}}^{WH \times (N/2)}} $，其中$ {{\boldsymbol{F}}_\alpha } $、$ {{\boldsymbol{F}}_\beta } $和$ {{\boldsymbol{F}}_\gamma } $是输入特征经过卷积层后再重塑的特征。$ {{\boldsymbol{F}}_\alpha } $与$ {{\boldsymbol{F}}_\beta } $做乘法运算，实现通道间的交互和融合。通过元素级的乘法，可以实现两个特征图之间的像素级别交互，从而加强特征的表示。随后，经过$ {\mathrm{Soft}}{\mathrm{max}} $激活后，再与$ {{\boldsymbol{F}}_\gamma } $相乘，进行进一步的通道交互。交互后的特征图像再经过两个$ 1 \times 1 $的卷积层和一个BN(batch normalization)层之后，通过重塑将特征输出，记为$ {{\boldsymbol{F}}_{\rm{out}}} $。此时$ {{\boldsymbol{F}}_{\rm{out}}} \in {{\bf{R}}^{N \times W \times H}} $与原输入$ {{\boldsymbol{F}}_{\rm{in}}} $大小一致。上述过程可表示为

将$ \alpha ({{\boldsymbol{F}}_{\rm{in}}}){{\boldsymbol{\beta}} ^{\mathrm{T}}}({{\boldsymbol{F}}_{\rm{in}}}) $视作邻接矩阵$ \hat {\boldsymbol{A}} $，则上文描述的运算机理可近似地看作图卷积过程。

1.4   损失函数

根据文献[25-26]中提出的合成协议和一致性协议，本文认为融合后的HRMS图像的光谱应尽可能与LRMS图像保持一致。本文将HRMS和输入LRMS之差的$ {L_1} $范数作为光谱损失函数$ {L_{{\mathrm{Spectral}}}} $，其定义为

其中$ \hat {\boldsymbol{M}} $表示HRMS图像。

为保持空间细节尽可能与原始PAN图像$ \boldsymbol{P} $一致，本文用HRMS图像和PAN图像之差的$ {L_1} $范数作为空谱损失函数$ {L_{{\mathrm{Spatial}}}} $，其定义为

除了光谱约束和空谱约束，本文还考虑到了图像的边缘细节纹理，用HRMS和PAN梯度之差的$ {L_1} $范数来约束，其定义为

式中$ \nabla \hat {\boldsymbol{M}} $和$ \nabla {\boldsymbol{P}} $分别表示HRMS和PAN图像的梯度。本文设计的损失函数：

式中$ \mu $和$ \nu $分别是光谱损失和空谱损失的权重。第2章的消融实验结果显示，当$ \mu =0.1,\nu =1 $时，模型效果达到最好。

2.   实验结果与分析

2.1   数据集

为评估所提模型的性能，本文选择来源于IKONOS和GeoEye-1两个卫星传感器的数据集对模型进行测试。其中LRMS图像包括红、绿、蓝和近红外4个波段，PAN图像仅具有单个波段。两类卫星图像的辐射分辨率均为11 bits。两类卫星的主要特性如表1所示。LRMS图像大小为$ 200 \times 200 $。PAN图像的大小为$ 800 \times 800 $。图像数据被随机分配为训练集和测试集，分配比例为9∶1。在训练过程中，训练集裁成尺寸为$ 8 \times 8 $和$ 32 \times 32 $大小的块，进而增加训练样本的数量。具体划分情况见表2。

2.2   实验环境

本文实验在Python 3.8环境下使用PyTorch框架进行训练和测试。硬件实验平台GPU为24 GB RTX 3090。最大迭代次数设置为6000次，批大小设置为256。初始学习率设置为0.001，并每隔2000次迭代衰减50％。空间损失项和光谱损失项的权重系数分别设置为0.1和1。在IKONOS和GeoEye-1数据集上训练时长约为2 h。

2.3   评价指标

为评估所提方法的优越性，本文选取了6种具有代表性的评价指标，分别为：光谱角映射(spectral angle mapper，SAM)、合成无量纲全局相对误差(erreur relative globale adimensionnelle synthèse，ERGAS)、相对平均光谱误差(relative average spectral error，RASE)、空间相关系数(spatial correlation coefficient，SCC)、通用图像质量指标Q(universal image quality)、结构相似性(structural similarity，SSIM)^[23]指标。

2.4   实验结果与分析

本文选取6种算法作为对比，分别是4种传统方法和2种深度学习方法。传统的对比算法包括MTF-GLP(generalized Laplacian pyramid with an MTF-matched filter)^[27]、GS2_GLP(Gram-Schmidt mode 2 algorithm with generalized Laplacian pyramid)^[28]、BDSD-PC(robust band dependent spatial detail with physical constraints)^[29]、AWLP_H(additive wavelet luminance proportional with haze correction)^[30]。基于CNN的方法包括TFNet^[15]和PanNet^[16]。

图4给出了GeoEye-1数据测试图像在不同算法下的融合结果。从图中可以看出，GS2_GLP产生了一定的光谱失真，主要体现在图像下方的植被区域。BDSD-PC方法的融合图像产生了严重的光谱失真，尤其在水域和植被区域，且植被区域出现了过度饱和。AWLP-H及MTF-GLP方法的融合图像相比于前两种方法有更好的光谱质量，但存在一定程度的伪影，如绿框所标区域。相比于传统算法，TFNet和PanNet方法的融合图像在光谱和空间上都更接近于参考图像，但依然存在一些光谱和空间失真。图4(h)和(i)正中间上方水域和陆地的交接处存在少许空间细节失真。表3给出了24幅测试图像在不同融合方法下的平均客观评价指标。从表中可以看出，传统方法的评价指标数值均低于深度学习方法。本文算法在SAM、RASE、SCC和SSIM 4个指标上具有最佳数值结果，而在其他2个指标具有次最佳数值结果。其中，RASE指标较其他方法降低了0.44。

图  4  GeoEye-1数据集上7种融合方法的融合结果

Fig.  4  Fusion results of seven fusion methods on the GeoEye-1 dataset

下载: 全尺寸图片

IKONOS数据集的融合结果如图5所示，其中绿框所标区域能够更好地展示结果差异。GS2_GLP方法的融合图像产生了较为严重的光谱失真，红色建筑物区域尤为明显。同时部分边缘和纹理信息很模糊，表明融合图像存在空间失真。BDSD-PC方法的融合图像同样产生了较严重的光谱失真和空间失真。AWLP-H和MTF-GLP算法的融合图像存在轻微模糊且光谱失真较严重。相较于传统方法，基于CNN的算法在光谱特征和空间信息上更接近于参考图像，但本文算法具有最小的光谱失真和空间失真。表4给出了IKONOS数据集25幅测试图像在不同融合方法下的客观评价指标平均值。从表中可以看出，传统方法相比基于CNN的方法明显处于劣势。本文方法的评价指标在所有算法中具有最佳数值结果，其中RASE指标下降尤为明显。实验表明，本文方法有效地提升了融合图像的光谱质量和空谱质量。

图  5  IKONOS数据集上7种融合方法的融合结果

Fig.  5  Fusion results of seven fusion methods on the IKONOS dataset

下载: 全尺寸图片

2.5   消融实验

本文采用混合双分支网络和GCNN对图像特征进行提取。为了验证所提网络的有效性，本文做了相关消融实验。在超参数相同的条件下，分别去除本文网络中的3D CNN和GCNN两个模块进行对比。表5是GeoEye-1数据集24幅测试图像的平均评价指标。从表中数据可以看出，去除GCNN后，SAM、ERGAS和RASE 3项指标明显变差，说明GCNN在提升光谱质量上有显著效果。网络在去除3D CNN后，各项指标明显变差，表明3D CNN不仅改善了光谱特征，更是增强了融合图像的空间结构信息。

此外，本文还针对损失函数进行了消融实验。在设计损失函数时，在光谱和空间约束前加了权重。如表6所示，当光谱损失权重为0.1，空谱损失和梯度损失的权重分别为1时，融合效果达到最好。

3.   结束语

本文结合2D CNN、3D CNN和GCNN 3种网络结构，针对LRMS和PAN图像的特性，提出了一种基于混合双分支卷积神经网络和图卷积神经网络的全色锐化方法。混合双分支网络用于提取图像的光谱特征与空间特征：其中，2D CNN在提取空谱特征的同时降低了网络的参数量；3D CNN有效地提取图像的光谱特征，增强了融合图像的色彩信息。同时，本文利用跳跃连接，将低层特征与高层特征相连接，更好地补充了高层特征损失的细节信息。在非欧氏空间中，GCNN利用像素上下文语义关联，更好地联系了图像的全局信息，学习更丰富、更抽象的非结构化特征。损失函数的设计也充分考虑了光谱和空谱的一致性，有效地约束了模型的训练。在两个数据集上的实验表明，本文方法具有更好的融合性能。在未来工作中，将进一步探索图卷积神经网络在全色锐化领域中的应用。