遥感影像变化检测是对同一场景不同时间拍摄到的2副或多幅影像地表差异进行分析的一项技术。随着遥感技术的迅速发展，基于遥感影像的变化检测已成为地理大数据更新的关键技术。其中合成孔径雷达(synthetic aperture radar，SAR)遥感影像因不易受光照和大气的影响，具有全天候、全天时、多极化、多波段等特点，被广泛应用于环境监测、城市研究、灾害评估、森林资源监测等多个领域^[1]。雷达传感器的成像设备受波的干涉影响，接收到的总回波存在误差，导致真实的SAR影像存在大量噪声，图像分辨率较低，地表的原有信息和特征易丢失^[2]。因此如何在有效抑制噪声的同时获得较高精度的检测结果仍然是一个具有挑战性的课题。

变化检测方法从实现方式可分为有监督^[3-4]和无监督^[5-6]两种。有监督变化检测不仅依赖于双时相遥感图像，而且需要大量的人工标注结果；无监督变化检测仅依赖于双时相原始遥感图像。由于人工标注工作效率低下，难以满足目前应用需求，因此无监督变化检测方法的应用前景更为广阔。基于传统算法的无监督变化检测方法主要有图像预处理、生成差异图像、对差异图像进行变化和未变化区域分类3个步骤。预处理是后续步骤的基础，主要包含辐射校正、几何校正、图像几何配准、降噪等操作。生成差异图像是变化检测的核心，具有代表性的差异特征有助于获得高精度的变化检测结果。研究初期，学者们提出了差值法、对数比值法、均值比值算法等差异图构造算法，这些算法均采用像素点无差别的计算方式，构造算法单一，忽略了图像的局部特征差异，导致结果漏检、错检较多。为了更好地突出变化区域并抑制背景区域，Gong等^[7]利用小波变换融合对数比值和均值比值差异图。在此基础上，Jia等^[8]利用多尺度小波核融合差值和比值差异图，这些方法一定程度上提高了精度，但增加了计算复杂度。为了实现简单快速的差异图融合，Zheng等^[9]提出基于差值和对数差值的加权平均融合算法，但受限于差异算子的构造且易引起融合结果的空间扭曲。对此，邵攀等^[10]以模糊积分为基础，提出了一种顾及冲突分析的图像融合算法，可实现4种差异图的决策级融合。

在获取差异图像后，一般利用阈值法或聚类算法实现差异图分类。阈值法可通过差异图像的直方图确定最优阈值，思路简单，检测结果对阈值的选取较为敏感，鲁棒性差。相比阈值法，聚类算法不需要设定阈值且鲁棒性强，因此在变化检测中得到了广泛应用。针对传统的模糊C均值聚类(fuzzy C-menas clustering，FCM)算法容易忽略图像空间信息、对噪声敏感的缺陷，Gong等^[11]提出基于马尔可夫随机场(Markov random field，MRF)能量函数的模糊聚类算法，该算法一定程度上提升了检测的精度，但加大了算法的计算复杂性。为了实现快速图像变化检测算法，Lei等^[12]提出快速模糊C均值聚类的无监督变化检测算法(change detection fast FCM, CDFFCM)。以上基于传统算法的变化检测模型虽然能够不同程度地实现变化检测，但仍然存在以下缺陷：1)差异图生成算法对噪声敏感，难以有效区分前景及背景；2)图像特征描述困难，导致对变化和未变化像素的分类结果精度有限；3)算法鲁棒性较低，需要通过调整参数以适应不同数据。

近年来将深度学习用于计算机视觉领域已经取得了显著成效^[13]。对于具有高复杂性的遥感图像变化检测问题，深度卷积神经网络通过自动提取图像的深层语义特征实现了较传统算法更高的变化检测精度^[14]。Liu等^[15]设计了一种对称卷积耦合网络(symmetric convolutional coupling network, SCCN)，该网络仅选择未变化区域作为训练样本，导致差异图的构造信息缺失严重。对此Zhao等^[16]提出近似对称的深度神经网络(approximately symmetric deep neural network, ASDNN)。以上两种对称网络虽避免了滤波算法对检测结果的影响，但检测结果依赖于差异图的构造。Gong等^[17]提出了一种基于监督策略的无监督变化检测算法，能够消除滤波和差异图构造过程中对变化检测结果的影响，但该算法未有效利用像素之间的位置信息，模型抗干扰能力差。针对以上问题，Gao等^[18]设计了一个预分类模型以获得部分高精度的伪标签，利用PCA滤波器代替传统的卷积滤波器，有效提升了网络模型的鲁棒性；Dong等^[19]将2-Channel模型结构的思想引入到Siamese网络中，加快了网络的收敛；王昶等^[20]提出了一种基于频域显著性算法结合ELM的遥感影像变化检测算法，提高了网络的学习效率和泛化能力。

受文献[17]启发，本文在预分类方面，以加权平均算法为基础，提出局部能量加权算法(local energy weight，LEW)用于融合差异图，解决了权值选择困难的问题，此外，权值计算考虑邻域信息有助于抑制噪声；在构建网络方面，以Siamese结构为基础，引入差异特征提取模块，构建了DFF-Siamese网络模型，该模型进一步加强了输入影像间的差异性度量，有助于提升网络的学习能力。

1 算法描述

基于知识驱动联合数据驱动的思路，将先验知识引入到深度卷积神经网络中，本文提出了基于差异特征融合的无监督SAR图像变化检测算法，整体流程如图1所示。该算法主要包括如下3个步骤。1)预分类：利用LEW算法对对数比值差异图和均值比值差异图进行像素级融合得到新的差异图像，采用聚类算法对其进行二分类(变化与未变化)。2)网络训练：将预分类结果作为像素类别标签(伪标签)指导网络进行训练。3)输出网络预测结果：将原始图像像素块输入已训练好的网络获得最终变化检测结果。

1.1 预分类

设不同时间同一地点拍摄到的2副SAR图像为前时相 ${I_1}$ 和后时相 ${I_2}$ (已经过预处理、图像增强等操作)：

$ {I_1} = \{ {I_1}(i,j), 1 \leqslant i \leqslant H,1 \leqslant j \leqslant L\} $

(1)

$ {I_2} = \{ {I_2}(i,j), 1 \leqslant i \leqslant H,1 \leqslant j \leqslant L\} $

(2)

式中： $H \times L$ 表示图像大小； ${I_1}(i,j)$ 与 ${I_2}(i,j)$ 分别表示2副SAR图像上的像素值。

预分类模型的核心步骤主要包括生成差异图像和差异图像聚类。针对单波段遥感影像，目前常用的2种差异算子为对数比值差异算子和均值比值差异算子，其数学表达式为

$D{I_{\log }} = \Big|\log \left(\frac{{{I_1}}}{{{I_2}}}\right)\Big|$

(3)

$D{I_{{\rm{mean}}}} = 1 - \max \left(\frac{{{\mu _1}}}{{{\mu _2}}},\frac{{{\mu _2}}}{{{\mu _1}}}\right)$

(4)

式中： ${\mu _1}$ 、 ${\mu _2}$ 分别表示 ${I_1}$ 、 ${I_2}$ 的均值滤波结果。为了对比2种差异算子，以Bern数据集为例，利用FCM算法对对数比值差异图和均值比值差异图进行聚类，结果如图2所示。

由图2(a)、(b)可以看出，2副图像均包含大量误判区域。由于对数比值算子更有利于噪声抑制，因此图(a)较图(b)包含更少的误判区域，但均值比值算子更有利于变化区域的保留。2种算子各有优势，为了得到更加精准的差异特征，需要对差异图像进行融合。

图像融合技术根据图像的所属层次划分为3类：像素级融合、特征级融合、决策级融合^[21]。其中像素级融合技术具有易实现、计算复杂度低等优势，被广泛应用。像素级图像融合方法可分为单尺度和多尺度。多尺度方法是对空间域或频域上图像分解的结果进行融合，可获得较为丰富的图像特征，但计算复杂度较高。为降低计算成本，本文考虑单尺度像素级融合策略，传统加权融合算法为

$D{I_F} = \alpha \times D{I_{\log }} + (1{\rm{ - }}\alpha ) \times D{I_{{\rm{mean}}}}$

(5)

式中： $ \alpha $ 是源差异图像的融合系数，通常取0.5。

利用式(5)将图2(a)和图2(b)依据不同权值进行融合，结果如图3所示。

由图3可以看出，加权融合的结果均明显优于单一算子的处理结果。然而融合结果对权值的选择较为敏感，针对不同的数据集需调整权值参数。由于变化区域一般是连续且非孤立的点，像素之间具有很强的相关性，因此考虑邻域信息更有利于提高变化区域的完整性。据此，本文提出一种局部能量加权算法(local energy weight，LEW)，该算法首先根据局部能量函数分别计算对数比值差异图和均值比值差异图中的每个像素点及其邻域像素灰度值之和，将其定义为该中心像素点的能量值，能量值较大时，所对应的权值也相对较大。然后根据能量值计算每个原像素的融合权值，实现自适应权值系数。最后利用模糊聚类算法获得最终差异图，详细算法见算法1。

算法1　LEW算法

输入　对数比值差异图 $D{I_{\log }}$ ，平均比值差异图 $D{I_{{\rm{mean}}}}$ ；

输出　差异融合图像 $D{I_F}$ 。

1)根据局部能量函数公式分别计算 $D{I_{\log }}$ 与 $D{I_{{\rm{mean}}}}$ 所对应的局部能量矩阵 ${{{E}}_{\log }}(x,y)$ 和 ${{{E}}_{{\rm{mean}}}}(x,y)$ ，能量函数数学表达式为

${{{E}}_\mu }(x,y) = \displaystyle\sum\limits_{i = 1}^w {\displaystyle\sum\limits_{j = 1}^w { { {[D{I_\mu }(x + i,y + j)]}^2} \times W(i,j)} } $

式中： $\mu = \log /{\rm{mean}}$ ； $(x,y)$ 表示差异图像像素位置； $w$ 表示窗口大小， $w$ 可表示为 $w \times w$ 的滤波模版，通常取3。

2)将局部能量矩阵归一化到0~1，得到 ${{{E}}'_{\log }}$ 以及 ${{{E}}'_{{\rm{mean}}}}$ ， ${{{E}}'_\mu } $ 为

${{{E}}'_\mu } = \dfrac{ { {{{E}}_\mu } - \min ({{{E}}_\mu })} }{ {\max ({{{E}}_\mu }) - \min ({{{E}}_\mu })} } $

3)计算融合系数 $\alpha $

$\alpha = \dfrac{1}{ {1 + \exp ( - { {{{E}}'}_{\log } })} }$

4)根据式(5)得到最终的融合图像 $D{I_F}$ 。

1.2 DFF-Siamese网络

Liu等^[15]所提出的网络是一种基于对称结构的特征学习网络，所涉及参数较多。此外，传统的神经网络缺乏对图像的局部感知能力且优化困难，因此遥感图像的变化检测模型通常以Siamese结构为基础。Siamese网络是一种经典的检测图像相似性的卷积神经网络模型^[22]，该网络结构可将任意大小的邻域信息作为输入，2分支共享结构和参数，在网络的卷积结构之后使用全连接层合并2个分支，最后利用这2个影像间的相似程度进行分类。该模型能有效抵抗影像间的非线性辐射差异，提高影像在不同模态情况下的相似性检测性能，灵活度高且稳定性好。但是该网络仅用2幅图像的最高层特征构造差异图，不能充分挖掘输入图像所包含的特征信息。

综上所述，针对Siamese网络与对称网络各自的结构缺陷，本文提出一种差异信息融合的Siamese网络(DFF-Siamese)，在Siamese网络的基础上引入了逐层卷积特征之间的差异性，使差异特征描述更加丰富，有利于提高细节检测的准确度，并增强模型抗干扰能力，网络结构如图4所示。

该网络将变化前后图像中相同位置的逐像素邻域作为输入，2组输入可分别表示为

${X^1} = \{ x_n^1(h,l),1 \leqslant h \leqslant H,1 \leqslant l \leqslant L\} $

(6)

${X^2} = \{ x_n^2(h,l),1 \leqslant h \leqslant H,1 \leqslant l \leqslant L\} $

(7)

式中： $x_n^1(h,l)$ 与 $x_n^2(h,l)$ 分别表示变化前后某一像素的邻域；输入像素块的数量为 $H \times L$ 。

该网络卷积过程可分为2部分，分别用于构建高维特征和差异特征。利用4个卷积层获取输入的高层特征，前3层卷积核大小为 $3 \times 3$ ，第4层为 $2 \times 2$ ；逐层卷积输出的特征图再经过一次卷积运算以达到降维目的，卷积核的大小依次为 $6 \times 6$ 、 $4 \times 4$ 、 $2 \times 2$ ，维度设置为1。经过通道降维操作后，特征图逐层作差，得到差异特征图 $D{I_i}$ 。

$D{I_i} = F_i^1 - F_i^2$

(8)

式中： ${F_i}$ 表示第 $i$ 层卷积层的输出再经过卷积降维之后的特征图，1、2用于区分变化前后的特征图。将双时相图像的高层特征图和逐层差异特征图转换为一维向量，然后在全连接层合并。由于训练样本较少，因此在全连接层引入Dropout以避免过拟合发生。整个网络未设置池化层，这是由于该网络的目的是估计像素差异，而不是区域差异，引入池化层会造成信息损失。待网络训练完成之后，将成对的像素邻域作为输入样本在决策层评估它们之间的差异性，以获得最终变化图。

2 实验分析与结果

本文共设置2组实验分别验证预分类模型和DFF-Siamese网络的有效性：1）将所提出的DFF-Siamese网络与其他6种深度学习网络进行比较，参与验证的对比网络有对称耦合卷积网络（SCCN）^[15]、近似对称深度神经网络（ASDNN）^[16]、主成分分析网络（PCA-Net）^[18]、2通道网络（2-Channel network）^[23]、基于多尺度输入的2通道流网络（2-Channel-Stream）^[23]、孪生网络（Siamese）^[22]，其中，2-Channel network，2-Channel-Stream，Siamese和DFF-Siamese网络在监督训练阶段的“伪标签”来自于FCM算法对融合差异图的聚类结果；2)在预分类阶段中，差异图的分类算法采用FLICM^[24]与FRFCM^[25]，并将分类结果作为DFF-Siamese网络训练“伪标签”。ASDNN网络、PCA-net网络使用Matlab 2018b实现，SCCN利用Tensorflow框架完成，其余的算法在Pytorch框架上完成。所有算法均在硬件环境CPU为 Intel Core i9 9900X@3.40 GHz，GPU 为 NVIDIA GeForce RTX 2080Ti 11 GB的计算机上实现。

2.1 实验数据

为了定量评估算法性能，2组实验均在Ottawa、Bern和Coastline这3组公开遥感数据集上完成。Ottawa数据集的双时相图像分别于1997年5月和8月在Ottawa上空由雷达卫星SAR传感器获得，反映的是洪水造成村庄面积的变化，图像大小为 350 像素 $ \times 290$ 像素，由加拿大国防研究部门提供。Bern数据集的双时相图像分别于1999年4月和5月在瑞士伯尔尼市附近由欧洲遥感2号卫星SAR传感器采集，图像大小为 301 像素 $\times 301$ 像素。Coastline数据集的双时相图像分别于2008年6月和2009年6月在中国黄河流域由Radarsat-2传感器获得，图像大小为 280 像素 $\times 450$ 像素。

2.2 实验参数及评价指标

在实验中，LEW算法中滤波模板W为 $3 \times 3$ 。网络输入为像素邻域，大小设置为 $5 \times 5$ ，为了避免卷积过程中特征图尺寸过小，统一将输入填充至 $9 \times 9$ ，在2-Channel-Stream网络中，另一个尺度的输入是像素邻域取 $9 \times 9$ 间隔为1的下采样。SCCN、ASDNN以及PCA-net算法参数与原文参数保持一致。Siamese、2-Channel以及2-Channel-Stream网络与本文提出的网络层级结构相同。DFF-Siamese网络参数选择随机初始化，两分支权值共享，在训练阶段采用Adam算法对参数进行优化，该优化算法可以自适应调整各个参数的学习率，从而加快网络收敛。采用交叉熵损失反向传播算法更新权重，得到最优分类，学习率为0.1，动量取0.9，Dropout设置为0.3。

本文选择4种评价指标对提出的算法进行定量分析：假负值(FN)，假正值(FP)，总错误(OE)，Kappa系数。FN 代表未检测到的变化像素数，FP 代表将未变化像素检测为变化的像素数，Kappa系数是衡量真实地表变化与检测结果一致性的评价指标，它所体现的是整幅图的检测结果。

2.3 实验结果与定量评估 2.3.1 网络有效性分析

1)Ottawa数据集

图5给出了不同算法在Ottawa数据集上的变化检测结果，定量分析指标如表1所示。Ottawa数据集的特点是变化区域占有较大比例，轮廓清晰，主要的难点在于真实变化区域与噪声易混淆。

从图5可知，基于LEW差异融合的预分类可以显示出清晰的变化边缘，由于FCM算法未能很好地考虑图像上下文信息从而使预分类存在少量漏检与孤立的噪声点。SCCN算法的检测结果中存在明显的漏检区域，ASDNN相比SCCN变化区域完整性稍有提升，两者检测精度相差不大。PCA-net噪声鲁棒性较高，变化区域相对完整且边缘光滑。2-Channel网络在卷积过程中直接导致变化前后的特征信息融合，因此FP值很高。2-Channel-Stream网络相比2-Channel网络获得了更为完整的变化区域，因此其FP指标最高，但是其本质相当于2组并行的2-Channel网络，因此伪检区域也更多，影响整体检测精度。

本文提出的DFF-Siamese网络相比Siamese网络在噪声和变化区域的完整性之间取得了更好的平衡，获得了最小的OE指标，在该数据集上的视觉效果与Kappa系数均达到最优，在预分类的基础上精度提升了4.24%。

2)Bern数据集

图6给出了不同算法在Bern数据集上的变化检测结果，定量分析结果如表2所示。在该数据中未变化区域占有很大比例，变化区域之间微小的间隙会给检测任务带来挑战。

该数据集上的预分类结果与Ottawa数据集基本一致。SCCN、PCA-net的检测结果与标准变化图差距较大，变化区域缺损严重，虽然PCA-net对噪声的抑制效果仍然出色，但却以损失大量变化区域为代价，FN指标较高。ASDNN没有漏检区域，但是由于该网络不能很好地考虑邻域信息，导致对细节的检测不够精确，获得了最高的FP指标。2-Channel、2-Channel-Stream、Siamese与DFF-Siamese对变化区域的完整性检测在视觉效果上接近，但DFF-Siamese获得了最少的噪声点，在定量分析方面，DFF-Siamese获得了最小的OE指标，Kappa系数达到了最优，在预分类基础上提升了5.14%。

3)Coastline数据集

图7给出了不同算法在Coastline数据集上的变化检测结果，定量分析结果如表3所示。

该数据集的变化区域很小，分布不集中。各类算法的检测结果在该数据集上的表现与前2组数据集基本一致。从视觉效果来看Siamese网络与本文提出DFF-Siamese网络均获得了与真实变化图较为接近的结果，变化区域清晰完整，无明显的噪声。

从定量分析方面，DFF-Siamese仍然取得了最低的OE指标，Kappa系数相比于Siamese网络和预分类分别提升了1.81%、11.38%。

2.3.2 其他聚类算法的有效性讨论

该无监督检测框架可以有效避免传统的预处理步骤，在预分类结果不理想的情况下仍然具有较好的检测性能。以上实验均通过FCM算法实现预分类，FCM算法本身存在较多局限性：1)对像素的不均匀分布和噪声较为敏感；2)算法的时间复杂度会随着图像分辨率的增大而增大；3)对高维图像的鲁棒性较差^[26]。针对以上问题，Krinidis等^[24]提出了基于模糊局部信息的FCM算法(FLICM)，Lei等^[25]提出了快速鲁棒的FCM(FRFCM)。为了进一步验证LEW的适用性以及DFF-Siamese的可靠性，在预分类模型中利用FLICM和FRFCM实现差异图的预分类，再以该分类结果作为DFF-Siamese训练的类别标签，对网络预测结果的定量分析见表4。

从表4可以得出，利用改进的FCM算法分析LEW融合结果，其本身就可以获得更高的变化检测精度，大量的干扰信息在预分类阶段被有效处理，给网络训练提供了更好的指导作用，最终变化区域正确率相比预分类均有不同程度的提升，进一步验证了DFF-Siamese的稳定性。

3 结束语

本文提出了一种应用于SAR影像的无监督变化检测算法。主要有两方面贡献：1)在预分类模型中，基于局部能量加权融合算法(LEW)通过引入能量函数计算像素的融合系数，解决了加权平均融合算法权值选择困难的问题，显著增强变化区域以提升分类器的检测性能；2)在深度学习方面，所提出的差异特征融合网络(DFF-Siamese)以Siamese网络为基础，通过增加逐层差异性度量模块使特征挖掘更深入，有效提升了网络的学习能力。在3组变化特点不同的遥感数据集上的实验结果验证了本文算法具有更好的准确性和稳定性。

本文算法仍然存在一定不足，所使用的网络模型是以一种有监督的方式进行训练的，因此检测结果在一定程度上受限于预分类结果。下一步工作将继续探索更有效的无监督算法用于解决变化检测问题。