深度学习(deep learning, DL)^[1-3]在包括图像分类、目标检测和语义分割等计算机视觉任务上取得了巨大成功。然而，它们的成功仍然存在潜在的风险，即面对变化的视觉领域时深度模型十分脆弱。因为深度模型大多是基于理想的假设：训练数据和测试数据是从相同的数据分布中获得。在面对与训练数据分布不同的数据时，模型性能会下降。例如，在晴天拍摄的鸟类图像上训练的目标检测模型，应用到不同天气或不同光照条件下的图像时表现较差。因此，训练一个可以推广到训练数据以外的深度模型是很有必要的。针对这一问题，领域泛化(domain generalization, DG)^[4-5]技术应运而生，其通过特定算法从一个或几个训练集训练任务模型，无需微调和模型更新，可直接应用到新的测试数据集。

领域泛化是迁移学习(transfer learning, TL)^[6-7]的一个重要分支。在领域泛化模型的训练阶段，目标领域的数据分布是完全未知的，这就导致领域泛化任务更具有挑战性。大多数领域泛化模型试图从训练域学习跨域不变的特征表示来训练预测模型。然而，最近有研究表明，仅仅学习跨域不变特征是不够的，因为领域泛化问题本质是因果表示学习问题。如果想实现较好的泛化效果，则需要探究潜在特征和标签之间的因果机制。

因果机制不能用布尔逻辑或概率推理的语言来完全描述，它需要额外干预。一些研究者引入因果发现进行因果结构学习，利用观测数据的统计特性恢复因果机制。基于此，本文提出了一种基于因果发现的领域泛化方法，其通过因果发现和反事实样本正则化实现因果结构和因果表示联合优化，从而产生可识别、可解释以及因果相关的特征表示。具体研究内容如下：首先，本文提出了一个特征重构−变分解耦模块，其利用卷积神经网络和变分推理保证了潜在特征中各个子变量的独立性，为后续因果结构学习提供了数据质量的保障。利用前面学习到的潜在特征，建立各维潜在特征变量与类别标签之间的因果有向无环图；通过因果有向无环图的优化，保证了因果特征变量与类别标签的稳定联系，从而发现潜在特征中的不变因果结构，为图像分类和后续方法提供了可信度更高的编码信息。最后，使用反事实对比正则化进行因果推断提取跨域不变因果表示。

1.   本文方法

1.1   问题定义与预备知识

为了形式化地描述领域泛化问题，本文符号定义如表1所示。其中，$ \boldsymbol{X}_i\in\mathcal{\boldsymbol{X}}\subset\mathbf{R}^d $和$ {Y_i} \in \mathcal Y \subset {{\mathbf{R}}^d} $分别表示输入样本和类别标签。各个领域的联合分布不同：$ \mathit{\mathbf{\mathit{P}}_{\boldsymbol{X}Y}^1}\ne\mathbf{\mathit{P}}_{\boldsymbol{X}Y}^2\ne\cdots\ne\mathbf{\mathit{P}}_{\boldsymbol{X}Y}^S $，但标签空间完全一致：$ {\mathcal Y^1} = {\mathcal Y^2} = \cdots = {\mathcal Y^S} $。

本文引入因果发现学习，旨在发现潜在特征与标签之间的因果关系，进而揭示两者之间的因果结构，下面详细阐述了图像数据的生成过程。假设图像生成过程的因果结构模型(structural causal model, SCM)如图1所示，定义X为生成的图像，Z为深度潜在特征，Y_true为图像真实类别，D为域标签。图像X是由一组潜在特征变量$ \boldsymbol{Z}=\left\{\boldsymbol{z}_1,\boldsymbol{z}_2,\cdots,\boldsymbol{z}_n\right\} $ $ \subset {{\mathbf{R}}^n} $生成，但并不是所有维度的潜在特征变量z都会与Y_true产生联系。其中一部分潜在特征变量z与Y_true产生联系且不受D等因素的影响，称为因果变量，这部分是现有深度模型中能产生正确预测标签的深度特征。另一部分受D的影响，称为非因果变量，这部分特征变量在深度模型预测任务中往往会导致错误的结论。

图  1  图像生成过程的因果结构模型

Fig.  1  Structural causal model of image generation process

下载: 全尺寸图片

下面对图像生成过程形式化。

假设1　图像生成过程^[8]。假设图像$ \boldsymbol{X}= \left\{\boldsymbol{x}_1,\boldsymbol{x}_2,\cdots,\boldsymbol{x}_n\right\} $是由一组潜在特征变量${\boldsymbol{Z}} = \left\{ {{\boldsymbol{z}}_1},{{\boldsymbol{z}}_2}, \cdots , {{\boldsymbol{z}}_n} \right\}$通过单映射生成函数生成的：

式中：$ \boldsymbol{\eta} $为噪声项，$ h \in {H} $是图像生成函数。

因为潜在变量Z和类别标签Y之间存在因果关系，为了将图像生成关系和因果关系区分开来，假设2为形式化因果假设。

假设2　因果假设^[9]。给定一个有向无环图(directed acyclic graphs, DAG)，它是由一个元组组成(V, E, f)，$ \boldsymbol{V}=\boldsymbol{Z}\cup\boldsymbol{\mathit{Y}}=\left\{\boldsymbol{v}_1,\boldsymbol{v}_2\cdots,\boldsymbol{v}_{d+m}\right\} $是图中所有节点的集合，E是因果有向无环图中的边集合， ${f}= \left\{ {{f_1},{f_2}, \cdots ,{f_d}} \right\}$是一组对应每一个类别标签$ \boldsymbol{\mathit{Y}}=\left\{y_1, y_2,\cdots,y_d\right\} $的非线性因果函数。根据假设定义：

1) 因果方向，$ {y_i} \to {{\textit{z}}_j} \Rightarrow {f_j}({y_i}) + {\varepsilon _j} = {{\textit{z}}_j} $；

2) 非因果方向，$ {y_i} \leftarrow {{\textit{z}}_j} \Rightarrow {f_j}({{\textit{z}}_j}) + {\varepsilon _i} = {y_i} $；

3) Y和Z不会产生混淆；

4) 类别标签y_i是相互独立的。

因果函数是非线性相加的模型，保证了因果关系的可辨识性。为了简单起见，假设y_i的因果关系表示z_j是一个一维标量。

本文的目标是发现潜在特征Z和类别标签Y之间的因果结构，Z受图像生成过程$ \mathrm{\mathit{h}}\left(\boldsymbol{z}\right)+\boldsymbol{\eta}=\boldsymbol{x} $的影响，可以将这个问题表述为

式中：$ \ell ( \cdot ) $表示损失函数，$ {\text{Pa}}( \cdot ) $表示DAG中某节点的父节点。

相对于传统的因果发现方法，本文提出的方法面临3个挑战。

1)如何学习图像生成函数h和对应的潜在特征表示Z，在提高表示判别性的同时符合因果发现？以前的方法通常采用条件变分编码器 (variantional auto-encoder, VAE)，通过近似后验$ p\left(\boldsymbol{Z|\mathit{Y}\mathrm{,}X}\right) $来推断h和Z。然而，这些方法通常会丢失一些输入X的空间信息。

2)如何学习由非结构化数据和结构化变量的表示组成的DAG？传统的因果DAG学习方法由于其过高的维度而难以直接应用于图像特征。

3)近期虽有反事实方差的相关研究，但尚未深入探讨其在因果发现框架下的应用。因此，第3个挑战是如何确保表征学习过程中的反事实方差和不变性适用于因果发现任务。

为了应对这些挑战，本文提出了引入因果发现学习的跨领域知识泛化模型，如图2所示。它主要包含3个组件：特征重构−变分解耦模块，因果结构学习模块和反事实对比正则化模块。具体来说，首先通过特征重构−变分解耦模块学习图像的低维嵌入和对低维潜在特征进行变分推理，来保留图像的基本信息并实现特征向量相互独立。然后通过因果结构学习模块重构潜在特征变量与类别标签之间的因果有向无环图，来发现与类别标签有稳定因果结构的潜在特征变量。最后，引入反事实对比正则化项，利用数据生成过程中的反事实方差和不变性来进行因果推断，学习领域不变的因果表示。

图  2  引入因果发现学习的跨领域知识泛化模型

Fig.  2  Cross-domain knowledge generalization model introducing causal discovery learning

下载: 全尺寸图片

1.2   特征重构−变分解耦模块

本文考虑多域数据的异构结构，提出了一种双模块表示学习模型。具体来说，第1个模块利用卷积神经网络学习输入的低维嵌入特征${{{\boldsymbol{Z}}}_0}$，它保留了X的基本信息；第2个模块基于变分编码器，在给定${{{\boldsymbol{Z}}}_0}$和Y的情况下，引入摊销变分估计解耦表示Z。因此，给定一个样本X和其独立副本${\tilde {\boldsymbol{X}}}$，得到条件生成模型：

式中$ \theta、\varphi、\xi $表示模型参数。为了简单起见，X和${\tilde {\boldsymbol{X}}}$都表示为X。式(1)中，${p_\varphi }\left( {{{\boldsymbol{X}}},{{{\boldsymbol{Z}}}_0}} \right) = {p_\varphi }\left( {{{{\boldsymbol{Z}}}_0}} \right){p_\varphi }\left( {{{\boldsymbol{X}}}|{{{\boldsymbol{Z}}}_0}} \right)$表示潜在嵌入模块；$ p_{\xi}\left(\boldsymbol{X},\boldsymbol{Z}|\mathit{\boldsymbol{\mathit{Y}}}\right)=p_{\xi}\left(\boldsymbol{X}|\boldsymbol{Z},\boldsymbol{\mathit{Y}}\right)p_{\xi}\left(\boldsymbol{Z}|\boldsymbol{\mathit{Y}}\right) $表示变分推理模块，本文用$ q_{\theta}\left(\boldsymbol{Z}|\boldsymbol{Z}_0,\boldsymbol{\mathit{Y}}\right) $近似$ p_{\xi}\left(\boldsymbol{Z}|\boldsymbol{X},\boldsymbol{\mathit{Y}}\right) $。

1.2.1   潜在嵌入模块

潜在嵌入模块是为了学习低维的嵌入${{\boldsymbol{Z}}_0}$，以保留足够多的X包含的信息。这个问题可以表示为生成模型${p_\varphi }\left( {{\boldsymbol{X}},{{\boldsymbol{Z}}_0}} \right) = {p_\varphi }\left( {{{\boldsymbol{Z}}_0}} \right){p_\varphi }\left( {{{\boldsymbol{X}}}|{{\boldsymbol{Z}}_0}} \right)$，用卷积神经网络$\log {p_\varphi }\left( {{\boldsymbol{X}}} \right)$实现：

式中：KL表示Kullback-Leibler散度；不等式表示证据下界(evidence lower bound, ELBO)。因此，潜在嵌入模块的优化目标可以表示为

1.2.2   变分推理模块

因为利用卷积神经网络学习到的低维嵌入特征，各个维度的特征之间是相互依赖的。领域泛化模型后续模块搜索因果表示时易受其依赖关系影响，导致泛化效果较差。本模块在给定低维嵌入特征${{\boldsymbol{Z}}_0}$和Y的情况下，通过摊销变分推理学习解耦表示Z和生成函数h。根据式(1)，可以将该问题表述为一个条件生成模型，$ {p_\xi }\left( {{\boldsymbol{X}}, {{\boldsymbol{Z}}}|{Y}} \right) = {p_\xi }\left( {{{\boldsymbol{X}}}|{{\boldsymbol{Z}}}, {Y}} \right){p_\xi }\left( {{\boldsymbol{Z}}|{Y}} \right) $。其中，$ \xi $表示参数集合。引入Z和参数集合$ \theta $，$ \log p_{\xi}\left(\boldsymbol{X}|Y\right) $计算公式为

这里的不等式是对数似然的ELBO。式(2)是条件变分编码器的一种变体，不同之处是其没有使用$ q_{\theta}\left(\boldsymbol{Z}|\boldsymbol{X},\boldsymbol{\mathit{Y}}\right) $，而是使用后验$ q_{\theta}\left(\boldsymbol{Z}|\boldsymbol{Z}_0,\boldsymbol{\mathit{Y}}\right) $来摊销估计，解决多域数据的异构结构。

根据图1，先验分布$ p_{\xi}\left(\boldsymbol{Z}|\boldsymbol{\mathit{Y}}\right) $和后验分布${q_\theta }\left( {{{\boldsymbol{Z}}}|{{\boldsymbol{Z}}_0},{Y}} \right)$可以分解成

式中：$ {y_i} $表示与潜在特征变量$ {{\textit{z}}_j} $有因果关系的结构化变量，$ p_\xi ^{(j)} $和$ q_\theta ^{(j)} $分别是$ {p_\xi } $和$ {q_\theta } $对应的第j个分量。遵循文献[10]的设置，本文选用高斯分布作为模型的先验分布：

因此，根据式(3)和(4)，变分推理模块的优化目标可以表示为

1.3   因果结构学习

利用上述模块，得到潜在解耦表示Z。然后利用因果结构学习模块恢复由Z和Y组成的因果DAG，DAG是一种表示因果结构的方法，有向边表示直接的因果关系。因果DAG中的每个节点对应每个维度的潜在特征变量$ {{\boldsymbol{z}}_i} $与标签变量$ {y_i} $。具体来说，假设$\mathcal{{\boldsymbol{A}}}\left( {{\boldsymbol{W}}} \right) \in {\left\{ {0,1} \right\}^{\left( {d + m} \right) \times \left( {d + m} \right)}}$为二元矩阵，使得${\left[ {\mathcal {\boldsymbol{A}}\left( {{\boldsymbol{W}}} \right)} \right]_{ij}} = 1 \Leftrightarrow {w_{ij}} \ne 0$，否则为0。满足前述条件，W是有向图${\boldsymbol{G}}\left( {{\boldsymbol{W}}} \right)$的邻接矩阵。在本文中，类别标签是一维标量，则$ d = 1 $。除了${\boldsymbol{G}}\left( {{\boldsymbol{W}}} \right)$之外，还利用${{\boldsymbol{W}}} = \left[ {{w_1}|{w_2}| \cdots |{w_{m + 1}}} \right]$定义了线性结构方程模型(structural equation model, SEM)${{\boldsymbol{V}}_j} = {\boldsymbol{w}}_j^{\mathrm{T}} {\boldsymbol{V}} + {{\boldsymbol{e}}_j}$，是图${\boldsymbol{G}}\left( {{\boldsymbol{W}}} \right)$中的节点，${{\boldsymbol{e}}} = \left( {{{\boldsymbol{e}}_1},{{\boldsymbol{e}}_2}, \cdots ,{{\boldsymbol{e}}_{m + 1}}} \right)$是随机噪声变量。然后利用最小二乘损失来进行图${\boldsymbol{G}}\left( {{\boldsymbol{W}}} \right)$和SEM之间的转换$\ell \left( {{{\boldsymbol{W}}};{{\boldsymbol{V}}}} \right) = 1/2(m+1) \| {{{\boldsymbol{V}}} - {{\boldsymbol{VW}}}} \|_{\mathrm{F}}^2$， F表示Frobenius范数。为了实现矩阵W的稀疏性，最小化矩阵W的$ {\ell _1} $范数${\left\| {{\boldsymbol{W}}} \right\|_1} = {\left\| {{{\mathrm{vec}}}\left( {{\boldsymbol{W}}} \right)} \right\|_1}$，并借鉴文献[11]的工作，得到正则化分数函数：

式中$\boldsymbol{D}$表示有向无环图的集合。为了对正则化分数函数进行黑盒优化，将组合非循环约束$ \boldsymbol{G}\left(\boldsymbol{W}\right) $替换为单个光滑等式约束$h\left( {{\boldsymbol{W}}} \right) = {\mathrm{tr}}\left( {{{{\mathrm{e}}}^{{{\boldsymbol{W}}} \circ {{\boldsymbol{W}}}}}} \right) - \left( {m + 1} \right)$，其中 $ \circ $表示Hadamard乘积。$h\left( {{\boldsymbol{W}}} \right)$用于量化W是无环图的程度。当且仅当$ h\left(\boldsymbol{W}\right)=0 $，W是无环的。因此可以将DAG恢复问题转化为拉格朗日局部寻优问题：

节点$ \boldsymbol{v}_i $的优化过程$ \boldsymbol{v}_i=f_i\left(\mathrm{Pa}\left(\boldsymbol{v}_i\right)\right)+\varepsilon_i $利用多层感知机(multi-layer perceptrons, MLP)实现。重要的是，可以从MLP的第一层提取加权邻接矩阵，记为$ \boldsymbol{A}^{\left(1\right)} $。具体来说，考虑MLP具有t个隐藏层，单个激活$ \sigma :{\mathbf{R}} \to {\mathbf{R}} $和输入$ \boldsymbol{V}\in\mathbf{R}^{m+1} $，得到

若${{{\boldsymbol{A}}}^{(1)}}$的第k列全为0，则$ \mathrm{MLP}\left(\boldsymbol{V};\boldsymbol{A}^{\left(1\right)}\boldsymbol{A}^{\left(2\right)}\cdots\boldsymbol{A}^{\left(t\right)}\right) $与V第i个坐标$ \boldsymbol{v}_i $无关。因此，如果$ \boldsymbol{A}_j^{(1)} $的第k列全为0，则有${{{\boldsymbol{W}}}_{kj}} = 0$。其中，j表示第j层MLP。DAG的学习目标可以形式化为

$ \mathcal{L}_{\mathrm{DAG}} $越小，意味着学习模型越接近真实的因果DAG。换句话说，如果存在描述数据生成过程的潜在因果DAG，则DAG正则化项可以帮助模型基于以因果DAG为特征的不变机制进行预测。将因果DAG学习问题转化为连续优化问题，使得模型能够联合学习潜在特征Z和因果DAG。

1.4   反事实对比正则化

反事实对比正则化模块利用数据生成过程中的一组反事实方差和不变性来实现因果推断，从而学习因果不变表示。反事实是指如果干预因果模型中的一些变量，变量的值会如何改变。即在完全一致的现实条件下，比较不同干预(假设)条件的结果，这里求的是变量的值而非概率。定义干预为$ \mathrm{do}\left(\boldsymbol{X}=\boldsymbol{X}'\right) $，即将X设为常数$ \boldsymbol{X}' $。$ p\left(\mathrm{do}\left(\boldsymbol{X}=\boldsymbol{X}'\right)\right) $表示干预的结果分布。本文关注的是干预结构化变量Y时，获得的反事实图像X。如果强迫Y取值$ Y' $，则定义$ \boldsymbol{X}(Y=Y') $为反事实图像。假设有第k个样本对$ (\boldsymbol{X}^{(k)},Y^{(k)}) $和对应的潜在特征表示$ \boldsymbol{Z}^{(k)} $。以式(5)中的因果DAG为例，根据假设2的两种因果结构：1)$ {y_i} \to {{\textit{z}}_j} $，2)$ {{\textit{z}}_m} \to {y_n} $，则有

式(6)主要描述了两种因果结构的根本性质：

1)对于因果方向，如果$ {y_i} $改变，X也会改变；

2)对于非因果方向，如果$ {y_n} $改变，X应该保持不变。

因果表示学习的核心目标是促使模型专注于学习那些与目标标签Y，具有直接因果关系的表示，同时尽量减少对与Y无因果关联表示的依赖。为实现这一目标，提出了以下优化目标，旨在增强模型捕捉因果特征的能力，并抑制非因果噪声的干扰，从而对因果表示学习网络进行算法强化：

式中：$ \omega^+=\left\{y_i|y_i\in\mathrm{Pa}\left(\text{z}_j\right),\text{z}_j\in\boldsymbol{Z},y_i\in Y\right\} $， $ \omega^-=\left\{y_n|y_n\in \mathrm{Ch}\left(\text{z}_m\right),\text{z}_m\in\boldsymbol{Z},y_n\in Y\right\} $，$ \hat{\boldsymbol{X}} $表示图像X的经验估计。${\mathrm{Ch}}\left( \cdot \right)$是DAG中节点的子节点集合，${\mathrm{Pa}}\left( \cdot \right)$是父节点集合。本文方法旨在学习反事实图像的表示，而非利用因果和反因果方向来区分反事实图像。反事实图像潜在表示的定义见定义1。

定义1　假设有$ (\boldsymbol{X}^{(k)},Y^{(k)}) $是第k个样本对，Z是其对应的潜在表示，定义$ \hat{\boldsymbol{Z}}^{(k)}(y_i\ne y_i^{(k)}) $是$ \hat{\boldsymbol{X}}^{(k)}(y_i\ne y_i^{(k)}) $的反事实图像潜在表示的经验估计，$ \hat{\boldsymbol{X}}^{(k)}(y_i\ne y_i^{(k)})=h^{-1}(\hat{\boldsymbol{Z}}^{(k)}(y_i\ne y_i^{(k)})) $。

根据上述定义，可以将反事实表征的判别问题转化为对比学习任务，即给定反事实图像表示的经验估计$ \hat{\boldsymbol{Z}}^{(k)}(y_i\ne y_i^{(k)}) $，训练一个分类器C来区分因果反事实表示$ \hat{\boldsymbol{Z}}^{(k)}(y_i\ne y_i^{(k)}),y_i\in\omega^+ $和非因果反事实表示$ \hat{\boldsymbol{Z}}^{(k)}(y_n\ne y_n^{(k)}),y_n\in\omega^- $。将式(7)中的判别问题形转化为对比学习任务，提出了反事实表示对比损失：

利用反事实表示对比损失区分因果和非因果表示，学习领域因果不变表示。

整体优化目标　根据前面3个模块优化目标，得到整体的优化目标：

2.   实验结果与分析

2.1   实验细节

数据集　本文选用2个通用的领域泛化框架DomainBed^[12]和SWAD^[13]进行实验来验证方法的有效性。其中DomainBed框架选择Rotated MNIST^[14]、VLCS^[15]、PACS^[16]、TerraIncognita^[17]和DomainNet^[18]5个数据集，SWAD框架选择VLCS^[15]、PACS^[16]、TerraIncognita^[17]和DomainNet^[18]4个数据集。

Rotated MNIST数据集是基于MNIST手写数字数据集的扩展，但是它在原始图像上进行了旋转变换，包含10个类别的70 000张图片。每个图片是一个28像素×28像素的灰度图像。根据图像的旋转角度不同，共分为6个领域：0°、15°、30°、45°、60°和75°。

VLCS数据集是一个经典的领域泛化数据集，它由4个数据集的图像组成，分别是：VOC2007(V)、LabelMe(L)、Caltech(C)和SUN09(S)，每个数据集对应一个领域。包括5种类别（鸟、汽车、椅子、狗和人）的10 729张图片。

PACS数据集包括9 991张图片，共7个类别：狗、大象、长颈鹿、吉他、马、房子和人。这些图片来自4个差异较大的领域，分别是：艺术(art- painting, A)、卡通画(cartoon, C)、照片(photo, P)和素描(sketch, S)。

TerraIncognita数据集是抓拍的野生动物数据集，根据拍摄相机所在陷阱的位置不同，共分为4个领域：L100、L38、L43、L46，共有24 788张图片，分布在10个类别：鸟、山猫、猫、土狼、狗、空镜、负鼠、兔子、浣熊、松鼠。

DomainNet数据集包含约60万张图片，分布在345个类别和6个领域中，包括：素描(sketch)、剪贴画(clipart)、绘画(painting)、快速绘制(quickdraw)、信息图(infograph)和照片(real)，是迄今为止最大的领域泛化数据集。

网络结构与参数设置　DomainBed框架和SWAD框架均认为领域泛化算法的性能严重依赖其所使用的网络架构以及超参数。因此，2个框架均提出，使所有模型在同一网络架构以及完全相同的超参数下进行性能对比。Rotated MNIST数据集选择MNIST ConvNet网络作为基础网络模型，PACS、VLCS、TerraIncognita和DomainNet数据集则选择ResNet-50网络作为基础网络模型。表2给出了各个数据集统一参数设置，本文所有的实验都是在PyTorch框架下实现。

测试策略　DomainBed框架中，根据验证集的选择方式，有2种不同的模型测试策略。

1) 训练域验证集。在这种策略下，将每个训练域划分为训练子集和验证子集。然后，将每个训练域的验证子集集合起来，创建一个整体的验证集。最后，选择在整个验证集上精度最大化的模型。

2) 测试域验证集。在这个策略下，验证集是基于测试域中的数据形成的，超参数是基于测试时性能进行调优的。为了避免将问题呈现为领域自适应而不是领域泛化，只有在训练结束时才能访问验证集，提前停止训练是不可行的。在这个场景中, 所有基于不同算法的模型都应该经过固定的训练步骤，以便公平地相互比较。

SWAD框架计算每个域的域外(out-of-domain) 分类准确率和整体平均值，即模型在训练域上进行训练和验证，并在不可见的测试域上进行评估。

2.2   实验结果

表3提供了DomainBed框架下“训练域验证集”测试策略在7个数据集上的图像分类准确率和平均准确率，表4总结了在“测试域验证集”策略下的实验结果，表5提供了SWAD框架下5个数据集的图像分类准确率与平均值。

由表3和表4可以看出，本文方法在2种测试策略下的整体平均分类准确率达到最优。在表3“训练域验证集”测试策略下，本文提出的泛化模型在DomainBed框架下的5个数据集上取得了71.2%的平均准确率，达到了最好的泛化性能。该结果表明通过恢复图像特征与类别标签之间的因果结构，可以使模型更稳定地学习可迁移特征，从而提高模型的泛化性能。本文提出的方法在5个数据集上的平均准确率都超过了ERM(empirical risk minimization)方法，进一步验证了挖掘图像特征与类别标签之间的因果机制的重要性。另外，本文方法在VLCS和TerraIncognita数据集上达到了最优性能，VLCS和TerraIncognita数据集都是自然环境下拍摄的数据集，这表明了本文方法可以很好地适应自然环境图像的泛化任务，这对于领域泛化模型的实际应用有重要意义。

表4为在“测试域验证集”测试策略下的实验结果。在相同参数设置下，本文提出的方法取得了依旧取得了最好的性能，比排名第二的Fishr方法提高了0.4百分点，模型在领域差异较大的数据集上也有相同表现。另外，与ERM方法相比，本文方法的性能也取得了较大提升，充分证明了通过因果发现来提取因果不变表示，可以提高模型的泛化性能。

表5给出了在SWAD框架的4个基准数据集上的域外分类准确率和整体平均值，本文方法取得了最优性能。在领域差异较大PACS数据集上，本文方法比第二名的SAGM方法提高了1.3百分点。在自然环境下的Terralncognita数据集上，其同样取得了最高分类准确率，比SAGM提高了1.6百分点。值得注意的是，在DomainNet数据集上，本文方法并未能取得最优的实验效果，这可能是由于这数据集包含较多实例类别，其包含345类的目标实例。本文方法在构建潜在特征与类别标签之间的DAG时，随着类别数量的增加，DAG的复杂度也会急剧上升，导致模型在训练过程中不易有效地学习到各个类别之间的判别性特征，进而影响了模型的泛化性能。

表6~10提供了所有数据集的各个子任务的实验结果。

RotatedMNIST　表6给出了在RotatedMNIST数据集上6个子任务的实验结果，可以观察到在“测试域验证集”测试策略下，本文方法在6个子任务上都取得了最高的泛化准确率。

VLCS　VLCS中的图像都是从真实世界中收集的，与模拟数据集(如RotatedMNIST)相比，具有更大的类内方差和领域偏移。从表7可以观察到，各个子任务的准确率相差较大，这也证明了该数据集领域分布差异较大。本文方法在各个子任务和平均准确率均取得了最优或者次优的泛化性能，在L、S 2个较难的子任务中均取得了最优性能。这充分证明了类别标签对应的图片特征会对模型的性能产生更积极的影响。

PACS　PACS有艺术绘画、卡通、照片和素描4个领域，由于4个领域风格上的巨大差异，其领域偏移比VLCS还要大。但是相比于VLCS，PACS图像中的目标占据了所在图像的很大一部分，并且很好地集中在一起。表8实验结果证明，本文方法同样在2个较难的子任务卡通C和素描S上取得了较高的泛化性能。

TerraIncognita　该数据集由相机在不同地点拍摄的野生动物照片组成。其各个子任务的实验结果如表9所示。VLCS和TerraIncognita数据集的图像数据都是自然环境下拍摄的图片，本文方法都取得了最优性能，表明本文方法在处理自然环境图像方面具有优势。

DomainNet　该数据集是几个数据集中难度最大的数据集。表10提供了在DomainNet数据集上的实验结果，本文方法在快速绘制(quickdraw)和素描(sketch)2个子任务上取得了最佳性能，在另外的子任务上也取得了次优的泛化效果。本文方法在面对复杂和多类别领域泛化数据集时，依旧表现优异，充分证明学习类别标签与特征之间的因果机制比调整特征更有优势。

消融实验　为了验证本文方法各个模块的实验性能，对本文提出方法的每个组件进行了消融实验，以评估本文方法各个部分的有效性。本文共有3个模块，分别是特征重构−变分解耦模块、因果结构学习模块M_DAG和反事实对比正则化模块M_CR。其中，特征重构−变分解耦模块又分为2个子模块，潜在嵌入模块M₁和变分推理模块M₂。表11提供了在PACS数据集上进行实验验证的结果，可以看出本文提出的每个模块都扮演着重要的角色。具体来说，潜在嵌入模块M₁的表示只应用特征提取网络，Model Ⅰ作为本文方法的基线方法，其泛化性能较差，在Model Ⅱ引入变分推理模块M₂之后，2种测试策略下的平均准确率都有了显著提高，表明对潜在嵌入特征进行变分推理使其解耦，可以提高特征的判别性。Model Ⅲ则只应用了因果发现学习模块M_DAG，其平均泛化性能比Model Ⅰ也有较大提高，表明学习观测数据的因果关系，来学习因果不变表示，对于提高模型的泛化性能有积极作用。Model Ⅴ是在Model Ⅲ的基础上，增加了反事实对比正则化模块M_CR，进一步提高了模型性能。以上实验结果证明了本文方法中各个模块的有效性。

类激活映射　为了对因果结构学习模块获得的DAG结构进行可视化，从而进一步评估因果结构模块的贡献，本文在PACS数据集上的C、A、S、P任务上，进行类激活映射(class activation mapping, CAM)实验，实验结果如图3所示。第1行是原始输入图像，第2行是ERM方法的潜在特征类激活映射结果，第3行是本文方法映射结果。从图中可以看出，本文方法比ERM方法关注更小和更准确的区域，可以更好地识别和关注不可见域中的相关对象。通过深入研究DAG约束下的优化过程，可以发现因果发现模块主要学习特征之间的层次结构和聚类关系。这些层次化的特征结构使得网络能够更精准地捕捉图像中的因果关系，从而在CAM实验中展现出对目标区域的高度关注。这一结果同时验证了采用因果发现方法学习潜在特征中领域不变表示的有效性和优越性。

图  3  在PACS数据集上的类激活映射

Fig.  3  Class activation mapping on PACS dataset

下载: 全尺寸图片

t-SNE特征可视化　本节还利用t-SNE 可视化方法对ERM方法和本文方法在PACS数据集A、C、S、P泛化子任务上学习的深度特征进行t-SNE可视化，实验结果如图4所示，每个点代表一个数据点，不同颜色对应不同类别。

图  4  在PACS数据集上的t-SNE特征可视化

Fig.  4  t-SNE feature visualization on PACS dataset

下载: 全尺寸图片

从图4(a)可以看出，ERM方法学习到的特征，不同颜色的散点在特征空间中分布相对随机，没有明显的聚类或分隔，某些类的决策边界较为模糊，不同类别的特征空间有重叠。这意味着在ERM方法下，不同类别的数据在特征空间中没有得到很好的区分。相比之下，本文方法的t-SNE可视化特征图中散点分布比ERM更集中，某些颜色（即类别）的散点之间出现了更明显的聚类现象。这表明本文方法在特征提取过程中更好地保留了数据的内在结构，使得同类别的数据点更为紧密地聚集在一起，各个类别的边界较为清晰。综上所述，本文方法在图像分类任务上具有更好的性能，证明了因果不变表示在面对差异较大的数据分布时的鲁棒性。

3.   结束语

本文提出了一种引入因果发现学习的跨领域知识泛化方法，旨在解决现有领域泛化模型提取的图像特征与标签之间无法建立稳定的因果关系，进而导致泛化性能较差的问题。针对这一问题，首先引入了摊销变分推理方法，解耦各个维度深度图像特征。然后使用因果结构学习来寻找深度特征与标签之间的稳定因果结构，消除不同训练域之间分布差异的影响，提高模型的泛化性能。同时，本文采用反事实对比正则化方法，来区分因果和非因果特征，改进因果发现学习，进一步提高模型的鲁棒性。最后，在DomainBed框架和SWAD框架下进行实验，在网络结构及预设参数完全一致的情况下，本文提出的方法在2种领域泛化框架下的整体表现均优于其他对比算法。尤其是在自然环境数据集中的性能达到了最优，这充分说明了本文提出的方法具有良好的跨域分类能力以及实用性。未来的工作中，将尝试把本文方法应用到目标检测或者语义分割等其他计算机视觉任务中，提高模型的泛化能力。