Multiscale domain adaptation network for the auxiliary diagnosis of Alzheimer’s disease
-
摘要: 针对传统有监督学习忽略了磁共振影像数据（magnetic resonance imaging, MRI）由于个体差异和不同站点等原因导致的特征分布不一致这一域偏移问题，本文提出了一种多尺度域适应网络模型应用于阿尔茨海默症（Alzheimer disease，AD）的辅助诊断。首先在三维卷积神经网络中设计空洞空间金字塔模块进行特征的多尺度信息提取融合，并加入注意力一致性损失来保留域间转移的语义信息；然后协同训练两个域判别器和特征提取器进行对抗学习实现源域和目标域的特征对齐，并加入权重差异损失防止域判别器过拟合；最后，在对抗训练中引入基于最大密度差异的距离度量方法，增强两个域数据的特征对齐。实验结果表明，本文方法在面临域偏移的MRI数据上具有更好的识别精度和鲁棒性。Abstract: The paper proposes a multiscale domain adaptation network for the auxiliary diagnosis of Alzheimer’s disease. The network is designed to address the domain shift problem that traditional supervised learning ignores due to individual differences and different sites in magnetic resonance imaging (MRI) data. The network uses the Atrous Spatial Pyramid Pooling module in the three-dimensional convolutional neural network for feature extraction and fusion at multiple scales. Attention consistency loss is added to preserve the semantic information of interdomain transfer. Two domain discriminators and feature extractors are jointly trained in adversarial learning to achieve feature alignment of the source domain and target domain. Weight difference loss is added to prevent the domain discriminator from overfitting. A distance metric method based on the Maximum Density Divergence is introduced in the adversarial training to enhance the feature alignment of the two domain data. Experimental results reveal that this method exhibits superior recognition accuracy and robustness of MRI data facing the domain shift.
-
阿尔茨海默症（Alzheimer disease，AD）是一种起病隐匿、进行性发展的神经系统退行性疾病。2021年中国阿尔茨海默病报告[1]显示，目前中国AD的发病率、患病率和死亡率每年仍在不断增长，给社会和居民带来了巨大的经济负担。轻度认知功能障碍（mild cognitive impairment，MCI）是发生在AD前期的一种综合症[2]，尽早发现MCI和AD患者，并进行有效的干预治疗，对于预防或延缓阿尔茨海默症的发生具有重要意义。结构磁共振影像（structural magnetic resonance imaging, sMRI）技术能够显示脑组织的形态学变化，如AD导致的海马体萎缩[3]等，这使得基于sMRI进行AD的辅助诊断成为了可能。
随着人工智能的发展，深度学习技术在图像领域取得了突破性成绩[4]，越来越多的研究人员将深度学习应用于阿尔茨海默症[5]和轻度认知障碍[6]的识别。然而使用深度学习方法构建模型时，我们通常使用有标签的数据进行有监督学习，并且需要保证训练数据和测试数据满足独立同分布。如果训练数据和测试数据特征分布不一致，训练好的分类器在测试集上会出现显著的性能下降现象。在现实场景中，MRI数据由于个体差异，且在采集时受不同扫描仪、扫描方案以及采集环境等因素影响，数据之间会出现异质性，无法保证得到的数据满足独立同分布，出现特征分布不一致，这就是MRI数据普遍存在的“域偏移”现象[7]。
对于神经成像，特别是对MRI数据的分析，构建域不可知的模型尤为重要，因为数据采集和标注成本昂贵，且往往只是局限于固定的医院或机构用于研究，无法广泛传播[8]。因此如何解决域偏移问题也就成了增强深度学习模型的泛化能力和知识复用的关键。由于领域自适应技术（domain adaptation，DA）[9]能够使得在源域中获取的知识在目标域上也能得到良好的泛化，实现领域不变知识的跨域迁移和复用，越来越多的研究人员利用领域自适应方法来应对医学图像分析中的域偏移任务[10]。
基于对抗学习的域适应过程是特征提取器和域判别器的博弈过程，由于其能够有效对齐源域和目标域分布，出现了很多基于对抗域适应的医学图像分析方法。Javanmardi等[11]提出了一种基于领域对抗神经网络（domain-adversarial training of neural networks，DANN）的眼部血管分割模型，通过协同训练U-Net模型和域判别器有效改善了分割效果。Yang等[12]提出了一种具有对抗学习思想的无监督领域自适应网络模型，用于肺气肿纹理的图像分类，同时在真实数据和合成数据上训练，获得了较为理想的效果。Panfilov等[13]研究了对抗域适应的深度学习技术对于膝关节组织分割的影响，发现对抗域适应技术能够有效缓解在有限数据情形下分割模型泛化性不足，尤其是在分辨率和对比度不同的数据上模型性能下降的问题。Yang等[14]基于Faster R-CNN提出了一种对抗域适应网络架构用于OCT眼部数据的病变检测，除了进行全局的特征对齐，还结合了感兴趣区域（region of interest, ROI）局部特征实现联合特征对齐，并在域判别器中加入一个非参数自适应特征范数，以增强判别器在目标域的鲁棒性。
基于距离度量等统计准则的方法在医学图像分析领域也具有广泛的应用。Gao等[15]提出了一种无监督分类方法用于功能MRI数据的大脑活动分类，主要使用中心距差异度量（central moment discrepancy，CMD）来对齐两个域分布的高阶矩，实现在目标域的有效泛化。Wu等[16]提出了一种基于分布特征函数的新距离度量方法，用于跨域图像的切片，在CT-MRI跨模态分割和多序列心脏MRI分割两个任务上都具有良好的性能表现。
针对阿尔茨海默症磁共振影像数据的域偏移问题，本文提出了一种基于对抗学习和距离度量的多尺度域适应网络模型用于AD的辅助诊断。技术路线可概括为：首先基于sMRI数据的特点，在三维卷积神经网络中设计了基于空洞卷积的多尺度特征融合模块，结合空间注意力和注意力一致性损失加强特征提取和语义信息共享。然后，为增强模型在目标域上的分类性能，使用基于DANN的对抗训练方式进行特征对齐，和现有方法不同的是，本文使用两个域判别器协同训练，并加入权重差异损失缓解只有一个域判别器的过拟合现象。最后，为增强特征对齐和缓解对抗训练的不稳定等问题，引入最大密度差异（maximum density divergence，MDD）距离度量减小域间散度和增大类内密度。
1. 多尺度域适应网络模型
1.1 总体网络架构
本文使用阿尔茨海默症的sMRI数据，基于领域自适应中的距离度量和对抗学习思想，提出了一种端到端的多尺度域适应网络架构，如图1所示，主要分为3个部分：多尺度特征提取模块、对抗域适应模块和MDD距离度量模块。
图 1 多尺度域适应网络架构图Fig. 1 Multi-scale domain adaptation network architecture diagram
下载:
全尺寸图片
1.2 多尺度特征提取模块
针对sMRI的三维数据特性，本文采用三维卷积神经网络作为骨干网络，并加入可训练的空间注意力模块自动识别与病症相关的大脑区域。骨干网络包含9个3×3×3卷积层，并在第2、4、6、8、9层卷积层之后加入最大池化操作，来增大感受野和避免过拟合。为实现在MRI特征图中反映不同区域的权重大小，使用空间注意力[17]模块，对三维卷积神经网络第一层的结果分别进行全局最大池化和全局平均池化，将池化结果基于通道拼接融合，并通过单通道卷积加强非线性特性，从而得到空间注意力特征图。注意力特征图A的计算如下：
$$ {\boldsymbol{A}} = \sigma \left({f^{3 \times 3 \times 3}}\left(\left[{{\boldsymbol{M}}_{{\rm{max}}}},{{\boldsymbol{M}}_{{\rm{avg}}}}\right]\right)\right) $$ (1) 式中：Mmax和Mavg分别表示全局最大池化和全局平均池化的结果，
$ {f^{3 \times 3 \times 3}} $ 表示卷积核为3×3×3的卷积操作，$ \sigma $ 表示sigmoid激活函数。针对深度网络在高层特征图上容易损失大量有用信息的问题，本文在骨干网络的第二次和第三次下采样后设计空洞空间金字塔（atrous spatial pyramid pooling, ASPP）[18]模块。将第4个和第6个卷积层的输出特征图作为ASPP的输入，分别进行3次空洞率不同的空洞卷积，进而可得到3个不同尺度的特征信息，对3个多尺度特征信息进行融合并使用单通道卷积加强非线性特性。最终对第4层和第6层的多尺度特征信息全局进行平均池化，和三维特征提取骨干网络的最后一层特征图融合，得到MRI数据的多尺度融合特征信息。
本文对源域和目标域使用相同的特征提取网络，且共享权重。为加强注意力特征图的一致性，在多尺度特征提取模块中设计加入注意力一致性损失。假设源域的注意力特征图为
${{\boldsymbol{A}}^{{{\rm{S}}}}}$ ，目标域的注意力特征图为${{\boldsymbol{A}}^{{{\rm{T}}}}}$ ，计算两个注意力特征图的均方差作为注意力一致性损失$ {\mathcal{L}_{{\rm{att}}}} $ ：$$ {\mathcal{L}_{{\rm{att}}}} = \frac{1}{{N \times D \times W \times H}}\sum\limits_{i = 1}^N {||{\boldsymbol{A}}_{\boldsymbol{i}}^{{{\rm{S}}}} - {\boldsymbol{A}}_{\boldsymbol{i}}^{{{\rm{T}}}}||} $$ (2) 式中：N表示源域和目标域的batch大小；D、W、H分别表示特征图的长、宽和高。
源域数据和目标域数据经过多尺度特征提取网络，分别得到了源域数据特征和目标域数据特征，将源域数据特征输入源域分类器得到源域数据的预测标签，使用得到的预测标签和真实标签计算源域数据的分类交叉熵损失：
$$ {\mathcal{L}_{{\rm{cls}}}} = - \frac{1}{{{N_S}}}\sum\limits_{c = 1}^C {\sum\limits_{i = 1}^{{N_S}} {{y_{{x_i}}}\log {G_y}\left({G_f}\left({x_i}\right)\right)} } $$ (3) 式中：
$ {x_i} $ 为源域样本，$ {y_{{x_i}}} $ 为对应源域样本的真实标签，$ {N_S} $ 为源域样本总数，C为类别总数，$ {G_f} $ 为多尺度特征提取器，$ {G_y} $ 为源域分类器。1.3 对抗域适应模块
受生成对抗网络[19]的启发，现有的对抗域适应方法主要包含两个部分：特征提取器和域判别器。域判别器用于区分数据是来自源域还是目标域，特征提取器试图通过提取域不变特征来混淆域判别器，两者进行对抗训练，若两者达到平衡状态，则认为实现了特征对齐。本文提出了一种基于DANN[20]引入协同训练（co-training）的对抗域适应方法。域判别器遵循DANN中的设计范式，加入梯度反转层（gradient reversal layer, GRL），实现在反向传播过程中梯度取反。
与DANN不同的是，本文使用两个域判别器协同训练，实现源域和目标域的特征分布对齐，两个域判别器为
$ {G_{{d_1}}} $ 和$ {G_{{d_2}}} $ ，两者对抗损失分别为$$ {\mathcal{L}_{{D_1}}} = \frac{1}{{{N_{\rm{s}}} + {N_{\rm{T}}}}}\sum\limits_{{x_i} \in {D_{\rm{s}}} \cup {D_{\rm{t}}}} {{\mathcal{L}_{{d_1}}}\left({G_{{d_1}}}\left({G_f}\left({x_i}\right)\right),{d_i}\right)} $$ (4) $$ {\mathcal{L}_{{D_2}}} = \frac{1}{{{N_{\rm{s}}} + {N_{\rm{T}}}}}\sum\limits_{{x_i} \in {D_{\rm{s}}} \cup {D_{\rm{t}}}} {{\mathcal{L}_{{d_2}}}\left({G_{{d_2}}}\left({G_f}({x_i})\right),{d_i}\right)} $$ (5) 式中：
$ {\mathcal{L}_{{d_1}}} $ 和$ {\mathcal{L}_{{d_2}}} $ 使用交叉熵损失函数作为域判别损失；$ {d_i} $ 为样本$ {x_i} $ 的域标签，源域样本的域标签为0，目标域样本的域标签为1；$ {D_{\rm{s}}} $ 和$ {D_{\rm{t}}} $ 分别为源域和目标域的域标签集合；$ {N_{\rm{S}}} $ 和$ {N_{\rm{T}}} $ 分别为源域和目标域的样本总数。为了有效实现两个域判别器的协同训练和权重参数差异化，这里设计了权重差异损失
$ {\mathcal{L}_{{\rm{wd}}}} $ ，计算两个域判别器权重的余弦距离：$$ {{\cal L}_{{\rm{wd}}}}({D_1},{D_2}) = \frac{{{{\boldsymbol{W}}_{{{{D}}_1}}}{{\boldsymbol{W}}_{{{{D}}_2}}}}}{{\left| {{{\boldsymbol{W}}_{{{{D}}_1}}}} \right|\left| {{{\boldsymbol{W}}_{{{{D}}_2}}}} \right|}} $$ (6) 式中：
${{\boldsymbol{W}}_{{{{D}}_1}}}$ 和${{\boldsymbol{W}}_{{{{D}}_2}}}$ 表示域判别器$ {G_{{d_1}}} $ 和$ {G_{{d_2}}} $ 的权重参数，此时对抗域适应模块的对抗损失为$$ {\mathcal{L}_{{\rm{Adv}}}} = \lambda ({\mathcal{L}_{{D_1}}} + {\mathcal{L}_{{D_2}}}) + (1 - \lambda ){\mathcal{L}_{{\rm{wd}}}} $$ (7) 其中
$ \lambda $ 为平衡超参数。相较于一个域判别器，协同训练两个不同的域判别器能够有效缓解少样本数据下的过拟合问题。对两个域判别器的权重差异化，也能使域判别器学习到互补的特征信息。1.4 MDD距离度量模块
对抗域适应主要的优化目标：1）分类器在源域上的错误率尽量小；2）在特征空间中将源域和目标域的边缘分布对齐。虽然对抗域适应能够较好地解决域偏移问题，但域判别器只做域间的二分类判断，并没有充分考虑源域和目标域中存在的类别特征信息，在实现整体特征对齐时可能会产生不同类别分布的错误匹配[21]，从而导致负迁移。
为解决该问题，本文引入了MDD距离度量[22]，该方法被证明是对称KL散度的下界，且由于其联合优化了域间散度和类内密度，因此在一定程度上，优化MDD距离能够优化特征的边缘分布和条件分布。MDD损失能通过最小化域间差异和最大化类内密度来达到加强特征分布对齐的目的，同时还可以缓解对抗学习带来的训练不稳定等问题。
在本文网络模型中，MDD损失函数为
$$ \begin{gathered} {\mathcal{L}_{{\rm{MDD}}}} = \frac{1}{{{n_b}}}\sum\limits_i^{{n_b}} {\left\| {{f_{s,i}} - {f_{t,i}}} \right\|_2^2}+ \frac{1}{{{m_s}}}\sum\limits_{{y_{s,i}} = y_{s,j}^{'}} {\left\| {{f_{s,i}} - f_{s,j}^{'}} \right\|} _2^2 + \\ \frac{1}{{{m_t}}}\sum\limits_{{y_{t,i}} = y_{t,j}^{'}} {\left\| {{f_{t,i}} - f_{t,j}^{'}} \right\|_2^2} \end{gathered} $$ (8) 式中：
$ {n_b} $ 为源域和目标域数据的batch大小，$ {m_s} $ 和$ {m_t} $ 分别为每个batch中源域和目标域的样本个数。当源域和目标域数据经过多尺度特征提取模块后，式（8）中
$\displaystyle\sum\limits_i^{{n_b}} {\left\| {{f_{s,i}} - {f_{t,i}}} \right\|_2^2}$ 用于计算源域和目标域整体特征分布的距离，$\displaystyle\sum\limits_{{y_{s,i}} = y_{s,j}^{'}} {\left\| {{f_{s,i}} - f_{s,j}^{'}} \right\|} _2^2$ 用于计算源域中拥有相同标签数据的特征分布距离，$\displaystyle\sum\limits_{{y_{t,i}} = y_{t,j}^{'}} {\left\| {{f_{t,i}} - f_{t,j}^{'}} \right\|_2^2}$ 计算目标域中拥有相同标签数据的特征分布距离，这里的距离度量均使用欧几里得范数距离。对于源域和目标域相同标签数据的选取，源域使用真实标签，目标域使用分类器预测的伪标签，并在训练阶段对伪标签进行迭代更新。最终多尺度域适应网络的损失函数为
$$ {\mathcal{L}_{{\rm{total}}}} = {\mathcal{L}_{{\rm{cls}}}} + \alpha {\mathcal{L}_{{\rm{att}}}} + \beta {\mathcal{L}_{{\rm{MDD}}}} + \omega {\mathcal{L}_{{\rm{Adv}}}} $$ (9) 式中：
$ {\mathcal{L}_{{\rm{cls}}}} $ 为源域的交叉熵分类损失，${\mathcal{L}_{{\rm{att}}}}$ 为注意力一致性损失，${\mathcal{L}_{{\rm{MDD}}}}$ 为MDD距离度量损失，${\mathcal{L}_{{\rm{Adv}}}}$ 为对抗域适应损失，$ \alpha $ 、$ \beta $ 和$ \omega $ 分别为平衡超参数。2. 实验结果与分析
2.1 阿尔茨海默症数据集
本文使用的sMRI数据来源于（Alzheimer’s disease neuroimaging initiative，ADNI）数据库（adni.loni.usc.edu）。ADNI由美国国家老年研究所、国家生物医学成像与生物工程研究所、美国食品药品管理局、私营医药企业和非营利组织于2003年启动，主要目的是测试MRI、PET、其他生物标志物和相关诊断信息结合能否应用于阿尔茨海默病及其早期阶段的病程进展研究。本文使用的sMRI影像数据有3类：1）阿尔茨海默病类（Alzheimer’s disease, AD）；2）认知正常类（cognitively normal, CN）；3）轻度认知障碍类（mild cognitive impairment, MCI）。
磁共振影像数据在扫描时会由于设备的不同得到质量不同的成像数据，其中磁场强度是对图像质量影响较大的因素之一。ADNI数据库中sMRI成像磁场强度主要有3 T和1.5 T两种。高场强磁共振3 T相比1.5 T具有更多的优势，比如空间分辨率更高，信噪比更高，图像增强效果更好，但同时3 T对各种场强依赖性伪影敏感。由此可知，3 T和1.5 T的sMRI的数据存在较为显著的域偏移现象。本文实验根据磁场强度将sMRI数据分为源域和目标域，其中3 T数据为源域，1.5 T数据为目标域。数据详细信息如表1所示。
表 1 数据统计信息表Table 1 Data statistics table人 类别 3 T 1.5 T 总数 AD 128 144 272 MCI 160 152 312 CN 152 160 312 2.2 数据预处理和数据增强
使用SPM和FSL软件对sMRI数据进行预处理，包括AC-PC校正、颅骨剥离和线性配准，配准模板使用Colin27。预处理流程如图2所示。
图 2 MRI数据预处理流程Fig. 2 MRI data preprocessing process下载:
全尺寸图片
本文使用896个T1加权的sMRI影像进行分类实验，将预处理之后的数据尺寸裁剪为150×180×150，图像分辨率为1 mm×1 mm×1 mm。为模拟现实情况下采集sMRI数据时因扫描和成像方式等导致的镜像化现状，同时防止分类器在源域上过拟合，在源域的数据中随机选取部分数据进行上下翻转或左右翻转，目标域数据不做翻转。翻转效果如图3所示。
图 3 MRI数据增强图Fig. 3 MRI data augmentation下载:
全尺寸图片
2.3 实验环境及性能评价指标
模型使用的深度学习框架为PyTorch1.7.1，操作系统为Ubuntu18.04，处理器为Intel(R) Xeon(R) Gold 5218 CPU @ 2.30 GHz，深度学习模型的训练采用GPU加速，GPU型号为Tesla V100。
本文使用分类准确率A（Accuracy，ACC）、SEN灵敏度（Sensitivity，SEN）、特异度SPE（Specificity，SPE）和受试者工作特征曲线下面积（Area under curve，AUC）作为模型性能评估标准。将真阳性、真阴性、假阳性和假阴性分别定义为TP、TN、FP和FN，相关评价指标定义如下：
$$ A = \frac{{T_{\rm{P}} + T_{\rm{N}}}}{{T_{\rm{P}} + T_{\rm{N}} + F_{\rm{P}} + F_{\rm{N}}}} $$ (10) $$ S_{ {\rm{EN}}} = \frac{{T_{\rm{P}}}}{{T_{\rm{P}} + F_{\rm{N}}}} $$ (11) $$ S_{ {\rm{PE}}} = \frac{{T_{\rm{N}}}}{{T_{\rm{N}} + F_{\rm{P}}}} $$ (12) 2.4 模型和训练参数设置
本文的特征提取骨干网络包含9层三维卷积，卷积核大小均为3×3×3，输入通道为1，输出通道分别为8、8、16、16、32、32、64、64、128，每层卷积后面均加入了BatchNorm层和ReLU激活函数，为增大感受野和避免过拟合，在第2、4、6、8、9层后加入了最大池化层。选取第4层卷积和第6层的卷积结果作为ASPP模块的输入，对其均使用空洞率为2、4、6的空洞卷积，将3次空洞卷积的结果拼接融合，并进行单通道卷积，得到ASPP模块的输出，为最终获取多尺度的特征信息，将两个ASPP的输出进行平均池化，并和最后一层的卷积结果进行拼接融合，作为最终分类器的输入。分类器由三层全连接构成，神经元个数分别设置为256、128和2。两个域判别器同样均由三层全连接构成，神经元个数分别设置为256、128和2。
对本文提出的多尺度域适应网络模型训练时，采用Adam[23]梯度下降法进行参数的迭代更新， batch size设置为8，使用带warmup的余弦退火学习率衰减策略，学习率初始值设置为0.001，最大值设置为0.01，warmup的epoch值设置为15，整个训练过程共120个epoch。为防止过拟合，在分类器中设置Dropout为0.5，
$ \lambda $ 、$ \alpha $ 、$ \beta $ 和$ \omega $ 4个平衡超参数分别为0.9、0.1、0.2和0.1。2.5 对比实验结果
为验证提出方法相较于有监督学习和其他领域自适应方法在阿尔茨海默症sMRI数据上分类任务的有效性，本文在相同的sMRI预处理数据上进行对比实验。进行对比的有监督学习方法为3DResNet50[24]，选择的无监督域适应方法包括：DANN[20]、动态对抗自适应网络（dynamic adversarial adaptation network，DAAN）[25]、条件域对抗网络（conditional domain adversarial networks，CDAN）[26]、注意力引导的深度域适应算法（attention-guided deep domain adaptation，AD2A）[27]和对抗紧密匹配算法（adversarial tight match，ATM）[22]。进行对比实验时，3DResNet50在源域上进行监督学习后在目标域上进行分类识别，比较的域适应方法均采取本文设计的多尺度特征提取网络，采取相同的模型参数和训练策略，最终取损失最小的模型在目标域上进行分类识别，AD和CN分类任务的详细实验结果如表2所示。
表 2 AD和CN分类任务对比实验结果Table 2 AD vs. CN task comparison experimental results模型 ACC SEN SPE AUC 3DResNet50 0.783 0.847 0.725 0.786 DANN 0.865 0.819 0.906 0.863 DAAN 0.882 0.847 0.913 0.880 CDAN 0.865 0.854 0.875 0.865 AD2A 0.865 0.840 0.888 0.864 ATM 0.862 0.868 0.856 0.862 本文方法 0.908 0.847 0.963 0.905 从表2发现，本文方法在AD和CN的分类任务上达到了90.8%的准确率，相比于3DResNet50的78.3%的分类准确率提高了12.5%。在所比较的无监督域适应方法中，本文方法的ACC、SPE和AUC指标均达到了最好，SEN指标和最好的ATM方法相近。
表3给出了AD和MCI的分类识别结果。由于MCI是AD的前期发展阶段，在脑结构的病变上具有相似的全局和局部特征，相比于AD和CN的识别更困难。本文方法在该任务上的4项指标均超过了3DResNet50，和无监督域适应方法比较，ACC、SEN和AUC指标均达到了最好，SPE指标只小于DAAN，但和其相比，本文方法在SEN和SPE两项指标上取得了更好的平衡。
表 3 AD和MCI分类任务对比实验结果Table 3 AD vs. MCI task comparison experimental results模型 ACC SEN SPE AUC 3DResNet50 0.615 0.618 0.612 0.615 DANN 0.662 0.611 0.711 0.661 DAAN 0.683 0.583 0.776 0.680 CDAN 0.672 0.750 0.599 0.674 AD2A 0.676 0.757 0.599 0.678 ATM 0.699 0.715 0.684 0.700 本文方法 0.750 0.771 0.730 0.751 表4给出了MCI和CN的分类识别结果。MCI作为过渡期状态，有些病例可能后期转换为AD，有些可能保持稳定，这导致MCI组样本存在高度异质性，因此相较于AD和CN的识别更困难。本文方法在该任务上取得了78.8%的准确率，SPE指标和AUC指标也达到了最好，虽然SEN指标低于CDAN，但本文方法依然在SEN和SPE上取得了更好的平衡。
表 4 MCI和CN分类任务对比实验结果Table 4 MCI vs.CN task comparison experimental results模型 ACC SEN SPE AUC 3DResNet50 0.737 0.717 0.756 0.737 DANN 0.747 0.737 0.756 0.747 DAAN 0.744 0.704 0.781 0.743 CDAN 0.753 0.855 0.656 0.756 AD2A 0.740 0.704 0.775 0.739 ATM 0.756 0.757 0.756 0.756 本文方法 0.788 0.796 0.781 0.789 综合3个分类任务的对比实验结果，所比较域适应方法的各项评价指标均超过了3DResNet50，表明利用领域自适应技术对sMRI数据进行特征对齐可以有效提高在目标域上的性能。和DANN、AD2A只使用一个域判别器进行对抗学习方法相比，本文在3个分类任务中ACC、SEN、SPE和AUC评价指标均有提升，表明利用两个域判别器协同训练可以有效提升模型性能；和DAAN和CDAN等只使用对抗学习的方法比较，本文方法将距离度量和对抗学习进行结合，在3个分类任务中的ACC和AUC均有一定程度的提升，表明MDD距离度量在增强特征对齐和缓解对抗学习训练不稳定等问题上起到了明显作用；和ATM等使用距离度量和对抗方法结合的方法比较，本文方法在3个分类任务中的4个评价指标普遍有所提升，表明使用注意力一致性损失进行源域和目标域语义共享可以增强模型在目标域上的预测性能。
3. 结果讨论
3.1 消融实验
为了验证本文方法每个模块的有效性，我们使用3种途径进行消融实验：
1）只使用多尺度特征提取模块（3DCNN）进行特征对齐，模型达到收敛后直接在目标域上使用分类器进行预测；2）在1）的基础上加入对抗域适应模块（+Adv）；3）在2）的基础上加入MDD距离度量模块（+MDD）。表5给出了3种模型分别在不同分类任务上的结果。
表 5 消融实验结果Table 5 Ablation experiment results分类任务 模型 ACC SEN SPE AUC 3DCNN 0.842 0.792 0.888 0.840 AD vs. CN +Adv 0.878 0.861 0.894 0.877 +MDD 0.908 0.847 0.963 0.905 3DCNN 0.672 0.597 0.743 0.670 AD vs. MCI +Adv 0.696 0.569 0.816 0.693 +MDD 0.750 0.771 0.730 0.751 3DCNN 0.744 0.770 0.719 0.744 MCI vs. CN +Adv 0.750 0.757 0.744 0.750 +MDD 0.788 0.796 0.781 0.789 由表5可见，3DCNN在3个分类任务上普遍取得了较为不错的分类结果，表明本文提出的多尺度特征提取模块的有效性。以该实验结果为基线，基线实验中加入对抗域适应模块后，3个分类任务上ACC、SPE和AUC的结果均取得了小范围提升，表明本文提出的对抗域适应模块能够完成对存在域偏移的sMRI数据完成特征对齐，有助于提取域不变特征，SEN在AD vs. MCI的分类任务上表现不太稳定，表明了对抗训练还是存在不稳定性以及AD和MCI分类任务存在一定难度。在此基础上再加入MDD距离度量模块后，3个分类任务上结果普遍再次提升，特别是在AD vs. MCI分类任务上提升明显，表明MDD在减小域间散度和增大类内密度，增强特征分布对齐上发挥了明显优势。
3.2 参数分析
损失函数中
$ \alpha $ 、$ \beta $ 和$ \omega $ 在平衡注意力一致性损失、MDD距离度量损失和对抗域适应损失方面发挥着重要的作用。为了研究它们对于本文提出方法的影响，我们在[0, 0.01, 0.02, 0.05, 0.1, 0.2, 0.5, 1]范围内改变其值，并对比最终模型在目标域上的AUC指标变化。具体实验为在3 T为源域，1.5 T为目标域的设置下，探究不同的$ \alpha $ 、$ \beta $ 和$ \omega $ 值在AD vs. CN任务上的实验结果。为探究每个损失函数对于模型的增益效果，一个损失函数权重在变化时，其余两个权重参数值设置为0。从图4可以发现，当$ \alpha \in [0.1,0.5] $ ，$ \beta \in [0.2,0.5] $ 和$\omega \in [0.1,0.2]$ 时，对应的损失函数能够为模型带来较好的增益效果。同时，当3个损失的权重均为0时，AUC指标表现最差，表明加入的注意力一致性损失、MDD距离度量损失和对抗域适应损失均有利于源域和目标域的特征对齐，增强模型在目标域的泛化性能。
图 4 参数消融分析Fig. 4 Ablation analysis of parameters下载:
全尺寸图片
3.3 特征分布可视化
为直观说明本文方法的有效性，使用t-SNE[28]算法分别对3DResNet50和本文方法提取的特征进行降维和可视化，如图5所示。选取源域和目标域中AD和CN的584个数据，图5(a)为3DResNet50模型在源域数据上有监督学习训练后，使用训练后的模型对源域和目标域提取的特征降维可视化，图5(b)为使用本文方法训练得到的模型对源域数据和目标域数据进行特征对齐后的特征降维可视化。可以发现，两种方法下源域AD和源域CN的特征都能够很明显地区分开，但3DResNet50在目标域上却存在一定程度的特征混淆，这也是导致其最终分类效果次优的原因；而本文方法因为在特征提取的同时，使用对抗学习和距离度量，进行了边缘特征对齐和条件分布对齐，使得目标域和源域中相同类别数据的特征分布变得更加紧凑，因此最终网络模型能够在目标域上取得优异的分类识别效果。
图 5 数据特征分布可视化Fig. 5 Data feature distribution visualization下载:
全尺寸图片
4. 结束语
本文针对sMRI数据存在的域偏移问题，提出了一种面向阿尔茨海默症识别的多尺度域适应网络模型。模型主要分为3个部分：多尺度特征提取模块、对抗域适应模块和MDD距离度量模块。多尺度特征提取模块中三维卷积神经网络能够对sMRI数据进行有效的特征提取，空间注意力和注意力一致性损失实现了病变区域定位和语义信息共享，基于空洞空间金字塔的多尺度融合模块能够获取不同尺度的特征信息；相较于普遍使用一个域判别器的领域自适应方法，本文的对抗域适应模块利用两个域判别器的协同训练实现了数据的边缘特征分布对齐，同时缓解了少样本情形下单个域判别器的过拟合问题；MDD距离度量模块通过最小化域间差异和最大化域内密度达到增强特征对齐目标的同时，改善了对抗学习训练不稳定等问题。实验结果表明，本文方法在ADNI数据上的分类准确率等各项评价指标优于传统的监督学习方法和所比较的经典以及最新的无监督领域自适应方法，消融实验、参数分析实验和特征分布可视化实验为模型的有效性提供了有力支持。
-
图 1 多尺度域适应网络架构图
Fig. 1 Multi-scale domain adaptation network architecture diagram
下载:
全尺寸图片
图 2 MRI数据预处理流程
Fig. 2 MRI data preprocessing process
下载:
全尺寸图片
图 3 MRI数据增强图
Fig. 3 MRI data augmentation
下载:
全尺寸图片
图 4 参数消融分析
Fig. 4 Ablation analysis of parameters
下载:
全尺寸图片
图 5 数据特征分布可视化
Fig. 5 Data feature distribution visualization
下载:
全尺寸图片
表 1 数据统计信息表
Table 1 Data statistics table
人 类别 3 T 1.5 T 总数 AD 128 144 272 MCI 160 152 312 CN 152 160 312 表 2 AD和CN分类任务对比实验结果
Table 2 AD vs. CN task comparison experimental results
模型 ACC SEN SPE AUC 3DResNet50 0.783 0.847 0.725 0.786 DANN 0.865 0.819 0.906 0.863 DAAN 0.882 0.847 0.913 0.880 CDAN 0.865 0.854 0.875 0.865 AD2A 0.865 0.840 0.888 0.864 ATM 0.862 0.868 0.856 0.862 本文方法 0.908 0.847 0.963 0.905 表 3 AD和MCI分类任务对比实验结果
Table 3 AD vs. MCI task comparison experimental results
模型 ACC SEN SPE AUC 3DResNet50 0.615 0.618 0.612 0.615 DANN 0.662 0.611 0.711 0.661 DAAN 0.683 0.583 0.776 0.680 CDAN 0.672 0.750 0.599 0.674 AD2A 0.676 0.757 0.599 0.678 ATM 0.699 0.715 0.684 0.700 本文方法 0.750 0.771 0.730 0.751 表 4 MCI和CN分类任务对比实验结果
Table 4 MCI vs.CN task comparison experimental results
模型 ACC SEN SPE AUC 3DResNet50 0.737 0.717 0.756 0.737 DANN 0.747 0.737 0.756 0.747 DAAN 0.744 0.704 0.781 0.743 CDAN 0.753 0.855 0.656 0.756 AD2A 0.740 0.704 0.775 0.739 ATM 0.756 0.757 0.756 0.756 本文方法 0.788 0.796 0.781 0.789 表 5 消融实验结果
Table 5 Ablation experiment results
分类任务 模型 ACC SEN SPE AUC 3DCNN 0.842 0.792 0.888 0.840 AD vs. CN +Adv 0.878 0.861 0.894 0.877 +MDD 0.908 0.847 0.963 0.905 3DCNN 0.672 0.597 0.743 0.670 AD vs. MCI +Adv 0.696 0.569 0.816 0.693 +MDD 0.750 0.771 0.730 0.751 3DCNN 0.744 0.770 0.719 0.744 MCI vs. CN +Adv 0.750 0.757 0.744 0.750 +MDD 0.788 0.796 0.781 0.789 -
[1] 任汝静, 殷鹏, 王志会, 等. 中国阿尔茨海默病报告2021[J]. 诊断学理论与实践, 2021, 20(4): 317–337. doi: 10.16150/j.1671-2870.2021.04.001 REN Rujing, YIN Peng, WANG Zhihui, et al. China Alzheimer disease report 2021[J]. Journal of diagnostics concepts & practice, 2021, 20(4): 317–337. doi: 10.16150/j.1671-2870.2021.04.001 [2] KANG Li, JIANG Jingwan, HUANG Jianjun, et al. Identifying early mild cognitive impairment by multi-modality MRI-based deep learning[J]. Frontiers in aging neuroscience, 2020, 12: 206. doi: 10.3389/fnagi.2020.00206 [3] 徐晨靖, 司亚妮, 史春宇, 等. 多模态MRI在阿尔茨海默病早期诊断中的应用研究进展[J]. 甘肃医药, 2021, 40(8): 682–683,692. doi: 10.15975/j.cnki.gsyy.2021.08.004 XU Chenjing, SI Yani, SHI Chunyu, et al. Advances in the application of mutimodal MRI in the early diagnosis of Alzheimer’s disease[J]. Gansu medical journal, 2021, 40(8): 682–683,692. doi: 10.15975/j.cnki.gsyy.2021.08.004 [4] FERNANDO T, GAMMULLE H, DENMAN S, et al. Deep learning for medical anomaly detection-A survey[J]. ACM computing surveys, 2022, 54(7): 1–37. [5] ZHU Wenyong, SUN Liang, HUANG Jiashuang, et al. Dual attention multi-instance deep learning for Alzheimer’s disease diagnosis with structural MRI[J]. IEEE transactions on medical imaging, 2021, 40(9): 2354–2366. doi: 10.1109/TMI.2021.3077079 [6] 孔伶旭, 吴海锋, 曾玉, 等. 迁移学习特征提取的rs-fMRI早期轻度认知障碍分类[J]. 智能系统学报, 2021, 16(4): 662–672. KONG Lingxu, WU Haifeng, ZENG Yu, et al. Transfer learning-based feature extraction method for the classification of rs-fMRI early mild cognitive impairment[J]. CAAI transactions on intelligent systems, 2021, 16(4): 662–672. [7] FINLAYSON S G, SUBBASWAMY A, SINGH K, et al. The clinician and dataset shift in artificial intelligence[J]. The New England journal of medicine, 2021, 385(3): 283–286. doi: 10.1056/NEJMc2104626 [8] KONDRATEVA E, POMINOVA M, POPOVA E, et al. Domain shift in computer vision models for MRI data analysis: an overview[C]//Thirteenth International Conference on Machine Vision. Rome: SPIE, 2020: 11605 [9] FARAHANI A, VOGHOEI S, RASHEED K, et al. A brief review of domain adaptation[C]//Advances in Data Science and Information Engineering. Cham: Springer, 2021: 877−894. [10] GUAN Hao, LIU Mingxia. Domain adaptation for medical image analysis: a survey[J]. IEEE transactions on biomedical engineering, 2022, 69(3): 1173–1185. doi: 10.1109/TBME.2021.3117407 [11] JAVANMARDI M, TASDIZEN T. Domain adaptation for biomedical image segmentation using adversarial training[C]//2018 IEEE 15th International Symposium on Biomedical Imaging. Washington, DC: IEEE, 2018: 554−558. [12] YANG Jie, VETTERLI T, BALTE P P, et al. Unsupervised domain adaption with adversarial learning for emphysema subtyping on cardiac CT scans: the mesa study[C]//2019 IEEE 16th International Symposium on Biomedical Imaging. Venice: IEEE, 2019: 289−293. [13] PANFILOV E, TIULPIN A, KLEIN S, et al. Improving robustness of deep learning based knee MRI segmentation: mixup and adversarial domain adaptation[C]//2019 IEEE/CVF International Conference on Computer Vision Workshop. Seoul: IEEE, 2020: 450−459. [14] YANG Suhui, ZHOU Xia, WANG Jun, et al. Unsupervised domain adaptation for cross-device OCT lesion detection via learning adaptive features[C]//2020 IEEE 17th International Symposium on Biomedical Imaging. Iowa City: IEEE, 2020: 1570−1573. [15] GAO Yufei, ZHANG Yameng, CAO Zhiyuan, et al. Decoding brain states from fMRI signals by using unsupervised domain adaptation[J]. IEEE journal of biomedical and health informatics, 2020, 24(6): 1677–1685. doi: 10.1109/JBHI.2019.2940695 [16] WU Fuping, ZHUANG Xiahai. CF distance: a new domain discrepancy metric and application to explicit domain adaptation for cross-modality cardiac image segmentation[J]. IEEE transactions on medical imaging, 2020, 39(12): 4274–4285. doi: 10.1109/TMI.2020.3016144 [17] WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module[C]//European Conference on Computer Vision. Cham: Springer, 2018: 3−19. [18] YU F, KOLTUN V. Multi-scale context aggregation by dilated convolutions[C]//4th International Conference on Learning Representations. Puerto Rico: OpenReview. net, 2016: 1−13 [19] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal: MIT Press, 2014: 2672−2680. [20] GANIN Y, USTINOVA E, AJAKAN H, et al. Domain-adversarial training of neural networks[J]. The journal of machine learning research, 2016, 17(1): 2096–2030. [21] SHU Rui, BUI H H, NARUI H, et al. A dirt-t approach to unsupervised domain adaptation[EB/OL]. (2018−02−23) [2022−05−25]. https://arxiv.org/abs/1802.08735. [22] LI Jingjing, CHEN Erpeng, DING Zhengming, et al. Maximum density divergence for domain adaptation[J]. IEEE transactions on pattern analysis and machine intelligence, 2021, 43(11): 3918–3930. doi: 10.1109/TPAMI.2020.2991050 [23] KINGMA D P, BA J. Adam: a method for stochastic optimization[C]//3rd International Conference on Learning Representations. San Diego: OpenReview, 2015: 1−11. [24] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770−778. [25] YU Chaohui, WANG Jindong, CHEN Yiqiang, et al. Transfer learning with dynamic adversarial adaptation network[C]//2019 IEEE International Conference on Data Mining. Beijing: IEEE, 2020: 778−786. [26] LONG Mingsheng, CAO Zhangjie, WANG Jianmin, et al. Conditional adversarial domain adaptation[C]//Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montréal: Curran Associates Inc. , 2018: 1647−1657. [27] GUAN Hao, LIU Yunbi, YANG Erkun, et al. Multi-site MRI harmonization via attention-guided deep domain adaptation for brain disorder identification[J]. Medical image analysis, 2021, 71: 102076. doi: 10.1016/j.media.2021.102076 [28] VAN DER MAATEN L, HINTON G. Visualizing data using t-SNE[J]. Journal of machine learning research, 2008, 9: 2579–2605.
