青光眼是一种复杂的眼科疾病，因其高发病率而备受医学界的关注^[1]。到2010年为止全世界有4 470万人患有青光眼，并预计这一数字在十年内将增加约50%^[2]，青光眼的致盲率接近1/3，仅次于白内障^[3]。为了防止疾病进一步恶化(导致视力模糊或失明)，对青光眼患者进行早期筛查是十分必要的。目前，在临床上普遍使用彩色眼底数字图像进行青光眼筛查^[4]：眼科医生通常观察眼底图像，并根据某些症状来判断受试者是否患有青光眼^[5-6]，包括大杯盘比、视神经损伤和高眼压。然而，这种基于专业的眼科知识的人工筛查方法对于患者而言，成本昂贵又费时。

计算机视觉技术为自动青光眼诊断任务提供了有效的解决方案。目前青光眼自动分类方法主要分为2类：基于机器学习的传统方法和深度学习方法。对于基于机器学习的传统方法，大多数工作首先基于医生先验知识来预定义特定眼底特征，再构建分类器进行训练。Yadav等^[7]提取视盘区域的纹理特征并训练神经网络来识别青光眼。Nayak等^[8]通过人工设计的几何特征，包括杯盘比和视盘中心距离比等，来训练青光眼分类器。为了进一步改善分类的性能，Mookiah等^[9]利用基于高阶谱和纹理的特征组合来构建支持向量机模型。除了以上工作，研究者发现其他特征，如基于能量的特征^[10]、局部结构模式特征^[11]、快速傅立叶变换特征^[12-13]和基于熵的特征^[14]也可用于青光眼的自动分类。由于这些特征符合病理信息，在一定程度上能够完成对青光眼的自动诊断。然而，由于疾病的复杂性，这些预先定义的特征对于青光眼的识别可能并不全面。

近年来，深度学习在医学领域得到了迅速发展，尤其是基于卷积神经网络(convolutional neural network, CNN)^[15-18]。CNN通过自身深层次的网络结构能够自主地从高维数据中挖掘全面的隐藏特征，有助于解决传统青光眼分类方法的缺点。陈翔宇等^[18]首先对原始眼底图像进行预处理，然后训练用于青光眼检测的CNN结构。为了获得更好的结果，Shibata等^[19]进一步提出了一种基于ResNet的更深层次的CNN模型。付华柱等^[20]提出了一种结合全局图像和局部光盘区域的多流CNN。尽管CNN方法在图像任务上能够获得优异的分类结果，仍需要大量的标记数据来训练整个模型，在医学领域受到限制。深度迁移学习方法通过共享不同数据集之间的可迁移特征，将CNN的优势推广到有限监督的应用场景下^[21]。虽然目前深度迁移学习在图像任务中的应用非常广泛，但大多数仍然是关于自然图像领域；而在医疗领域中，尤其是对于眼底图像分析的相关工作仍然十分匮乏。

本文提出一种深度迁移网络来提取相似的眼科疾病之间的眼底特征，从而在有限监督的情况下达到最佳的青光眼分类性能。将CNN网络分为可迁移层和不可迁移层：在可迁移层中，从相似的眼底图像中共享通用特征从而保证通用特征之间的一致性；在不可迁移层中，利用最大平均差异(maximum mean discrepancy, MMD)减小特异特征之间的差异。使得通用特征平稳过渡到特异特征，最终保证在有限的监督下更优越地提取青光眼眼底特征。

1.   深度迁移网络

本文对实验数据及相关的预处理方法包括眼底特征提取过程以及模型的损失函数，提出的基于深度迁移网络的青光眼自动分类模型整体结构如图 1所示。

图  1  青光眼自动分类任务的深度迁移学习方法整体结构

Fig.  1  The model architecture of a deep transfer network for the glaucoma detection task

下载: 全尺寸图片

1.1   数据及预处理

本文共采用2类数据集，分别为用于目标网络训练的青光眼数据集和用于源网络训练的白内障数据集。2类数据集都来自北京同仁医院，标签均由专业的眼科医生手动标记给出，患者的年龄分布为20~80岁，其中男性患者占比47%，女性患者占比53%。第1类青光眼数据集共包含1 093张眼底图像，其中非青光眼样例有587张，青光眼样例有506张，图像分辨率统一为2 196×1 740像素。图 2为非青光眼和青光眼患者的眼底图像。白内障数据集共包括18 923张视网膜眼底图像，其中非白内障样例有8 923张、白内障样例有10 000张。图 3为不同程度白内障患者的示例：如图 3(a)所示，非白内障患者的眼底图像可以清晰地观察到视盘和大小血管的分布；与之相比，白内障患者的眼底图像中(在图 3(b))则是包含的血管细节十分稀疏。

图  2  非青光眼和青光眼的眼底图像

Fig.  2  Fundus images of non-glaucoma and glaucoma

下载: 全尺寸图片

图  3  非白内障和白内障的眼底图像

Fig.  3  Fundus images of non-cataract and cataract

下载: 全尺寸图片

由于数据自身和深度学习网络对输入有一定的要求，本文对上述数据集进行了一系列的预处理操作，主要包括：1)隐私信息处理。本文通过矩形切割和颜色覆盖删除图像上的患者个人信息，以保护其个人隐私；2)图像尺寸统一调整。由于不同数据集之间图像分辨率并不一致，本文统一将所有图像分辨率大小调整为227×227；3)图像归一化。本文基于Z-score的方法对图像进行归一化：

式中x与σ代表所有图像像素点的均值和方差。

1.2   眼底特征提取

CNN作为一种深度学习网络的代表，已经被广泛应用于图像识别领域。类似于生物神经网络结构，CNN拥有权重共享机制可以有效降低模型的复杂度。当网络输入为多维数据，CNN的这种优势就更加明显。和传统识别方法相比，CNN可以直接把图像作为输入并且能够自动提取高维特征，从而避免复杂的特征提取和数据重构过程。本文采用经典的CNN模型作为迁移学习的基础网络。

基础CNN共拥有8层网络结构，包含5个卷积层(每一卷积层后面连接一个池化层)、2个全连接层和一个输出层。卷积层中，前一层计算所得到的特征图与该层的卷积核进行卷积计算。假定，X∈ ${\bf{R}}^{W \times H \times C} $和$Y \in {\bf{R}}^{W^{\prime} \times H^{\prime} \times C^{\prime}} $分别表示输入特征图和输出特征图，则卷积变换为：

式中: K=[k₁, k₂, …, k_c′]表示卷积核集合(k_i表示第i个卷积核)。为了简化，此处省略了偏差项，生成的特征图经过RELU激活函数后，进入池化层。在池化层中，每个特征图都在相邻区域上进行下采样。经历总共5层的卷积和池化操作之后，特征图将输入全连接层进行最终的分类。

在CNN网络中，浅层到深层的特征提取是逐步语义信息递增的过程：浅层提取的是通用特征，例如类似于gabor特征、局部边缘特征等等；深层提取特异特征，这类特征往往是包含复杂语义信息；而中间层则是二者之间的过渡。根据以上CNN网络结构的特性，在对CNN进行网络迁移时，可以对通用特征进行迁移，从而保证相关特征可以顺利过渡到特异特征。然而，从相关性较低的数据集进行迁移时，往往会降低被迁移(目标)网络的模型性能。

因此，与以往工作选择非医疗数据集作为迁移对象不同，设计从相似眼底疾病数据集中迁移浅层的通用特征，从而保证迁移前后通用特征的一致性。然后设计了新的损失函数，通过青光眼数据集重新训练网络来保证通用特征到特异特征之间的平稳过渡。在二者的共同作用下，设计的网络能够在有限监督信息的情况下，更加准确地挖掘到青光眼的眼底特征。

1.3   损失函数

在目标数据集数量有限的情况下，使用相似眼科疾病数据进行特征迁移，可以保证通用特征的一致性。然而，当浅层通用特征过渡到到深层特异特征时，如何平稳过渡是需要考虑的问题。本文使用MMD损失来减小特异特征之间的差异从而保证特异特征的可迁移性：

式中：X_s和X_t表示源数据集和目标数据集；N_t和N_s分别表示其样本数；$\phi(\cdot) $表示到RKHS的映射。最终，确定了最终的损失函数L_Loss为：

式中：L_ce为预测标签与其对应的真实标签之间的交叉熵损失函数；λ是非负正则化参数。本文L_ce作为损失函数去预训练分类模型。当网络进行特征迁移时，采用新的函数式(4)更新模型参数。

2.   青光眼自动分类实验和结果

训练网络时，采用分步学习的策略设置参数。初始阶段将所有层的学习率设置为10^-2。将所有模型均训练100个轮次。批大小设置为16，动量为0.9。采取L₂权重衰减进行正则化，将惩罚乘数分别设置为10^-4，丢失率设置为0.5。

对于青光眼检测任务，采用4种常用的评估标准来评估分类模型的性能，包括准确性、敏感性、特异性和曲线下面积(area under curve, AUC)。其中准确性(ACC)、敏感性(SE)和特异性(SP)指标分别为：

式中：TP、TN、FP和FN分别是真阳性青光眼、真阴性青光眼、假阳性青光眼和假阴性青光眼的数量。

为了充分评估本文提出方法的性能，选择传统方法和深度学习2种基准模型进行验证实验。对于传统方法的模型，分别基于高阶谱(higher order spectra, HOS)、离散小波变换(discrete wavelet transform, DWT)和尺度不变特征变换(scale-invariant feature transform, SIFT)特征训练了3个逻辑回归(logistic regression, LR)模型。对于经典的深度学习模型，选择了3个代表网络，分别是AlexNet^[22]、GooLeNet-22^[23]、ResNet-50^[24]和VGGt^[25]。

表 1展示了本文方法与其他传统青光眼自动分类模型之间识别性能的对比。分析实验的对比结果后发现传统分类策略驱动的青光眼识别模型在青光眼检测任务中表现的性能较差。基于高阶谱特征的逻辑回归模型仅获得了75.23%的准确率。而基于离散小波变换的逻辑回归模型虽然较其他传统方案来说取得了最高的准确率78.90%，但是在敏感性上仅达到了70.85%，这样的性能无法令人满意。推断这可能是由于此类启发式方法中预定义的特征并不是青光眼和非青光眼病例的典型区分特征，无法支撑模型做出准确的分类决策。而对于本文提出的方法，其获得了91.15%的准确率、90.13%的敏感性，92.25%的特异性和0.93的AUC值(见图 4所示)，在各项指标上都明显优于其他的传统分类模型。

图  4  不同模型的AUC值比较

Fig.  4  Comparison of AUC among different models

下载: 全尺寸图片

表 2展示了本文方法和其他基于深度学习的青光眼自动分类模型的识别结果。结合表 1和图 4分析可得，深度学习模型在青光眼检测任务中表现的各项性能要显著优于传统方法。所获得的准确率、敏感性以及特异性均在85%以上，而传统方法基本仅维持在75%~82%。图 4中柱状图高度的差异也印证了这一发现，深度学习方法的AUC值也要普遍高于传统分类模型，阐释了深度学习方法在特征表达方面较启发式方法的明显进步。对比本文方法与其他深度学习模型在青光眼检测任务上的性能，本文方法在各项指标上都取得了最佳的性能。其中，在准确率方面比性能第2的GooLeNet-22分类模型高出2.94%，敏感性比性能第2的ResNet-50分类模型高出0.59%，特异性方面比性能第2的AlexNet分类模型高出1.82%，证明了本文方法在青光眼检测任务上的优势。

为了进一步证明该方法的有效性，对比了原始AlexNet(无迁移学习)和提出的方法的损失和精度波动。如图 5和图 6所示，本文方法收敛速度更快(约20轮vs 80轮)、更稳定，同时测试集的准确度也更好，平均提高了4.92%~91.15%。实验结果都表明了该方法的优越性。

图  5  AlexNet网络的成本和精度波动

Fig.  5  Cost and accuracy fluctuations of AlexNet

下载: 全尺寸图片

图  6  本文方法的成本和精度波动

Fig.  6  Cost and accuracy fluctuations of our proposed method

下载: 全尺寸图片

3.   结论

1) 本文基于迁移学习的青光眼自动检测网络方法，能够共享和集成各类眼底疾病的知识。从不同但相似的眼科数据集中迁移一般特征，并基于最大均值差异提取特定特征。

2) 通过整合迁移学习机制和深层CNN结构，本文方法可以实现从一般到特定的稳定特征提取，从而节省大量的训练成本。

3) 在有限的训练样本下，本文提出的模型优于传统的计算机视觉算法和经典的深度学习模型。