皮肤病是一种常见病和多发病^[1]，不但使患者承受生理的病痛，而且给患者的社会生活造成许多负面影响。针对皮肤病的诊断方法的相关研究具有重要的意义。现有的很多疾病诊断方法^[2-4]一般先抽取病例中的医学特征，将一个病例表示为其所具有医学特征的集合，然后将该病例转化为向量数据，如 $\left\{ {0,1, \cdots ,1} \right\}$ 。若该病例具有特征空间(由所有医学特征组成)中的某个特征，则该病例数据在该特征对应维的值为“1”，若该病例不具有某特征，则为“0”。然后使用朴素贝叶斯、支持向量机等分类算法训练诊断模型。这些疾病诊断方法具有以下3个缺点：1)传统机器学习算法对复杂函数的表达能力有限；2)使用这些模型前需要进行特征构建，这项工作耗费大量人工成本；3)基于医学特征的机器学习诊断方法难以表达皮肤病临床表现的时间顺序性，例如，带状疱疹的典型症状为患者首先出现皮肤疼痛，经过数天的病情发展，疼痛部位出现疱疹。这种特有的病情发展顺序能够有效帮助医生进行确诊。随着神经网络模型的不断发展，其在文本分类领域得到了广泛应用^[5]。基于神经网络的文本分类模型具有以下优点：1)模型可以自动提取文本特征，同时训练特征与类别标签之间的关系；2)通过增加人工神经元的层数和每层的神经元数量，模型能够表达复杂函数；3)基于神经网络的文本分类模型能够考虑上下文信息，在疾病诊断应用中能够考虑患者病情发展的时间顺序。因此，本文研究如何使用基于神经网络的文本分类模型在文本形式的病例数据上构建高效、准确的皮肤病诊断模型。使用基于神经网络的文本分类模型对皮肤病进行诊断的过程可以抽象为对文本形式的病例进行分类的过程，类别标签为皮肤病的具体病种。神经网络模型的训练对数据量要求较高。由于对患者的隐私保护等原因，本文能够获得的皮肤病数据量较为有限。因此，本文提出了融合迁移学习和神经网络的皮肤病辅助诊断方法，借助迁移学习将皮肤病专业书籍中的理论知识迁移到神经网络模型中，以训练出高效、准确的皮肤病诊断模型。

1 疾病辅助诊断相关研究工作

神经网络模型在皮肤病和其他疾病的诊断应用中均取得了一定的研究成果。

1)皮肤病辅助诊断的相关工作：文献[6]提出了一种基于卷积神经网络的皮肤镜图像分类方法，其梯度下降损失函数由分割损失和分类损失2部分组成，使单个网络结合分割样本和分类样本2方面的信息，同时提高了模型在分割和分类任务上的表现，该方法在国际烧伤学会皮肤镜图像数据集上表现出比传统方法更高的鲁棒性和准确度；斯坦福大学人工智能实验室与斯坦福医学院合作采用神经网络方法对皮肤镜图像和临床皮损图像进行自动分类^[7]，该方法使用GoogLeNetInception-v3作为其分类网络，实验表明该方法在多个分类任务上达到了与专业皮肤科医生相当甚至更好的水平。

2)其他疾病辅助诊断的相关工作：文献[8]提出一种基于卷积神经网络的阿尔茨海默病识别方法，该方法对大脑海马体图像使用卷积神经网络进行训练和识别，将同一个对象的图像识别结果用于对该对象的联合诊断，其平均识别准确率达到88.02%；文献[9]研究使用样本过滤方法解决医学数据集中的样本不平衡问题，从而提高了卷积神经网络的性能；文献[10]提出了一种基于卷积神经网络的乳糜泻诊断方法，该方法在十二指肠的内窥镜图像上训练卷积神经网络，然后使用softmax分类器和线性支持向量机进行分类，取得了良好的分类效果；文献[11]构建了多个三维卷积神经网络，从大脑的局部图像中学习各种特征，从而对阿尔茨海默病进行分类诊断；CHE Zhengping 等^[12]在KDD2015上提出一种基于医学先验知识的深度人工神经网络特征提取框架，该框架利用医学本体来训练神经网络，从而发现人体生理系统与临床检测指标中的关系；文献[13]提出一种基于神经网络技术的建模方法，该方法能够预测人的心理疾病；文献[14]使用神经网络对人的头痛进行建模分析；文献[15]首次使用神经网络在临床数据的时间序列中自动学习特征，这些特征对病例的聚类和分类都有较强的可解释性。

综上所述，许多专家学者使用神经网络模型进行医学图像的分类研究，从而辅助疾病诊断，而对医学文本分类的相关研究较少。

2 相关文本分类模型介绍 2.1 TextCNN

Yoon Kim等^[16]提出了基于卷积神经网络的文本分类模型(convolutional neural network for text, TextCNN)，该模型在文本分类任务中取得了不错的成绩。TextCNN结构如图1所示，输入层将文本数据传入到模型，Embedding层将文本数据转化为词向量，卷积层(使用3个卷积核)提取数据特征，K-MaxPooling层(3个卷积核对应3个池化层)提取特征矩阵局部最大的K个值，拼接层将3个特征向量进行拼接，全连接层对特征进行降维，分类器层使用softmax分类器进行分类预测。

2.2 TextLSTM

长短期记忆网络^[16](long short term memory neural network，LSTM)是循环神经网络^[17](recurrent neural network，RNN)的一种变体，能够保存长时间间隔的输入信息。基于长短期记忆网络的文本分类模型(long short term memory neural network for text, TextLSTM)通常采用双向长短期记忆网络(Bi directional long short term memory neural network, Bi-LSTM)进行构建。TextLSTM结构如图2所示，双向LSTM层主要负责提取文本向量及其上下文的特征，其他层的作用与TextCNN对应层作用相同。

2.3 RCNN

Lai S等^[18]在2015年提出了基于循环神经网络和卷积神经网络的文本分类模型(recurrent convolutional neural networks for text classification，RCNN)。双向循环神经网络(Bi directional recurrent neural network, Bi-RNN)比基于窗口的神经网络噪声小，能够最大化地提取文本上下文信息。RCNN结构如图3所示，双向RNN层主要负责提取文本向量及其上下文特征，拼接层将双向RNN层提取的向量进行拼接。

3 一种新的皮肤病辅助诊断方法 3.1 多源数据迁移学习

迁移学习是一种举一反三的能力，让机器在处理新领域(目标域)的问题时能够根据已有领域(源域)的模型和少量的数据快速训练出适合新场景的模型。根据源域和目标域中是否含有带标签样本、源域和目标域是否相同以及源域和目标域的任务是否相同可分为归纳式迁移学习、直推式迁移学习和无监督迁移学习^[19]。近年来，迁移学习已经引起了广泛的关注^[20-21]。

本文方法在训练诊断模型过程中分为2个步骤。1) 构建基于深度学习的分类诊断模型，在源域数据集上训练源域诊断模型，并保存源域诊断模型；2) 加载已保存的源域模型，然后将其在目标域数据集中进行训练，继而获得目标域模型(皮肤病诊断模型)。源域数据集为基于皮肤病专业书籍《皮肤性病学(第6版)》构建的虚拟数据集。目标域数据集为真实的皮肤病数据集。

《皮肤性病学(第6版)》具有专业的皮肤病理论知识与准确的皮肤病描述语言。因此，基于该书构建的皮肤病虚拟数据集具有如下特点：1)具有专业的皮肤病理论知识；2)与目标域属于相同的专业理论体系；3)与皮肤病真实数据集具有相同的特征空间。但是，虚拟数据集与真实数据集不满足独立同分布条件，在迁移学习理论中属于直推式迁移。

基于皮肤病专业书籍的虚拟数据集构建方法分为5个步骤。1) 对《皮肤性病学(第6版)》中的各种皮肤病理论知识进行抽取和整理。皮肤病理论知识由“概念”、“病因”、“发病原理”、“临床表现”、“实验室检查”、“诊断与鉴别诊断”以及“预防和治疗”等部分组成；2) 按照“主述”、“现病史”、“体格检查”等要素，将整理好的皮肤病理论知识进行对应填写，构建每种皮肤病的“标准病例模板”；3)对每种皮肤病的标准病例模板中各项内容进行合理划分，可根据“，”、“。”以及知识连接紧密性进行划分，将每个模块划分为多个短句；4)在一种皮肤病标准病例模板的每一项内容中，以随机的方式无放回地抽取数量为该项内容短句总数50%的短句，将所得短句组合成一个虚拟病例，重复执行本步可获得大量该病种的虚拟病例；5) 对每种皮肤病均重复步骤4），可获得大量虚拟病例。通过该方法获得的虚拟数据集即为源域数据集，用于训练源域模型。

3.2 皮肤病辅助诊断方法

为避免其他机器学习方法无法有效表达病情发展的时间顺序、难以构建复杂函数模型以及繁重的特征工程等缺点，同时针对皮肤病数据小样本问题，本文提出了融合迁移学习和神经网络的皮肤病辅助诊断方法(method based on transfer learning and neural networks for classification，TLNN)。

1)模型构建

皮肤病诊断模型构建流程如图4所示。首先，对皮肤病专业书籍进行知识抽取和整理，获得皮肤病的相关知识；然后，使用虚拟数据集构建方法，建立皮肤病虚拟数据集，即为源域数据集；接下来，在虚拟数据集上预训练TextLSTM、TextCNN以及RCNN 3个神经网络文本分类模型，即为源模型；最后，使用迁移学习技术，将源模型在皮肤病真实数据集上继续训练，获得最终的皮肤病诊断模型。

算法1详细叙述了融合迁移学习和神经网络的皮肤病诊断模型构建方法，如步骤①~②所示。预训练数据集D_pre为虚拟数据集，数据集中的任意一个数据x_i为生成的虚拟病例样本；皮肤病数据集D为真实数据集，数据集中的任意一个数据x_i为真实病例样本。算法分为3个步骤：1）进行源模型训练；2）进行真实数据训练；3）进行模型融合，获得最终的皮肤病诊断模型。

算法1　融合迁移学习和神经网络的皮肤病诊断模型构建方法

输入　预训练数据集 ${D_{{\rm{pre}}}} = \left\{ {\left( {{x_1},{y_1}} \right),\left( {{x_2},{y_2}} \right), \cdots ,} \right.$ $\left. {\left( {{x_n},{y_n}} \right)} \right\}$ ，其中 ${x_i} \in X \subseteq {{\bf{R}}^n}$ ； ${y_i} \in \left\{ {{c_1},{c_2}, \cdots ,{c_m}} \right\}$ ，m为疾病标签总个数；皮肤病数据集 $D = \left\{ {\left( {{x_1},{y_1}} \right),\left( {{x_2},{y_2}} \right), \cdots ,} \right.$ $\left. {\left( {{x_n},{y_n}} \right)} \right\}$ ，其中 ${x_i} \in {{X}} \subseteq {{\bf{R}}^n}$ ， ${y_i} \in \left\{ {{c_1},{c_2}, \cdots ,{c_m}} \right\}$ 。

输出　皮肤病诊断模型F。

源模型训练：使用基于神经网络的文本分类模型在预训练数据集D_pre上训练皮肤病诊断模型 ${\rm{Model}}_{{\rm{pre}}}^{\left( i \right)}\left( x \right)$ ， $i \in \left\{ {{\rm{TextLSTM}},{\rm{TextCNN}},{\rm{RCNN}}} \right\}$ ，并保存模型 ${\rm{Model}}_{{\rm{pre}}}^{\left( i \right)}\left( x \right)$ 的参数，如式(1)所示， ${\rm{PreTrain}}()$ 表示预训练过程。

$ {{\rm{Model}}_{{\rm{pre}}}^{\left( i \right)}\left( x \right) = {\rm{PreTrain}}\left( {{D_{{\rm{pre}}}}} \right)} $

(1)

真实数据训练：使用预训练获得的模型 ${\rm{Model}}_{{\rm{pre}}}^{\left( i \right)}\left( x \right)\;\left( {i \in \left\{ {{\rm{TextLSTM}},{\rm{TextCNN}},{\rm{RCNN}}} \right\}} \right)$ 的模型参数，在皮肤病数据集D上训练皮肤病分类预测模型 ${\rm{Mode}}{l^{\left( i \right)}}\left( x \right)$ 为

$ {{\rm{Mode}}{{\rm{l}}^{\left( i \right)}}\left( x \right) = {\rm{Train}}\left( {{\rm{Model}}_{{\rm{pre}}}^{\left( i \right)}\left( x \right),D} \right)} {\rm{}}$

(2)

模型融合：

① 使用TextCNN、TextLSTM以及RCNN模型依次执行步骤①、②，获得3个皮肤病诊断模型 ${F_{ {{\rm{TextLSTM}}}}}\left( x \right)$ 、 ${F_{ {{\rm{TextCNN}}} }}\left( x \right)$ 以及 ${F_{ {{\rm{RCNN}}} }}\left( x \right)$ 。

② 通过概论等权重融合方式将多个皮肤病诊断模型组合为一个皮肤病诊断模型为

$ {{F_j}\left( x \right) = \{ {F_{ {{\rm{TextCNN}}} }}\left( x \right),{F_{ {{\rm{TextLSTM}}} }}\left( x \right),} {F_{ {{\rm{RCNN}}} }}\left( x \right)\} $

(3)

2)诊断

给定一个未知皮肤病标签集合的病例样本，诊断其可能的皮肤病标签集合，实现方法如下：

① 给定待预测样本x；

②根据诊断器 ${F_{ {{\rm{TextCNN}}} }}\left( x \right)$ 、 ${F_{ {{\rm{TextLSTM}}} }}\left( x \right)$ 以及 ${F_{ {{\rm{RCNN}}} }}\left( x \right)$ ，得到3个m维向量，分别为TexLSTM、TextCNN以及RCNN诊断模型对样本x进行分类预测的结果，向量第j维表示样本x属于皮肤病标签c_j的概率，如式(4)~(6)所示：

$ {{{P}_{{\rm{TextLSTM}}}} = {F_{ {{\rm{TextLSTM}}} }}\left( x \right)} $

(4)

$ {{{P}_{{\rm{TextCNN}}}} = {F_{ {{\rm{TextCNN}}} }}\left( x \right)} $

(5)

$ {{{ P}_{{\rm{RCNN}}}} = {F_{ {{\rm{RCNN}}} }}\left( x \right)} $

(6)

③ 对于待预测样本x，3个基础诊断器给出了3个向量，采用等概率加权融合的方式可以确定出最终诊断器F给出的概率P_x，如式(7)所示。向量中值最大一维j所对应的疾病标签c_j即为样本x的诊断结果。

$ {{{P}_{x \in {c_j}}} = {F_j}\left( x \right) = \frac{1}{3}{P_{{\rm{RCNN}}}}} + \frac{1}{3}{P_{{\rm{TextRNN}}}} + \frac{1}{3}{P_{{\rm{TextCNN}}}}$

(7)

4 实验结果与分析

本文将融合迁移学习和神经网络的皮肤病诊断方法与其他文本分类方法在皮肤病二分类与多分类数据集上进行了对比实验，对比方法有TextCNN、TextLSTM以及RCNN等。

文本形式病例数据全部来自“爱爱医医学网-病例中心”( https://bingli.iiyi.com/)。皮肤病二分类数据集如表1所示，“接触性皮炎”二分类数据集中，正样本数量为22，表示患有接触性皮炎的病例样本，负样本是在其他皮肤病病例中随机抽取的与正样本数量相同的病例样本。本文使用7个皮肤病二分类数据集进行融合迁移学习与神经网络的皮肤病诊断方法实验，这7个皮肤病二分类数据集分别为：接触性皮炎、带状疱疹、过敏性紫癜、红斑狼疮、荨麻疹、湿疹以及银翘病。皮肤病多分类数据集如表2所示，该数据集的样本数量为178，皮肤病类别标签数量为7。本文实验结果均为10次重复实验结果的平均值。

本文采用准确率(Precision)和召回率(Recall)2个指标对模型在二分类数据集上的表现进行评价。本文根据样本的预测标签值和原始标签值将样本进行划分：TP表示预测模型结果为正样本，真实标签为正样本的样本个数；FP表示预测模型结果为正样本，真实标签为负样本的样本个数；TN表示预测模型结果为负样本，真实标签为负样本的样本个数；FN表示预测模型结果为负样本，真实标签为正样本的样本个数。本文采用的精确率、召回率分别如式(8)、(9)计算。本文采用正确率(Accuracy)对模型在多分类数据集上的表现进行评价，T表示被正确分类的样本数量、N表示样本总数，正确率使用式(10)进行计算。

$ {{\rm{Precision}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FP}}}}} $

(8)

$ {{\rm{Recall}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}}} $

(9)

$ {{\rm{Accuracy}} = \frac{{\rm{T}}}{{\rm{N}}}}$

(10)

多种分类方法在皮肤病二分类数据集上的准确率如表3所示，召回率如表4所示，使用迁移学习后的准曲率和召回率如表5、6所示。未使用迁移学习技术时，TextLSTM在1种皮肤病上准确率最高，在0种皮肤病上召回率最高；TextCNN在5种皮肤病上准确率最高，在4种皮肤病上召回率最高；RCNN在1种皮肤病上准确率最高，在3种皮肤病上召回率最高。使用迁移学习技术后，TextCNN在4种皮肤病上准确率最高，RCNN在2中皮肤病上准确率最高。

在不使用迁移学习的情况下，神经网络模型等权重融合方法(fusion method of neural network, FMNN)在7种皮肤病中的3种皮肤病上准确率最高，仅次于TextCNN；在2种皮肤病上召回率最高，仅次于TextCNN。在使用迁移学习的情况下，TLNN方法在2种皮肤病上准确率最高，仅次于TextCNN；在3种皮肤病上召回率最高，为最优模型。迁移学习的使用对7个皮肤病二分类数据集和4种实验方法共28个准确率中的22个产生了积极影响，积极影响率为78.57%；对21个召回率产生了积极影响，积极影响率为75.00%。

本文方法在皮肤病多分类数据集上的正确率如表7所示。在皮肤病多分类实验中，迁移学习对4种方法的正确率均产生了积极影响，最高可提升20.14%。本文提出的TLNN方法正确率最高，为84.17%，比第2名方法RCNN高0.84%。

为证明本文方法相对于非神经网络文本分类方法的优越性，本文使用空间模型对皮肤病文本病例数据进行形式化，然后通过朴素贝叶斯(NB)、决策树(DT)、K最邻近(KNN)、TF-IDF与余弦相似度结合的方法(TICS)以及随机森林(RF)进行实验。4种对比方法在二分类任务上的准确率和召回率分别如表8、9所示，在多分类任务上的正确率如表10所示。对比表5和表8可知，在二分类实验中，本文方法的准确率在6种皮肤病上高于4种对比方法；对比表6和表9可知，在二分类实验中，本文方法的召回率在7种皮肤病上高于4种对比方法；对比表7和表10可知，在多分类实验中，本文方法的正确率高于4种非神经网络文本分类方法。

在皮肤病二分类数据集上，本文提出融合迁移学习和神经网络的皮肤病辅助诊断方法的召回率优于TextLSTM、TextCNN、RCNN 3种神经网络文本分类方法，以及NB、DT、KNN、TICS 4种方法；准确率仅次于TextCNN。在皮肤病多分类数据集上，本文方法的正确率优于对比方法。迁移学习的使用将皮肤病专业书籍中的理论知识有效地迁移到了诊断模型中，对实验结果产生了积极影响。在二分类实验中，迁移学习的积极影响率高于75%，在多分类实验中，迁移学习的积极影响率为100%。

5 结束语

本文提出了融合迁移学习和神经网络的皮肤病辅助诊断方法，针对传统机器学习算法对复杂函数的表达能力有限，特征构建工作耗费大量人工成本，以及基于医学特征的机器学习诊断方法难以表达皮肤病临床表现的时间顺序性等问题进行了改进，根据皮肤病书籍知识构建的虚拟数据集预训练神经网络模型，使用迁移学习技术将书籍中的皮肤病知识迁移到皮肤病诊断模型中，在皮肤病数据集上继续训练皮肤病诊断模型。本文使用皮肤病数据集进行实验，通过与基于神经网络的文本分类方法TextLSTM、TextCNN、RCNN以及非神经网络文本分类方法NB、DT、RF、KNN、TICS进行对比，本文方法取得了较好的实验效果。