骨质疏松症是以骨量减少、骨质量受损，导致骨脆性增加、易发生骨折为特征的全身性骨病.调查显示，全球每年有890万的骨折由骨质疏松症引起^[1]，已经成为威胁中老年人生命的重要杀手.在人口老龄化的今天，骨折发病率、致死率逐年增加，在今后的几十年内将成为一项严重的健康威胁.因此，对骨质疏松的早期评估和预测已迫在眉睫.

目前，医学上对骨质疏松的诊断主要通过骨密度测量，包括双能X射线吸收测定法、定量计算机体层摄影法等.世界卫生组织推荐的骨密度诊断标准规定^[2]：基于双能X射线吸收测定，骨密度值低于同性别、同种族正常成年人骨峰值不足1个标准差属正常；降低1~2.5个标准差为骨量低下(骨量减少)；降低程度等于或大于2.5个标准差为骨质疏松.

然而，骨密度仅能反映约70%的骨质疏松程度，骨微结构的几何特征和密度结构不均一性对骨质疏松也有一定影响，其他因素同样会增加骨质疏松的危险性.研究表明，个体、环境都会影响骨骼质量^[3]，包括种族、年龄、体重指数^[4]、性别^[5]、绝经、饮食^[6]、补钙^[7]、地域^[8]等.并且，目前骨质疏松诊断方面的专家和仪器数量远不能满足医疗发展需要，亟待开发一种方便准确的骨质疏松评估方法.

目前的骨质疏松评估方法主要分为基于问卷形式的评估方法和基于机器学习的评估方法.基于问卷的评估方法由于其输入知识的局限性，主观因素较大，无法很好扩展到病情复杂的临床阶段.因此，人们通过机器学习方法，辅以影像学、医学图像处理技术等手段，提高诊断准确率.目前基于机器学习的评估方法主要根据体检和病例数据进行模型训练、预测评估，现有基于机器学习的骨质疏松评估方法，大多只使用同种类型的数据进行模型训练，如体检数据或一些影响骨质疏松因素的调查问卷数据，评估依据较为单一，一些反映骨微结构的特征没有加入其中，而这些特征的提取需要额外的图像数据.总体来看，还有很大的提升空间.

为了提升诊断准确率，综合考虑图像数据和问卷数据，提出一种基于深度神经网络(DNN, deep neural network)的多模态数据融合骨质疏松评估方法.该方法基于骨骼图像数据与性别、年龄、饮食习惯、地域差异等问卷数据，融合图像特征与问卷特征，对骨质疏松程度进行分类评估.此外，还使用了non-local模块^[9]对卷积神经网络(CNN, convolution neural network)部分进行微调，Unet^[10]进行了图像分割预处理.与传统临床决策工具和辅助诊断工具相比，该骨质疏松评估方法能够更加准确地识别患骨质疏松症的风险，为骨质疏松的早期诊断提供可行的方法，进而有效降低骨质疏松诊断误诊率.

1 相关工作 1.1 基于问卷形式的骨质疏松评估方法

针对其他影响因素对骨质疏松诊断的评估，目前有2种基于问卷形式的简易评估方法^[11].

1) 国际骨质疏松症基金会提出的骨质疏松1 min测试题.该试题共有10个问题，只要其中一道题的回答为“是”，那就证明有发生骨质疏松的风险.试题包括：是否曾经因为轻微的碰撞就伤到骨骼；父母是否有过轻微碰撞就发生髋部骨折；是否经常连续3个月以上服用“可的松”、“强的松”等激素类药品等.

2) 世界卫生组织推荐的骨质疏松性骨折风险评估方案是根据年龄、性别、体重、身高、既往骨折史、父母髋骨骨折、目前抽烟行为、肾上腺皮质激素服用、风湿性关节炎、继发性骨质疏松症、每日酒精摄取量、骨密度进行骨折风险的评估.

然而，这些方式没有考虑到不同风险因素之间相互关联的作用，无法发现弱相关因素组合时的潜在风险以及患骨质疏松风险的大小，并且仅依靠人为进行诊断，主观性影响较大.

1.2 基于机器学习的骨质疏松评估方法

目前，数据挖掘、机器学习等技术在医疗智能辅助诊断领域当中的应用越来越广泛.现有的基于机器学习的骨质疏松评估方法主要使用支持向量机(SVM，support vector machine)和神经网络进行预测评估.

1) 方骁然等^[12]根据常规体检参数和骨质疏松诊断结果之间线性相关度小、参数方差大等特点，使用基于SVM的方法，将原始训练数据映射到核空间进行分类，较好地实现了用体检参数预测骨质疏松.然而，该研究使用数据较少，泛化能力较差，同时未对SVM分类器的结果进行评价.

2) Mohamed等^[13]提出一种人工神经网络构建骨质疏松诊断分类模型，使用图像灰度直方图为输入特征对骨密度值进行预测估计.该方法只使用了图像中的直方图特征，没有使用骨骼纹理、形状等其他有效特征进行训练.

3) 余锦娟等^[14]引入临床信息和遗传信息作为特征，使用Logistic回归和Xgboost算法进行骨质疏松性骨折预测.该方法引入2个新颖特征进行建模预测，但仍然不够全面.

目前基于机器学习的骨质疏松分类研究多采用基本的机器学习算法，存在模型较为简单，拟合数据特征不够准确的问题，此外，用来训练的数据类型较为单一，有待加入更多特征信息.

2 基于DNN的多模态特征融合骨质疏松评估方法

为了提升诊断准确率，综合考虑图像数据和问卷数据，笔者提出一种基于DNN的多模态数据融合骨质疏松评估方法，主要包括特征提取和特征融合2部分.此外，在图像预处理过程中使用Unet网络进行图像分割；在CNN的第1层与第2层之间加入non-local模块，用于丰富特征提取的内容.

2.1 基于DNN的多模态数据融合骨质疏松评估模型结构

骨质疏松评估模型结构如图 1所示.图像数据经过图像分割，问卷数据经过数据清洗等预处理后进行特征提取.针对图像数据局部相关性的特点，使用CNN进行特征提取；针对问卷数据特征离散的特点，使用DNN进行特征提取；然后将2种特征进行特征拼接后使用DNN进行特征融合；最后使用Softmax分类器进行分类输出.

2.1.1 特征提取

由于文本医学数据集样本数量较少，为了控制模型复杂度，防止过拟合，设计4层CNN用于提取图像数据特征，具体结构如图 2(a)所示.图像数据输入CNN中，经过4层卷积层、池化层和一层non-local模块进行图像的特征提取，生成256维特征向量.问卷数据的特征较为分散，如身高、性别、饮食习惯等，为了获得问卷数据的高阶特征组合，设计3层DNN用于提取问卷数据特征，具体结构如图 2(b)所示.问卷数据在归一化后输入DNN，经过3层神经网络，分别为128、128、64个神经元，将问卷数据中不同属性之间的关系进行非线性组合，增加特征信息，同时也能增加文本数据特征在融合之后的特征占比，生成64维特征向量.所有层都使用了整流线性单元作为激活函数，用于增强网络的非线性表达能力.

2.1.2 特征融合

在实验中，图像特征包含骨骼结构信息，问卷特征包含骨质疏松影响因素的个体信息，这2方面的信息存在一定的互补关系，因此可以将其进行适当的特征融合.

特征融合是将多个不同的特征向量经过特定的映射输出一个新的特征向量，即

$ \mathit{\boldsymbol{Z}} = f\left( {{\mathit{\boldsymbol{X}}_i}, {\mathit{\boldsymbol{X}}_j}} \right) $

(1)

其中：X_i、X_j为输入向量，Z为输出向量，f表示映射关系.目前的特征融合方法有以下几种：不同特征向量按照人工规则线性融合；计算多个向量相似度矩阵，按照相似度进行融合；直接拼接特征向量.

由于神经网络能够自动训练出各个特征的权重值，所以选择使用特征拼接的方法进行特征融合，图 3给出了特征融合的详细结构.将N维图像数据特征[x₁, x₂, …, x_n]与M维问卷数据特征[y₁, y₂, …, y_n]进行拼接处理，融合成N+M维的特征[x₁, x₂, …, x_n, y₁, y₂, …, y_n]，将其输入到后续的DNN中去，由神经网络来学习特征之间的权重关系.

在后续的DNN中，设计两层神经网络，分别为150、64个神经元.由于实验数据集较少，且神经网络参数较多，容易产生过拟合现象，为了防止模型过拟合，在后续神经网络中都加入了Dropout，如图 3中虚线部分所示.在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这种方式可以减少神经元之间的相互作用，明显地减少过拟合现象，使得模型泛化性更强.

2.2 模型训练

对构建好的模型使用Softmax分类器进行分类，用于获得各类数据的概率分布.输出第i类的概率为

$ {P_i} = \frac{{{{\rm{e}}^{{z_i}}}}}{{\sum\limits_j {{{\rm{e}}^{{z_i}}}} }}, \quad \forall j = 1, 2 $

(2)

其中：z_i为最后一层神经元中第i个值，分母为对所有神经元的值进行指数求和.这样整个模型都由神经网络组成，可以进行端到端之间的训练.训练过程中，通过最小化模型输出的预测类别与真实类别的交叉熵损失函数来优化模型参数，损失函数为

$ \text{ Loss }=-\sum\limits_{i\in D}{\sum\limits_{j\in C}{\hat{y}_{i}^{j}}}\lg y_{i}^{j}+\partial \|\theta {{\|}^{2}} $

(3)

其中：D为数据集，C为分类类别，${\hat y}$为真实类别，y为预测类别，‖θ‖²为L2正则项，∂为正则项系数.

2.3 模型优化

确定整体端到端模型之后，在图像预处理与CNN模块中进行了改进，使用Unet进行图像分割，去除冗余信息，并在CNN结构中加入non-local模块用于增强网络的表达能力.

2.3.1 使用Unet图像分割预处理方案

在原始的X光图像中，存在许多不必要的信息，如图 4中的一些英文字母.使用传统图像处理中的边缘检测算法，如Canny检测，并不能有效处理掉这些冗余图像内容，而面对图像数据时，人工标注骨骼边缘也不是一个高效的方法.

Unet模型是一种U形结构的CNN，如图 5所示.编码器下采样4次，解码器也相应上采样4次，将encoder得到的高级语义特征图恢复到原图分辨率，并在同一个层级使用级联，这样就保证最后恢复出来的特征图融合了更多的低级语义特征.医学图像数据语义特征较为简单，结构较为固定，都是一个固定器官的成像，因此，Unet的特点非常适合对医学图像进行分割处理.将分割结果与原图像进行对应点相乘，获得去除冗余信息的图像数据，输入后续的CNN中进行特征提取.

2.3.2 non-local模块

在CNN中，卷积核的感受野是有限的，只能提取局部特征信息.有些任务可能需要原图上更多的信息，如果能将这种远距离的相关性信息加入网络中，就能够得到信息更丰富的特征图，从而提升网络的性能，non-local模块能够在其中引入全局的信息，很好地解决普通卷积操作无法看清全局的情况，为后面的层带去更丰富的信息.

non-local模块的具体操作如下：

$ {y_i} = \frac{1}{{c(x)}}\sum\limits_{\forall j} f \left( {{x_i}, {x_j}} \right)g\left( {{x_j}} \right) $

(4)

其中：x_i为图像各像素点；函数f计算x_i与x_j之间的相关性；g为映射函数，用于将一个点映射成一个向量；c(x)为尺度函数，用于保证输出的尺寸不会过大或过小.

为了能让non-local模块操作成为一个组件，直接插入任意的神经网络中，可以将其设计成残差块的形式，让non-local模块操作，去学习输入x_i的残差，输出z_i：

$ {\mathit{\boldsymbol{z}}_i}{\rm{ = }}{\mathit{\boldsymbol{y}}_i}{\rm{ + }}{\mathit{\boldsymbol{x}}_i} $

(5)

non-local模块具体操作如图 6所示.上一层输出x_i=(N×H×W×C)维向量进入模块，分为φ、θ、g三路，其中矩阵φ、θ、g为映射函数，使用1×1的卷积核，目的是为了降低通道数量，减少计算量.然后对这3个输出进行reshape操作，分别得到维度为(N×HW×C)、(N×C×HW)、(N×HW×C)的3个向量，将前2个向量进行矩阵相乘，计算相似度，与式(4)中的函数f对应，经过尺度函数c(x)后与第3个向量相乘、reshape操作后得到y_i=(N×H×W×C)维向量，最后将y_i与x_i相加作为输出z_i，连接到下一层网络的输入中.

non-local模块可以添加到CNN的任意层中，在实验中考虑到医学图像的特征较浅，因此选择在CNN的第1层与第2层之间加入non-local模块.

表 1所示为non-local模块与常规CNN计算复杂度的比较，其中k为卷积核尺寸.当输入数据尺寸n小于特征维度d时，non-local模块在时间复杂度上是有优势的，并且捕捉特征时所需的步长也小于CNN.

2.4 骨质疏松辅助诊断系统

基于上述多模态特征融合的骨质疏松评估模型，提出一种骨质疏松辅助诊断系统，该系统可以将模型部署到Web系统上，进行在线使用，并且将收集的新增数据进行不断的模型迭代更新，提高模型的准确率.系统整体结构如图 7所示，分为2个子系统部分，分别为线上Web系统和线下模型训练系统.线上Web系统将模型应用程序接口(API, application programming interface)部署到Web系统中，提供在线的辅助诊断服务，并保存用户使用时上传的数据；线下模型训练系统用于模型的更新迭代，使用新增的数据进行模型的训练更新.

3 实验及分析 3.1 实验数据集

实验数据由某医院提供的337位被测者的骨质疏松检测报告和调查问卷组成.检测报告包含图像数据和诊断结果.诊断结果分为3种，数据分布分别为141位正常、136位骨量减少、60位骨质疏松，分别占总数的41.8%、40.4%、17.8%.

调查问卷数据中包含性别、身高、年龄、吸烟、饮酒、绝经年龄、饮用饮料、补钙情况、锻炼时长、日照时长、手术史、疾病史等影响因素，具体形式为数值数据，使用皮尔逊相关系数对其与诊断结果进行相关性分析，结果表明，各项因素均或多或少与骨质疏松有一定的关联，如图 8所示.

3.2 参数设置

在参数设置方面，均使用Adam优化器，学习率为1×10^-4，学习率衰减系数为5，使用L2正则化减少过拟合现象，正则化系数为2×10^-4.

3.3 结果分析

为了保证实验结果的有效性，采用K折交叉验证的方法进行实验.将数据共分为5组，每次选其中4组作为训练集，另外一组作为测试集，得到一组结果，进行5次，从而保证每一个样本都可以作为测试集进行实验，将5次实验结果的平均值作为最终的实验结果.

实验将数据集分为两类：正常为一类；骨量下降和骨质疏松一同为一类，进行二分类实验.在实验结果中，以损失函数Loss、准确率(ACC，accuracy)、F1值、曲线下面积(AUC, area under curve)等作为模型评价指标从不同角度进行评估.

在实验过程中，将CNN、Xgboost、DNN与提出的改进模型进行对比，具体的模型和数据使用详情如表 2所示.其中，使用Xgboost和DNN模型训练时只使用问卷数据；CNN模型仅使用图像数据；CNN+DNN模型使用图像与问卷数据进行特征融合；改进的NL-CNN+DNN模型使用图像分割预处理，加入了non-local模块微调.

实验结果如图 9所示.笔者对2种机器学习方法Xgboost和DNN在问卷数据上进行训练预测，与使用图像数据的模型训练结果相比，评价指标分别低20.7%、19.1%、20.4%和23.7%、21.2%、23.8%，有较大的性能差距，这也说明图像数据包含更丰富的特征信息.在使用多模态特征融合之后，模型性能与仅用CNN模型或DNN模型训练单一数据类型的结果相比，各项评价指标提升2.2%、2.0%、2.0%，Loss下降0.006，表明图像特征与数值特征之间有一定的互补关系，在2种特征融合之后能够获得进一步的性能提升.最后在此基础之上进行图像预处理分割和non-local模块的微调处理，模型性能有1.6%、1.2%、1.2%的小幅提升，Loss下降0.003，表明了图像分割预处理与non-local模块引入的全局信息对模型性能有一定的提升作用.

4 结束语

随着人工智能技术的快速发展，医疗辅助诊断系统逐渐成为医生的得力助手.在骨质疏松诊断过程中，除了设备影像结果以外，还与个体差异、生活习惯等因素有关，因此需要建立一种综合考量不同数据类型的骨质疏松评估模型.笔者提出一种基于DNN的多模态特征融合模型，与使用单一模态信息模型相比能够提升较多性能，并且在图像预处理与CNN中进行了优化，进一步提高了评估准确率，以确保人民群众的生命安全.