0 引言

脊柱磁共振成像(magnetic resonance imaging，MRI)技术作为一种常见医学影像检查方法，可以清晰展现脊柱及其周围的软组织结构^[1]。基于脊柱磁共振(magnetic resonance，MR)图像的组织分割是计算机辅助诊断的一项常用技术，通过分割将图像中的脊柱组织区域与背景区域进行区分，医师可以更准确地定位和识别病变区域，这对于疾病的早期诊断和治疗具有重要意义。

卷积神经网络(convolutional neural network, CNN)在医学图像分割领域取得了显著成效并受到了广泛的关注。但是在脊柱MR图像分割任务中，边缘模糊问题影响着网络对特征边界的识别和区域分割，并且图像中的像素分布不平衡问题会干扰CNN的训练学习，影响网络的分割结果。因此，提升CNN在分割任务中对脊柱MR图像模糊边缘的关注，并降低像素分布不平衡问题的影响具有重要研究意义。

在CNN的不同变体中，U-Net^[2]在医学图像分割领域得到广泛应用。为了进一步提升U-Net的分割精度^[3]，Attention U-Net^[4]引入注意力机制重新调整编码器的输出特征，实现了对不同空间位置特征的有效关注。UNet++^[5]通过在编码器和解码器之间建立密集跳跃连接的方式，提升了网络的表征和泛化能力。

Transformer^[6]中的自注意力机制和多层感知机(multi-layer perceptron，MLP)结构可以反映复杂的空间变换和长距离特征依赖性，其与CNN的融合取得了一些进展^[7]，比如TransUNet^[8]采用混合CNN-Transformer体系结构，在不同尺度上实现了全局信息的融合，有助于多尺度特征的捕获。Swin-Unet^[9]将Swin Transformer^[10]模块作为基础搭建U-Net，在自注意力机制基础上引入窗口平移机制，充分保留位置信息，增强网络特征学习。

上述方法主要通过增强模型对图像区域的像素分类来确定目标前景或背景，缺少对图像中边缘信息的关注与利用，难以细化模型的分割结果，需要额外的学习成本来提高拟合精度。为了增强对边缘信息的利用，ET-Net^[11]在主干分割网络上构建用于边缘引导的卷积注意力模块来增强边缘信息学习，以改善分割效果。但是卷积模块固有的局限性只能关注局部特征，缺少对边缘特征全局信息相关性的捕捉，影响模型对边缘信息的提取和有效建模。

为了提升网络对边缘特征细节的关注，并建立边缘信息的全局相关性^[12]，受文献[11]的启发，本文结合多头自注意力机制和卷积注意力机制构建边缘注意模块。多头自注意力机制能够建立特征序列中不同位置之间的关系，为模型提供全局信息^[13]，帮助模型构建边缘特征的全局信息相关性。同时，结合卷积注意力捕捉局部边缘特征信息，提高网络对脊柱图像边缘的分割性能。

此外，在脊柱图像分割任务中存在像素区域不平衡的问题，导致网络偏向于学习特征明显的椎骨、椎间盘结构而忽略包含细小特征结构的软组织区域，影响分割效果^[14]。设计损失函数可以有效解决像素区域不平衡问题。Focal loss^[15]通过降低易分类样本的损失权重，使得模型更专注于难分类样本，但是其缺少对像素级别的关注。不同的像素区域应具有不同的关注度，尤其是那些包含细小特征结构的像素区域。为此，本文基于Focal loss提出了焦点类别损失函数，目的是提升网络对图像中不同像素区域的关注度，使得模型在训练过程中关注包含细小特征结构的像素区域。

总的来说，本文基于U-Net结构嵌入边缘注意模块，通过结合多头自注意力机制和卷积注意力机制来增强对脊柱图像模糊边缘的学习。同时，针对脊柱图像分割任务中像素区域不平衡的问题，优化损失函数，通过在训练过程中动态调整像素区域类别的权重因子来提升模型对脊柱MR图像中少数像素类别的关注。

1 本文方法 1.1 边缘注意U-Net 1.1.1 网络架构

在脊柱MR图像分割任务中，网络浅层获取的低级特征可以保留充足的边缘信息，但是随着网络层数的增加，所提取的特征逐渐抽象、复杂，边缘信息难以充分保留。因此，为了增强网络对边缘特征的关注与利用，在编码器浅层连接边缘注意模块。

边缘注意U-Net网络架构如图 1所示。主干模块是U形的编码器-解码器网络结构，用于提取主要特征。边缘注意模块连接在U-Net的浅层网络上，其包括边缘特征Patch Embedding模块和Transformer_Conv Attention模块。其中，边缘特征Patch Embedding模块用于划分U-Net浅层输入的边缘特征图；Transformer_Conv Attention模块包含自注意力层、前馈神经网络、卷积通道注意力模块，用于增强网络对边缘特征的关注。经边缘注意模块提取的边缘特征最终与主干网络获得的特征融合，从而得到分割结果。

1.1.2 边缘特征Patch Embedding模块

为了确保边缘注意模块能够对边缘特征进行有效提取，利用边缘特征Patch Embedding模块作为特征输入模块。首先，利用并行图像划分策略对输入边缘特征图进行划分，实现对输入特征图的多尺度关注，以成功提取更多不同尺度的特征细节，提升网络对输入特征的全局理解能力。减小划分图像块尺寸，实现对边缘特征的精细划分，进一步增强对边缘特征的注意力。其次，在对边缘特征进行并行划分的基础上，利用重叠图像块划分策略，使划分块之间保持信息的连续性，确保不丢失重要边缘信息。边缘特征Patch Embedding模块如图 2所示。

在实验中设置卷积核尺寸为K，步长为S，图片补全为P，利用三组卷积(K=4，S=4，P=0；K=5，S=4，P=1；K=7，S=4，P=2)来执行并行图像划分策略。同时，利用两组卷积(K=5，S=4，P=1；K=7，S=4，P=2)来执行重叠图像块划分策略，以生成与非重叠划分图像块过程具有相同尺寸大小的边缘特征图序列。

1.1.3 Transformer_Conv Attention模块

为了增强边缘特征的全局相关性和局部特征细节，边缘注意模块中的Transformer_Conv Attention模块实现了多头注意力机制和卷积通道注意力机制的有效结合。在边缘特征的全局上下文信息得到多头注意力机制充分关注的基础上，通过卷积通道注意力机制关注局部特征，以丰富边缘特征细节。

Transformer_Conv Attention模块如图 3所示，其由归一化层、多头自注意力模块、MLP和卷积通道注意力模块组成。首先，通过归一化层对输入特征序列进行层归一化。其次，通过多头自注意力模块对输入特征序列进行线性变换以获得Query、Key和Value，并计算它们之间的关联性。最后，利用MLP层组合线性变换和非线性激活函数来进一步处理多头自注意力模块的输出信息。同时，为了提升网络模型对边缘特征细节的关注度，卷积通道注意力模块用计算边缘特征位置权重的方式与多头自注意力模块连接，用于增强边缘特征细节表示。卷积通道注意力模块包含池化层、1×1卷积层、激活函数层、重采样层和特征维度变换层。通过将注意力系数转换为权重序列，对得到的特征序列进行加权，突出图像中的边缘特征区域。

1.2 焦点类别损失函数

网络模型在不同训练阶段有不同的要求。在训练前期，训练的主要目的是让模型根据训练数据逐渐调整参数，使得模型更好地拟合训练数据，因此选择交叉熵损失函数进行模型训练。在训练后期，训练的主要目的是细节学习和像素区域的准确划分，仍选择交叉熵损失函数会使模型训练效果不足。脊柱MR图像像素分布不平衡，其中存在多种包含细小特征结构的像素区域，网络很难对其正确划分，影响脊柱图像分割的精确性。为此，基于Focal loss进行优化，得到焦点类别损失函数。具体过程为：在交叉熵损失的基础上加入动态类别权重，每个动态类别权重对应相应的像素区域，通过在训练过程中根据对应像素区域的损失值来动态调整类别权重，加强了网络对相应细小特征结构区域的关注，使网络聚焦高损失的细小特征结构像素区域进行学习，提高模型的学习效率。

焦点类别损失函数可定义为

$ F C \text { _loss }=-\frac{\sum\limits_{n=0}^{N-1} \sum\limits_{i=0}^{C-1} W_{i} P_{n, i} \log Q_{n, i}}{N}, $

(1)

其中：C为类别数目；N为像素矩阵元素总数；P_{n, i}代表第i个类别的标签矩阵元素；Q_{n, i}代表第i个类别的预测矩阵元素；W_i表示第i个类别的动态类别损失权重。类别代表相应的区域，区域分割效果越差，损失值越大，相应的类别损失权重越高。反之，相应的类别损失权重越低。

动态类别权重列表W_C可表示为

$ W_{C}=\left[W_{1}, W_{2}, \cdots, W_{i}\right] 。$

(2)

假设初始类别权重列表为W₀，其可表示为

$ W_{0}=\left[a_{1}, a_{2}, \cdots, a_{i}\right], $

(3)

其中：i为像素类别数；a_i代表第i个类别初始权重。

第i个像素类别动态权重的计算公式可表示为

$ W_{i}=a_{i}^{m_{i}} , $

(4)

$ m_{i}=\frac{\operatorname{sum}\left(w \times\left(1-P_{t}\right)^{r}\right)}{\operatorname{sum}(w)}. $

(5)

其中：w代表对应的像素类别元素区域；P_t反映了预测结果与标签的相似程度，其值越大，分类越准确；r取经验最优值2；m_i代表区域损失权重因子，其可以通过计算对应像素区域的损失权重矩阵均值而得到。然后，计算a_i的m_i次幂即可得到对应的类别损失权重W_i。

对于像素区域w，

$ w=\left\{\begin{array}{l} 1, \text { if } x \in[a, b], \\ 0, \text { otherwise }。\end{array}\right. $

(6)

相似程度P_t可表示为

$ P_{t}=\mathrm{e}^{-C E}, $

(7)

其中：CE为交叉熵损失。

在标签像素矩阵中，不同的像素值代表不同的区域。通过判断像素矩阵元素x是否属于像素值范围[a, b]，确定相应的像素区域w。若其在[a, b]像素值范围内则赋值为1，其余像素值区域则赋值为0。P_t可通过交叉熵损失计算得到，损失值越大，P_t越小，预测区域与实际区域的接近程度越低。交叉熵损失可表示为

$ C E=-\boldsymbol{P} \log \boldsymbol{Q}, $

(8)

其中：P代表标签元素矩阵；Q代表预测元素矩阵。

2 实验与分析 2.1 数据集

本研究使用的公共脊柱数据集来自第2届中国图象图形学学会(CSIG)的图像技术挑战赛。该数据集包含172名患者的2 169张T2加权矢状位MR图像。MR图像矩阵大小范围为512×512至1 024×1 024。CSIG提供的分割标签将图像中所有的椎间盘和椎骨分为不同的类别，其平均组内相关系数为0.95。

在对数据集进行预处理后，所有MR图像统一转换为256×256像素大小和8位灰度的PNG格式，用于深度学习网络模型的训练。在训练过程中随机选择数据集的85%作为模型训练集，其余15%作为模型验证集和测试集。

2.2 实验设置与环境

实验在Intel(R)Core(TM) i7-11700 @ 2.50 GHz CPU，NVIDIA GeForce GTX 1660 Ti GPU，32 GB运行内存的硬件环境下进行。采用的软件平台为Windows 10，Anaconda，Python 3.8和PyTorch 1.80。

实验中对于每个网络模型使用相同的训练条件，初始学习率设置为0.000 1，使用优化器Adam，训练过程中动态调整优化器的学习率，模型训练20个epoch，每个epoch迭代2 000次。

2.3 评价指标

采用准确率(A)、戴斯相似性系数(DSC)、召回率(R)和精确率(P)四个指标来评价脊柱组织分割结果和标签之间的关系。具体公式表示为

$ A=\frac{T P+T N}{T P+F P+T N+F N}, $

(9)

$ D S C=\frac{2 T P}{2 T P+F P+F N}, $

(10)

$ R=\frac{T P}{T P+F N}, $

(11)

$ P=\frac{T P}{T P+F P}, $

(12)

其中：TP、TN、FP、FN分别表示测试样本中真阳性、真阴性、假阳性和假阴性的数量。

2.4 实验结果 2.4.1 边缘特征划分层的分割对比实验

采用边缘特征Patch Embedding对边缘特征图进行细致划分, 主要利用重叠划分策略和并行划分策略，旨在充分提取脊柱MR图像的边缘特征，增强网络的分割性能。

为了验证所提划分方法的有效性，即边缘注意模块中浅层边缘特征的划分尺寸对模型分割性能的影响，基于边缘特征划分层设置对比实验。由于Patch Embedding中设置较小的patch size更擅长捕捉图像细节信息，有助于边缘特征的提取。因此，基于Patch Embedding模块在图像分割任务中的常用patch size为16和8，本文选择patch size分别为16、8和4进行对比实验。不同Patch Embedding模型的评价指标对比结果见表 1。

从表 1可以看出，在相同条件下，由于本文方法采用path size为4、5和7执行并行重叠图像划分策略，获得了更佳的分割效果，其准确率、DSC、召回率、精确率分别达到97.71%、86.20%、82.92%、94.07%，仅在精确率上略低于采用Patch Embedding(patch size为8)和Patch Embedding(patch size为4)的网络。这表明边缘特征Patch Embedding可以对脊柱图像边缘特征细节进行准确的划分提取。

2.4.2 分割网络对比实验

在公共脊柱数据集的基础上，使用一些分割表现优秀的网络(U-Net^[2]、Attention U-Net^[4]、UNet++^[5]、TransUNet^[8]、Swin-Unet^[9]、VM-UNet^[16]、EGE-UNet^[17])与本文提出的边缘注意U-Net进行对比实验。选择三个代表性分割实例Case1-1、Case1-2和Case1-3，不同分割网络的实验结果对比如图 4所示。

从图 4可以看出，在网络执行分割任务时，由于脊柱MR图像中存在像素遮挡、运动伪影等问题，多数网络易出现分割结果信息缺失和椎体粘连。相比之下，边缘注意U-Net通过边缘注意模块可以准确定位脊柱MR图像中的模糊边界。分割实例Case1-1和Case1-2显示，边缘注意U-Net的分割结果具有较少的信息缺失和分割伪影，与标签相似度更高；在Case1-3中，由于像素遮挡，网络分割结果均与标签有所差异，但是相比其他主流分割网络，边缘注意U-Net的分割结果与标签更接近。

不同分割网络的评价指标对比结果见表 2。可以看出，在相同的训练条件下，本文提出的边缘注意U-Net网络实现了更好的分割效果，其准确率、DSC、召回率、精确率分别达到97.71%、86.20%、82.92%、95.07%，取得了与VM-UNet网络相当的分割效果，仅在精确率上略低于VM-UNet网络0.76个百分点。相较于基础U-Net网络，在DSC和召回率上分别提升了3.15个百分点和5.19个百分点，表明了本文所提方法的有效性。

2.4.3 损失函数的分割对比实验

为了验证本文提出的焦点类别损失函数的作用，基于边缘注意U-Net进行对比实验。由于实验中Dice loss^[18]和Jaccard loss^[19]在模型训练中存在梯度下降波动较大的问题，将其分别与交叉熵损失(CE loss)组成组合损失进行实验。

对比损失函数具体包含CE loss、CE+Dice loss、CE+Jaccard loss、Focal loss和本文的焦点类别损失函数。选择三个代表性分割实例Case2-1、Case2-2和Case2-3，不同损失函数训练网络的分割实验结果对比如图 5所示。

从图 5可以看出，Case2-1实例中脊柱MR图像中存在的细小结构特征在其他损失函数训练的网络分割中难以被关注，这是由于与明显的脊柱椎骨结构区域相比，细小结构区域在网络训练中很难得到有效学习。本文方法可以直观显示细小特征结构区域，利用焦点类别损失函数训练的网络在学习过程中通过动态权重因子提升了网络对脊柱MR图像中细小特征结构像素区域的关注，增强了网络对细小特征结构的分割。且在Case2-2和Case2-3实例中，焦点类别损失训练网络的分割结果更接近标签。

不同损失函数训练网络的评价指标对比结果见表 3。

从表 3可以看出，本文所提出的焦点类别损失函数训练的网络在公共脊柱数据集上取得了比其他损失函数更高的评价指标，其准确率、DSC、召回率、精确率分别达到97.76%、86.72%、84.22%、94.13%。相比CE loss训练的网络，本文方法在DSC和召回率上分别提升0.52个百分点和1.30个百分点，表明了损失函数的优化进一步提升了边缘注意U-Net的分割性能。

2.4.4 消融实验分析

为了全面评估本文方法的有效性，以U-Net为基础设计三个模块的消融实验，主要包含基础主干网络U-Net、浅层跳跃连接边缘注意模块、网络训练过程中加入焦点类别损失函数三个部分。消融实验结果如表 4所示。可以看出，在相同的训练条件下，在网络主干的浅层跳跃连接引入边缘注意模块的U-Net，相比原U-Net取得了更好的分割性能评估分数，其在DSC和召回率上相较于U-Net提高3.15个百分点和5.19个百分点；并且在相同的网络条件下，网络训练过程中引入焦点类别损失函数训练的U-Net网络比利用交叉熵损失函数训练的U-Net网络在DSC和召回率上分别提高了1.60个百分点和4.18个百分点，证明焦点类别损失函数能够让网络在训练过程中学习包含细小特征结构的像素区域。基于焦点类别损失函数训练的边缘注意U-Net在四者中分割效果最好，其准确率、DSC、召回率分别达到97.76%、86.72%、84.22%，充分证明了本文方法的可行性和有效性。

3 结语

脊柱MR图像边缘模糊和像素分布不平衡的问题影响脊柱组织的精确分割。为提高网络对脊柱MR图像的分割性能，针对上述问题，本文提出了基于U-Net结构的边缘注意网络以改善脊柱MR图像模糊边缘的分割效果，增强了网络对边缘特征信息的感知能力，提高了网络分割性能。此外，设计焦点类别损失函数解决图像分割中像素区域不平衡问题，提高了对图像中细小特征结构区域的分割准确率。实验结果表明，所提出的边缘注意网络在脊柱MR图像分割任务中表现出优异的性能，且焦点类别损失函数实现了对网络的有效训练。本研究也存在需要改进之处，例如加入边缘注意模块增加了U-Net模型的参数量，下一步研究方向是对网络进行轻量级优化以提升网络分割效率。