2. 海军军医大学(第二军医大学)第一附属医院脊柱外科, 上海 200433;
3. 上海中医药大学康复医学院中医智能康复教育部工程研究中心, 上海 201203
2. Department of Spinal Surgery, The First Affiliated Hospital of Naval Medical University (Second Military Medical University), Shanghai 200433, China;
3. Engineering Research Center of Traditional Chinese Medicine Intelligent Rehabilitation, Ministry of Education, Shanghai University of Traditional Chinese Medicine, Shanghai 201203, Chinas
椎弓根螺钉技术可有效应用于脊柱重建[1],是目前治疗脊柱畸形、脊柱肿瘤、脊柱骨折和脊柱退行性疾病的最常见手术术式[2-3]。然而,人体脊柱是一个复杂的三维结构,其周围存在许多重要组织,如脊髓、神经根、大血管和胸腹部脏器等,且在颈椎、胸椎等脊柱高位节段的椎弓根较细,准确置入手术的操作难度较大。手术过程中螺钉误置可能引起出血、脏器损伤,甚至可导致瘫痪和死亡[4]。导航系统近年来发展迅速,可用于辅助椎弓根螺钉置入,帮助医师在手术过程中更准确地定位和置入椎弓根螺钉,从而减少手术时间和风险,并提高手术的成功率。
目前,可用的椎弓根螺钉辅助置入导航系统主要是基于CT影像配准的导航系统[5-8],然而CT成像存在潜在有害的电离辐射,并且会增加手术时间。与CT、MRI相比,超声检查经济便捷,还有着不劣于CT的诊断性能[9]。因此,一些基于超声的导航系统应运而生[10],未来可能成为替代术中CT和X线透视的低成本和无辐射方案。本课题组既往研究探讨了一种基于支持向量机(support vector machine,SVM)构建的椎弓根螺钉钉道完整性超声图像鉴别与验证方法[11]。该方法不仅具有超声操作简单、实时性高、无电离辐射的优点,也利用计算机自动辅助判断钉道完整性的功能方便了超声技术的临床应用,无须依赖专业医师对图像进行判断和解释。但是,此方法仅基于人工定义的少量特征,缺乏对图像多种特征的提取与分析。本研究在前期工作的基础上,基于更大的数据集,采用pyradiomics提取大量影像组学特征,使用SVM进行分类,并与多种机器学习和深度学习分类器的分类结果进行比较,现将结果报告如下。
1 材料和方法 1.1 材料与仪器4例新鲜尸体的胸腰椎标本由海军军医大学(第二军医大学)基础医学院解剖学教研室提供,男、女各2例,年龄为59~85(73.14±9.87)岁。本实验获得海军军医大学(第二军医大学)第一附属医院伦理委员会审批。预建立钉道共50个,使用20 MHz超声换能器(型号为Olympus UM-S20-17S,探头频率为20 MHz、直径为1.7 mm;日本Olympus公司)对预建立的钉道底部进行超声检查并采集图像,使用CT机(型号为Aquilion ONE,日本Canon医疗系统有限公司)对预建立的钉道进行完整性评估。使用基于Windows 11系统的16核3.20 GHz CPU、16 GB内存的计算机并搭配GPU GTX3060进行模型训练和预测。
1.2 研究方法整体流程图见图 1。由3名至少有5年脊柱外科工作经验的医师(包括2名主治医师和1名副主任医师)对钉道完整性进行判读,并采用实际探测、CT图像和钉道超声图像相结合的方式对超声图像进行分类。分类任务首先由2名医师各自独立完成,若2人意见存在分歧,则由第3名医师进行裁决。在分类过程中,任何存在重叠或不清晰的超声图像均被排除。将医师判定钉道完整无破损的图像定义为阴性样本,将医师判定钉道破损的图像定义为阳性样本。最终用于研究的数据集包括阴性样本和阳性样本各1 000个,共2 000个样本。本研究按4∶1的比例将数据集随机划分训练集和测试集(分别包含1 600个和400个样本),并进行五折交叉验证。
采用pyradiomics对超声图像提取组学特征,用SVM模型对图像进行钉道是否破损的二分类判断。阴性样本和阳性样本如图 2所示,阴性样本的钉道内部有1个较亮的圆环,通常被称为钉道环或钉道声影,它是由钉道周围的软组织及钉道内的物质反射和散射超声波而形成的。阳性样本的钉道内部通常不会形成较亮的圆环,这是因为钉道破损后,钉道壁和内容物发生了变化,导致超声波传播的路径发生改变,从而影响了超声波的反射和散射,使超声波在钉道内部形成弱反射或散射,形成1个较暗的区域或较亮的斑点,导致钉道环消失或变得模糊。同时,阴性样本由于钉道没有破损,声波不会通过破损的钉道壁在钉道外形成声波反射,即钉道外部不会产生白色前景。而在阳性样本中,声波会通过破损的钉道壁在钉道外形成声波反射,即钉道外部会产生白色前景。
基于pyradiomics的纹理特征分析有可能将阴性样本与阳性样本区分开。首先使用大津阈值法(Otsu’s thresholding method,OTSU)得到用于区分前景和背景的阈值T,然后做椎弓根螺钉钉道的同心圆(直径为椎弓根螺钉钉道的直径),该同心圆的判别半径是根据钉道外部的特征并以此设计的损失函数得到的。考虑到基层医疗机构较低配置的需求同时加快运算分析速度,本研究仅提取同心圆内部图像的特征并进行降维筛选,最后使用SVM进行分类。
1.2.1 图像预处理(1)图像裁剪:原始超声图像包含了许多非必要的信息,如患者信息和超声仪设备名等。为了避免这些额外信息对结果产生影响,同时尽可能减轻处理器的算力负担,需要对原始超声图像进行裁剪,将尺寸为1 920像素×1 080像素的原始图像(图 3A)裁剪为尺寸为894像素×764像素的图像(图 3B)。
(2)图像增强:为了改善图像质量,提高图像中前景和背景的区分度,改善图像判读效果,使用灰度变换函数将图像I进行灰度映射变换。该变换能够改变图像的整体亮度和对比度并增强图像中暗部细节的可见度,从而改善图像的整体可见性和质量。将增强后的图像记为J,即
(1) |
式中I为输入的图像,J为增强后的图像,如图 3C所示。
(3)确定圆心坐标:由于该数据集来自同一台超声设备并且设置保持不变,因此数据集中所有超声影像的圆心坐标相同(图 3D)。设图像左上角为原点,坐标为(0,0),圆心坐标均为(505,383)。
1.2.2 特征提取为了在保证分类性能的前提下使该方法适用于轻量化设备,同时加快分析速度,仅对钉道内部图像进行特征提取及分析。因此,采用钉道的同心圆作为所有样本的感兴趣区(region of interest,ROI)并进行特征提取。
(1)阈值T的选取:利用OTSU计算ROI的具体半径。OTSU是一种确定图像二值化分割阈值的算法,由日本学者大津于1979年提出[12]。根据图像的灰度特性,通过计算前景和后景最大类间方差求其阈值。首先,通过图像的灰度直方图,计算每个像素在整幅图像的概率分布。再根据灰度直方图中的2个峰值,假设阈值T并将所有像素分为2类,分别是小于T的C1和大于T的C2。图像全局均值MG可由下列公式求得
(2) |
(3) |
(4) |
(5) |
其中P1、P2分别是像素被分为C1、C2的概率,M1、M2分别是像素集C1、C2各自的均值,pi是灰度值为i时的概率,k是所求阈值的灰度值,L是图像的最大灰度值。且
(6) |
然后求类间方差σ2,表达式为
(7) |
上式可以化简为
(8) |
最后,只要遍历灰度值0~255,使σ2最大的灰度值k就是大津阈值T,即用于判断某像素属于前景还是后景的阈值T。
(2)半径R的选取:对于数据集中的所有超声图像,以钉道中心(505,383)为圆心作半径为R的同心圆。对于所有阴性样本,统计半径为R时圆外存在像素点灰度值大于阈值T的图像(即同心圆外存在前景的图像)数量,记为N1。对于所有阳性样本,统计圆外存在像素点灰度值大于阈值T的图像数量,记为N2。令N为N1、N2差值的绝对值
(9) |
在不同半径下,当N取到最大值时表明此时的半径对该数据集钉道完整性判断的准确度达到最佳。
(3)组学特征提取:采用pyradiomics提取超声图像ROI的组学特征。pyradiomics是一个开源的Python库,能够利用灰度共生矩阵、灰度依赖矩阵、灰度大小共生矩阵等特征提取方法从医学图像中提取大量的影像组学特征。这些特征包括一阶特征、形状特征、灰度共生矩阵特征、灰度大小区域矩阵特征、灰度游程矩阵特征、相邻灰度色调差异矩阵特征和灰度依赖矩阵特征等。这些特征可用于肿瘤诊断、治疗选择、预后评估等。
1.2.3 特征降维和筛选在机器学习中,特征降维和筛选是非常重要的技术,它们的主要目的是减少特征数量,提高模型的性能和效率。固然pyradiomics提供了大量的有用特征,然而其中很多特征可能冗余或不相关,这些特征会导致模型过拟合、训练时间长、预测效率低等。特征降维和筛选可以使模型更加关注数据中最重要的特征,从而提高模型的准确度和泛化能力。特征降维和筛选还可以将高维数据降低到二维或三维,从而更容易对数据进行可视化和分析。通过可视化可以发现数据中的特殊规律和关系,为后续的建模和预测提供更好的启示。本研究对特征进行降维和筛选处理,既保证了模型性能,也符合轻量化的要求。本研究选取了主成分分析(principal component analysis,PCA)算法进行特征降维,最小绝对收缩和选择算子(least absolute shrinkage and selection operator,LASSO)算法进行特征筛选。
PCA是一种常见的数据降维技术,通过线性变化将高维数据映射到低维空间,找到能够最大程度保留原始数据信息的新特征表示。PCA通过线性变换将原始数据投影到一个新的坐标系中,使数据在新坐标系中的方差最大化。这些新的坐标轴被称为主成分,每个主成分代表原始数据中的一部分信息。通俗来讲,就是将特征按一定的比例压缩。
LASSO是一种常用的线性回归正则化方法,它通过对模型参数施加L1正则化来实现特征筛选和降维。相较于传统的线性回归方法,LASSO能够更好地处理高维数据,避免数据过拟合。LASSO的代价函数J(θ)为
(10) |
本研究旨在运用机器学习技术进行椎弓根螺钉钉道超声图像二分类,判断椎弓根螺钉钉道是否破损,从而辅助医师进行诊断。为了凸显影像组学和机器学习相结合的优势,在经典机器学习分类方法中选择最佳的分类器,本研究选取3种模型进行比较,分别为SVM、随机森林、logistic回归模型。此外,为了阐明机器学习小样本数据集中的优越性,本研究对比了3种经典的深度学习模型,分别是视觉几何组网络(visual geometry group,VGG)、残差网络(ResNet)、转换器(Transformer)模型。
深度学习分析的具体流程和参数如下:(1)在对图像输入模型进行训练及预测前,统一调整图像大小为224像素×224像素。(2)选用交叉熵损失函数计算模型预测值与真实值的差值。(3)考虑到计算机内存、GPU、数据集的样本大小和输入图像大小,设置批大小(BacthSize)为16。所有模型均在训练30轮后停止训练,即在训练完成前所有图像都被迭代了30次。
SVM是一种常用的监督学习算法,通常用于分类和回归任务。SVM的目标是找到一个最优的超平面(或多个平面),将不同类别的数据分开,使不同类别的数据能够被最大程度地分离,同时最小化分类错误的概率。SVM算法的核心思想是通过寻找最大化边缘(即最大化不同类别之间的最小距离)的超平面来进行分类,划分超平面可定义为一个线性方程,即
(11) |
式中w={w1; w2; …; wd},是一个法向量,决定了超平面的方向,T表示法向量w的转置,X为训练样本,b为位移项(决定了超平面与原点之间的距离)。
1.3 统计学处理采用准确度、特异度、灵敏度(召回率)、F1值对分类结果进行评估,这些评估指标基于每次交叉验证实验所得结果的平均值计算得到,分别为
(12) |
(13) |
(14) |
(15) |
(16) |
其中TP为真阳性例数,TN为真阴性例数,FP为假阳性例数,FN为假阴性例数。
同时采用ROC曲线和精确率-召回率(precision-recall,PR)曲线对6种模型的分类性能进行分析和评估,利用AUC值评价模型的分类性能。
2 结果 2.1 最佳ROI半径与关键特征的确定通过OTSU求得区分超声图像前后景的阈值T为48。如图 4A所示,在此阈值条件下,计算得到N的最大值为961,此时ROI的最佳半径R为230像素。采用pyradiomics提取到组学特征共1 316个。利用PCA算法将提取到的特征降维到150维,通过LASSO算法将特征筛选到8个(图 4B)。这8个特征所对应的贡献率最高的原始特征如表 1所示,wavelet-HHL_gldm_SmallDependenceEmphasis描述了图像纹理的小依赖程度,即图像中微小结构的分布和依赖关系;当钉道存在微小破损时,图像中的微小结构分布可能会发生变化。wavelet-LLH_ngtdm_Contrast和wavelet-HHH_gldm_GrayLevelVariance分别描述了图像纹理的对比度和灰度级方差;当存在破损情况时,破损区域与周围正常组织之间的灰度差异可能更加明显,从而影响到这2个特征的值。wavelet-HLL_glrlm_LongRunHighGrayLevelEmphasis和wavelet-HHH_glrlm_LowGrayLevelRunEmphasis分别描述了图像高、低灰度级的强调度,即图像中存在的灰度级较高和较低部分的纹理特征的程度;在椎弓根钉道超声图像中,这可能与图像中的前景和背景的纹理特征有关。wavelet-HHL_glszm_SizeZoneNonUniformity和wavelet-HHH_gldm_GrayLevelNonUniformity分别描述了图像中不同尺寸区域和灰度级的非均匀性,不同尺寸区域的非均匀性可能反映了椎弓根钉道中不同区域的分布和形态特征,灰度级的非均匀性可能反映了椎弓根钉道中不同组织之间的灰度差异和纹理特征的变化。squareroot_ngtdm_Coarseness描述了图像的粗糙度,破损椎弓根钉道超声图像纹理的不规则状态更为显著,粗糙度值可能更高。由此可见,这8个特征涵盖了图像纹理的不同方面,包括纹理依赖度、对比度、灰度级别方差、长运行高灰度级别强调度、大小区域非均匀性、低灰度级别运行强调度、粗糙度和灰度级别非均匀性。
本研究利用OTSU确定了ROI半径。为了验证230像素是否为最佳半径,选取了150、200、210、220、230、240、250像素作为ROI半径,采用影像组学和SVM组合模型分别进行实验。不同半径下模型的分类性能见图 5,由图可见分类性能在ROI半径为150~230像素时呈上升趋势,在230像素达到顶峰,而在230~250像素时又呈现下降趋势。结果表明随着半径的扩大,ROI包含的有效信息增多,而在230像素之后,半径越大也代表着包含的冗余信息越多,干扰了模型的判断。因此,230像素是ROI的最佳半径,而且用OTSU计算最佳半径是可行的。
2.2 模型分类性能对比
在230像素的半径下,各分类器对测试集的分类性能如表 2所示。在测试集中,SVM模型的分类准确度为96.25%,logistic回归模型的准确度为85.50%,随机森林模型的准确度为80.75%,VGG模型的准确度为51.29%,ResNet模型的准确度为80.17%,Transformer模型的准确度为75.18%。
本研究使用AUC值作为评估指标,对分类器性能进行全面的定量评估。ROC曲线(图 6A)分析结果显示,SVM模型分类椎弓根螺钉钉道是否破损的AUC值为0.97,logistic回归模型的AUC值为0.80,随机森林模型的AUC值为0.95,ResNet模型的AUC值为0.92,VGG模型的AUC值为0.63,Transformer模型的AUC值为0.77。各模型的PR曲线如图 6B所示,使用PR曲线的AUC值作为度量指标,SVM模型的AUC值为0.97,logistic回归模型的AUC值为0.87,随机森林模型的AUC值为0.96,ResNet模型的AUC值为0.93,VGG模型的AUC值为0.60,Transformer模型的AUC值为0.80。由此可见,SVM和随机森林模型具有较高的分类性能,而VGG模型的分类性能相对其他模型较差;综合考虑6种模型的分类结果,机器学习模型整体表现优于深度学习模型。
2.3 模型复杂度分析
从模型的算法复杂度来看,本研究训练集的样本量为1 600例,机器学习模型的输入特征维度均为8维。SVM模型的算法复杂度主要与支持向量的数量相关,本实验所用模型的支持向量数量为537。logistic回归是一种线性模型,其算法复杂度主要与特征维度相关。随机森林是一种集成学习方法,它由多个决策树组成,算法复杂度主要与决策树的数量相关,本研究中决策树的数量为30。本研究所用深度学习模型的参数量和计算量见表 3,可以看出深度学习的算法复杂度远高于机器学习模型。因此,相对深度学习模型,机器学习模型的算法复杂度整体较低,而在分析钉道超声图像时仍取得了较好的性能,更适用于本研究的数据集。
3 讨论
本研究基于影像组学提出了一种针对椎弓根螺钉钉道超声图像的分类方法,对钉道完整性进行评估。该方法首先利用OTSU找到ROI的最佳半径,再用pyradiomics提取组学特征,最后采用PCA算法和LASSO算法进行降维和特征筛选。本研究将钉道图像按4∶1划分为训练集和测试集,分别使用SVM、logistic回归、随机森林3种机器学习模型和VGG、ResNet、Transformer 3种深度学习模型对超声图像进行分类。实验结果表明,SVM模型的准确度最高。从全局来看,机器学习模型的性能整体优于深度学习模型。其原因在于机器学习比深度学习更适用于小样本训练。在本实验中SVM的表现优于其他机器学习模型,其原因主要有:(1)SVM可以在输入空间中构建一个超平面来分割不同的类别,有效地处理高维数据;(2)SVM通过最大化间隔来确定决策边界,使得其在训练过程中对噪声和异常点具有很好的鲁棒性。
在实际情况中,仅凭借一张图像无法可靠地判断钉道是否完整。判断钉道情况需要对该患者钉道进行不同深度的超声扫描,并结合专业医师的判断和分析才能得出可靠的结论。而本研究方法可以作为一种辅助手段,通过基于影像组学的图像分类方法,能够有效地提高钉道图像完整性评估的准确性和效率。与传统的手动分析方法相比,本方法具有更高的自动化程度和更快的处理速度,可以使医师更加专注于对图像结果的分析和判断。此外,本方法还可以通过大量的数据训练和特征降维,进一步提高图像分类的准确性和鲁棒性,为医师进行钉道超声图像判断和诊断提供更加可靠和稳定的支持。
在前期研究中,本课题组提出了一种基于超声图像智能分析的椎弓根螺钉钉道完整性评估方法[11],该方法首先将纹理特征作为第一类特征对超声图像特征作初始分类,筛选出椎弓根螺钉钉道破损严重的超声图像,再选取熵、方差、对比度、能量、平均绝对偏差5个参数作为第二类特征,对超声图像进行二次分类。该实验结果表明,在采集的800个样本中,二次分类的总体准确度为94.25%。本研究方法较前期研究有所改进,具体为:(1)不再手动提取特征,而是采用pyradiomics提取影像组学特征,大大提高了获取特征的数量和质量;(2)扩大了数据量,从800个样本提升到2 000个样本;(3)提高了准确度,准确度从之前的94.25%提高到96.25%;(4)与其他分类器进行了比较,本研究比较了3个机器学习分类器和3个深度学习分类器。
本研究存在以下局限性:(1)数据集共入选2 000个样本,样本量基本满足机器学习的要求,然而,当将这些数据应用于深度学习时模型的分类效果并不理想,表明样本量仍需进一步扩大。未来将尝试增加更多的数据样本,进一步提高深度学习模型的分类效果。(2)虽然使用了现有的分类模型和降维算法进行图像分类,但仍存在不足。例如,在某些情况下,图像数据可能会受到噪声、伪影等因素的影响,从而导致分类结果的不准确性。为了克服这些不足,未来的研究可以尝试改进分类模型和降维算法,提高自适应能力和分类精度,以便更好地适应不同类型的图像数据和特征,进而提高基于影像组学的图像分类方法的准确性和可靠性。
综上所述,本研究提出的基于影像组学的SVM模型有望对椎弓根螺钉钉道是否破损进行准确分类,其可辅助医师对钉道超声图像进行判断和解释,尤其可以辅助经验欠缺的医师。
[1] |
GAINES R W Jr. The use of pedicle-screw internal fixation for the operative treatment of spinal disorders[J]. J Bone Joint Surg Am, 2000, 82(10): 1458-1476. DOI:10.2106/00004623-200010000-00013 |
[2] |
PERNA F, BORGHI R, PILLA F, et al. Pedicle screw insertion techniques: an update and review of the literature[J]. Musculoskelet Surg, 2016, 100(3): 165-169. DOI:10.1007/s12306-016-0438-8 |
[3] |
范少勇, 胡梁深, 华鸿, 等. 计算机辅助导航技术在胸腰椎椎弓根螺钉内固定术的临床应用[J]. 江西中医药, 2023, 54(6): 44-45, 48. |
[4] |
DEDE O, WARD W T, BOSCH P, et al. Using the freehand pedicle screw placement technique in adolescent idiopathic scoliosis surgery: what is the incidence of neurological symptoms secondary to misplaced screws?[J]. Spine (Phila Pa 1976), 2014, 39(4): 286-290. DOI:10.1097/BRS.0000000000000127 |
[5] |
LARSON A N, POLLY D W Jr, GUIDERA K J, et al. The accuracy of navigation and 3D image-guided placement for the placement of pedicle screws in congenital spine deformity[J]. J Pediatr Orthop, 2012, 32(6): e23-e29. DOI:10.1097/BPO.0b013e318263a39e |
[6] |
MASON A, PAULSEN R, BABUSKA J M, et al. The accuracy of pedicle screw placement using intraoperative image guidance systems[J]. J Neurosurg Spine, 2014, 20(2): 196-203. DOI:10.3171/2013.11.SPINE13413 |
[7] |
胡定祥, 郑瑞清, 李长辉, 等. 3D打印导航模块在胸腰椎椎弓根螺钉精准置入中的应用价值[J]. 解剖学报, 2023, 54(3): 342-347. DOI:10.16098/j.issn.0529-1356.2023.03.013 |
[8] |
MALHAM G M, MUNDAY N R. Comparison of novel machine vision spinal image guidance system with existing 3D fluoroscopy-based navigation system: a randomized prospective study[J]. Spine J, 2022, 22(4): 561-569. DOI:10.1016/j.spinee.2021.10.002 |
[9] |
毛玉梅, 张雅丽. 肌骨超声检查与CT、MRI用于创伤性浅表软组织损伤的诊断价值比较[J]. 影像研究与医学应用, 2023, 7(8): 166-169. DOI:10.3969/j.issn.2096-3807.2023.08.054 |
[10] |
GUEZIRI H E, GEORGIOPOULOS M, SANTAGUIDA C, et al. Ultrasound-based navigated pedicle screw insertion without intraoperative radiation: feasibility study on porcine cadavers[J]. Spine J, 2022, 22(8): 1408-1417. DOI:10.1016/j.spinee.2022.04.014 |
[11] |
马烨波, 邵杰, 杨桓, 等. 基于机器学习的椎弓根螺钉钉道超声图像评估方法[J]. 海军军医大学学报, 2022, 43(9): 993-999. MA Y B, SHAO J, YANG H, et al. Evaluation of ultrasonic images of pedicle screw channel based on machine learning[J]. Acad J Naval Med Univ, 2022, 43(9): 993-999. DOI:10.16781/j.CN31-2187/R.20220321 |
[12] |
OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Trans Syst Man Cybern, 1979, 9(1): 62-66. DOI:10.1109/TSMC.1979.4310076 |