海军军医大学学报  2022, Vol. 43 Issue (9): 993-999   PDF    
基于机器学习的椎弓根螺钉钉道超声图像评估方法
马烨波1, 邵杰2, 杨桓2, 黄麒铭3, 邢文宇4, 叶长青1, 王卓然1, 杨明雷5, 陈锴2, 李博2, 陈自强2, 陈建刚1     
1. 华东师范大学上海市多维度信息处理重点实验室,上海 200241;
2. 海军军医大学(第二军医大学)第一附属医院脊柱外科,上海 200433;
3. 西交利物浦大学人工智能与先进计算学院,苏州 215028;
4. 复旦大学信息科学与工程学院生物医学工程中心,上海 200433;
5. 美的集团人工智能创新中心,北京 100015
摘要: 目的 探讨一种基于支持向量机(SVM)构建的椎弓根螺钉钉道完整性超声图像鉴别与验证方法。方法 利用4例新鲜尸体胸腰椎标本预建立钉道50个并获取椎弓根螺钉钉道超声图像,选取800张图像(钉道完整与破损的样本各400个),采用五折交叉验证的方法对样本进行数据扩增,得到样本集,建立对超声图像进行智能分析的人工智能辅助诊断模型。具体方法如下:首先,采用图像增强的方法得到易于计算机判断和识别的超声图像,然后将图像的纹理特征作为第一类特征,采用SVM模型对完整和破损样本的初始分类模型进行搭建;其次,采用灰度分布得到用于区分前景和背景的阈值T,并通过设计的损失函数得到钉道同心圆的半径R;最后,将同心圆外部图像的熵、方差、对比度、能量、平均绝对偏差作为第二类特征,进行轻微破损样本和完整样本的二次分类模型搭建。采用准确度、特异度、灵敏度、F1值、假正率和假负率对分类结果进行评估。结果 初始分类的准确度为74.75%,特异度为68.00%,灵敏度为81.50%,F1值为76.35%,假正率为32.00%,假负率为18.50%。二次分类前计算得到阈值T为37,最佳半径R为108像素。二次分类的准确度为94.25%,特异度为91.00%,灵敏度为97.50%,F1值为94.43%,假正率为9.00%,假负率为2.50%。二次分类与初始分类相比准确度提升19.50%。结论 基于SVM的人工智能辅助诊断模型能够提高椎弓根螺钉钉道破损超声图像的判断能力。
关键词: 椎弓根    螺钉置入    超声检查    图像处理    支持向量机    
Evaluation of ultrasonic images of pedicle screw channel based on machine learning
MA Ye-bo1, SHAO Jie2, YANG Huan2, HAUNG Qi-ming3, XING Wen-yu4, YE Chang-qing1, WANG Zhuo-ran1, YANG Ming-lei5, CHEN Kai2, LI Bo2, CHEN Zi-qiang2, CHEN Jian-gang1     
1. Shanghai Key Laboratory of Multidimensional Information Processing, East China Normal University, Shanghai 200241, China;
2. Department of Spinal Surgery, The First Affiliated Hospital of Naval Medical University (Second Military Medical University), Shanghai 200433, China;
3. School of AI and Advanced Computing, Xi'an Jiaotong-Liverpool University, Suzhou 215028, Jiangsu, China;
4. Center for Biomedical Engineering, School of Information Science and Engineering, Fudan University, Shanghai 200433, China;
5. Artificial Intelligence Innovation Center (AIIC), Midea Group, Beijing 100015, China
Abstract: Objective To explore an ultrasonic image identification and verification method for the integrity of pedicle screw channel based on support vector machine (SVM). Methods Four fresh human cadavers were used to pre-establish 50 screw channels and obtain ultrasonic images of pedicle screw channels. A total of 800 images (400 damaged and 400 intact samples) were selected. The data of the samples were expanded by the method of 5-fold cross-validation to obtain a sample set, and an artificial intelligence-aided diagnosis model for intelligent analysis of ultrasonic images was established. The specific method was as follows: firstly, the ultrasonic images which were easy to be judged and recognized by computer were obtained by image enhancement method, then the texture features of the images were taken as the first type of features, and the SVM model was used to build the initial classification model of intact and damaged samples. Secondly, the threshold T which was used to distinguish the foreground and background was obtained by gray distribution, and the radius R of the concentric circle of the nail track was obtained by the designed loss function. Finally, the entropy, variance, contrast, energy and average absolute deviation of the external image of the concentric circle were taken as the second classification features, and the secondary classification models of the slightly damaged samples and the intact samples were built. The classification results were evaluated by the accuracy, specificity, sensitivity, F1 value, false positive rate, and false negative rate. Results The accuracy of the initial classification was 74.75%, the specificity was 68.00%, the sensitivity was 81.50%, the F1 value was 76.35%, the false positive rate was 32.00%, and the false negative rate was 18.50%. The threshold T calculated before the second classification was 37, and the optimal radius R was 108 pixels. The accuracy of secondary classification was 94.25%, the specificity was 91.00%, the sensitivity was 97.50%, the F1 value was 94.43%, the false positive rate was 9.00%, and the false negative rate was 2.50%. The accuracy of the secondary classification was 19.50% higher than that of the initial classification. Conclusion The artificial intelligence-aided diagnosis model based on SVM can improve the judgment ability of the ultrasonic image of pedicle screw canal damage.
Key words: pedicle of vertebral arch    screw placement    ultrasonography    image processing    support vector machine    

脊柱内固定融合术是一种常规的脊柱外科手术方式,椎弓根螺钉是目前应用最为广泛的内固定器械[1]。然而,由于人体的脊柱为复杂的三维结构且周围有许多重要组织,包括脊髓、神经根、大血管和胸腹部脏器等,手术过程中错误置钉可能引起严重并发症,甚至可导致瘫痪和死亡[2]。常规的手术方式是医师根据经验“徒手”置钉,再使用C形臂透视进行螺钉位置验证,螺钉置入的准确性完全取决于手术医师的经验和对二维图像的判读,具有较大的主观性和不准确性[3]。虽然基于CT的计算机辅助导航技术可以提高螺钉置入的准确率[4-5],但存在成本高、操作复杂、辐射暴露等缺点。

随着超声技术的发展,有研究者将超声技术应用于椎弓根螺钉置入手术中,如超声图像融合配准[6]、钉道图像超声识别[7]、超声松质骨成像[8]等。与CT相比,超声设备体积小、重量轻、价格低廉,便于医师以更快的速度和更低的成本获取所需要的信息。前期有较多文献报道了使用超声进行椎弓根螺钉钉道完整性判读的方法[9-11],然而术中图像的判读需要具备一定超声诊断经验的医师进行,且较易产生误判。基于人工智能的计算机辅助诊断技术不仅可以从超声图像中识别出所需的客观指标,代替人眼对图像进行判读和识别,而且能够在人眼难以判断的情况下辅助医师做出更准确的判读。

脊柱椎弓根螺钉钉道骨超声图像为判断钉道的完整性提供了很多有用的特征,这些特征可以在支持向量机(support vector machine,SVM)模型的帮助下对超声图像进行分类。本研究首先采用图像处理的方式提取在脊柱标本上预建立的椎弓根螺钉钉道的超声图像特征,然后基于提取的特征使用SVM模型对钉道底部是否破损进行二分类判断。

1 材料和方法 1.1 材料与仪器

4例新鲜尸体胸腰椎标本由海军军医大学(第二军医大学)基础医学院解剖学教研室提供,男、女各2例,年龄为59~85(73.14±9.87)岁。整个实验方案得到了海军军医大学(第二军医大学)第一附属医院伦理委员会审批。预建立椎弓根螺钉钉道共50个,使用20 MHz超声换能器(型号UM-S20-17S,直径1.7 mm,日本Olympus公司)对预建立的钉道底部进行超声检查并采集图像,使用CT仪(型号Aquilion ONE,日本Canon医疗系统有限公司)对预建立的钉道进行完整性评估。

1.2 研究方法

整体流程图见图 1。由3名具有5年以上脊柱外科工作经验的医师(2名主治医师、1名副主任医师),结合钉道实际探测、CT图像和钉道超声图像特点对钉道完整性和超声图像进行分类。首先由其中2名主治医师各自独立完成,如果2名医师意见存在分歧则由副主任医师裁决,分类过程中排除重叠、不清晰的超声图像。判断为钉道完整的样本被定义为正样本,钉道破损的样本被定义为负样本。最终在得到的样本(1 000个正样本和800个负样本)中随机选取正、负样本各400个用于实验,采用五折交叉验证的方法对样本进行数据增强,最终得到样本集。

图 1 整体流程图 Fig 1 Overall flow chart ASM: Angular second moment; IDM: Inverse different moment; MAD: Mean absolute deviation.

采用SVM模型对获得的超声图像样本集进行钉道是否破损的二分类判断,其中正样本如图 2A所示。负样本根据破损程度分为2级:(1)容易被误判为正样本的负样本,即破损不严重的样本(图 2B);(2)可以准确判断的负样本,即破损较为严重的样本(图 2C)。与破损不严重的负样本、正样本相比,破损较为严重的负样本纹理清晰和规则程度较低,且不易描述;破损不严重的负样本与正样本均有清晰且规律的纹理,但是在破损不严重的负样本中,声波会通过破损的钉道壁在钉道外形成声波反射,表现为离中央反射区较远的区域有白色前景(图 2D)。

图 2 椎弓根螺钉钉道是否破损的二分类判读 Fig 2 Dichotomous interpretation of pedicle screw channel breakage A: Positive sample (intact sample); B: Negative sample with slight damage; C: Negative sample with serious damage; D: The sound wave passes through the damaged screw channel wall and forms sound wave reflection outside the nail channel (white boxes).

基于纹理特征分析有可能将破损较为严重的负样本与正样本、破损不严重的负样本区分开,因此首先提取图像纹理特征作为第一类特征并进行初始分类。考虑到仅使用纹理特征难以区分破损不严重的负样本和正样本,引入灰度分布分析得到用于区分前景和背景的阈值T;再做椎弓根螺钉钉道的同心圆(直径为椎弓根螺钉钉道的直径),该同心圆的判别半径通过设计的损失函数得到;最后提取同心圆外部图像的一维统计特征作为第二类特征并进行二次分类。

1.2.1 图像预处理

(1)图像裁剪:为了避免超声图像中非样本超声影像部分对后续处理的影响,同时减少计算负载,将尺寸为1 920像素×1 080像素的原始超声图像(图 3A)利用裁剪函数裁剪成尺寸为789像素×761像素的图像,仅保留样本超声图像区域(图 3B)。(2)图像增强:为了扩大图像中前景和背景的区分度,使用灰度变换函数将图像I中的灰度值映射到图像J中的新值以实现图像增强,表达式为

(1)
图 3 图像预处理 Fig 3 Image preprocessing A: Original image; B: Cropped image; C: Enhanced image; D: Center position of damaged spine on ultrasonic image; E: Center position of intact spine on ultrasonic image. The center coordinate indicated by the arrow is (411, 381).

其中,I表示要处理的图像,J表示增强后的图像。同时,图像增强也可以改善图像质量、丰富信息量、增强对比度、加强图像判读和识别效果(图 3C)。(3)确定圆心位置:在该数据集中,所有超声图像的设置均保持一致,因此所有图像的圆心位置均相同(图 3D3E),以图形左上角顶点为坐标原点,圆心坐标均为(411,381)。

1.2.2 第一类特征提取与初始分类

在第一类特征提取前,需要得到超声图像的灰度共生矩阵,大小设为L×L,即灰度共生矩阵的灰度级别为L。由于超声图像的生成角度、灰度级都会对灰度共生矩阵的构造产生影响,因此需要先确定灰度共生矩阵的生成角度及灰度级。(1)生成角度选取:为了避免在构造灰度共生矩阵的过程中丢失纹理特征信息,选取0°、45°、90°、135° 4个角度上纹理特征参数的平均值作为第一类特征提取所需的特征参数。(2)灰度级选取:为了保持像素灰度级不变,同时减少运算量,将灰度归一化至8个量级。(3)特征参数选取:通过得到的灰度共生矩阵,提取图像的纹理特征参数作为第一类特征参数。选取角二阶矩(angular second moment,ASM)和逆方差(inverse different moment,IDM)描述脊骨超声图像的纹理特征,表达式分别为

(2)
(3)

其中,Pij)是生成的大小为L×L的灰度共生矩阵中的元素,ij分别表示灰度共生矩阵中第i行、第j列,L表示灰度共生矩阵的灰度级别。将ASM和IDM作为初始分类模型搭建2个特征参数。

1.2.3 第二类特征提取与二次分类

在第二类特征提取前,首先获得阈值T以区分前景和背景;然后做椎弓根螺钉钉道的同心圆,该同心圆的半径通过损失函数计算获得;最后将同心圆外部图像的一维统计特征作为特征参数进行二次分类。(1)阈值T的选取:以图 3D3E为例介绍阈值T的计算过程,图像中前景部分占图像的像素比例较低,故对图像求解获得灰度直方图(图 4A4B)。Pii∈(0, 255))表示灰度值为i的像素数量,若i=255则表示图像中灰度值在0~255之间的所有像素数量,也等于图像中的像素总数,即

(4)
图 4 超声图像灰度直方图及阈值T的选取 Fig 4 Gray histogram of ultrasonic image and selection of threshold T A: Gray scale distribution of ultrasonic images of damaged spine; B: Selection of threshold T.

在超声图像中,前景分布在灰度级较高的部分,故选取灰度直方图后10%作为前景,即Tx,灰度值>x则表示该像素为前景,x满足

(5)

为了使阈值T对所有超声图像均表现出良好的适应性,计算所有超声图像的阈值T并求平均值,即

(6)

其中n表示第n个样本。

(2)半径R的选取:对于数据集中所有的超声图像,统计在以坐标(411,381)为圆心、半径为R的同心圆内灰度值超过阈值T的像素点数量,以及整张超声图像中灰度值超过阈值T的像素点数量,计算两者的比值,记作Ra(ratio),其中正样本的比值为Ra+,负样本的比值为Ra,表达式分别为

(7)
(8)
(9)

其中,ij分别表示单张图像中第i行、第j列,x(i, j)表示第i行、第j列个像素的灰度值,n表示第n个样本。取90%作为判定界限,Ra≥90%判定为钉道完整,Ra<90%则判定为钉道破损,记作I(n),表达式为

(10)

在该数据集的正样本中有x1个样本满足Ra+≥90%,负样本中有x2个样本满足Ra≥90%,定义损失函数L及正样本损失函数L+、负样本损失函数L,并调整半径R使L+L达到最大值,表达式分别为

(11)
(12)
(13)
(14)

L达到最大值时表明此时的半径对该数据集钉道完整性判断的准确度达到最佳。

(3)一维统计特征:为了使所有超声图像的灰度级为同一量级、消除指标之间的量纲影响,首先对超声图像进行归一化处理,再提取同心圆外图像的一维统计特征作为第二类特征参数。选取熵、方差、对比度、能量、平均绝对偏差5个参数作为一维统计特征,进行二次分类模型的搭建。

1.3 统计学处理

采用准确度、特异度、灵敏度、F1值、假正率、假负率对分类结果进行评估:准确度=(TP+TN)/(TP+TN+FP+FN),特异度=TN/(FP+TN),灵敏度(召回率)=TP/(TP+FN),F1值=2×精确率×召回率/(精确率+召回率),假正率=FP/(FP+TN),假负率=FN/(TP+FN),其中精确率=TP/(TP+FP),TP表示真阳性样本数,TN表示真阴性样本数,FP表示假阳性样本数,FN表示假阴性样本数。

2 结果

第一类特征提取后初始分类结果显示,真阳性样本数为326,真阴性样本数为272,假阳性样本数为128,假阴性样本数为74。五折交叉验证结果(表 1)显示,初始分类的准确度为74.75%,特异度为68.00%,灵敏度为81.50%,F1值为76.35%,假正率为32.00%,假负率为18.50%。在二次分类前,计算得到阈值T为37。在不同半径Rx1x2LL+L图 5所示,得到最佳半径R为108像素。第二类特征提取后二次分类结果显示,真阳性样本数为390,真阴性样本数为364,假阳性样本数为36,假阴性样本数为10。五折交叉验证结果(表 1)显示,二次分类的准确度为94.25%,特异度为91.00%,灵敏度为97.50%,F1值为94.43%,假正率为9.00%,假负率为2.50%。

表 1 第一类特征提取后初始分类及第二类特征提取后二次分类的五折交叉验证结果 Tab 1 Five-fold cross-validation results of initial classification after type 1 feature extraction and secondary classification after type 2 feature extraction

图 5 不同半径(R)下x1x2及损失函数L的值 Fig 5 Values of x1, x2, and loss function L at different radii (R) A: The values of x1 and x2 at different radii. x1 indicates that there are x1 samples meeting Ra+≥90% in the intact samples, and x2 indicates that there are x2 samples meeting Ra≥90% in the damaged samples. B: The values of loss function L, L+ and L. L+ is loss function of intact samples, L is loss function of damaged samples, and LL+L.

3 讨论

超声检查可实时评估椎弓根螺钉置入手术过程中钉道的完整性,能够及时发现破损钉道,降低手术风险,具有较好的应用前景。与CT等医学影像学技术相比,超声检查操作简单、实时性更高、无电离辐射。本研究提出了一种基于超声图像智能分析的椎弓根螺钉钉道完整性评估方法,该方法首先将纹理特征作为第一类特征对超声图像特征进行初始分类,筛选出椎弓根螺钉钉道破损严重的超声图像,再选取熵、方差、对比度、能量、平均绝对偏差5个参数作为第二类特征,对超声图像进行二次分类。

实验结果表明,在采集的800个样本中,二次分类的总体准确度为94.25%,特异度为91.00%,灵敏度为97.50%,F1值为94.43%,假正率为9.00%,假负率为2.50%。二次分类在初始分类的基础上,分类准确度提高了19.5%,具有较好的检测性能。分类准确度提高的原因有以下几点:(1)初始分类仅通过纹理特征筛选出椎弓根螺钉钉道破损严重的超声图像,但是破损的样本包括破损严重的样本和轻微破损的样本,仅通过纹理特征分类的准确度较低;(2)二次分类是在初始分类的基础上进行的,并且将熵、方差、对比度、能量、平均绝对偏差5个参数作为第二类特征进行分类,由于在图像中提取了更多的特征,因此有更高的分类准确度。

在第二类特征提取与二次分类前得到半径R为108像素的同心圆,通过计算同心圆内外灰度值超过阈值T的像素点数量的比例是否超过判定界限90%的方法来判断椎弓根螺钉钉道是否破损是不可行的,因为该方法是在已知椎弓根螺钉钉道是否破损的情况下得到同心圆的半径。同时为了便于计算机处理与分类,本研究采用的超声图像均来自钉道底部。同时,钉道同心圆的半径R取108像素并非一个标准参数,而是通过设计的损失函数得到的最佳值。在理想情况下,该同心圆的半径与钉道半径保持一致。但是在实际情况下,判定同心圆的半径与超声探头是否达到洞底、声波在松质骨内传播的距离、超声设备发射的声波频率和能量等有关,且由于不同患者的骨密度不同也会导致钉道的具体形态存在差异,从而影响了分类的准确度。因此,可以通过对大量超声图像进行综合处理建立一个半径的综合极限值,提高分类准确度。

在实际情况下,仅通过1张图像无法判断椎弓根螺钉钉道底部是否破损,需要对同一例患者的钉道进行多次不同方向的超声扫描,再对多张超声图像进行多次判断才能得到一个准确的结果,这点也需要在实际操作中注意。

本研究有以下局限性:(1)本研究采用的数据集包含800个样本,样本量基本满足机器学习的要求,但是后续仍需扩大病例数量及样本数量以提高模型的泛化能力,同时本研究提取的图像特征只有7个,后续实验可以通过增加数据量、利用影像组学提取特征等进一步对特征进行降维处理。(2)椎弓根螺钉钉道的破损情况在不同个体中表现各不相同,未来工作中可以利用深度学习对破损等级进行多级分类。

超声检查在椎弓根螺钉置入手术中给医师带来了很大帮助,计算机自动辅助判断钉道的完整性也方便了超声技术的临床应用,无须依赖专业医师对图像进行判断和解释,给超声图像判读经验较为欠缺的医师带来了极大的便利。

参考文献
[1]
GAINES R W Jr. The use of pedicle-screw internal fixation for the operative treatment of spinal disorders[J]. J Bone Joint Surg Am, 2000, 82: 1458-1476. DOI:10.2106/00004623-200010000-00013
[2]
DEDE O, WARD W T, BOSCH P, BOWLES A J, ROACH J W. Using the freehand pedicle screw placement technique in adolescent idiopathic scoliosis surgery: what is the incidence of neurological symptoms secondary to misplaced screws?[J]. Spine (Phila Pa 1976), 2014, 39: 286-290. DOI:10.1097/BRS.0000000000000127
[3]
MATTEI T A, MENESES M S, MILANO J B, RAMINA R. "Free-hand" technique for thoracolumbar pedicle screw instrumentation: critical appraisal of current "state-of-art"[J]. Neurol India, 2009, 57: 715-721. DOI:10.4103/0028-3886.59465
[4]
ACOSTA F L Jr, THOMPSON T L, CAMPBELL S, WEINSTEIN P R, AMES C P. Use of intraoperative isocentric C-arm 3D fluoroscopy for sextant percutaneous pedicle screw placement: case report and review of the literature[J]. Spine J, 2005, 5: 339-343. DOI:10.1016/j.spinee.2004.09.012
[5]
FAN CHIANG C Y, TSAI T T, CHEN L H, LAI P L, FU T S, NIU C C, et al. Computed tomography-based navigation-assisted pedicle screw insertion for thoracic and lumbar spine fractures[J]. Chang Gung Med J, 2012, 35: 332-338.
[6]
CHAN A, COUTTS B, PARENT E, LOU E. Development and evaluation of CT-to-3D ultrasound image registration algorithm in vertebral phantoms for spine surgery[J]. Ann Biomed Eng, 2021, 49: 310-321. DOI:10.1007/s10439-020-02546-5
[7]
KANTELHARDT S R, LARSEN J, BOCKERMANN V, SCHILLINGER W, GIESE A, ROHDE V. Intraosseous ultrasonography to determine the accuracy of drill hole positioning prior to the placement of pedicle screws: an experimental study[J]. J Neurosurg Spine, 2009, 11: 673-680. DOI:10.3171/2009.6.SPINE08640
[8]
CHEN Z Q, WU B, ZHAI X, BAI Y S, ZHU X D, LUO B E, et al. Basic study for ultrasound-based navigation for pedicle screw insertion using transmission and backscattered methods[J/OL]. PLoS One, 2015, 10: e0122392. DOI: 10.1371/journal.pone.0122392.
[9]
李明, 陈自强, 白玉树. 一种利用超声进行脊柱椎弓根螺钉置钉的辅助定位导航和钉道验证装置: CN202027702U[P]. 2011-11-09.
[10]
陈绍丰, 李博, 侯藏龙, 陈凯, 白玉树, 李明. 电子导航装置在脊柱外科中的应用进展[J]. 第二军医大学学报, 2021, 42: 903-906.
CHEN S F, LI B, HOU C L, CHEN K, BAI Y S, LI M. Application of electronic conductivity device in spinal surgery: recent progress[J]. Acad J Sec Mil Med Univ, 2021, 42: 903-906.
[11]
翟骁, 李明, 陈自强. 超声导航与椎弓根螺钉置入[J]. 国际骨科学杂志, 2014, 35: 292-293, 301.