2. 苏州大学 苏州纳米科技协同创新中心, 江苏 苏州 215123;
3. 哈尔滨工程大学 机电工程学院, 黑龙江 哈尔滨 150001;
4. 苏州大学 附属第一医院, 江苏 苏州 215000
2. Collaborative Innovation Center of Suzhou Nano Science and Technology, Soochow University, Suzhou 215123, China;
3. School of Mechanical and Electric Engineering, Harbin Engineering University, Harbin 150001, China;
4. The First Affiliated Hospital of Soochow University, Suzhou 215000, China
传统的脊柱手术需要暴露患者的脊柱或通过基于术中X光图像的手术导航来实现标记点的放置,给患者的心理和身体带来了痛苦[1-3]。目前随着医学影像、光学追踪及机器人辅助手术技术的快速发展,传统的手术导航技术已经明显不能适应时代的需求。凭借术前病人的脊柱CT与术中病人脊柱的X光图来完成三维图像和二维图像的实时配准来定位病灶点的位置。这一技术虽然可以帮助医生实现微创手术,但由于术中引入X光图来进行手术导航,无疑是给医生和患者增加了被辐射的风险,对患者造成二次伤害。目前许多研究引入机器人辅助三维导航系统进行病灶点位置的精确定位及手术路径的规划,在临床上具有长远的意义[4-6],但仍然没有彻底解决术中病人和医生的辐射问题。因此,如何能够降低或消除辐射对病人的影响成了目前手术导航研究领域的一大热点[7]。三维结构光技术主要指通过投影仪投射特定的光学图案到被测物体表面,由相机对其进行信息采集,最终实现对被测物体的表面三维重建。三维结构光技术经过这些年的发展,在生物医学工程领域逐渐崭露头角[8-10]。随着图像引导手术导航和三维结构光技术的快速发展,未来将三维结构光技术用于术中病人脊柱表面信息的采集,可能会成为一种趋势[11]。相比于利用X光机对病人术中脊柱拍摄X光图,基于三维结构光技术的病人脊柱表面信息的采集则是在完全无辐射的情况下进行,同时具有高效率和高精度的特点。在术中通过结构光扫描仪扫描脊柱来实时提供脊柱表面三维重建图像。与术前CT图像进行实时配准的基础之上,融合了光学跟踪设备进行实时获取手术器械和患者的病灶点之间的相对位置关系,使其能够实时显示在可视化的三维空间软件中[12-15]。医生可以在三维导航软件上进行脊柱病灶点的三维可视化观察,同时可以进行手术路径的规划,能够更精确的定位和切除病灶点[16-20]。
本文设计了机器人辅助脊柱手术的三维定位导航系统并进设计了脊柱穿刺定位实验。利用结构光图像代替术中X光图像,同时在CT和结构光扫描的图像的基础之上,进行三维手术导航系统的软、硬件模块的深入研究。对基于三维结构光扫描的脊柱三维重建图像的精度以及术前CT和术中结构光图像的配准精度进行定量分析,同时进行各个模块的坐标转换关系分析,将规划的路径坐标传送给机器人实现手术路径的规划和病灶点的精确定位。最后设计穿刺定位位置和姿态实验来验证机器人辅助的三维导航系统精度。
1 机器人辅助脊柱手术三维导航系统 1.1 硬件组成整个三维机器人辅助导航系统主要由以下硬件组成:结构光扫描仪、脊柱模型、工作站、机器人、可编程逻辑控制器(programmable logic controller,PLC)(s7-200)、显示器、手术台和NDI光学跟踪器, 如图 1所示。其中NDI光学跟踪器主要获取手术器械、患者病灶点、结构光扫描仪等之间的相对位置关系。三维结构光扫描仪主要用于拍取实验过程中脊柱模型图像,能够实时重建脊柱表面的三维信息,为实验过程中的配准环节做准备。机器人主要用于代替人手完成脊柱模型病灶点的穿刺,减小人为操作存在的随机误差。为了方便实验和更真实的模拟实际的手术环境,选取部分脊柱模型喷上白漆标记作为实验操作的对象,将不属于脊柱部分的尾骨去除。
![]() |
Download:
|
图 1 脊柱手术三维导航系统的硬件组成 Fig. 1 Hardware composition of three-dimensional navigation system for spinal surgery |
在基于MFC的基础之上融合了VTK、ITK可视化软件安装包,用Visual studio 2010编写了脊柱手术的三维手术导航系统软件的操作界面。手术路径规划模块、三维重建模块以及3D-3D配准模块构成了三维导航系统的软件部分。
1.2.1 术前CT和术中基于结构光扫描的脊柱三维重建模块基于术前CT的脊柱模型三维重建的流程如下:首先,在实验前通过CT机对脊柱模型进行拍摄,将CT切片导入工作站。然后,通过VTK软件包读取CT切片的相关信息。最后分别采用体绘制和面绘制的方法对脊柱模型进行三维重建。具体基于CT的术前脊柱模型三维重建的效果如图 2(a)所示。
![]() |
Download:
|
图 2 脊柱模型的三维重建效果 Fig. 2 The effect of three-dimensional reconstruction of spinal model |
基于术中三维结构光扫描的脊柱模型三维重建流程为:1)通过三维结构光扫描仪的投影仪向脊柱模型投射编码图案;2)通过双目结构光相机进行脊柱表面信息的采集,传入到工作站,进行解码;3)将得到的脊柱表面三维点云信息显示在显示器中。具体的基于结构光三维重建效果如图 2(b)所示。
1.2.2 3D-3D配准模块首先通过三维重建模块投射一定的初始配准参数,将术前拍摄的脊柱模型的CT切片进行三维重建。然后通过结构光扫描仪对术中脊柱进行实时扫描,进行脊柱表面的点云信息采集,在此基础之上,进行基于VTK的点云数据的三维曲面重建。最后将基于结构光的术中脊柱三维曲面与术前CT重建的脊柱模型图像进行相似性测度值计算,设定一个相似性测度值,当二者的配准结果不满足相似性测度值时,再调整初始的配准参数,使其能够满足相似性测度的要求。具体配准流程如图 3所示。
![]() |
Download:
|
图 3 3D-3D图像配准的流程 Fig. 3 3D-3D image registration process |
运行三维手术导航系统软件,根据预先的设置规划脊柱手术路径。通过3D-3D的配准模块所获得的参数将预先规划好的手术路径的两端坐标转换到三维结构光光扫描仪的坐标系中。根据三维结构光扫描仪到星状刚体的标定和校准参数,使其从三维结构光扫描仪坐标系转换到星状刚体坐标系中。使用NDI光学跟踪器实时获取脊柱模型上的被动刚体和机器人末端手术器械上的被动刚体之间位姿关系。同时实时获取脊柱模型和星状刚体之间的相对位姿。通过一系列转换,可以将术前规划的手术路径的坐标转换到机器人坐标系,从而进一步控制机器人按照既定的路线进行手术穿刺。
2 三维导航系统各模块之间的坐标转换关系分析在光学扫描仪上安装1个星状的刚体,刚体内嵌有红外发射二极管。通过NDI光学跟踪定位系统对星状刚体进行标定和识别,实时建立刚体的位置和方位。通过1个校准过程确定结构光扫描仪到星状刚体的转换,只要星形发射器保持固定在结构光扫描仪的相同位置,这种转换就保持不变。
三维机器人辅助脊柱手术导航系统的坐标转换的实质是求解各个坐标系之间的转换矩阵,主要分为4个部分:1)需要通过配准模块获得脊柱三维模型坐标系到基于结构光扫描的图像坐标系的转换矩阵TSL3M; 2)经过校准标定过程来确定结构光扫描仪星状刚体的转换,能够使结构光扫描仪坐标系转换至星状刚体的坐标系的矩阵TStarSL; 3)通过NDI光学跟踪系统可以实时获取星状刚体和脊柱模型上的被动刚体的相对位姿,从而求得星状刚体和脊柱模型之间的转换矩阵TSpineStar; 4)根据脊柱模型和手术工具上的被动刚体,通过NDI光学跟踪系统求得二者的相对位姿,从而求得脊柱模型与手术工具坐标系之间的转换矩阵TToolSpine。最终得到整体转换关系为:
$ \mathit{\boldsymbol{T}}_{{\rm{Tool}}}^{3{\rm{M}}} = \mathit{\boldsymbol{T}}_{{\rm{SL}}}^{3{\rm{M}}} \cdot \mathit{\boldsymbol{T}}_{{\rm{Star}}}^{{\rm{SL}}} \cdot \mathit{\boldsymbol{T}}_{{\rm{Spine}}}^{{\rm{Star}}} \cdot \mathit{\boldsymbol{T}}_{{\rm{Tool}}}^{{\rm{Sine}}} $ | (1) |
![]() |
Download:
|
图 4 脊柱手术导航系统的坐标转换关系 Fig. 4 Coordinate transformation relationship of spinal surgical navigation system |
通过设计导航定位位置和姿态的实验验证机器人辅助脊柱手术的三维导航系统精度。根据坐标系之间的转换原理,首先完成脊柱模型的CT三维重建以及术中结构光扫描仪实时扫描,对结构光实时扫描得到的脊柱模型三维重建表面的精度进行误差定量分析。再进行CT重建后的图像与结构光扫描重建后的图像进行3D-3D图像的配准,同时对二者之间的配准误差进行定量分析。最终将术前规划好的手术路径转换到机器人坐标系中,通过PLC控制机器人运动到规划的位置。通过对机器人实际穿刺的位置与理论位置之间进行插值计算,进一步得到定位位置和姿态的精度误差。
3.1 基于结构光扫描的脊柱模型表面三维重建实验通过结构光扫描仪对术中脊柱表面进行实时扫描,获得脊柱表面实时三维点云信息。在基于VTK软件包的基础之上,对三维点云数据进行实时曲面重建。将脊柱三维重建曲面模型导入Geomagic studio软件中,对其三维曲面重建精度进行分析,得到的误差如图 5所示。整个脊柱三维曲面重建精度的标准偏差(standard deviation,SD)为0.123 9 mm, 均方根估计值为0.124 1 mm。
![]() |
Download:
|
图 5 基于结构光扫描的脊柱曲面三维重建误差分析 Fig. 5 Error analysis of 3D reconstruction of spinal surface based on structured light scanning |
将术前脊柱模型的CT切片进行三维重建,同时在术中采用结构光扫描仪对脊柱表面实时扫描,以此获取脊柱表面三维图像。利用基于脊柱外部点、面信息,将结构光扫描仪三维重建的脊柱表面信息与CT图像数据进行配准。使用Horn的四元数方法解决奇异值分解,使用Besl和McKay提出的迭代最近点算法进行基于脊柱表面的配准,并且使用k-d维树来减少配准的搜索时间。对2者的配准精度进行验证,得到的误差如图 6所示。在实验过程中,选取200 mm长的脊柱白色段作为实验对象,最终2者配准的标准偏差为2.835 6 mm, 均方根估计值为2.832 8 mm。
![]() |
Download:
|
图 6 脊柱模型3D-3D配准误差分析 Fig. 6 Analysis of 3D-3D registration error in spinal model |
在脊柱模型上打孔并插入4个螺钉,通过PLC控制机器人到达规划的位置。凭借螺钉进行路径的姿态规划,利用小孔进行路径规划时的定位。对理论位置的坐标和实际位置的坐标进行测量并进行差值计算。
对打孔后的脊柱模型重新拍摄CT图像进行三维重建。任选模型上的2点规划4条手术路径,进行A、B、C、D组定位位置的实验。利用机器人夹持手术器械到达指定的位姿,通过NDI光学跟踪系统实时读取探针的被动刚体选取的点的实际和理论位置的坐标。除此以外仍需将探针尖点的坐标从探针被动刚体坐标系转换到NDI坐标系下。具体的4组实验结果如表 1所示,实验数据可以得出:本研究中所提出的机器人辅助脊柱手术导航系统的定位位置平均精度误差和最小精度误差分别为3.34 mm和3.23 mm。
![]() |
表 1 机器人辅助导航定位位置的实验误差 Table 1 Experimental errors of robot-assisted navigation and location |
如图 7所示对小孔位置进行定位实验。如表 1所示,利用NDI对探针被动刚体的位姿数据进行读取。
![]() |
Download:
|
图 7 机器人辅助导航定位位置 Fig. 7 Robot-assisted navigation and location |
以螺钉中轴线作为基准,规划术前的手术路径。对实际的位姿和理论上的位姿的坐标进行测量,计算坐标之间的差值。分别选取螺钉和手术器械上平行于基准的2点,通过NDI读取探针末端所取的点的坐标。分别通过在螺钉和手术器械上寻找2点构建测量向量,将螺钉2点之间的构建的向量命名为向量α, 将手术器械上2点之间的向量命名为向量β。机器人辅助定位位姿的误差主要通过向量α和β的夹角的测量来计算。在脊柱上任选2组螺钉,每组螺钉分别进行2种不同的手术路径的规划。
1) 选取如图 8所示位置的螺钉,规划2条不同的手术路径。第1组导航定位位姿的实验,所获的具体实验数据如表 2所示。
![]() |
Download:
|
图 8 第1组机器人辅助导航定位位姿 Fig. 8 The first group of robot-assisted navigation positioning posture |
![]() |
表 2 第1组定位导航姿态实验的误差 Table 2 Error of the first group of positioning and navigation attitude experiments |
2) 换位置,选取如图 9所示位置的螺钉,规划2条不同的手术路径。第2组机器人辅助导航定位位姿的实验,所获的具体实验数据如表 3所示。
![]() |
Download:
|
图 9 第2组机器人辅助导航定位位姿 Fig. 9 The second group of robot-assisted navigation positioning posture |
![]() |
表 3 第2组定位导航姿态实验的误差 Table 3 Error of the second group of positioning and navigation attitude experiments |
按照上述的实验步骤,选取2组不同位置的螺钉,共进行了A、B、C、D共4组实验。通过4组实验的实验数据可以看出本研究所提出的机器人辅助导航定位位姿的平均精度为3.10°,最小精度误差为1.92°。从实验结果可以看出,定位导航的位姿基本满足医生临床手术的需要。
4 结论1) 本文提出了术中结构光图像与术前CT图像三维配准的方法,降低了人为操作误差对脊柱穿刺手术的影响。同时利用结构光图像代替传统的X光图,与术前CT图像进行配准可以解决术中辐射过量问题。从实验数据可以看出,该三维脊柱穿刺手术导航系统的定位位置的误差为3.34±0.12 mm, 其定位导航姿态的误差为3.1±0.89°,基本可以满足脊柱穿刺手术导航的基本需求。
2) 该导航系统仍然存在一定的误差。主要原因可能在于该导航系统的整体流程环节过多,导致每个环节的误差积累,最终形成较大的误差。
在今后的研究中,可以从下面3个方向进行着重研究:对导航系统的各个环节进行深入研究,力求减少导航系统的环节,简化手术导航系统的流程,降低各环节误差的累积;3D-3D配准的算法进行优化,同时减少配准时间,提高配准精度;目前该研究的对象为脊柱的裸骨模型,在未来可能进行动物或尸体实验的研究来进一步对该导航系统的精度进行验证。
[1] |
FANG C Y, HSU M J, CHEN C C, et al. Robot-assisted passive exercise for ankle hypertonia in individuals with chronic spinal cord injury[J]. Journal of medical and biological engineering, 2015, 35(4): 464-472. DOI:10.1007/s40846-015-0059-y ( ![]() |
[2] |
KARKENNY A J, MENDELIS J R, GELLER D S, et al. The role of intraoperative navigation in orthopaedic surgery[J]. Journal of the American academy of orthopaedic surgeons, 2019, 27(19): e849-e858. DOI:10.5435/JAAOS-D-18-00478 ( ![]() |
[3] |
GUO Fei, DAI Jianhao, ZHANG Junxiang, et al. Individualized 3D printing navigation template for pedicle screw fixation in upper cervical spine[J]. PLoS one, 2017, 12(2): e0171509. DOI:10.1371/journal.pone.0171509 ( ![]() |
[4] |
MOREIRA P, VAN DE STEEG G, KRABBEN T, et al. The MIRIAM robot:a novel robotic system for MR-guided needle insertion in the prostate[J]. Journal of medical robotics research, 2017, 2(4): 1750006. DOI:10.1142/S2424905X17500064 ( ![]() |
[5] |
WEISS H, GARCIA R M, HOPKINS B, et al. A systematic review of complications following minimally invasive spine surgery including transforaminal lumbar interbody fusion[J]. Current reviews in musculoskeletal medicine, 2019, 12(3): 328-339. DOI:10.1007/s12178-019-09574-2 ( ![]() |
[6] |
MOSES Z B, MAYER R R, STRICKLAND B A, et al. Neuronavigation in minimally invasive spine surgery[J]. Neurosurgical focus, 2013, 35(2): E12. DOI:10.3171/2013.5.FOCUS13150 ( ![]() |
[7] |
茅剑平, 张琦, 范明星, 等. 机器人辅助与徒手置入椎弓根螺钉在经椎间孔腰椎椎间融合术中的对比研究[J]. 中国微创外科杂志, 2019, 19(6): 481-484, 489. MAO Jianping, ZHANG Qi, FAN Mingxing, et al. Comparation between robot-assisted and free-hand technique in pedicle screw insertion in transforaminal lumbar interbody fusion surgery:a prospective cohort study[J]. Chinese journal of minimally invasive surgery, 2019, 19(6): 481-484, 489. DOI:10.3969/j.issn.1009-6604.2019.06.001 ( ![]() |
[8] |
LIN Jianyu, CLANCY N T, ELSON D S. An endoscopic structured light system using multispectral detection[J]. International journal of computer assisted radiology and surgery, 2015, 10(12): 1941-1950. DOI:10.1007/s11548-015-1264-4 ( ![]() |
[9] |
MAURICE X, ALBITAR C, DOIGNON C, et al. A structured light-based laparoscope with real-time organs' surface reconstruction for minimally invasive surgery[C]//2012 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. San Diego, CA, USA, 2012: 5769-5772.
( ![]() |
[10] |
DEETJEN M E, LENTINK D. Automated calibration of multi-camera-projector structured light systems for volumetric high-speed 3D surface reconstructions[J]. Optics express, 2018, 26(25): 33278. DOI:10.1364/OE.26.033278 ( ![]() |
[11] |
CHAN B, AUYEUNG J, RUDAN J F, et al. Intraoperative application of hand-held structured light scanning:a feasibility study[J]. International journal of computer assisted radiology and surgery, 2016, 11(6): 1101-1108. DOI:10.1007/s11548-016-1381-8 ( ![]() |
[12] |
ZHANG Chao, WU Junlong, XU Chuang, et al. Minimally invasive full-endoscopic posterior cervical foraminotomy assisted by O-arm-based navigation[J]. Pain physician, 2018, 21(3): E215-E223. ( ![]() |
[13] |
OVERLEY S C, CHO S K, MEHTA A I, et al. Navigation and robotics in spinal surgery:where are we now[J]. neurosurgery, 2017, 80(3S): S86-S99. DOI:10.1093/neuros/nyw077 ( ![]() |
[14] |
GONENC B, CHAMANI A, HANDA J, et al. 3-DOF force-sensing motorized micro-forceps for robot-assisted vitreoretinal surgery[J]. IEEE sensors journal, 2017, 17(11): 3526-3541. DOI:10.1109/JSEN.2017.2694965 ( ![]() |
[15] |
ZHANG Kai, LI Xuzhi, ZHANG Jiuxing. A robust point-matching algorithm for remote sensing image registration[J]. IEEE geoscience and remote sensing letters, 2014, 11(2): 469-473. DOI:10.1109/LGRS.2013.2267771 ( ![]() |
[16] |
WOO S Y, LEE S J, YOO J Y, et al. Autonomous bone reposition around anatomical landmark for robot-assisted orthognathic surgery[J]. Journal of cranio-maxillofacial surgery, 2017, 45(12): 1980-1988. DOI:10.1016/j.jcms.2017.09.001 ( ![]() |
[17] |
PEI Baoqiang, ZHU Gang, WANG Yu, et al. The development and error analysis of a kinematic parameters based spatial positioning method for an orthopedic navigation robot system[J]. The international journal of medical robotics and computer assisted surgery, 2017, 13(3): e1782. DOI:10.1002/rcs.1782 ( ![]() |
[18] |
GUI Haijun, ZHANG Shilei, LUAN Nan, et al. A novel system for navigation-and robot-assisted craniofacial surgery:establishment of the principle prototype[J]. The journal of craniofacial surgery, 2015, 26(8): e746-e749. DOI:10.1097/SCS.0000000000002180 ( ![]() |
[19] |
WANG Kundong, CHEN Bing, LU Qingsheng, et al. Design and performance evaluation of real-time endovascular interventional surgical robotic system with high accuracy[J]. The international journal of medical robotics and computer assisted surgery, 2018, 14(5): e1915. DOI:10.1002/rcs.1915 ( ![]() |
[20] |
陈焕雄, 何小元, 黄涛, 等. 术中三维导航辅助微创经椎间孔入路腰椎椎间融合术中置钉偏出方向及程度分析[J]. 脊柱外科杂志, 2020, 18(3): 145-150, 157. CHEN Huanxiong, HE Xiaoyuan, HUANG Tao, et al. Analysis of position and grade of screw perforation in minimally invasive transforaminal lumbar interbody fusion with intraoperative 3D navigation techniques[J]. Journal of spinal surgery, 2020, 18(3): 145-150, 157. DOI:10.3969/j.issn.1672-2957.2020.03.001 ( ![]() |