国际神经病学神经外科学杂志  2019, Vol. 46 Issue (2): 217-222  DOI: 10.16636/j.cnki.jinn.2019.02.023

扩展功能

文章信息

张越琦, 李学军
混合现实技术辅助神经外科精准手术研究进展
国际神经病学神经外科学杂志, 2019, 46(2): 217-222

文章历史

收稿日期: 2019-01-24
修回日期: 2019-03-20
混合现实技术辅助神经外科精准手术研究进展
张越琦1,2     综述, 李学军2     审校     
1. 中南大学湘雅医学院, 长沙 410006;
2. 中南大学湘雅医院神经外科, 长沙 410008
摘要:混合现实技术(Mixed Reality,MR)的进展,为实现外科精准手术实时术中定位导航提供了可能。在神经外科精准手术的理念下,MR技术在优化手术设计、精准术中定位、促进医患沟通、提升医疗教学方面,具备临床应用价值与潜力。本文结合MR技术特点,阐述现阶段MR技术在神经外科辅助穿刺引流、肿瘤切除、医患沟通及医师培训等方面的应用现状,探讨其在辅助临床决策、优化手术方案、促进神经外科精准诊疗的研究进展。
关键词混合现实    神经外科    精准治疗    神经导航    
1 概述

现代神经外科规范化诊疗包括术前对病灶的准确定位、设计优化手术入路,术中对病灶精准切除,术后对切除效果及病情恢复的评估[1]。在此过程中,神经外科医师对患者的影像学资料的评估、对病灶位置的判断和对手术方案的设计是保证手术治疗效果的基础。近年来,随着神经外科精准诊疗理念的提出及影像科学的发展,影像导航系统已能够在术中辅助医师判断病灶及周围重要解剖结构,有助于实现病灶精准切除及神经功能保护,确保远期治疗效果[2, 3]。尽管传统导航系统已被证实能够较为精准地显示病灶、毗邻血管及神经纤维束等结构,但目前大部分导航系统组成部件多、操作难度大、注册时间较长[4],且仍需要通过独立的显示器来呈现导航结果,无法在手术视野下实时显示,因而术者必须同时关注显示器及手术视野,对医师判断及操作水平仍有较高要求[5],故尚未得到普及应用。

MR是继虚拟现实技术(Virtual Reality,VR)、增强现实技术(Augmented Reality,AR)之后,出现的新型数字全息成像技术。这一概念最早由加拿大多伦多大学Steve Mann教授提出,其优势在于对数字信息与现实空间维度的整合。在神经外科手术领域,医师可以通过眼镜等可穿戴设备,借助MR技术,获取病灶的全息影像信息[6],使患者虚拟的3D数字模型与患者病变部位实现配准拟合,辅助医师在手术视野下更为准确地判断病灶大小、位置和毗邻结构,从而在保护病灶周围重要结构的同时,精准切除病灶[7]。本文将从MR技术在辅助神经外科精准手术的临床实践角度加以阐述。

2 MR技术成像技术特点

MR系统通常具备以下主要特点:①现实与虚拟世界的深度拟合;②三维虚拟模型与真实世界的精准匹配;③环境与使用者的实时交互[8]。虚拟图像与现实世界环境之间的拟合与交互是混合现实技术的基础,当观察者的位置和视角发生变化时,其深度拟合关系能够随之产生变化,从而达到虚拟与现实深度拟合的成像效果[9]。伴随着计算机技术的发展,目前已能够将MR系统的各个部件整合在头戴式眼镜等可穿戴设备上,并以此实现数据的整合与呈现,以及使用者与环境之间的交互[10]

MR技术通过传感器、图像识别设备、网络数据整合等方式,渲染虚拟世界、营造声音效果,来实现视觉和听觉的感官反馈,达到虚拟现实的效果[11],以微软公司的MR成像设备Hololens为例,其主要成像方式即是通过全息投影的方式将光线直接投射到使用者视网膜上,从而产生虚拟视觉[12]

图 1 MR技术的核心要素及信息交互

在医学领域,目前已能够通过对医学数据的三维精准渲染重建等图形处理及可视化技术能够获得3D重构模型[13]。通过特定软件及算法的拟合,进行定位、配准、物理参数调整、模型功能设定等方法,对医学影像数据进行高维现实处理,再将构建好的模型通过虚拟现实技术呈现,即基于MR系统实施手术规划、医患沟通、术中定位等操作,以提高手术成功率及疾病治愈率[14]。通过对感兴趣区域的规划与渲染,整个三维模型可以根据医师需求进行调整与测量计算,从而降低影像判读难度,提高沟通有效性及规划完备性,为外科手术诊疗过程提供了新的解决方案[15]

3 MR技术在神经外科中的应用基础

神经外科手术对精准程度要求较高,对于某些颅内深部病灶,手术暴露难度大,操作空间狭窄,病灶毗邻解剖结构关系复杂,且常常需要注意对功能区及脑血管的保护[16]。目前,多模态成像技术辅助导航、3D打印技术、三维重建技术及术中电生理检测等辅助手段在神经外科手术中得到了应用,手术的安全性和精准性有了进一步的提升[17]。而在这其中,手术导航系统在辅助医师定位病灶、确定切除范围、保护毗邻结构方面,具有显著的临床意义及应用价值。

神经外科手术导航系统从初次应用至今已有近30年,期间经过数次对成像技术、注册方式及显像方式的革新与改良,目前在部分神经外科中心已能够开展导航系统辅助下的手术治疗,并成为术前方案设计及肿瘤体表投影靶区勾画的标准手段之一[3]。尽管如此,现有的大部分神经外科导航系统的主要部件包括注册探头、固定装置以及图像分析计算机以及显示器,前期制定手术计划及注册过程需要时间较长,往往无法满足神经外科急诊的要求[18]

近年伴随三维全息成像技术的发展,出现的以VR、AR、MR等为代表的一系列图形处理与成像技术,并在医学影像数据分析、医学教学、术前沟通、辅助手术等领域中体现其优势与潜力。这其中,VR是建立在完全计算机拟合的虚拟图像与环境上的一种成像技术,并已在模拟手术、医学教学等领域得到应用[19],但由于其完全沉浸式的成像特点,无法与现实环境交互,因而在无法直接应用于辅助外科手术的领域。AR技术可以将计算机拟合的图像融合到摄像头所记录的现实环境中,不仅可以实现VR无法达到的教学训练效果,还在辅助神经外科手术领域得到了应用,Meola等综述了18篇AR相关辅助神经外科手术的研究,总结其成像效果大多是二维投影式成像,在三维立体成像方面效果有限[20]。MR技术则兼具虚拟成像与现实交互的特点,有学者认为MR技术是对AR技术的深度优化,增加了其与现实环境的交互性[21]。通过MR技术既能够较好地三维重建虚拟图像,同时可以和现实环境深度整合,从而有助于实现手术过程精准定位,符合神经外科手术中实时定位的要求[22]。同时由于计算机技术的进步及成像设备的优化,目前已能够借助智能手机或平板电脑实现全息成像的部分功能,这为优化神经导航系统提供了可能。

图 2 MR技术辅助神经外科手术基本流程
4 MR技术辅助神经外科精准手术应用 4.1 MR技术在脑室穿刺引流术的应用

脑室外引流穿刺术是神经外科有效控制颅高压急症并监测颅内压的常用手段, 穿刺点的选区、进针方向与深度十分重要。当前手术方法是由高年资的神经外科医师根据头颅解剖结构的位置确定穿刺点,整个过程无法直接看到穿刺针经过及到达的位置,通过医师自身经验及手感判断穿刺针到达的位置。尽管目前有影像学引导下穿刺的方法,Kim等探讨了在X射线引导下的穿刺导航方法并总结了最佳的射线剂量[16],然而由于该方法耗时较长、设备复杂,故未得到广泛应用。此外不同患者的脑室位置、体积、脑室各角的大小都存在差异,病变情况也会导致脑室的大小形态发生改变,故仅凭解剖学标志定位与医师经验进行穿刺,存在损伤脑室周围组织甚至脑血管的风险。MR技术通过对患者头部影像学资料的三维重建,并在真实环境下与患者的解剖结构完全匹配、同步,通过成像设备,术者可以看到和解剖结构一致的虚拟图像,并可以实时看到穿刺针的走行位置,根据患者脑室的形态及大小实时调整进针方向,减少穿刺损伤、增加穿刺的精确性[23]

4.2 MR技术在脑血肿穿刺手术中的应用

脑内血肿是神经外科的常见急症,发病率高、患者病情通常较重,如不及时手术干预,患者预后较差。目前,依赖神经导航系统进行脑内血肿定位相对准确,但多数基层医院尚未普及,而通过简易CT投影来确定穿刺部位,往往缺乏准确的定位和合适的路径,导致血肿清除率不理想,功能区保护不完全[24]。借助MR技术,可以在较短时间内根据患者的影像检查资料,重建皮肤、颅骨、脑组织、脑血管以及血肿的三维构象并与患者精准匹配。运用MR技术进行术前规划过程时,对血肿建模并计算血肿体积,确认穿刺靶点、穿刺角度与深度,对颅骨或血肿进行自由分割和融合,能够在短时间内直观获得深部血肿的方位并描绘出血肿的头皮投射区、精准定位穿刺点,设计最优穿刺路径,选择最佳的穿刺角度和深度,同时避开重要的大血管结构,进而引导工作鞘精准到达靶点。Sun等利用VR及AR技术辅助完成25例脑内血肿穿刺术,血肿清除率达到97%,不仅提升了穿刺的安全性和有效性,也符合精准神经外科理念[25]。利用MR技术辅助神经内镜手术精准治疗高血压性脑出血,能够简便且快速对病灶完成精准定位,为及时处理争取时间。

4.3 MR技术在脑肿瘤疾病手术中的应用

对于大多数神经系统肿瘤性疾病,手术治疗能够缓解肿瘤生长引起的占位效应、降低颅内压力、保护神经生理功能、明确病理诊断,为后续治疗方案制定建立基础。同时,由于某些肿瘤浸润性生长特点及毗邻关系的复杂性,手术的术前设计及手术切除范围的确定尤为重要[1]。基于MR技术全息成像的精准性与匹配性,医师能够通过头戴式MR设备,直观观察到病灶大小及位置、病灶与周围重要解剖结构的毗邻关系,根据患者特点设计个性化骨瓣及手术入路,在手术视野下确认病灶边缘,无需在显示器与手术视野下反复切换,降低了操作的难度,克服了神经导航系统设备组成及操作步骤的复杂性。一项纳入了134例胶质瘤手术患者的临床研究表明,利用MR技术辅助术中导航能够提高肿瘤的全切率[26],既保证了手术的精准性和稳定性,又能够显著缩短手术时间,确保病灶精准切除。

4.4 MR技术在脑血管疾病手术中的应用

血管瘤是常见的脑血管疾病,早期诊断及有效外科治疗尤为重要。一方面由于瘤体的占位效应,会导致患者颅压升高,神经功能障碍,另一方面,一旦血管瘤发生破裂导致颅内出血,如不及时处理,患者预后情况往往较差。通过单独成像设备,Kersten等实现了术中对患者颅内血管及病灶的头部投影显像[27]。同时,血管瘤的手术治疗对病灶位置进行准确而迅速的判断。术前,医师需明确血管瘤的大小、形状、与周围血管的相对位置关系,设计手术入路;术中,医师需要准确判断血管瘤的位置,采用栓塞、夹闭、切除等方式进行处理。目前已有VR技术用于脑血管疾病手术治疗的术前规划过程[28],MR技术能够辅助医师直观发现并定位深部、微小的血管瘤,提升手术效率及安全性,降低手术难度[29]

5 MR技术在神经外科中的其他应用

从神经外科诊疗全过程来看,以往,医生在术前谈话中需要根据患者影像学检查结果向患者及家属解释病情,但由于神经系统解剖的复杂性,患者及家属短时间内通常难以完全理解病灶位置及手术方案。通过MR技术,医生与患者和家属能够直观、实时、多角度观察到病灶的大小、位置、毗邻结构,缓解了医患之间信息的不对等性。在术前规划过程中,主刀医生可以和助手在手术室对病灶进行多角度观察,实时设计及调整手术入路及切除方式。尽管目前3D打印技术也已应用于术前沟通及附属手术方案设计等方面,但MR技术的实时性、多角度性以及现实交互性,是3D打印技术所不具备的。此外,神经外科手术精准度高、操作空间小、解剖结构复杂,某些浸润性生长的肿瘤性病灶,肿瘤组织与正常脑组织的分界并不明显,这决定了神经外科手术的难度,而利用MR技术能够一定程度上降低手术难度,辅助提升青年医师的手术水平[30]。通过MR技术,能够较好地模拟手术环境,训练手术方法,促进青年医师技术的提升,将有助于缩短神经外科医师的培养周期。此外,在互联网远程医疗领域,MR技术为实现远距离医疗会诊提供了必要基础[31],将有助于实现远程实时辅助诊疗,促进优质医疗资源下沉与普及。

6 现阶段MR技术辅助神经外科手术面临的挑战

从目前研究来看,MR技术辅助神经外科手术仍处在发展与完善阶段,目前对该技术的研究需关注以下几点:一方面,在模型建立过程中,现有模型建立方法是以患者的头部CT及MRI检查资料为基础,高精准度成像建立在高分辨率的影像学检查资料的基础上,因而对头部检查影像学设备分辨率有较高要求[32];另一方面,在虚拟图像与现实环境拟合的过程中,交互算法需进一步优化,来提升配准的精准度,减少因脑脊液释放、肿瘤部分切除等因素造成的颅内压力改变而造成的成像效果偏移[33],以保证手术全过程可以实时精准导航;此外,在全息成像内容方面,现有MR成像技术在实现对神经纤维束的实时显示和追踪水平仍需提升[34];最后,需优化成像设备,以进一步缩短全息成像过程带来的时间延迟,以达到实时显示的目标,并为机器人辅助手术技术的发展提供支持[35]

7 结语

MR技术在辅助神经外科精准手术方面具备可行性与应用价值。MR技术有助于促进医患沟通、缩短手术时间、减轻患者创伤、增加手术精确度、提高手术成功率,有利于推进实现神经外科疾病的精准手术治疗,为实现神经外科诊疗水平高质化和均质化,促进优质医疗资源下沉,提供了实践基础。

参考文献
[1]
Renfrow JJ, Strowd RE, Laxton AW, et al. Surgical Considerations in the Optimal Management of Patients with Malignant Brain Tumors[J]. Curr Treat Options Oncol, 2017, 18(8): 46. DOI:10.1007/s11864-017-0487-8
[2]
Sang S, Wanggou S, Wang Z, et al. Clinical Long-Term Follow-Up Evaluation of Functional Neuronavigation in Adult Cerebral Gliomas[J]. World Neurosurg, 2018, 119: e262-e271. DOI:10.1016/j.wneu.2018.07.127
[3]
Moche M, Trampel R, Kahn T, et al. Navigation concepts for MR image-guided interventions[J]. J Magn Reson Imaging, 2008, 27(2): 276-291. DOI:10.1002/(ISSN)1522-2586
[4]
Maciunas RJ. Computer-assisted Neurosurgery[J]. Clin Neurosurg, 2006, 53: 267-271.
[5]
Pinggera D, Kerschbaumer J, Bauer M, et al. Accuracy Validation of Neuronavigation Comparing Headholder-Based System with Head-Mounted Array-A Cadaveric Study[J]. World Neurosurg, 2018, 120: e313-e317. DOI:10.1016/j.wneu.2018.08.059
[6]
Yetisen AK, Martinez-Hurtado JL, Unal B, et al. Wearables in Medicine[J]. Adv Mater, 2018, e1706910.
[7]
Elmi-Terander A, Burström G, Nachabe R., et al. Pedicle Screw Placement Using Augmented Reality Surgical Navigation with Intraoperative 3D Imaging:A First In-Human Prospective Cohort Study[J]. Spine (Phila Pa 1976), 2019, 44(7): 517-525. DOI:10.1097/BRS.0000000000002876
[8]
Pandya A, Siadat MR, Auner G. Design, implementation and accuracy of a prototype for medical augmented reality[J]. Comput Aided Surg, 2005, 10(1): 23-35. DOI:10.1080/10929080500221626
[9]
Kramers M, Armstrong R, Bakhshmand SM., et al. Evaluation of a mobile augmented reality application for image guidance of neurosurgical interventions[J]. Stud Health Technol Inform, 2014, 196: 204-208.
[10]
Mitrasinovic S, Camacho E, Trivedi N, et al. Clinical and surgical applications of smart glasses[J]. Technol Health Care, 2015, 23(4): 381-401. DOI:10.3233/THC-150910
[11]
Wu ML, Chien JC, Wu CT, et al. An Augmented Reality System Using Improved-Iterative Closest Point Algorithm for On-Patient Medical Image Visualization. Sensors (Basel), 2018, 18(8). pii: E2505. doi: 10.3390/s18082505.
[12]
Mitsuno D, Hirota Y, Akamatsu J, et al. Telementoring Demonstration in Craniofacial Surgery with HoloLens, Skype, and Three-Layer Facial Models[J]. J Craniofac Surg, 2018, 30(1): 28-32.
[13]
Fernandes de Oliveira Santos B, Silva da Costa MD, Centeno RS, et al. Clinical Application of an Open-Source 3D Volume Rendering Software to Neurosurgical Approaches[J]. World Neurosurg, 2018, 110: p. e864-e872.
[14]
Hendricks BK, Hartman J, Cohen-Gadol AA. Cerebrovascular Operative Anatomy:An Immersive 3D and Virtual Reality Description[J]. Oper Neurosurg (Hagerstown), 2018, 15(6): 613-623. DOI:10.1093/ons/opy283
[15]
Tagaytayan R, Kelemen A, and Sik-Lanyi C. Augmented reality in neurosurgery[J]. Arch Med Sci, 2018, 14(3): 572-578. DOI:10.5114/aoms.2016.58690
[16]
Kim DN, Chae YS, Kim MY. X-ray and optical stereo-based 3D sensor fusion system for image-guided neurosurgery[J]. Int J Comput Assist Radiol Surg, 2016, 11(4): 529-541. DOI:10.1007/s11548-015-1290-2
[17]
Zhang X, Chen G, Liao H. High-Quality See-Through Surgical Guidance System Using Enhanced 3-D Autostereoscopic Augmented Reality[J]. IEEE Trans Biomed Eng, 2017, 64(8): 1815-1825. DOI:10.1109/TBME.2016.2624632
[18]
Eftekhar B. A Smartphone App to Assist Scalp Localization of Superficial Supratentorial Lesions-Technical Note[J]. World Neurosurg, 2016, 85: 359-63. DOI:10.1016/j.wneu.2015.09.091
[19]
Bernardo A. Virtual Reality and Simulation in Neurosurgical Training[J]. World Neurosurg, 2017, 106: 1015-1029. DOI:10.1016/j.wneu.2017.06.140
[20]
Guha D, Alotaibi NM, Nguyen N, et al. Augmented Reality in Neurosurgery:A Review of Current Concepts and Emerging Applications[J]. Can J Neurol Sci, 2017, 44(3): 235-245. DOI:10.1017/cjn.2016.443
[21]
Contreras Lopez WO, Navarro PA, Crispin S. Intraoperative clinical application of augmented reality in neurosurgery:A systematic review[J]. Clin Neurol Neurosurg, 2019, 177: 6-11. DOI:10.1016/j.clineuro.2018.11.018
[22]
Deib G, Johnson A, Unberath M., et al. Image guided percutaneous spine procedures using an optical see-through head mounted display:proof of concept and rationale[J]. J Neurointerv Surg, 2018, 10(12): 1187-1191. DOI:10.1136/neurintsurg-2017-013649
[23]
Cabrilo IA. Sarrafzadeh, P. Bijlenga, et al. Augmented reality-assisted skull base surgery[J]. Neurochirurgie, 2014, 60(6): 304-306. DOI:10.1016/j.neuchi.2014.07.001
[24]
Li Z, Li Y, Xu F, et al. Minimal invasive puncture and drainage versus endoscopic surgery for spontaneous intracerebral hemorrhage in basal ganglia[J]. Neuropsychiatr Dis Treat, 2017, 13: 213-219. DOI:10.2147/NDT
[25]
Sun GC, Chen XL, Hou YZ., et al. Image-guided endoscopic surgery for spontaneous supratentorial intracerebral hematoma[J]. J Neurosurg, 2017, 127(3): 537-542. DOI:10.3171/2016.7.JNS16932
[26]
Sun GC, Wang F, Chen XL., et al. Impact of Virtual and Augmented Reality Based on Intraoperative Magnetic Resonance Imaging and Functional Neuronavigation in Glioma Surgery Involving Eloquent Areas[J]. World Neurosurg, 2016, 96: 375-382. DOI:10.1016/j.wneu.2016.07.107
[27]
Kersten-Oertel M, Gerard I, Drouin S, et al. Augmented reality in neurovascular surgery:feasibility and first uses in the operating room[J]. Int J Comput Assist Radiol Surg, 2015, 10(11): 1823-1836. DOI:10.1007/s11548-015-1163-8
[28]
Kockro RA, Killeen T, Ayyad A, et al. Aneurysm Surgery with Preoperative Three-Dimensional Planning in a Virtual Reality Environment:Technique and Outcome Analysis[J]. World Neurosurg, 2016, 96: 489-499. DOI:10.1016/j.wneu.2016.08.124
[29]
Karmonik C, Elias SN, Zhang JY, et al. Augmented Reality with Virtual Cerebral Aneurysms:A Feasibility Study[J]. World Neurosurg, 2018, 119: e617-e622. DOI:10.1016/j.wneu.2018.07.222
[30]
Marcus HJ, Pratt P, Hughes-Hallett A, et al. Comparative effectiveness and safety of image guidance systems in neurosurgery:a preclinical randomized study[J]. J Neurosurg, 2015, 123(2): 307-313. DOI:10.3171/2014.10.JNS141662
[31]
Davis MC, Can DD, Pindrik J, et al. Virtual interactive presence in global surgical education:international collaboration through augmented reality[J]. World Neurosurg, 2016, 86: 103-111. DOI:10.1016/j.wneu.2015.08.053
[32]
de Ribaupierre S, Eagleson R. Editorial:Challenges for the usability of AR and VR for clinical neurosurgical procedures[J]. Healthc Technol Lett, 2017, 4(5): 151. DOI:10.1049/htl.2017.0077
[33]
Gerard IJ, Kersten-Oertel M, Drouin S, et al. Combining intraoperative ultrasound brain shift correction and augmented reality visualizations:a pilot study of eight cases[J]. J Med Imaging (Bellingham), 2018, 5(2): 021210.
[34]
Tonutti, M, Gras G, Yang GZ. A machine learning approach for real-time modelling of tissue deformation in image-guided neurosurgery[J]. Artif Intell Med, 2017, 80: 39-47. DOI:10.1016/j.artmed.2017.07.004
[35]
Zeng B, Meng F, Ding H, et al. A surgical robot with augmented reality visualization for stereoelectroencephalography electrode implantation[J]. Int J Comput Assist Radiol Surg, 2017, 12(8): 1355-1368. DOI:10.1007/s11548-017-1634-1