第二军医大学学报  2021, Vol. 42 Issue (7): 793-796   PDF    
增强现实在机器人辅助根治性前列腺切除术中的应用进展
陈文进1, 阳青松2, 陆晓俊1, 任善成1     
1. 海军军医大学(第二军医大学)长海医院泌尿外科, 上海 200433;
2. 海军军医大学(第二军医大学)长海医院影像医学科, 上海 200433
摘要: 机器人精准微创外科手术时代已经到来,但目前常用的影像学技术不能满足泌尿系统恶性肿瘤最佳手术方案的制订和术中导航的需求。基于2D截面成像的3D虚拟重建有助于外科医师掌握不同个体的解剖结构,很多泌尿外科医师已将这种方式应用于前列腺癌的治疗,并已将3D模型叠加到术中真实人体结构上实现增强现实。本文对增强现实在根治性前列腺切除术中的应用进展进行综述,并对增强现实技术与外科手术交叉融合的应用前景进行展望。
关键词: 增强现实    泌尿外科手术    术中导航    医工结合    
Application of augmented reality in robot-assisted radical prostatectomy: recent progress
CHEN Wen-jin1, YANG Qing-song2, LU Xiao-jun1, REN Shan-cheng1     
1. Department of Urology, Changhai Hospital, Naval Medical University (Second Military Medical University), Shanghai 200433, China;
2. Department of Radiology, Changhai Hospital, Naval Medical University (Second Military Medical University), Shanghai 200433, China
Abstract: Although the era of precise minimally invasive robotic surgery has arrived, currently used imaging techniques still cannot meet the needs of optimal surgical planning and intraoperative navigation for urinary malignancy. Three dimensional (3D) virtual reconstruction based on 2D cross-sectional imaging can help surgeons understand the anatomy of different individuals. Many urologists have applied this method to the treatment of prostate cancer, and have superimposed 3D models on human body structure to realize augmented reality. This paper reviews the application of augmented reality in robot-assisted radical prostatectomy, and prospects the application of cross-fusion of augmented reality and surgery.
Key words: augmented reality    urological surgery    intraoperative navigation    combination of medicine and engineering    

自2000年以来,全球已安装达芬奇手术机器人逾3 000台,在泌尿外科取得的重大进展为其确立了新的治疗标准——精准手术,即为每例患者量身定制手术方案[1-2]。然而,目前术者确定最佳手术方案可借助的影像学技术仍不理想。近年来,为了让术者更好地把握不同病例的解剖学特点,泌尿外科医师、影像科医师和生物工程师日益关注3D虚拟重建的应用。高质量的3D虚拟模型可从3个方面辅助手术:可视化3D虚拟模型的融合认知、3D打印模型应用于术前认知、增强现实(augmented reality, AR)与术中同步导航[3]。前两者的应用已相对成熟,关于机器人平台与3D模型的集成及实施AR导航手术在提高精准度和制订手术计划方面的应用前景也已有不少新颖且有趣的报道。本文主要针对前列腺癌这一泌尿系统恶性肿瘤,综述AR在机器人辅助根治性前列腺切除术(robot-assisted radical prostatectomy, RARP)中的应用进展,并探讨其进行医工结合的未来发展方向及在手术治疗方面的应用潜力。

1 AR技术的进展

AR技术源自虚拟现实(virtual reality, VR)技术,可定义为通过交互方式实时运行,用虚拟环境匹配并重叠现实对象,让使用者对物理环境产生沉浸式的体验[4]。AR系统通常配有一个摄像头跟踪观察者的活动,从而实现观察者的活动与虚拟物体的交互融合。近年来,AR技术的研究热点主要包括:(1)通过生物感知、注视或标记跟踪、触觉界面及多种传感器等构建各种类型的用户界面并实现交互;(2)使用基于增强现实的工具包(AR toolkit)等计算框架及无线网络、数据存储和访问技术开发AR系统;(3)移动AR设备的便携性、自然界面、动态场景生成和内容信息管理[5]。常见的AR系统透视显示设备包括视频透视(video see-through, VST)和光学透视(optical see-through, OST)2种。VST可在视频中将虚拟物体混合或覆盖在真实对象上;而OST可通过透视眼镜直接将虚拟模型映入视网膜,如谷歌开发的谷歌眼镜(Google glass)及微软开发的全息透镜(HoloLens)等头戴式显示设备,这2款产品都已获得美国FDA批准投产,用于临床研究[6-7]

2 基于AR的RARP(AR-RARP)的实现与应用

目前AR-RARP通常需要4个核心步骤:影像学数据采集、3D模型超精度重建、显示系统加载虚拟模型和术中跟踪与交互[8]。其进步取决于医工结合的突破,两者将共同关注结合AR的模拟操作及教学训练,同时进一步探索AR-RARP如何在手术过程中为术者提供有价值的指导信息。

2.1 结合AR的RARP培训

对机器人辅助手术,术者通常需要面对陡峭的学习曲线。手术模拟是一种安全、经济的训练方法,能提高术者在手术室的工作效率[9]。从最早的达芬奇训练员(da Vinci trainer, DVT)到SimSurgery手术教育平台(surgical education platform, SEP)再到机器人手术模拟器(robotic surgical simulator, RoSS),AR的RARP训练是一个不断创新的技术。不同于VR的完全虚拟模拟手术,AR提供了一个更真实的操作环境,提高了RARP训练的有效性,在实践技能方面表现更佳[10-11]

罗斯威尔帕克癌症研究中心和纽约大学的一项随机对照试验观察了结合AR的尿道膀胱吻合训练效果,结果表明在其自主设计的手持手术训练(hands-on surgical training, HoST)系统的AR环境下进行程序化训练后,参训医师的操作表现提高、认知负荷降低[12]。Kalia等[13]通过颜色深度编码技术估计肿瘤和组织表面之间的距离,其对解决AR在手术中的问题(如对组织结构探查深度的感知及效果评价)进行了初步探索,结果表明AR对训练时组织结构的探查深度估计、任务完成时间和置信度都有显著改进。Berridge等[14]提出有经验的术者可以通过AR共享功能远程观看甚至参与手术,以指导更多面临复杂场景的初级术者,保证远程RARP质量。

2.2 AR-RARP方兴未艾

对AR-RARP进行第1次尝试的报道发表在2013年,Thompson等[15]对13例患者进行了临床试验以评估AR-RARP图像指导系统的效果(早期已对3具尸体进行临床前研究)。术中仅将未处理的T2加权MRI图像覆盖在前列腺解剖结构上,然后将该成像叠加在内镜显示屏的图像上,通过对覆盖过程与术后结果的定性测量评估图像引导系统的可行性。结果显示图像叠加的使用不会干扰临床结果,而系统的技术参数可能与患者的临床结局及预后相关。Ukimura等[16]使用3D模型在10例患者RARP中进行了导航,尽管术中没能实现模型与前列腺的完全重合,但结果显示9例患者的手术切缘呈阴性,仅1例囊外扩展(extracapsular extension, ECE)患者手术切缘呈阳性。

Thompson和Ukimura在AR-RARP方面做出了先驱性的工作,其经验集中在术中使用导航基准标记的同时将经直肠超声图像覆盖在显示屏中的前列腺和神经血管束上,以实现术中实时的动态交互[17-18]。而AR-RARP领域最新进展是通过结合3D成像技术,同时搭载应用程序pViewer,这将允许3D鼠标将虚拟解剖模型定位在真实模型之上,进而引入应用程序pTracker跟踪并确定3D模型在内镜显示屏中每一帧的正确状态[19]。Porpiglia等[20]在达芬奇手术机器人的控制台中使用TileProTM加载前列腺3D虚拟模型,16例pT2期前列腺癌患者接受了筋膜内保留神经的前列腺切除术,均无切缘阳性;14例pT3期患者接受了标准的神经剥离术和ECE活检,其切缘阳性率为30%。对14例可能有ECE的患者行AR引导下选择性活检,证实11例(78.57%)有前列腺外病变。后续研究发现,19例术前MRI怀疑有ECE的患者中15例(78.95%)确诊为pT3a期,AR引导下活检显示11例(73.33%)在邻近ECE的神经血管束处发现癌细胞,认为AR-RARP可能会具有更高的ECE筛检准确度,或许能达到最优化的手术清除率[21-22]。然而,固定和静态的虚拟成像并不能动态重叠术中所需的实际生物组织变形,特别是在保留神经阶段,前列腺形状常因机械臂牵引而变形。为此,学者们利用高精度3D技术重建开发了3D弹性的AR-RARP,利用非线性参数形变(即弯曲和拉伸)来近似模拟前列腺变形[23],在动态神经保留阶段,由于3D弹性模型的重叠,病变和包膜受累位置被正确识别(100%正确识别病变)。

值得注意的是,以上研究都是在视频中实现的3D模型叠加,即前文提到的VST,那么结合可穿戴设备的AR在临床应用时能否获得相同的益处呢?尽管这方面的研究还未深入,但已有学者做出了初步探索。Borgmann等[24]在31例不同复杂程度的泌尿外科手术中使用了谷歌眼镜,提示其没有内在技术缺陷(具有技术可行性),患者均没有发生3~5级并发症(安全性高),72%的术者认为谷歌眼镜有较高的总体有效性。此外,还有研究将AR与VR结合实现混合现实,即在显示界面的同时融合术前和术中图像数据的条件下,术者进行可视化交互,使用头戴式显示器和运动控制器对9例患者行RARP,结果显示该系统可以帮助术者提高手术期间的空间意识,也有助于在手术的关键阶段做出决策,9例手术均无并发症。此结果表明该系统可以帮助术者提高手术期间的空间意识,也有助于在手术的关键阶段做出决策[25]

AR-RARP也存在一定局限性,如手术准确性过度依赖多参数MRI结果、建模过程需要付出大量人力和时间等[26]。Bertolo等[27]通过系统综述发现,迄今为止只有有限的证据表明AR导航下的手术与传统的手术方法相比具有更好的治疗效果,AR辅助手术的主要局限性在于定位不准,导致导航精度差;但作者也表示这一技术改进后,这些担忧可以减少,该领域会有更大的发展和应用空间。

3 小结与展望

RARP的发展促使前列腺癌手术治疗发生了革命性改变。它使精确的手术入路和解剖重建成为可能,显著减少了手术时间、出血量、不良事件、住院时间及术后疼痛[28],但传统术式遇到的问题如最大程度保留神经纤维与手术切缘阳性风险之间如何达到平衡等,RARP也避免不了[29]。同时,泌尿外科的教育工作者也需要致力于开发一种具有成本效益、可接受、经过验证的模拟器,以在保证患者安全和手术质量的前提下缩短机器人辅助手术的学习曲线。

通过AR的手术可视化及术中导航的实时反馈,或可进一步减少术后功能缺损、加速术后恢复。同时,近年来人工智能影像学不断发展,将人工智能影像成功与AR技术融合或许有助于更好地定位前列腺癌病变或扩展情况,也将促进对非根治性术式的研究,如以局部、精确的前列腺部分切除术作为可行的替代疗法。另外,搭载AR技术的手术模拟可被纳入机器人外科医师的标准化手术培训,并期待该技术进一步解决手术前建模耗时长和模型与实体匹配度不够高的问题,为受训医师或术者提供可视化的路线图(而不仅仅是模型与器官的重叠),形成集成可视化和交互模式的系统,这不仅是为5G时代开展更高效及高质量的远程培训和远程手术做准备,而且是真正意义上的无人机器人辅助手术的第一步。

参考文献
[1]
AUTORINO R, PORPIGLIA F, DASGUPTA P, RASSWEILER J, CATTO J W, HAMPTON L J, et al. Precision surgery and genitourinary cancers[J]. Eur J Surg Oncol, 2017, 43: 893-908. DOI:10.1016/j.ejso.2017.02.005
[2]
WANG Z, LIU S C, PENG J, CHEN M Z. The next-generation surgical robots[M]//KÜÇÜK S. Surgical robotics. Rijeka, Croatia: IntechOpen, 2017: 3-21.
[3]
CHECCUCCI E, AMPARORE D, FIORI C, MANFREDI M, IVANO M, DI DIO M, et al. 3D imaging applications for robotic urologic surgery: an ESUT YAUWP review[J]. World J Urol, 2020, 38: 869-881. DOI:10.1007/s00345-019-02922-4
[4]
RIBEIRO J M T, MARTINS J, GARCIA R. Augmented reality technology as a tool for better usability of medical equipment[C]//World Congress on Medical Physics and Biomedical Engineering 2018. Singapore: Springer International Publishing, 2019: 341-345.
[5]
KIM S K, KANG S J, CHOI Y J, CHOI M H, HONG M. Augmented-reality survey: from concept to application[J]. KSⅡ Trans Internet Inf Syst, 2017, 11: 982-1004.
[6]
WEI N J, DOUGHERTY B, MYERS A, BADAWY S M. Using Google glass in surgical settings: systematic review[J/OL]. JMIR Mhealth Uhealth, 2018, 6: e54. DOI: 10.2196/mhealth.9409.
[7]
ZUO Y, JIANG T R, DOU J S, YU D W, NDARO Z N, DU Y X, et al. A novel evaluation model for a mixed-reality surgical navigation system: where microsoft HoloLens meets the operating room[J]. Surg Innov, 2020, 27: 193-202. DOI:10.1177/1553350619893236
[8]
ZAMPOKAS G, TSIOLIS K, PELEKA G, TOPALIDOU-KYNIAZOPOULOU A, MARIOLIS I, MALASIOTIS S, et al. Augmented reality toolkit for a smart robot-assisted MIS platform[C]//IFMBE Proceedings. Cham: Springer International Publishing, 2019: 1536-1544.
[9]
MACCRAITH E, FORDE J C, DAVIS N F. Robotic simulation training for urological trainees: a comprehensive review on cost, merits and challenges[J]. J Robotic Surg, 2019, 13: 371-377. DOI:10.1007/s11701-019-00934-1
[10]
WEINTRAUB M D, KHEYFETS S V, SUNDARAM C P. Training in robotic urologic surgery[M]//HEMAL A K, MENON M. Robotics in genitourinary surgery. London: Springer International Publishing, 2018: 163-173.
[11]
KAMARUDIN M F B, ZARY NABIL. Augmented reality, virtual reality and mixed reality in medical education: a comparative web of science scoping review[J/OL]. Preprints, 2019. DOI: 10.20944/preprints201904.0323.v1.
[12]
CHOWRIAPPA A, RAZA S J, FAZILI A, FIELD E, MALITO C, SAMARASEKERA D, et al. Augmented-reality-based skills training for robot-assisted urethrovesical anastomosis: a multi-institutional randomised controlled trial[J]. BJU Int, 2015, 115: 336-345. DOI:10.1111/bju.12704
[13]
KALIA M, NAVAB N, SALCUDEAN T. A real-time interactive augmented reality depth estimation technique for surgical robotics[C]//2019 International Conference on Robotics and Automation (ICRA). Montreal: IEEE, 2019: 8291-8297.
[14]
BERRIDGE C, JAIN S, BIYANI C S. Current and future simulation in urological surgery training[J]. Trends Urol Men's Heal, 2019, 10: 16-18.
[15]
THOMPSON S, PENNEY G, BILLIA M, CHALLACOMBE B, HAWKES D, DASGUPTA P. Design and evaluation of an image-guidance system for robot-assisted radical prostatectomy[J]. BJU Int, 2013, 111: 1081-1090. DOI:10.1111/j.1464-410X.2012.11692.x
[16]
UKIMURA O, ARON M, NAKAMOTO M, SHOJI S, ABREU A L, MATSUGASUMI T, et al. Three-dimensional surgical navigation model with TilePro display during robot-assisted radical prostatectomy[J]. J Endourol, 2014, 28: 625-630. DOI:10.1089/end.2013.0749
[17]
SRIDHAR A N, HUGHES-HALLETT A, MAYER E K, PRATT P J, EDWARDS P J, YANG G Z, et al. Image-guided robotic interventions for prostate cancer[J]. Nat Rev Urol, 2013, 10: 452-462. DOI:10.1038/nrurol.2013.129
[18]
MOHARERI O, ISCHIA J, BLACK P C, SCHNEIDER C, LOBO J, GOLDENBERG L, et al. Intraoperative registered transrectal ultrasound guidance for robot-assisted laparoscopic radical prostatectomy[J]. J Urol, 2015, 193: 302-312. DOI:10.1016/j.juro.2014.05.124
[19]
GRIBAUDO M, MOOS S, PIAZZOLLA P, PORPIGLIA F, VEZZETTI E, VIOLANTE M G. Enhancing spatial navigation in robot-assisted surgery: an application[C]//RIZZI C, ANDRISANO A, LEALI F, GHERARDINI F, PINI F, VERGNANO A. Design tools and methods in industrial engineering. ADM 2019. Lecture notes in mechanical engineering. Cham: Springer International Publishing, 2020: 95-105.
[20]
PORPIGLIA F, FIORI C, CHECCUCCI E, AMPARORE D, BERTOLO R. Augmented reality robot-assisted radical prostatectomy: preliminary experience[J/OL]. Urology, 2018, 115: 184. DOI: 10.1016/j.urology.2018.01.028.
[21]
PORPIGLIA F, CHECCUCCI E, AMPARORE D, AUTORINO R, PIANA A, BELLIN A, et al. Augmented-reality robot-assisted radical prostatectomy using hyper-accuracy three-dimensional reconstruction (HA3DTM) technology: a radiological and pathological study[J]. BJU Int, 2019, 123: 834-845. DOI:10.1111/bju.14549
[22]
PORPIGLIA F, BERTOLO R, AMPARORE D, CHECCUCCI E, ARTIBANI W, DASGUPTA P, et al. Augmented reality during robot-assisted radical prostatectomy: expert robotic surgeons' on-the-spot insights after live surgery[J]. Minerva Urol Nefrol, 2018, 70: 226-229.
[23]
PORPIGLIA F, CHECCUCCI E, AMPARORE D, MANFREDI M, MASSA F, PIAZZOLLA P, et al. Three-dimensional elastic augmented-reality robot-assisted radical prostatectomy using hyperaccuracy three-dimensional reconstruction technology: a step further in the identification of capsular involvement[J]. Eur Urol, 2019, 76: 505-514. DOI:10.1016/j.eururo.2019.03.037
[24]
BORGMANN H, RODRÍGUEZ SOCARRÁS M, SALEM J, TSAUR I, GOMEZ RIVAS J, BARRET E, et al. Feasibility and safety of augmented reality-assisted urological surgery using smartglass[J]. World J Urol, 2017, 35: 967-972. DOI:10.1007/s00345-016-1956-6
[25]
KOLAGUNDA A, SORENSEN S, MEHRALIVAND S, SAPONARO P, TREIBLE W, TURKBEY B, et al. A mixed reality guidance system for robot assisted laparoscopic radical prostatectomy[C]//OR 2.0 context-aware operating theaters, computer assisted robotic endoscopy, clinical image-based procedures, and skin image analysis. Cham: Springer International Publishing, 2018: 164-174.
[26]
LIU S, HEMAL A. Techniques of robotic radical prostatectomy for the management of prostate cancer: which one, when and why[J]. Transl Androl Urol, 2020, 9: 906-918. DOI:10.21037/tau.2019.09.13
[27]
BERTOLO R, HUNG A, PORPIGLIA F, BOVE P, SCHLEICHER M, DASGUPTA P. Systematic review of augmented reality in urological interventions: the evidences of an impact on surgical outcomes are yet to come[J]. World J Urol, 2020, 38: 2167-2176. DOI:10.1007/s00345-019-02711-z
[28]
COUGHLIN G D, YAXLEY J W, CHAMBERS S K, OCCHIPINTI S, SAMARATUNGA H, ZAJDLEWICZ L, et al. Robot-assisted laparoscopic prostatectomy versus open radical retropubic prostatectomy: 24-month outcomes from a randomised controlled study[J]. Lancet Oncol, 2018, 19: 1051-1060. DOI:10.1016/S1470-2045(18)30357-7
[29]
ALCHIN D R, MURPHY D, LAWRENTSCHUK N. Predicting the risk of positive surgical margins following robotic-assisted radical prostatectomy[J]. Minerva Urol Nefrol, 2017, 69: 56-62.