第二军医大学学报  2019, Vol. 40 Issue (5): 478-482   PDF    
人工智能时代超声医学新发展
赵佳琦1, 刁宗平1, 徐琪2, 章建全1     
1. 海军军医大学(第二军医大学)长征医院超声诊疗科, 上海 200003;
2. 上海海事大学信息工程学院计算机科学系, 上海 201306
摘要: 人工智能(AI)技术发展至今已在许多研究领域和产业取得引人瞩目的成就,大大推动了高度依赖机器操控和海量信息数据分析的医学超声影像学的发展。目前AI在超声医学领域的发展是医工结合交叉研究的新热点,越来越多的超声医学专家和数学家、计算机科学家共同致力于推动超声医学研究与AI的融合实践,旨在提高超声诊断的准确率、降低误诊率、缩短报告时间,满足日益增长的临床需求。本文主要就超声医学在AI领域的研究进展、AI时代我国超声医学发展的机遇与挑战等作一综述。
关键词: 人工智能    医学    超声检查    诊断    
New development of ultrasound medicine in the era of artifcial intelligence
ZHAO Jia-qi1, DIAO Zong-ping1, XU Qi2, ZHANG Jian-quan1     
1. Department of Ultrasound, Changzheng Hospital, Naval Medical University(Second Military Medical University), Shanghai 200003, China;
2. Department of Computer Science, College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China
Supported by National Natural Science Foundation of China (81501492).
Abstract: Since the advent of artificial intelligence (AI), remarkable achievements have been made in many research fields and industries, which greatly promote the development of medical ultrasound imaging, which is highly dependent on machine manipulation and massive data analysis. At present, the development of AI in the field of ultrasound medicine is a new focus of the cross-research of medical-industrial integration. More and more medical ultrasound experts, mathematicians and computer scientists are working together to promote the integration of ultrasound medicine and AI, so as to improve the accuracy of ultrasound diagnosis, reduce misdiagnosis rate, shorten reporting time and meet the growing clinical needs. In this review, we summarized the advances on ultrasound medicine in the field of AI, and the opportunities and challenges in the development of ultrasound medicine in China in the era of AI.
Key words: artificial intelligence    medicine    ultrasonography    diagnosis    

人工智能(artificial intelligence,AI)发展至今已有60余年的历史,许多人工操作乃至医疗手术操作已逐渐被智能机器人取代[1-4]。然而,国内外AI在医学领域的发展仍处于起步阶段,目前是医工结合交叉研究的热点[5]。为了满足日益增长的医疗需求,越来越多的医学专家和数学家、计算机科学家共同致力于推动医学研究和AI的融合实践,特别是对现代医学中高度依赖机器操控和海量信息数据采集处理的医学超声影像学产生了较大影响[6]。在医疗活动产生的大数据中,90%以上为医学影像资料,其中超声影像因其独有的实时动态特点,数据更为庞大和复杂,人工分析数据的工作量巨大且准确性易受人为主观因素影响。新兴的云存储、机器学习、语音和医学图像处理、卷积神经网络[7-8]等计算机技术的飞速发展,推动了现代超声影像医学向智能医学的迈进,有望促进数字医疗发展,构建新的智能医疗模式。

目前,业界对医学影像AI的定位共识在于计算机辅助诊断(computer-aided diagnosis,CAD),基于图像数据的医学影像检查,如超声、磁共振成像(magnetic resonance imaging,MRI)、计算机断层扫描(computed tomography,CT)、X线片、正电子发射计算机断层显像(positron emission computed tomography,PET)是医疗智能诊断的最佳数据来源。几乎所有基于医学影像的CAD系统均具有如下的设计流程[9]:首先通过计算机对医学影像采集的图像进行预处理,然后选取勾画出感兴趣区,再通过计算机选择并提取相应的特征进行分类识别,最后由专业医师进行综合判读,得到程式化诊断结论。

AI影像辅诊系统借助计算机代替了人工大量重复性、机械性的工作,使医师有精力和时间诊断更多的患者,进行更有价值的诊疗探索;简化了工作流程和管理,提高了超声医师的工作效率,特别是能够减少依靠超声医师主观经验而造成的诊断误差。本文旨在对超声医学在AI领域的研究进展及AI时代我国超声医学发展的机遇与挑战等作一综述。

1 超声医学在AI时代的发展现状 1.1 超声医学的工作现状及智能化需求

无论是在国外还是国内,临床超声医师的工作职责均包括报告诊断、选择复查、通报会诊、资料查询等。但国外超声部门隶属于影像科,工作人员分为超声技师和超声医师,技师负责患者的扫描检查与资料汇总,而医师则进行诊断与会诊,二者分工明确,工作量和工作强度均相对较低,对出具报告的时效性要求也不如国内高。国内超声科是一个独立的平台科室,因超声检查具有便捷、经济、无损伤、无辐射、报告快速等优势,使得临床医师和患者对超声检查诊断的需求急剧增加,从而导致普遍存在超声医学数据信息量大,超声医师的工作量、工作强度和责任风险大,以及诊断水平主观差异大、质量缺乏统一标准等问题。

智能化工具的出现可以满足目前医疗环境对于超声诊断领域快速、准确、统一标准的急迫需求。美国血管超声检查规范采用Jefferson智能化模板记录和提取工作站,便于医师根据技师的标准化扫描检查操作存储的图像信息给出标准化、客观统一的诊断意见,这为我国率先探索成立血管超声规范化培训中心提供了借鉴与参考[10]。随后国内也相继对腹部、浅表、妇产等超声各亚专业的诊断规范与指南进行统一细化并制定质量控制标准,针对超声诊断报告中存在的问题,如陈述性和非结构化的超声报告模式、报告中的大部分数据松散无序、提供信息有限、超声影像描述术语使用不统一、诊断报告缺乏可比性等,进行了智能化诊断工具的探索[11-12]

智能化的超声诊断工具应具有如下特点:(1)可对超声扫描检查和记录建立统一标准,以专科系统(腹部、血管、浅表、妇产、心脏、肌骨等)超声分类、以器官为基础(肝、胆、胰、脾、肾、乳腺等)扫描检查获取规范化和标准化的图像;(2)在超声仪器内设定统一的操作流程和检查标准,自动切换显像模式、自动定位取样位置、转换新的体表标识等;(3)对正常或阴性检查流程进行高效智能优化,保证超声图像存储的系列性和一致性,改进单一重复的工作模式;(4)将超声仪器和影像存档与通讯系统(picture archiving communication system,PACS)进行一体化改进,对存储的超声图像按照扫描检查切面、部位器官、检查模式进行智能化分类排列,对报告编辑中出现的错误术语进行屏蔽或自动纠错,对超声危急值进行警示报告,建立智能化的超声检查报告模板,并给予智能化辅助诊断和建议。

1.2 AI在超声医学领域的应用示例 1.2.1 甲状腺超声智能诊断

基于甲状腺病变的超声特征,可采用计算机技术对结节内部囊实成分、回声强度、边界清晰度、形态规则度、钙化程度、形状、纹理异质度等进行智能化恶性风险判读。目前,上市许可的甲状腺超声图像分析系统AmCAD-UT® Detection是利用计算机视觉技术对甲状腺结节的超声特征进行量化分析,从而提供客观一致的视觉化超声影像和高准确率的判读结果,并即时生成数字化超声报告。近年来多次开展的人机竞技读片交流会上,甲状腺超声机器人辅助超声医师在短时间内诊断甲状腺结节良恶性的准确率基本达到主治医师以上水平,表明超声机器人可以接收甲状腺超声图像,即时生成检查结果,标注结节位置和尺寸,有效识别超声影像特征,从而缓解超声医师的工作压力[13]

1.2.2 乳腺超声计算机辅助诊断

基于乳腺影像报告与数据系统(breast imaging reporting and data system,BI-RADS)的乳腺结节超声诊断可使超声医师根据乳腺结节的超声特征结合个人经验对结节的良恶性风险范围作出评估。结合BI-RADS开发的乳腺超声CAD系统提取和量化分析乳腺结节的形态特征与纹理特征,有助于提高诊断的准确率和一致性,减少医师主观判读的误差[14]

1.2.3 自动乳腺全容积超声成像及图像解析

采用自动乳腺全容积扫描(automated breast volume scanner,ABVS)可在短时间内自动获得层间距为0.5~0.8 mm、超过500个层面的超声二维图像,然后进入分析系统,快速地对采集的图像数据进行冠状面、纵切面和横切面的特征分析[15]。ABVS可观察传统二维超声不能显示的乳腺冠状面图像,有助于直观显示乳腺肿瘤内部结构和形态特征。有研究表明乳腺恶性肿瘤冠状面“汇聚征”的出现率与肿瘤浸润性及有无同侧腋窝淋巴结转移有关[16],其可作为评价乳腺恶性肿瘤生物学行为的一项辅助指标,为临床提供参考依据。

1.2.4 肝脏超声影像报告和数据智能化

智能化的肝脏超声影像报告和数据系统可以完成对肝硬化或其他危险因素的肝细胞癌影像诊断,采用规范一致的肝脏影像术语,减少对图像解读的主观差异与错误,能够提高诊断质量及对临床提供科学诊断依据。宋家琳等[17]提出了适合评估肝硬化程度的超声图像算法,对超声图像的肝脏包膜连续性和平滑度几何特征、肝实质粗糙度和形状不规则度以及肝血管平滑度、僵硬度等纹理特征进行定量分析,以可视化智能手段间接评估肝硬化患者的肝功能。Pavlopoulos等[18]用模糊神经网络对肝脏超声图像进行分析,结果表明分形维度纹理分析(fractal dimension texture analysis,FDTA)、空间灰度独立矩阵(spatial gray level dependence matrix,SGLDM)、灰度共生矩阵(gray level co-occurrence matrix,GLCM)、灰度运行长度统计(gray level run length statistics,RUNL)、一阶灰阶参数(first order gray level parameter,FOP)5个特征参量通过几何图形模糊装置向网络输入训练,能够用于智能化识别肝脏弥散性病变,对脂肪肝、肝纤维化和正常肝脏做出区分。

1.2.5 计算机辅助骨骼肌损伤超声定量诊断

随着高分辨率超声在骨骼肌系统的广泛应用,超声医师期望借力AI技术来提高骨骼肌损伤超声影像临床判读的一致性及准确率[19]。赵佳琦等[20-22]通过开展计算机视觉定量识别骨骼肌纹理的一系列实验研究和初步临床实践,验证了自主研发的技术“骨骼肌损伤超声图像纹理定量分析的强度界面多级分解法”。该方法是在多尺度斑块分解思想的基础[23]上,基于个体肌纤维的几何特征和肌纤维之间分布的几何特征,从8个不同层次应用计算机工具辅助诊断肌肉损伤,并采用结构化信息极大分解的计算机图像处理专利技术(专利号:201510019412.4)[24]实现AI对超声造影后肌肉损伤区域模糊边缘的分割。

1.2.6 其他超声智能工具

心脏彩色超声自动心肌运动定量技术(automated cardiac motion quantification,aCMQ)提供了评价整体和节段心脏功能的方法,其基于二维斑点追踪技术,提供一套测量工具和系列定量参数,无角度依赖性,评价的心肌运动测量结果更准确[25]。智能三维超声成像简便易行,可以完成胎儿颅脑标准切面以及胎心切面的自动识别[26],可一键获取最佳图像,完成相关参数的自动检测,无需手动调节。利用模块化软件系统可对血管超声图像进行自动化辅助解析[27],简化了血管超声检查流程,减少了对操纵者的依赖性,缩短了检查时间。基于多阶段回归模型和时空回归模型,采用计算机技术已实现了对盆底超声中膀胱脱垂分级的自动化研究[28]

2 AI时代我国超声医学发展的机遇与挑战 2.1 AI发展规划及超声领域应用的良好前景

科技的高速发展促使新一代AI技术广泛应用于医学大数据的超声影像中,其优势显而易见。在日常超负荷工作量和复杂高风险的检查压力下,超声AI系统能优化检查流程、规范诊断标准、缩短检查与报告时间,显著提高超声医师的诊断信心和工作效率。可以预见AI在未来助力超声诊断与治疗技术、人才培养等方面具有广阔的创新与发展前景。

大数据+AI+超声医学不断融合发展,可以使医院、医师和患者三方都能从超声智能化中获益,从而提升医疗服务质量,颠覆传统医学教育模式。这种智能化、数字化的超声诊疗平台可向基层医院推广,提高基层超声医师的诊断水平,让基层患者也能获得专家医师的服务;可部署在医院和健康体检中心,协助医师完成大量的超声体检筛查,减轻超声医师工作压力,弥补人手的不足;可将超声智能系统部署在云端,通过互联网联合多家医院建立远程会诊体系,为偏远地区较为落后的医疗服务提供技术支持;同时,还可与远程医疗平台开展在线合作,面向与平台签约的全国医院的医师提供服务。

2.2 超声诊断设备搭上AI是顺势而为

我国医疗资源分配不均衡,基层医师专业能力有很大的提升空间,加之临床对超声诊断需求旺盛,因此更新超声设备势在必行。开发植入超声智能的辅助诊断系统,实现检查、诊断、治疗一体化,可使医院获得更多的共享资源及技术保障,系统性地降低成本,也能帮助医师提高读片效率、降低误诊的概率,特别是有助于对罕见病和肉眼容易误判的疾病做出准确识别。机器人辅助介入超声、智能导航定位穿刺能够为患者提供更精准的治疗方案[29]

2.3 超声AI发展中存在的问题

利用超声图像的大数据,探讨机器学习及深入学习,深化计算机辅助诊断,提高组织定征的水平,实现医学图像智能识别是大势所趋。但医疗行业是一个容错率极低的行业,超声诊断有一定复杂度,且每位医师的扫描手法不同,得到的数据不可避免的具有主观性差异,因此对影像识别算法有很高要求。获取大数据更需要超声医师提供临床知识和经验,再由计算机专家把医学特征转化成高效的计算机语言,让机器进行深度学习。对于超声AI研究团队来说,如何找到适用特定疾病的图像特征来进行数据分类、收集、规范和标注是关键[30],获取超声影像后,如何制定出适合超声医师和算法工程师的感兴趣区勾画标准,需要超声医师和计算机技术人员共同探讨。

尽管如此,开发AI超声诊断工作站,利用PASC的全方位信息,基于循证医学知识,在心脏、血管、甲状腺、乳腺、肌骨、肝脏、妇产等领域实现智能辅助诊断的功能大有可为。但医学影像信息超载,快速和大量的智能化读片不可避免地会在医患之间产生一定的隔阂,超声医师之间缺乏沟通与交流,综合性的超声影像诊断被普遍程式化。

今后在超声介入治疗方面,可进一步开发完善AI导航介入系统,通过计算机软件实时监控穿刺的位置,提高穿刺的准确性;开发远程操控扫描检查机器人和无线传输技术,实现远近程交互的精准诊断与介入治疗,协助医师完成临床诊疗操作。但这些不可避免地使医师更加依赖程式化的设备操作,从而缺乏个性化诊疗特色。

2.4 超声人员的未来职业发展方向

在短时间内,AI仍不可能完全代替医师,特别是医疗过程中倡导的人文关怀、逻辑推理等是机器无法取代的。但是,AI的超强学习能力和综合分析处理问题的能力使其具备了几乎超越人脑对疾病超声图像定量分析和精准诊疗的潜能[31],在未来必将改变超声从业人员的工作方式,如自动化扫描各脏器的标准切面并自动出具相关报告,成为超声医师诊疗工作中不可或缺的重要辅助工具。

3 小结

AI技术有力推动了高度依赖机器操控和海量信息数据分析的超声医学领域的发展,满足了目前医疗环境对于超声诊断的快速、准确、统一标准的需求。虽然我国的超声AI发展过程中面临着一些问题与挑战,相信通过大数据+AI+超声医学的不断融合,可以提高超声诊断的准确率、降低误诊率、缩短报告时间及提升医疗服务质量,满足日益增长的临床需求,并使医院、医师和患者三方都能从超声人工智能化中获益,具有广阔的创新和发展前景。

参考文献
[1]
孔祥溢, 王任直. 人工智能及在医疗领域的应用[J]. 医学信息学杂志, 2016, 37: 1-5.
[2]
PEEK N, COMBI C, MARIN R, BELLAZZI R. Thirty years of artificial intelligence in medicine (AIME) conferences:a review of research theme[J]. Artif Intell Med, 2015, 65: 61-73. DOI:10.1016/j.artmed.2015.07.003
[3]
杨海峰, 田增民, 孙跃春, 崔刚, 李宾, 张智波, 等. Remebot第六代神经外科机器人的临床应用[J]. 中国临床医生杂志, 2017, 45: 86-88.
[4]
徐大华, 刘东斌.高科技推动微创外科发展[J/CD].中华腔镜外科杂志(电子版), 2017, 10: 193-195.
[5]
SPECTOR L. Evolution of artificial intelligence[J]. Artif Intell, 2006, 170: 1251-1253. DOI:10.1016/j.artint.2006.10.009
[6]
金征宇. 前景与挑战:当医学影像遇见人工智能[J]. 协和医学杂志, 2018, 9: 2-4.
[7]
ESTEVA A, KUPREL B, NOVOA R A, KO J, SWETTER S M, BLAU H M, et al. Dermatologist-level classification of skin cancer with deep neural networks[J]. Nature, 2017, 542: 115-118. DOI:10.1038/nature21056
[8]
蔡航. 基于神经网络的医疗诊断专家系统[J]. 数理医药学杂志, 2002, 15: 294-295. DOI:10.3969/j.issn.1004-4337.2002.04.003
[9]
STOITSIS J, VALAVANIS I, MOUGIAKAKOU S G, GOLEMATI S, NIKITA A, NIKITA K S. Computer aided diagnosis based on medical image processing and artificial intelligence methods[J]. Nucl Instrum Methods Phys Res A, 2006, 569: 591-595. DOI:10.1016/j.nima.2006.08.134
[10]
温朝阳, 王金锐, 刘吉斌, 姜玉新, 华扬, 詹维伟, 等.中国血管超声规范化及其继续教育探索[J/CD].中华医学超声杂志(电子版), 2010, 7: 2016-2024.
[11]
周嫱, 李炜, 智明春, 李贞爱. 产科超声工作站的应用[J]. 中国医疗设备, 2016, 31: 121-122.
[12]
唐守信, 张家君, 卢川. 甲状腺影像报告和数据系统临床应用进展[J]. 医学影像学杂志, 2017, 27: 1573-1575.
[13]
何献忠, 许仲兴, 陈欣, 龚连生. 人机大战引发智能医疗的探讨[J]. 中国医学工程, 2016, 24: 35-37.
[14]
施俊, 王锐玲, 周世崇, 常才. 结合乳腺影像报告和数据体系的乳腺超声CAD研究进展[J]. 生物医学工程学杂志, 2010, 27: 1169-1172.
[15]
林方才, 孙欣, 矫健, 刘娜, 查笑丹.自动全容积乳腺超声成像和超声光散射对乳腺结节诊断的对比研究[J/CD].中华临床医师杂志(电子版), 2012, 6: 7898-7899.
[16]
谭艳娟, 包凌云, 黄安茜, 朱罗茜, 阚光娟, 刘坚. 乳腺恶性肿瘤冠状面汇聚征与临床病理学相关因素分析[J]. 中国超声医学杂志, 2015, 31: 587-589.
[17]
宋家琳, 刘翔, 章建全, 陈雁秋, 刁宗平, 盛建国, 等. 高频超声影像肝脏包膜几何特征定量评价患者肝硬化程度[J]. 中国医学影像技术, 2015, 31: 1907-1910.
[18]
PAVLOPOULOS S, KYRIACOU E, KOUTSOURIS D, BLEKAS K, STAFYLOPATIS A, ZOUMPOULIS P. Fuzzy neural network-based texture analysis of ultrasonic images[J]. IEEE Eng Med Biol Mag, 2000, 19: 39-47. DOI:10.1109/51.816243
[19]
赵佳琦, 徐琪, 章建全, 黄禾菁, 刁宗平. 骨骼肌超声诊断迈向人工智能新领域:计算机辅助骨骼肌损伤超声定量诊断[J]. 第二军医大学学报, 2017, 38: 1217-1224.
ZHAO J Q, XU Q, ZHANG J Q, HUANG H J, DIAO Z P. Ultrasound diagnosis of skeletal muscle promoted by artificial intelligence:a quantitative evaluation of injured skeletal muscle by computer-aided ultrasonographic texture analysis[J]. Acad J Sec Mil Med Univ, 2017, 38: 1217-1224.
[20]
赵佳琦, 章建全, 徐琪, 陈雁秋, 盛建国, 卢峰, 等.超声图像纹理分析技术对离体猪横纹肌理化损伤模型的定量研究[J/CD].中华医学超声杂志(电子版), 2013, 10: 674-680.
[21]
ZHAO J, ZHANG J, XU Q, SHENG J, DIAO Z, LIU S. Quantitative evaluation of striated muscle injury by multiscale blob features method[J]. J Med Ultrason (2001), 2016, 43: 337-345. DOI:10.1007/s10396-016-0708-y
[22]
赵佳琦, 章建全, 赵璐璐, 宋家琳, 潘倩, 盛建国, 等.不同消融功率致兔骨骼肌急性微波热损伤修复的超声影像演变特征[J/CD].中华医学超声杂志(电子版), 2016, 13: 780-789.
[23]
XU Q, WU H S, CHEN Y Q. Statistical multiscale blob features for classifying and retrieving image texture from large-scale databases[J]. J Electron Imaging, 2010, 19: 1-7.
[24]
陈东太郎, 徐琪, 曾卫明.一种基于结构化信息极大分解的肌肉损伤超声造影图像分割方法: 201510019412.4[P]. 2017-10-03.
[25]
宋芫, 赵博文, 王蓓, 彭晓慧, 许立龙, 郭河清, 等. 超声心动图自动心肌运动定量技术评测左心室收缩功能的相关性研究[J]. 中华超声影像学杂志, 2017, 26: 7-11. DOI:10.3760/cma.j.issn.1004-4477.2017.01.002
[26]
佟彤, 熊奕. 智能三维超声成像在胎儿领域的应用进展[J]. 中国介入影像与治疗学, 2016, 13: 188-191.
[27]
STOITSIS J, GOLEMATI S, NIKITA K S. A modular software system to assist interpretation of medical images-application to vascular ultrasound images[J]. IEEE Trans Instrum Meas, 2006, 55: 1944-1952. DOI:10.1109/TIM.2006.884348
[28]
季兴.盆底超声中基于回归模型的膀胱脱垂自动分级[D].深圳: 深圳大学, 2017. http://cdmd.cnki.com.cn/Article/CDMD-10590-1017812659.htm
[29]
胡晨明, 徐静, 梁萍, 鲁通, 任贺, 王旸, 等. 用于超声引导介入治疗的三维超声系统[J]. 中国医疗器械信息, 2007, 13: 68-71.
[30]
王弈, 李传富. 人工智能方法在医学图像处理中的研究新进展[J]. 中国医学物理学杂志, 2013, 30: 4138-4143. DOI:10.3969/j.issn.1005-202X.2013.03.013
[31]
MURAD A, PYUN J Y. Deep recurrent neural networks for human activity recognition[J/OL]. Sensors (Basel), 2017, 17. pii: E2556. doi: 10.3390/s17112556.