2. 同济大学附属东方医院医学影像科, 上海 200120;
3. 解放军81医院全军肿瘤中心肿瘤内科, 南京 210002;
4. 上海中医药大学附属龙华医院肿瘤七科, 上海 200032;
5. 北京大学国际医院, 北京 102206
2. Department of Medical Imaging, East Hospital, Tongji University, Shanghai 200120, China;
3. Department of Medical Oncology, Cancer Center of PLA, No. 81 Hospital of PLA, Nanjing 210002, Jiangsu, China;
4. Department of Oncology(Ⅶ), Longhua Hospital Affiliated to Shanghai University of Traditional Chinese Medicine, Shanghai 200032, China;
5. Peking University International Hospital, Beijing 102206, China
肺癌的发病率和死亡率在全球排名第一,是全球肿瘤相关死亡的主要原因。随着人类癌症基因组的解码和针对驱动突变的疗法的出现,目前治疗能更精确选择靶向特定基因进行治疗。与常规化学治疗相比,靶向药物具有更高的反应率和更少的毒性。此外,随着对肿瘤细胞与免疫系统相互作用的深入理解,目前还发展出新的针对抗肿瘤免疫的治疗策略[1]。然而,虽然研究人员在诊断和治疗方面已取得显著进展,但晚期非小细胞肺癌(non-small cell lung cancer,NSCLC)患者的5年总体生存率变化不显著,且肺癌的发病率未见明显下降[2]。对于肺癌只有做到“早期检测、正确诊断、精准治疗”,才能从根本上延长患者生存期,提高患者生活质量。人工智能为当前行业科技化发展的核心特征,得益于计算机技术的发展和硬件的提升,将人工智能用于医疗领域大大加速了医学技术革命。鉴于肺癌的高发病率和高死亡率,人工智能在肺癌中的研究和应用进展极为迅速,本文就人工智能技术在肺癌中的应用现状作一综述。
1 人工智能技术用于肺结节筛查 1.1 计算机辅助诊断(computer-aided diagnosis,CAD)系统目前,越来越多的肺结节在检查中被发现,虽然大部分肺结节为良性病变,但仍有较高比例的早期肺癌。直径>3 cm的肺结节恶变的可能性非常高,因此需高度重视肺结节的筛查。肺结节筛查工作量大,易漏诊,且医师在检出肺结节后需准确判别其良恶性,为下一步治疗提供建议。基于上述问题,科研人员和企业投入大量物力和财力研发辅助医师筛查肺结节的人工智能系统,以帮助放射科医师迅速定位疑似结节,并提出诊断意见和治疗建议,从而减少误诊和漏诊。基于此,各种CAD工具正不断开发,研究表明CAD系统能帮助医师识别更多结节[3];此外,其还可通过结节容积法评估结节恶性肿瘤的恶性程度和治疗反应,客观分析结节形态,优化工作流程[4]。
1.2 结节图像数据库CAD系统可帮助放射科医师早期快速定位疑似结节。然而,其在进行肺结节检测、分类和定量评估时必须有一个完善、可重复的计算机断层扫描(computed tomography,CT)数据库,如肺图像数据库联盟(Lung Image Database Consortium,LIDC)和图像数据库资源计划(Image Database Resource Initiative,IDRI)联合建立的LIDC/IDRI数据库。该数据库由国家癌症研究所发起,国家卫生研究院基金会推动,并由食品药品监督管理局、7个学术中心和8个医学影像公司共同参与,包含1 018例病例,每例均包含临床胸部CT扫描图像和相关的XML文件,且该文件由4位经验丰富的放射科医师进行两阶段图像注释。在初始阶段,每位放射科医师独立检查每次CT扫描图像,并标记属于3种类型的病变(结节≥3 mm、结节<3 mm和非结节≥3 mm);在第2阶段,每位放射科医师检查自己的标记和其他3位放射科医师的匿名标记,给出最终意见。最终该数据库包含至少1位放射科医师标记为“结节”的7 371例病变,其中2 669例被至少1位放射科医师标记为“结节≥3 mm”,且有928例(34.7%)4位放射科医师均进行了如此标记。LIDC/IDRI数据库为医学图像研究社区提供了一个公开的参考,为推动CAD在临床实践中的发展、验证和传播提供重要的医学影像研究资源[5]。我国肺癌患者数量多,目前各大医院都有自己的肺结节CT数据集,但尚未见类似LIDC/IDRI数据库的中国版本。
1.3 人工智能技术在肺结节筛查中的应用有学者研发了一种检测早期肺结节的新型CAD系统,该系统主要由肺实质分割、结节候选检测、特征提取(共22个特征)和结节分类4个部分组成,并使用LIDC/IDRI数据集中的公开数据集进行训练和测试。从80个CT扫描图像中选择6 400张图片,共包含978个结节,由4位放射学家标记。该CAD系统通过快速分割法将肺结节分为888个真结节和11 379个假阳性结节,采用集成分类器随机森林(random forest,RF)诊断良恶性的准确率、灵敏度、特异度和受试者工作特征(receiver operating characteristic,ROC)曲线下面积(area under curve,AUC)分别为93.2%、92.4%、94.8%和97.6%;与支持向量机(support vector machine,SVM)分类器相比,其使用的RF能降低假阳性率,获得更高的AUC[6]。另有研究者利用LIDC/IDRI数据集的图像开发了肺结节筛查的CAD方法。该方法采用图像处理和模式识别技术,还使用闵可夫斯基函数、距离度量、点度量向量表示、三角度量和羊齿直径,最后应用遗传算法选择最优模型和SVM进行分类;最终该方法诊断良恶性的准确率、灵敏度、特异度分别为93.19%、92.75%、93.33%[7]。随后的一项研究也利用LIDC/IDRI数据集中的图像开发了一种用于肺结节分类的方法。该方法同样采用图像处理和模式识别技术,并使用形状测量,通过形状图、比例测量和基于圆柱的分析判别结节形状,随后将该方法应用于LIDC/IDRI数据库中的833幅图像,并进行k重交叉验证,最终其分类结节与非结节的平均准确率为95.33%[8]。
CT检测肺结节所得图像为多维度图像。三维卷积神经网络(convolutional neural network,CNN)能充分利用肺结节的空间三维上下文信息,采用多视角策略,提高二维CNN对肺结节的分类和灵敏度,减少假阳性率。有研究对CT检测肺结节的自动三维技术进行了综述,其中有几项研究被认为有助于医疗诊断辅助工具的构建,但仍需注意改善和优化算法,以提高对不同大小和形状的不同种类结节的检测能力、与电子病历系统和相关图像存档和通信系统的整合能力[9]。一项研究利用三维CNN从CT图像中自动检测肺结节,与二维CNN相比,三维CNN可对更丰富的空间信息进行编码,通过分层提取更有代表性的特征[10]。另一项研究利用三维多视点卷积神经网络(multiple view-convolution neural network,MV-CNN)对肺结节进行分类,该网络具有链结构和有向无环图结构,包括三维Inception和三维Inception-ResNet;对LIDC/IDRI数据集中的CT图像进行二值分类(良性、恶性)和三元分类(良性、原发性恶性和转移性恶性),可发现三维MV-CNN的性能优于二维MV-CNN,最终三维Inception网络在二值分类上的错误率为4.59%,在三元分类的错误率为7.70%[11]。
目前,基于人工智能技术的肺结节筛查大赛也在迅速展开,比较知名的有天池医疗人工智能大赛(TianCHi)、LUNA16和Kaggle大赛。TianCHi以“人工智能辅助医疗决策”为主题开发算法模型,检测CT图像中的肺结节区域;大赛数据集包含数千份高危患者的低剂量肺部CT图像(mhd格式),每张图像包含一系列胸腔的多个轴向切片,层厚<2 mm,其原始图像为三维图像,由不同数量的二维图像组成(https://tianchi.aliyun.com/competition)。LUNA16使用公开可获得的LIDC/IDRI数据库,数据集中切片厚度均<2.5 mm,共有888份肺部CT样本,比赛参考标准是4位放射科医师中有3位接受的>3 mm的结节;参与者提出的算法模型灵敏度均超过95%。4位放射科医师的最终观察表明,最好的人工智能系统可以检出那些最初注释LIDC/IDRI数据的专家漏诊的小结节[12]。Kaggle数据集中有1 000张来自高危患者的低剂量肺部CT图像(dicom格式),每张图像包含多个胸部的轴向切片;该比赛的任务是建立一种自动化方法以确定患者是否会在1年内被诊断出恶性肿瘤(https://www.kaggle.com/)。
2 人工智能技术用于肺癌病理诊断与分类组织病理和细胞病理诊断是肺癌诊疗过程中不可或缺的一环。有研究者拟通过人工智能技术对不同类型肺癌(腺癌、鳞状细胞癌、小细胞癌)进行分类,以提高病理诊断的准确性和稳定性。该研究开发了一种利用深度卷积神经网络(deep convolution neural network,DCNN)的自动分类方案,由3个卷积层、3个池化层和2个全连接层组成,显微图像的分辨率为256×256像素;为防止过度拟合,通过旋转收集图像增强、翻转、过滤,利用三重交叉验证对分类精度进行评估,结果约71%的图像可被正确分类[13]。该技术在识别肺癌细胞病理学过程中分类正确和错误的典型图例见图 1[13]。
根据病理切片富含的信息可对肺癌患者预后进行精准的判断。一项研究使用肿瘤基因组图谱(The Cancer Genome Atlas,TCGA)的2 186张肺腺癌和肺鳞状细胞癌的石蜡组织切片的全扫描图像以及294张组织微阵列(tissue microarray,TMA)数据库的图像,抽取了9 879张图像的定量特征并运用机器学习算法选取排名靠前的特征,结果显示这些特征可以很好地预测肺腺癌(P<0.003)和肺鳞状细胞癌(P<0.023)患者的生存时间;此外,利用TMA数据库中的数据验证评估模型的准确性发现,其预测这2类肿瘤的准确性差异有统计学意义(P<0.036),结果充分表明自动获取的病理图像特征可帮助预测肺癌患者的预后[14]。
3 人工智能技术预测肺癌患者的预后Sesen等[15]利用贝叶斯网络(Bayesian network,BN)结合肺癌临床数据为肺癌患者制定个性化的生存预测和治疗选择。该研究基于英国肺癌数据库(lung cancer audit database,LUCADA)评估了BN进行生存预测和治疗选择的可行性,同时比较了各种因果发现方法的性能,从专家知识和数据中探寻最可行的网络结构,结果显示BN的ROC AUC仅为0.75±0.03,而经CAMML(causal minimum message length)混合因果结构发现算法学习后其AUC可达0.81±0.03。
Lynch等[16]将线性回归、决策树、梯度增强机(gradient boosting machine,GBM)、SVM和自定义集成等大量监督学习技术用于SEER(Surveillance,Epidemiology and End Results Program)数据库,通过对肿瘤分级、大小、阶段和数量,以及患者性别、年龄的初选,对肺癌患者的生存进行分类,最终比较不同方法的预测能力。结果显示,预测性能最好的技术是自定义集成,其根均方差(RMSE)值为15.05。在生成的5个单独模型中,最精确的模型为GBM(RMSE值为15.32),虽然SVM的RMSE值为15.82,但统计分析将其作为唯一生成独特输出的模型。表明这些监督学习技术应用到肺癌SEER数据库中可以用来评估患者的生存时间,告知患者护理决策的最终目标。
4 导航辅助的计算机视觉系统与肺癌诊疗随着早期肺癌检出率的提高,肺癌治疗理念也发生相应改变,目前认为不仅要消除肿瘤,还要最大程度保留肺功能。因此,介入消融、胸腔镜切除等微创手术治疗肺癌的方式进入了“段时代”。通过影像检查进行肿瘤及周边组织的三维重建可以对肺癌手术评估精准到肺支气管段、术前模拟手术导航、术中全程三维量化实时导航,最终实现全面、准确和直观助力肺癌的精准手术或微创治疗。具体来说,手术前通过智能手段精准定位出病灶位置及病灶与周围血管、气管、支气管段的空间毗邻关系,从而通过交互式三维模型实施虚拟手术。术中将影像实时交互定量化技术带入微创介入导航,机器人全程实时定位手术器械,临床医师根据需要任意调整分割面的位置、角度、曲度,调整进针点、进针角度和深度、进针路径及消融范围等。该方式对各类胸腹部肿瘤微创介入手术(如射频消融、微波消融、冷冻消融等)均能起到辅助作用,智能外科理念在手术治疗的各个环节都会得到体现。
在支气管镜检查中,导航辅助的计算机视觉系统是极具吸引力的低成本解决方案,其可以指导内窥镜医师对周围病变进行活组织检查和组织学分析。有研究提出一种解耦的深度学习体系结构,将输入帧投射到CT渲染的领域,允许从特定患者的CT扫描数据中进行离线训练。在图形处理单元(graphic processing unit,GPU)上实现了一个完整的卷积网络体系结构,并在一个包含32个视频序列和60 000帧的伪数据集上进行测试;研究结果显示该体系的平均深度估计精度为1.5 mm,比传统的输入帧直接深度估计高出60%,计算时间为30 ms,估计的深度与真实情况相似[17]。计算机辅助技术在肺癌切除中应用的研究较多,一项研究分析了机器人辅助胸椎手术(robot-assisted thoracic surgery,RATS)与视频辅助胸椎手术(video-assisted thoracic surgery,VATS)对NSCLC患者肺叶切除的可行性和安全性;该研究纳入了12项队列研究,共60 959例患者,结果显示RATS术后死亡率明显低于VATS,但这与其中6项匹配研究的结果不一致,两种术式的发病率差异并无统计学意义[18]。另一项研究开发了一套基于知识的治疗规划算法,并将该算法应用于行立体定向体放射治疗(stereotactic body radiotherapy,SBRT)的肺癌患者。该研究纳入了治疗肺癌患者的105个SBRT计划,包括97个调强放射治疗(intensity-modulated radiotherapy,IMRT)、6个旋转调强放射治疗(volumetric-arc radiotherapy,VMAT)和2个三维适形放射治疗(conformal radiation therapy,CRT),结合上述技术进行基于知识的模型(knowledge-based model,KBM)训练,多次验证结果表明KBM可用于产生与临床计划相当的肺癌SBRT计划[19]。
5 人工智能技术预测肺癌的免疫治疗疗效肿瘤免疫治疗是近几年肿瘤治疗领域最成功的方法之一,免疫治疗方法很多,其中免疫检查点抑制剂是国际肿瘤免疫治疗的主要方向。T淋巴细胞为人体免疫细胞,其表面表达程序性死亡蛋白1(programmed cell death 1,PD-1),正常情况下能识别感染细胞并予以破坏,而肿瘤细胞表面表达程序性死亡蛋白配体1(programmed cell death ligand 1,PD-L1),其与T淋巴细胞表面的PD-1结合后使T淋巴细胞失去鉴别能力,从而无法识别和杀死肿瘤细胞。PD-1抑制剂可结合PD-1,使T淋巴细胞重新识别并摧毁肿瘤细胞。该疗法的目的是调动人体自身的免疫系统,阻断PD-1/PD-L1信号通路,促使肿瘤细胞死亡,提高患者总生存率和生活质量。如PD-L1抑制剂durvalumab可延长局部晚期不可切除的Ⅲ期NSCLC患者的无疾病进展时间(progression-free survival,PFS),durvalumab组患者的中位PFS远高于安慰剂组(16.8个月vs 5.6个月)[20]。然而,针对免疫检查点的治疗并非对所有患者有效,目前主要是通过检测肿瘤细胞的PD-L1表达水平判断疗效。Keynote-042研究显示PD-L1的表达与疗效密切相关,PD-L1表达水平越高,免疫治疗给NSCLC患者带来的获益越明显[21]。PD-L1检测方法简单、方便、直接,对染色技术要求不高,但存在较多问题:(1)医疗资源的不平衡导致检测方法和流程统一性差;(2)医师判读主观性过强,主要根据形态学和阳性染色分布,存在肿瘤异质性、组织细胞染色、非特异性染色等多种干扰因素,为准确评估染色结果,病理科一般会安排2位合格医师对同一检测结果实行背靠背判读,不一致时则请第3位医师或科内讨论,占用了医师正常工作时间;(3)创造性差,显微镜下病理医师只能判断是否染色和染色强度,难以给出定量数据,而阳性染色的定量以及与周围组织的空间距离可能有助于预测疗效和评估预后。
人工智能技术已成功应用于肿瘤病理图片中肿瘤细胞的分割、识别,也能准确定量免疫组织化学染色结果。深度学习技术同样可用于识别肺癌组织中PD-L1的表达,且其结果的客观性和重复性强,不存在人为误差;此外,其还能识别切片中的淋巴细胞、肿瘤细胞和间质,通过三维重建显示各种细胞间的空间分布,而这种空间分布也是判断免疫治疗疗效的潜在因素之一[22]。
综上所述,人工智能技术在肺癌早期筛查、病理诊断和分类、预后评估、手术导航和免疫治疗等方面都取得了一定进展,证实了人工智能技术在肺癌诊疗中的可行性。然而,由于缺乏具体的临床应用场景、标准的数据库(尤其是国内)、统一的规范或专家共识以及相应的国家政策法规,肺癌人工智能的落地还需较长一段时间,尚需科研工作者和企业踏实建立自己的数据库和行业标准,突破技术瓶颈,为肺癌人工智能的发展作贡献。
[1] |
ECONOMOPOULOU P, MOUNTZIOS G. The emerging treatment landscape of advanced non-small cell lung cancer[J]. Ann Transl Med, 2018, 6: 138. DOI:10.21037/atm |
[2] |
CHEN W, ZHENG R, BAADE P D, ZHANG S, ZENG H, BRAY F, et al. Cancer statistics in China, 2015[J]. CA Cancer J Clin, 2016, 66: 115-132. DOI:10.3322/caac.21338 |
[3] |
赵愉, 鲁雯, 王远军, 聂生东. 肺结节计算机辅助检测技术研究概述[J]. 生物医学工程学杂志, 2014, 31: 1172-1177. DOI:10.7507/1001-5515.20140222 |
[4] |
GOO J M. A computer-aided diagnosis for evaluating lung nodules on chest CT:the current status and perspective[J]. Korean J Radiol, 2011, 12: 145-155. DOI:10.3348/kjr.2011.12.2.145 |
[5] |
ARMATO S G 3rd, McLENNAN G, BIDAUT L, McNITT-GRAY M F, MEYER C R, REEVES A P, et al. The Lung Image Database Consortium (LIDC) and Image Database Resource Initiative (IDRI):a completed reference database of lung nodules on CT scans[J]. Med Phys, 2011, 38: 915-931. DOI:10.1118/1.3528204 |
[6] |
LIU J K, JIANG H Y, GAO M D, HE C G, WANG Y, WANG P, et al. An assisted diagnosis system for detection of early pulmonary nodule in computed tomography images[J]. J Med Syst, 2017, 41: 30. DOI:10.1007/s10916-016-0669-0 |
[7] |
DE CARVALHO FILHO A O, SILVA A C, DE PAIVA A C, NUNES R A, GATTASS M. Computer-aided diagnosis system for lung nodules based on computed tomography using shape analysis, a genetic algorithm, and SVM[J]. Med Biol Eng Comput, 2017, 55: 1129-1146. DOI:10.1007/s11517-016-1577-7 |
[8] |
FILHO A O C, SILVA A C, DE PAIVA A C, NUNES R A, GATTASS M. 3D shape analysis to reduce false positives for lung nodule detection systems[J]. Med Biol Eng Comput, 2017, 55: 1199-1213. DOI:10.1007/s11517-016-1582-x |
[9] |
VALENTE I R, CORTEZ P C, NETO E C, SOARES J M, DE ALBUQUERQUE V H, TAVARES J M. Automatic 3D pulmonary nodule detection in CT images:a survey[J]. Comput Methods Programs Biomed, 2016, 124: 91-107. DOI:10.1016/j.cmpb.2015.10.006 |
[10] |
DOU Q, CHEN H, YU L, QIN J, HENG P A. Multilevel contextual 3-D CNNs for false positive reduction in pulmonary nodule detection[J]. IEEE Trans Biomed Eng, 2017, 64: 1558-1567. DOI:10.1109/TBME.2016.2613502 |
[11] |
KANG G, LIU K, HOU B, ZHANG N. 3D multi-view convolutional neural networks for lung nodule classification[J/OL]. PLoS One, 2017, 12: e0188290. doi: 10.1371/journal.pone.0188290.
|
[12] |
SETIO A A A, TRAVERSO A, DE BEL T, BERENS M S N, BOGAARD C V D, CERELLO P, et al. Validation, comparison, and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images:the LUNA16 challenge[J]. Med Image Anal, 2017, 42: 1-13. DOI:10.1016/j.media.2017.06.015 |
[13] |
TERAMOTO A, TSUKAMOTO T, KIRIYAMA Y, FUJITA H. Automated classification of lung cancer types from cytological images using deep convolutional neural networks[J/OL]. Biomed Res Int, 2017, 2017: 4067832. doi: 10.1155/2017/4067832.
|
[14] |
YU K H, ZHANG C, BERRY G J, ALTMAN R B, RÉ C, RUBIN D L. Predicting non-small cell lung cancer prognosis by fully automated microscopic pathology image features[J/OL]. Nat Commun, 2016, 7: 12474. doi: 10.1038/ncomms12474.
|
[15] |
SESEN M B, NICHOLSON A E, BANARES-ALCANTARA R, KADIR T, BRADY M. Bayesian networks for clinical decision support in lung cancer care[J/OL]. PLoS One, 2013, 8: e82349. doi: 10.1371/journal.pone.0082349.
|
[16] |
LYNCH C M, ABDOLLAHI B, FUQUA J D, DE CARLO A R, BARTHOLOMAI J A, BALGEMANN R N, et al. Prediction of lung cancer patient survival via supervised machine learning classification techniques[J]. Int J Med Inform, 2017, 108: 1-8. DOI:10.1016/j.ijmedinf.2017.09.013 |
[17] |
VISENTINI-SCARZANELLA M, SUGIURA T, KANEKO T, KOTO S. Deep monocular 3D reconstruction for assisted navigation in bronchoscopy[J]. Int J Comput Assist Radiol Surg, 2017, 12: 1089-1099. DOI:10.1007/s11548-017-1609-2 |
[18] |
WEI S, CHEN M, CHEN N, LIU L. Feasibility and safety of robot-assisted thoracic surgery for lung lobectomy in patients with non-small cell lung cancer: a systematic review and meta-analysis[J/OL]. World J Surg Oncol, 2017, 15: 98. doi: 10.1186/s12957-017-1168-6.
|
[19] |
CHIN SNYDER K, KIM J, REDING A, FRASER C, GORDON J, AJLOUNI M, et al. Development and evaluation of a clinical model for lung cancer patients using stereotactic body radiotherapy (SBRT) within a knowledge-based algorithm for treatment planning[J]. J Appl Clin Med Phys, 2016, 17: 263-275. DOI:10.1120/jacmp.v17i6.6429 |
[20] |
ANTONIA S J, VILLEGAS A, DANIEL D, VICENTE D, MURAKAMI S, HUI R, et al. Durvalumab after chemoradiotherapy in stage Ⅲ non-small-cell lung cancer[J]. N Engl J Med, 2017, 16, 377: 1919-1929. |
[21] |
DE LIMA LOPES G, WU Y L, SADOWSKI S, ZHANG J, RANGWALA R, KUSH D, et al. P2.43:pembrolizumab vs platinum-based chemotherapy for PD-L1+NSCLC:phase 3, randomized, open-label KEYNOTE-042(NCT02220894):track:immunotherapy[J]. J Thorac Oncol, 2016, 11(10S): S244-S245. |
[22] |
STANTON S E, DISIS M L. Clinical significance of tumor-infiltrating lymphocytes in breast cancer[J/OL]. J Immunother Cancer, 2016, 4: 59. doi: 10.1186/s40425-016-0165-6.
|