肿瘤防治研究  2020, Vol. 47 Issue (7): 487-491
本刊由国家卫生和计划生育委员会主管,湖北省卫生厅、中国抗癌协会、湖北省肿瘤医院主办。
0

文章信息

人工智能在病理诊断领域中的应用
Application of Artificial Intelligence in Pathological Diagnosis
肿瘤防治研究, 2020, 47(7): 487-491
Cancer Research on Prevention and Treatment, 2020, 47(7): 487-491
http://www.zlfzyj.com/CN/10.3971/j.issn.1000-8578.2020.19.1131
收稿日期: 2019-09-06
修回日期: 2020-04-09
人工智能在病理诊断领域中的应用
沈晓涵1,2 ,    杜祥3,4     
1. 315040 宁波,宁波市临床病理诊断中心实验病理科;
2. 315040 宁波,宁波市医疗中心李惠利医院病理科;
3. 200032 上海,复旦大学附属肿瘤医院病理科;
4. 200032 上海,复旦大学上海医学院病理研究所
摘要: 在大数据的背景下,基于深度学习的人工智能日益影响着病理学的诊断模式。人工智能应用于临床诊断,特别是病理诊断,为进一步实现精准医疗提供了契机。本文从细胞学筛查、组织学诊断、免疫表型预测和基因分型预后判断四个方面来探讨人工智能在病理诊断中的应用进展及现状。
关键词: 人工智能    病理诊断    弱监督学习    预后预测    
Application of Artificial Intelligence in Pathological Diagnosis
SHEN Xiaohan1,2 , DU Xiang3,4     
1. Department of Experimental Pathology, Ningbo Diagnostic Pathology Center, Ningbo 315040, China;
2. Department of Pathology, Ningbo Medical Center Lihuili Hospital, Ningbo 315040, China;
3. Department of Pathology, Fudan University Shanghai Cancer Center, Shanghai 200032, China;
4. Pathology Institution, Shanghai Medical College, Fudan University, Shanghai 200032, China
Abstract: In the context of "big data", artificial intelligence based on deep learning has been increasingly influencing the diagnostic mode of pathology. The application of artificial intelligence in clinical diagnosis, especially in diagnosis of pathology, has offered the opportunity for precision medicine. This paper reviews the progress in the application of artificial intelligence in pathological diagnosis in respect of cytological screening, histopathologic diagnosis, immunophenotypic prediction and prognosis based on genetic typing.
Key words: Artificial intelligence    Pathological diagnosis    Weakly supervised learning    Prognosis prediction    
0 引言

2019年8月29日,世界人工智能大会在上海开幕,人工智能(artificial intelligence, AI)再次成为关注焦点,新一代AI正在深刻地改变各个领域,医学是主要领域之一。医学图像包括X线图像、CT图像、眼底镜图像、病理图像等,医学成像作为常用的医疗辅助检查手段,在疾病诊疗中起着重要作用[1]。病理诊断常被视为诊断的“金标准”或“最终诊断”,在临床诊断中尤为关键[2]。然而,长时间的人工阅片常导致诊断准确率下降,且病理医师的诊断具有一定主观性,由于疲劳阅片及主观差异性等因素势必会带来一定的误诊率,从而导致误治[3-4]。全切片数字化扫描技术(whole slide imaging, WSI)的出现,掀起了一股用计算机进行病理切片图像自动阅片的浪潮。然而,染色密度、切片平整度以及组织固定等问题均会对病理切片的质量产生影响。此外,在图像采集过程中,图像压缩时变形、噪声的出现以及切片扫描仪自身的特性,都将影响图像的质量[2, 5]。这些因素为AI算法的应用带来了挑战和契机,也是目前重点关注的问题和研究方向。

1 深度学习概述 1.1 卷积神经网络

图像识别有多种常用方法,如贝叶斯分类法、模板匹配法等,这些方法在处理图像时均有一定局限性。而深度学习算法使复杂的特征提取简单化、抽象化,具有高速、省时及高识别率的优点,为准确高效的图像识别带来了新契机[6-7]。卷积神经网络(convolutional neural network, CNN)的研究及其在医学诊断中的应用,是将其应用于医学图像识别中,通过深度学习的方式自动识别图像[8-9]。CNN具有较强的鲁棒性(即系统的健壮性,是指控制系统在一定的参数摄动下,维持某些性能的特性,反映了在异常和危险情况下系统生存的能力)、记忆、自学习等能力,在图像识别中准确度较高,因此可为临床医生提供更为客观的诊断结果,具有广泛的应用前景。目前CNN作为深度学习算法的代表之一,因其结构较为简单且适用性较强,广泛应用于医学图像处理和模式识别中,特别是影像学与病理学[1, 10-11]

CNN是一种层次网络结构,由输入层、卷积层、激活函数层、池化层、全连接层及输出等部分组成[12-13]。原始数据经卷积、激活函数及池化等层层操作,最终剥离出高层语义概念,即前馈运算。通过误差函数计算真实值和输出值之间的误差值,反向逐层反馈并更新每层参数,即反馈运算。通过前馈与反馈运算,最终实现训练目的。CNN在图像识别及准确率方面均有较大优势,但仍有多方面不足,例如,减少参数量的同时如何提高运算效率、在训练CNN模型的过程中如何选择合适的卷积核大小以及如何设计网络结构等,都是CNN发展过程中亟需解决的问题[14]

1.2 弱监督学习与多示例学习

CNN是一种基于完全监督的深度学习模型,要求样本类标完整。而在现实问题中,类标信息往往是弱监督的。弱监督学习是一个总括性术语,包括了通过较弱的监督来构建预测模型的各种研究。弱监督主要分为三种类型:不完全监督,即只有训练数据集的一个子集有标签,其余数据无标签;不确切监督,即只有粗粒度的标签;不准确监督,即给定的标签并非总是真值,通常由于标注者主观因素或图像本身难以分类[15]。解决弱监督样本集的训练问题,一直都是深度学习的研究重点,并形成了系统的理论架构,其一是多示例学习[16-18]。多示例学习是指将样本集看作一个含若干包的集合,每个包中均含有若干数量的示例(即样本特征)。当且仅当一个包中至少有一个示例为正时为正包,反之则为负包。训练集中包的标记已知而示例的标记未知,目的则是在示例标记未知情况下预测包的标记。多示例学习是从关注对示例类标的预测转为关注包类标的预测,而非直接对每个示例样本进行预测。如将学习得到的深度特征与多示例学习算法结合,可解决弱监督学习下的图像分类问题,从而提高算法性能[18]。目前的AI辅助病理诊断主要基于完全监督学习,需要大量的人工标注,并由具备长期经验的病理专家完成。染色浓度、成像模式及病理切片制作过程中人为操作等问题严重影响病理图像的质量,以及手动标注过程中病理图像的数量限制,使AI辅助病理诊断成为当前临床诊疗AI研究领域的较大难题。因此,若能采用弱监督学习的方式来构建AI诊断模型,将极大提高病理专家的诊断效率,减少时间及人力成本。

2 AI辅助病理诊断的研究及应用 2.1 细胞学筛查

人工智能辅助细胞学筛查最初应用于宫颈癌细胞的辨认和分割。Song等[19]提出了基于超像素和CNN的分割方法用于宫颈癌的细胞学筛查,结果显示检测其精度达94.5%,为宫颈癌细胞的辨认奠定了AI应用基础。Al-batah等[20]提出一种多重适应神经模糊推理系统的模型,能将宫颈细胞图像分为正常、低级别鳞状上皮内瘤变(low-grade squamous intraepithelial lesion, LSIL)和高级别鳞状上皮内瘤变(high-grade squamous intraepithelial lesion, HSIL)三组,结果显示判读LSIL的准确度为92.6%,HSIL为93.7%,正常细胞为97.3%。目前,AI辅助宫颈癌细胞学筛查为临床病理诊断中最有前景的应用领域[21]

2.2 组织学诊断

近期,MSKCC计算机病理实验室THOMAS FUCHS团队公布了一项基于15 000例癌症患者的4万余张数字化病理切片的新AI系统,结果显示,前列腺癌、基底细胞癌和腋窝淋巴结转移乳腺癌的测试曲线下面积(area under the receiver operating characteristic curve, AUC)分别为0.991、0.988和0.966[22]。该系统为首个临床级别的AI系统,训练过程中使用的数据均来自常规病理报告,以多示例学习结合递归神经网络的弱监督学习方式在数据集中进行训练。该研究纳入了三个数据集,包括来自44个国家和地区的15 187例癌症患者的44 732张病理切片图像,其中24 859张前列腺癌、9 962张基底细胞癌、9 894张淋巴结转移乳腺癌切片图像,比以往研究中的数据集大一个数量级以上,因而对肿瘤病理多样的组织学形态有更高的识别度。研究同时纳入了具有常见技术问题的切片,如气泡、固定不佳、组织不平整、数字图像模糊等。据研究者估计,若该系统投入临床使用,在保证100%敏感度的条件下,能够减少病理医师65%~75%的读片工作。该项研究还对来自MSKCC以外医疗机构提供的12 000张切片数据进行了验证,最终结果AUC下降5.84%,下降的误差主要由于新数据的特异性、敏感度无显著差异。此外,研究者还将该模型和基于完全监督学习的AI模型进行对比,对两者的数据集进行交叉训练后显示,新AI模型具有较好的性能。由此可见,与精细的人工标注相比,数据量大更具有意义。

目前关于针对不同肿瘤的AI竞赛中,乳腺癌几乎成为竞赛热点,为AI在病理图像识别领域的应用做了很好的示范和推广。例如,2016年由电气和电子工程师协会(Institute of Electrical and Electronics Engineers, IEEE)下属的国际生物医学成像研讨会(International Symposium on Biomedical Imaging, ISBI)举办了癌症淋巴结转移检测竞赛(Cancer Metastases in Lymph Nodes Challenge 2016, CAMELYON16)[23],针对常规HE染色的数字扫描切片,在无时间限制条件下,部分计算机学习结果与病理学专家诊断结果无明显差异,而在有时间限制条件下,部分计算机学习结果明显优于病理学专家的平均水平。此外,Cruz-Roa等[24]采用了CNN检测整张病理切片图像上浸润性导管癌的存在,与手动标注的浸润性导管癌区域相比,阳性预测值为71.62%,阴性预测值为96.77%。基于AI的图像分析因其较高的准确性和工作效率,引起了病理界的广泛关注,进一步推动了AI在病理诊断领域的深入研究[25]

2.3 免疫表型预测

免疫组织化学(immunohistochemistry, IHC)是利用抗原和抗体特异性结合的原理对病理标本进行切片、染色,使标记抗体的显色剂显色,从而确定细胞内的抗原,对其进行定位、定性及定量研究。IHC虽为病理诊断中最常用的检测手段之一,但该检测耗时且昂贵,且依赖于病理医师的主观判读。因此,如何用基于AI的图像分析替代IHC检测正成为研究者的关注热点。Shamai等[26]利用CNN算法分析基于形态学的分子表达谱(morphological-based molecular profiling, MBMP),以此来预测乳腺癌免疫组织化学雌激素受体(estrogen receptor, ER)表达情况,并探索乳腺癌组织学形态特征与ER表达之间的关联,结果显示MBMP在预测ER表达方面具有与IHC相当的准确度。该研究推断,通过适当的AI模型可识别肉眼无法观察到的形态模式,并从HE染色图像中预测分子表达。另一项研究则训练了一个AI模型,预测非小细胞肺癌HE图像中PD-L1的状态,从而判断患者受益于PD-1/PD-L1抑制剂的可能性[27]。在训练组中,研究者提供了超过145 000张病理图像来学习PD-L1+和PD-L1-的HE图像特征,测试组中预测PD-L1状态,其AUC达到0.80。该模型对肺腺癌中的PD-L1状态预测优于肺鳞状细胞癌,且对预测不同病理学家之间诊断的差异也有较好的鲁棒性,即使在对应于最大病理学家间分歧(25%重组样本)的情况下,该模型仍保留预测能力(AUC=0.66, P=0.01)。通过基于AI图像分析来预测肿瘤特征性免疫表型的表达状态,从而替代IHC检测,不仅有助于患者的个性化诊断,还可为患者预后评估提供依据。

2.4 基因分型及测序分析相关应用

近期有研究表明,深度学习算法可通过组织学分级和基因分型对星形细胞瘤进行预后预测[28]。研究者通过生存卷积神经网络(Survival Convolutional Neural Network, SCNN)算法构建AI模型,有效识别了与星形细胞瘤中的异柠檬酸脱氢酶(isocitrate dehydrogenase, IDH)突变相关的组织学差异,并相应预测了患者预后,其预测准确性超过基于基因分型和组织学分级的最新版WHO标准。

随着高通量测序(Next-Generation Throughput Sequencing, NGS)的到来,生物信息学面临的主要挑战是如何有效地将基因组学大数据转化为有价值的信息。NGS数据产生错误的复杂性以及处理大数据的耗时性是现今NGS发展所面临的主要问题。AI技术以其高效和精准的数据处理能力,在生物信息学、基因组学等领域具有较好的潜在应用价值。在一篇相关报道中,研究者构建AI模型分析RNA测序数据集(RNASeq),从基因表达谱中识别生物标志物以区分乳头状肾细胞癌的不同分期,根据不同的算法筛选了80个呈显著相关性的基因,并通过细胞特征提取揭示了晚期染色体不稳定性增加的潜在机制[29]。NGS技术产生的大量基因组学数据需要越来越多快速和复杂的算法,这为深度学习应用于NGS各个领域并加速测序进程提供了契机。有研究者归纳了基于不同NGS应用领域可用的深度学习算法,其中应用占比最高的是蛋白质与调控序列领域,占50%;其余依次为单核苷酸多态性(Single Nucleotide Polymorphism, SNPs)(18.75%)、表观遗传学修饰(12.50%)、生物标志物研究与监测(6.25%)、蛋白质结构预测(6.25%)和mRNA剪接变异领域(6.25%)[30]

3 总结与展望

综上所述,深度学习算法大大推动了AI辅助病理诊断的发展。近年来,从细胞学筛查到组织病理学的诊断分类、预后判断,再到分子病理学的基因分型、NGS领域等多层面的科学研究显示,AI在病理诊断中正体现越来越重要的价值。然而由于医疗数据的限制以及临床高准确率的要求,AI辅助病理诊断现阶段大多尚未能真正走出实验室进入临床应用,仍存在较多局限。但在大数据和云计算技术的协同作用下,病理AI技术将迎来快速发展期。近期,AI辅助病理诊断有望在多方面改变我们的业态,给病理诊断带来更多便利,从而提高病理医师工作效率,降低漏诊、误诊率[31]。计算机能发现人眼不易察觉的细节,学习病理图像分子层面上的特征,进而不断完善病理诊断的知识体系[32]。AI不仅能用于组织学形态判断,还可整合免疫表型、基因分型和临床相关信息,得出一个具有综合信息的诊断报告,为患者提供预后预测和精准的药物治疗指导。当然,作为一种辅助诊断技术,AI并不能替代病理学专家,而是为病理诊断带来更多便利[31]

从长远趋势来看,AI技术在病理诊断中的应用有可能为缓解病理领域诸多困境和挑战、实现精准医疗带来更多契机,从而改善中国目前病理医师缺乏、诊断水平地区差异大的局面,为构建方便快捷的新型诊断模式奠定坚实基础。基于深度学习的AI在病理诊断中的深入研究,将为新型医疗模式带来无限可能。

作者贡献

沈晓涵:论文撰写与修改

杜祥:论文审查与指导

参考文献
[1]
Bi WL, Hosny A, Schabath MB, et al. Artificial intelligence in cancer imaging: Clinical challenges and applications[J]. CA Cancer J Clin, 2019, 69(2): 127-157.
[2]
王艺培, 闫雯, 张益肇, 等. 面向精准医疗的人工智能在病理图像中的应用[J]. 现代信息科技, 2018, 2(5): 170-172. [Wang YP, Yan W, Zhang YZ, et al. Application of artificial intelligence for precision medicine in pathological image[J]. Xian Dai Xin Xi Ke Ji, 2018, 2(5): 170-172.]
[3]
Gurcan MN, Boucheron L, Can A, et al. Histopathological Image Analysis: A Review[J]. IEEE Rev Biomed Eng, 2009, 2: 147-171.
[4]
许燕, 汤烨, 闫雯, 等. 病理人工智能的现状和展望[J]. 中华病理学杂志, 2017, 46(9): 593-595. [Xu Y, Tang Y, Yan W, et al. Current Situation and Prospect of Pathological Artificial Intelligence[J]. Zhonghua Bing Li Xue Za Zhi, 2017, 46(9): 593-595.]
[5]
Edge SB, Compton CC. The American Joint Committee on Cancer: the 7th Edition of the AJCC Cancer Staging Manual and the Future of TNM[J]. Ann Surg Oncol, 2010, 17(6): 1471-1474.
[6]
LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.
[7]
Litjens G, Sánchez CI, Timofeeva N, et al. Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis[J]. Sci Rep, 2016, 6: 26286.
[8]
圣文顺, 孙艳文. 卷积神经网络在图像识别中的应用[J]. 软件工程, 2019, 22(2): 13-16. [Sheng WS, Sun YW, et al. Application of Convolutional Neural Network in Image Recognition[J]. Ruan Jian Gong Cheng, 2019, 22(2): 13-16.]
[9]
Bychkov D, Linder N, Turkki R, et al. Deep learning based tissue analysis predicts outcome in colorectal cancer[J]. Sci Rep, 2018, 8(1): 3395.
[10]
Tizhoosh HR, Pantanowitz L. Artificial Intelligence and Digital Pathology: Challenges and Opportunities[J]. J Pathol Inform, 2018, 9: 38.
[11]
De Fauw J, Ledsam JR, Romera-Paredes B, et al. Clinically applicable deep learning for diagnosis and referral in retinal disease[J]. Nat Med, 2018, 24(9): 1342-1350.
[12]
Zhang L, Lu L, Nogues I, et al. Deep Pap: deep convolutional networks for cervical cell classification[J]. IEEE J Biomed Health Inform, 2017, 21(6): 1633-1643.
[13]
Janowczyk A, Madabhushi A. Deep learning for digital pathology image analysis: A comprehensive tutorial with selected use cases[J]. J Pathol Inform, 2016, 7: 29.
[14]
杨子贤. 基于深度学习卷积神经网络图像识别技术的研究与应用[J]. 中国设备工程, 2018, 12(23): 146-149. [Yang ZX, et al. Research and application of image recognition technology based on deep learning convolution neural network[J]. Zhongguo She Bei Gong Cheng, 2018, 12(23): 146-149.]
[15]
Zhou ZH. A brief introduction to weakly supervised learning[J]. Natl Sci Rev, 2018, 5(1): 44-53.
[16]
Cinbis RG, Verbeek J, Schmid C. Weakly Supervised Object Localization with Multi-Fold Multiple Instance Learning[J]. IEEE Trans Pattern Anal Mach Intell, 2017, 39(1): 189-203.
[17]
Kraus OZ, Ba JL, Frey BJ. Classifying and segmenting microscopy images with deep multiple instance learning[J]. Bioinformatics, 2016, 32(12): i52-i59.
[18]
何克磊, 史颖欢, 高阳, 等. 一种基于原型学习的多示例卷积神经网络[J]. 计算机学报, 2017, 40(6): 1265-1274. [He KL, Shi YH, Gao Y, et al. A Prototype Learning Based Multi-Instance Convolutional Neural Network[J]. Ji Suan Ji Xue Bao, 2017, 40(6): 1265-1274.]
[19]
Song Y, Zhang L, Chen S, et al. A deep learning based framework for accurate segmentation of cervical cytoplasm and nuclei[J]. Conf Proc IEEE Eng Med Biol Soc, 2014, 2014: 2903-2906.
[20]
Al-batah MS, Isa NA, Klaib MF, et al. Multiple adaptive neuro-fuzzy inference system with automatic features extraction algorithm for cervical cancer recognition[J]. Comput Math Methods Med, 2014, 2014: 181245.
[21]
孙苗苗, 张智弘. 人工智能在病理诊断中的应用[J]. 中华病理学杂志, 2019, 48(4): 338-340. [Sun MM, Zhang ZH, et al. Application of Artificial Intelligence in Pathological Diagnosis[J]. Zhonghua Bing Li Xue Za Zhi, 2019, 48(4): 338-340.]
[22]
Campanella G, Hanna MG, Geneslaw L, et al. Clinical-grade computational pathology using weakly supervised deep learning on whole slide images[J]. Nat Med, 2019, 25(8): 1301-1309.
[23]
Ehteshami Bejnordi B, Veta M, Johannes van Diest P, et al. Diagnostic assessment of deep learning algorithms for detection of lymph node metastases in women with breast cancer[J]. JAMA, 2017, 318(22): 2199-2210.
[24]
Cruz-Roa A, Gilmore H, Basavanhally A, et al. Accurate and reproducible invasive breast cancer detection in whole-slide images: a deep learning approach for quantifying tumor extent[J]. Sci Rep, 2017, 7: 46450.
[25]
郑闪, 孙丰龙, 张慧娟, 等. 人工智能在肿瘤组织病理学的研究现状[J]. 中华肿瘤病理杂志, 2018, 40(12): 885-889. [Zheng Shan, Sun Fenglong, Zhang Huijuan, et al. Current applications of artificial intelligence in tumor histopathology[J]. Zhonghua Zhong Liu Bing Li Za Zhi, 2018, 40(12): 885-889.]
[26]
Shamai G, Binenbaum Y, Slossberg R, et al. Artificial Intelligence Algorithms to Assess Hormonal Status From Tissue Microarrays in Patients With Breast Cancer[J]. JAMA Netw Open, 2019, 2(7): e197700.
[27]
Sha L, Osinski BL, Ho IY, et al. Multi-Field-of-View Deep Learning Model Predicts Nonsmall Cell Lung Cancer Programmed Death-Ligand 1 Status from Whole-Slide Hematoxylin and Eosin Images[J]. J Pathol Inform, 2019, 10: 24.
[28]
Mobadersany P, Yousefi S, Amgad M, et al. Predicting cancer outcomes from histology and genomics using convolutional networks[J]. Proc Natl Acad Sci USA, 2018, 115(13): E2970-E2979.
[29]
Singh NP, Bapi RS, Vinod PK. Machine learning models to predict the progression from early to late stages of papillary renal cell carcinoma[J]. Comput Biol Med, 2018, 100: 92-99.
[30]
Celesti F, Celesti A, Wan J, et al. Why Deep Learning Is Changing the Way to Approach NGS Data Processing: a Review[J]. IEEE Rev Biomed Eng, 2018, 11: 68-76.
[31]
陈杰. 关注人工智能迎接新的挑战[J]. 中华病理学杂志, 2019, 48(1): 1-2. [Chen J, et al. Call attention to artificial intelligence and greet the new changes[J]. Zhonghua Bing Li Xue Za Zhi, 2019, 48(1): 1-2.]
[32]
Louis DN, Feldman M, Carter AB, et al. Computational Pathology: A Path Ahead[J]. Arch Pathol Lab Med, 2016, 140(1): 41-50.