医学发展源远流长，经历了几千年的发展历程，其由传统的“救死扶伤、防病治病”转变为满足人类多层次和多元化的健康需求，重在延长人类寿命并提高生活质量。在这一历程中，科学技术的进步是推动医学发展的原动力，科学理论或技术的每一次重大突破都会促进医学救治能力和医疗服务水平的发展。医学发展与科技创新和前沿学科交叉融合并密切相关。医学的科技创新体现在两个方面，一是临床问题引导的基础医学创新，二是前沿技术的交叉融合创新。

基于临床问题的基础医学研究主要集中于细胞学、分子生物学、动物实验和人体的组织样本，上述技术的应用加深了对医学的了解，也推动了基础-临床转化。在这些科研项目中，经过干预的肿瘤细胞、动物样本和人体样本的形态学会发生相应改变，这种改变需通过特殊的方式予以显示和统计，但既往研究对于形态学的观察主要集中于肉眼和显微镜，必要时行免疫组织化学或免疫荧光检测协助判断，而后拍照进行人工计数或借助软件统计。上述方法极具主观性，易产生假阳性，重复性差，亟需一种新的手段评价形态学变化。

深度学习是人工智能技术的重要领域，通过构建多隐层模型和学习海量训练数据，获取数据有用的特征。深度学习采用层次网络结构进行逐层特征变换，将样本特征表示变换到一个新的特征空间，使分类或预测更容易。深度学习驱动图像识别已取得成功，包括对病理^[1]和医学影像^[2]的识别。斯坦福大学Esteva团队采用包含2 032种不同皮肤病的129 450张临床图像数据集，利用谷歌TensorFlow和Inception_V3模型进行迁移学习，其对皮肤恶性黑素瘤的诊断准确率均达到90%以上^[3]。ISBI（International Symposium on Biomedical Imaging）举办的研究者挑战赛（CAMELYON16）评估了深度学习算法检测乳腺癌患者淋巴结转移病理切片中转移灶的潜力，结果显示深度学习算法诊断的曲线下面积（area under curve，AUC）为0.556~0.994，病理医师诊断的AUC为0.724 [95%置信区间（95% CI）0.643~0.804]，其中深度学习最佳算法在诊断模拟中的表现优于病理医师[AUC：0.994（95% CI 0.983~0.999）vs 0.810（95% CI 0.738~0.884），P＜0.001]^[4]。

基于基础研究中形态学评估的局限性和深度学习的先进性，能否利用人工智能技术评估组织和细胞的形态学特征，特别是药物干预后的形态学特征变化呢？本课题组进行了大量尝试，取得了阳性结果，现总结如下。

人工智能技术为数字病理诊断带来了技术革新，有助于提高病理医师的诊断效率。目前普遍认为病理医师培养周期长、病理医师短缺、病理工作环境恶劣，期待通过人工智能技术协助诊断解决上述难题。由于病理诊断的金标准属性，期望人工智能技术代替病理医师是不可能的，但人工智能技术在挖掘疾病样本中的内部特征方面仍极具优势。

TSR是指肿瘤组织内肿瘤细胞与间质成分的比值，主要通过术后病理切片评估获得。在结肠癌、非小细胞肺癌、乳腺癌、食管鳞癌、鼻咽癌、宫颈癌、肝细胞癌等实体瘤中，TSR是影响肿瘤患者预后的独立危险因素^[5-6]。既往主要由医师通过显微镜下观察肉眼判断TSR，大多以50%作为间质丰富或缺乏的界定值。超过50%定义为间质丰富型，肿瘤侵袭能力更强；而低于50%定义为间质缺乏型，肿瘤侵袭能力稍差。然而这种评判标准存在许多问题，一是医师经验决定了TSR的精准性，二是50%的临界值是否准确。应用人工智能技术可准确量化TSR，如果肿瘤细胞判断准确，TSR可以精确到个位数。例如，本研究小组利用人工智能技术判读某张肿瘤组织病理切片的TSR，可见肉眼判读的TSR为30%~50%（图 1A），而通过人工智能技术判读的TSR为27.3%（图 1B），表明人工智能技术在识别肿瘤样本内部特征方面具有明显优势。

图 1 人工智能技术判读肿瘤―间质比 Fig 1 Tumor-stroma ratio identified by artificial intelligence technology A: Tumor tissues; B: Tumor cells identified by artificial intelligence. H-E staining. Original magnification: ×100

肿瘤浸润淋巴细胞（tumor infiltrating lymphocyte，TIL）是指从肿瘤组织中分离出来的浸润淋巴细胞，富含肿瘤特异性细胞毒性T淋巴细胞和自然杀伤（natural kill，NK）细胞。TIL在调节对化学治疗的反应和改善恶性肿瘤的临床结局中起着重要作用。如三阴性乳腺癌最易发生＞50% TIL的肿瘤，每增加10%的TIL都能增加生存获益；所有乳腺癌亚型都有低、中等或高TIL肿瘤，高TIL肿瘤中程序性死亡蛋白配体1（programmed cell death 1 ligand 1，PD-L1）的表达上调，导致此类三阴性乳腺癌对免疫检查点抑制剂治疗表现出强烈的临床反应^[7]。因此，鉴定和评价肿瘤内部的TIL对于判断预后和指导治疗具有重要价值。然而，对于如何定量TIL以及分析它们的空间分布，传统的基于H-E染色或免疫组织化学染色的分析极具主观性，且耗时费力、准确性差，而基于卷积神经网络的深度学习技术能解决这一问题。Saltz等^[8]利用肿瘤基因组图谱（The Cancer Genome Atlas，TCGA）数据库，提出了基于13种TCGA肿瘤类型的H-E图像的TIL映射。这些TIL映射通过计算染色得到，使用训练好的卷积神经网络对图像进行分类，揭示了TIL模式的局部空间结构，并与总体生存时间进行关联。TIL图谱结构模式^[8]采用标准的组织病理学参数进行分组，丰富了从分子测量中衍生而来的T细胞亚群。TIL的密度和空间结构在肿瘤类型、免疫亚型和肿瘤分子亚型间差异明显，说明空间浸润状态可以反映特定的肿瘤细胞畸变状态。

淋巴结转移是判断肿瘤患者预后和指导治疗的决定性因素，人工智能技术用于识别淋巴结内的肿瘤细胞已有报道^[4]。神经侵犯是肿瘤细胞转移的一种特殊方式，如肝门部胆管癌和胰腺癌^[9]。然而目前评价神经侵犯的方式仍是显微镜下肉眼观察，易漏诊，且不能反映整张切片的神经侵犯状态。本研究小组采用深度学习技术对肝门部胆管癌肿瘤细胞和神经组织分别进行学习和识别，显示了肿瘤细胞侵犯神经组织的全过程，包括肿瘤细胞首先向神经组织聚集，而后侵犯神经鞘膜，然后侵蚀神经纤维，最终沿着神经转移（图 2）。

图 2 人工智能技术识别神经侵犯 Fig 2 Neural invasion identified by artificial intelligence technology Blue: Nerve tissue; Red: Tumor cells. Original magnification: ×200

基础研究和临床药效评价会使用细胞和动物模型，药物或基因干预手段对机体和肿瘤的治疗效果和不良反应需通过形态学方法予以展示和评价。传统的基于H-E染色或特殊染色的显微镜下肉眼观察和判读具有局限性，可采用深度学习技术学习细胞和动物病变样本的形态学表现，如坏死、出血、淋巴细胞反应、纤维增生、肿瘤形成和数目、血管形成等。这些表现均极具特征性和规律性，因此利用人工智能技术进行药效评价的可操作性强。本研究小组前期构建了胆管癌动物模型^[10]，采用不同药物进行干预，然后利用人工智能技术学习该疾病特征，结果表明人工智能技术可清晰显示疾病的发生过程和临床疗效，见图 3。

图 3 人工智能技术评估药物疗效 Fig 3 Drug efficacy assessed by artificial intelligence technology A: Liver without intervention; B: Liver lesion after intervention. Red represents liver lesion recognized by artificial intelligence. Original magnification: ×4

细胞学实验是基础和临床转化研究的基石，但少有研究集中于细胞的形态学变化。伦敦癌症研究所的Chris Bakal教授和Julia Sero博士使用珀金埃尔默公司的Opera^®高内涵成像分析系统获取图像，采用类似于神经网络研究的方法分析了不同治疗条件下数以千计的个体乳腺癌细胞的形态和纹理特征，并对线粒体群体的变化和趋势进行了检测^[11]。该模型中对称性、阈值紧性、轴向、径向和轮廓（symmetry, threshold compactness, axial, radial and profile，STAR）算法和鞍―边缘―脊（saddle-edge-ridge，SER）纹理起着重要作用。SER纹理特征反映了像素强度的局部模式，揭示了线粒体的结构，且可以区分点状、管状线粒体结构。STAR算法通过综合描述细胞内信号的对称性、信号密度、轴向特性、放射性及轮廓，为统计表型提供了一组稳定可靠的参数，例如：线粒体是平均分布于细胞内还是按一定极性分布？是否按细胞的质量中心分布？是致密还是松散？是靠近核膜、胞质还是外膜？该研究将会在表型筛选和未知药物作用机制的研究中发挥作用。

Ota等^[12]研发了一种新的细胞识别和分选系统，称之为鬼影细胞测定仪（ghost cytometry）。该系统将一种新的成像技术与人工智能技术结合，用于识别和分选细胞，不需使用空间分辨探测器即能产生物体图像，基于单像素探测器的无图像超快荧光“成像”细胞术从细胞运动中获取空间信息，而后被压缩转换成在单像素探测器上连续到达的信号。鬼影细胞测定仪以每秒1万多个细胞的速度识别细胞，以每秒数千个细胞的速度对细胞进行分类。此外，时间波形与随机模式强度分布的组合使之能在计算机上重建细胞形态，可以直接在压缩波形上应用机器学习而不用进行图像重构，实现高效的基于图像的无形态学细胞检测。这种方法将用于识别和分选患者血液中的循环肿瘤细胞，加速药物发现和改进基于细胞疗法的疗效。

评价药物或基因干预效果时，除可使用H-E染色外，还可借助特殊染色辅助判别，包括免疫荧光技术和免疫组织化学技术。其中免疫组织化学技术因具有经济、方便、快速和高通量等特点而应用广泛，但由于技术水平差异和评价体系的局限性，其结果标准性较差。由于免疫组织化学染色图像也属于二维图像，特征性明显，人工智能技术非常适合对其结果进行判读和一致性评价。组织细胞的染色部位分为细胞核、细胞质和细胞膜，鉴于细胞质染色评估较为容易，本文重点介绍细胞核和细胞膜的人工智能自动评分系统。

HER2是诊断和评估胃癌和乳腺癌的重要指标，在临床实践中被公认为肿瘤预测和预后的标志。目前通过免疫组织化学对浸润性乳腺癌中HER2染色的评估也是通过显微镜下肉眼观察，视觉评分较为主观，容易出现观察者间的差异。鉴于HER2染色评分的预后和治疗意义，需要一种更客观的评价方法。2016年6月在诺丁汉举行的自动HER2染色评分比赛旨在推进基于人工智能技术的自动HER2染色评分方法。86例数字化浸润性乳腺癌全切片同时行H-E染色和HER2免疫组织化学染色，人工智能算法预测HER2免疫组织化学染色的评分，并与两位专家进行比较，结果显示人工智能算法的评估效果优于病理学专家，证明了自动算法在帮助病理学家进行目标免疫组织化学评分方面具有巨大潜力^[13]。另外一项基于深度学习技术的HER2染色自动评分算法对71例乳腺肿瘤切除样本进行了评分，结果显示自动评分与病理学家的一致性为83%；对12例不一致的病例进行了独立检查，发现8例患者的初步病理诊断存在问题，分析诊断不一致的原因可能是HER2染色异质性高，在评估HER2的表达时存在视觉差异^[14]。

Ki-67是一种常用的肿瘤细胞增殖标志物，在判断预后和指导分型方面具有重要价值，然而其评估较为困难，目前的人工评分方法具有很高的误差，因为对于同一肿瘤不同观察者可能会选择不同区域进行评分。基于深度学习技术的Ki-67染色自动评分方法可通过使用全玻片分析来识别和评估增殖率最高的肿瘤区域，消除选择偏差。一项研究对328例雌激素受体/孕激素受体阳性、HER2阴性乳腺癌患者早期切除的全切片行Ki-67染色自动评分，发现其区分Oncotype Dx高风险和低风险患者的准确度为97%、灵敏度为98%、特异度为80%。Ki-67染色自动评分成功解决了既往评分一致性、重现性和准确性差的问题，可以集成到病理学实验室的工作流程中^[15]。基于深度学习技术的免疫组织化学自动算法同样也能应用于类似的基础和临床研究中，其评估结果具有高度一致性、重复性和准确性。

基于深度学习技术的算法能根据组织图像中的颜色和空间信息对多重染色的生物标志物进行量化研究，自动定位和量化整张切片任意选定区域中阳性表达的生物标志物。此类算法为卷积神经网络，可根据所表达的生物标志物分别对每个细胞核进行分类。Sheikhzadeh等^[16]收集并使用了免疫组织化学染色的组织切片，根据每个细胞核中表达的生物标志物（p16阳性、Ki-67阳性、p16阳性/Ki-67阳性，p16阳性/Ki-67阴性），人工标记细胞核图像用于训练，将训练好的算法扩展到全玻片，结果显示该算法与人工标记结果高度一致。

基于深度学习的人工智能技术有望克服组织学和细胞学视觉评分系统主观性强、重复性差、准确率低等问题，避免或减少漏诊率和误诊率。利用人工智能技术能准确提取与肿瘤预后和疗效相关的内部特征，如TSR、神经侵犯和淋巴细胞空间分布；图像化显示药物干预疾病进展的疗效，定量化和自动化评分与临床治疗、分型和预后相关的分子标志物。人工智能技术将会极大推动临床药物评价和基础科研评价的一致性、重复性和准确性，有望进一步促进医学科研的发展。