自动化学报  2017, Vol. 43 Issue (11): 2003-2013   PDF    
基于逐像素点深度卷积网络分割模型的上皮和间质组织分割
骆小飞1, 徐军1, 陈佳梅2     
1. 南京信息工程大学江苏省大数据分析技术重点实验室 南京 210044;
2. 武汉大学中南医院肿瘤科 肿瘤生物学行为湖北省重点实验室, 湖北省肿瘤医学临床研究中心 武汉 430071
摘要: 上皮和间质组织是乳腺组织病理图像中最基本的两种组织,约80%的乳腺肿瘤起源于乳腺上皮组织.为了构建基于乳腺组织病理图像分析的计算机辅助诊断系统和分析肿瘤微环境,上皮和间质组织的自动分割是重要的前提条件.本文构建一种基于逐像素点深度卷积网络(CN-PI)模型的上皮和间质组织的自动分割方法.1)以病理医生标注的两类区域边界附近具有类信息为标签的像素点为中心,构建包含该像素点上下文信息的正方形图像块的训练集.2)以每个正方形图像块包含的像素的彩色灰度值作为特征,以这些图像块中心像素类信息为标签训练CN模型.在测试阶段,在待分割的组织病理图像上逐像素点地取包含每个中心像素点上下文信息的正方形图像块,并输入到预先训练好的CN网络模型,以预测该图像块中心像素点的类信息.3)以每个图像块中心像素为基础,逐像素地遍历图像中的每一个像素,将预测结果作为该图像块中心像素点类信息的预测标签,实现对整幅图像的逐像素分割.实验表明,本文提出的CN-PI模型的性能比基于图像块分割的CN网络(CN-PA)模型表现出了更优越的性能.
关键词: 深度卷积网络     乳腺组织病理图像     上皮和间质组织分割     逐像素分割    
A Deep Convolutional Network for Pixel-wise Segmentation on Epithelial and Stromal Tissues in Histologic Images
LUO Xiao-Fei1, XU Jun1, CHEN Jia-Mei2     
1. Jiangsu Key Laboratory of Big Data Analysis Technique, Nanjing University of Information Science and Technology, Nanjing 210044;
2. Zhongnan Hospital of Wuhan University, Hubei Key Laboratory of Tumor Biological Behaviors and Hubei Cancer Clinical Study Center, Wuhan 430071
Manuscript received : June 13, 2016, accepted: November 8, 2016.
Foundation Item: Supported by National Natural Science Foundation of China (61771249, 61273259), Six Major Talents Summit of Jiangsu Province (2013-XXRJ-019), Natural Science Foundation of Jiangsu Province (BK20141482), and Jiangsu Innovation and Entrepreneurship Group Talents Plan (JS201526)
Author brief: LUO Xiao-Fei Received his bachelor and master degrees at Nanjing University of Information Science and Technology in 2013 and 2016, respectively. His research interest covers machine learning, computer vision, and medical image analysis;
CHEN Jia-Mei Ph. D. candidate at Zhongnan Hospital, Wuhan University. She received her bachelor degree at Wuhan University in 2012. Her research interest covers computerized image analysis and molecular probes techniques for biological behavior of breast cancer
Corresponding author. XU Jun Professor at Nanjing University of Information Science and Technology. His research interest covers computational pathology, digital pathology, computer-aided detection, diagnosis, and prognosis on cancers, deep learning and big data driven analysis for medical data analysis, and clinical transitional medicine. Corresponding author of this paper
Recommended by Associate Editor ZHANG Dao-Qiang
Abstract: Epithelial and stromal tissues are the most common tissue breast cancer pathology images. About 80 percent breast tumors derive from mammary epithelial cells. Therefore, in order to develop computer-aided diagnosis system and analyze the micro-environment of a tumor, it is pre-requisite to segment epithelial and stromal tissues. In this paper, we propose a pixel-wise segmentation based deep convolutional network (CN-PI) model for epithelial and stromal tissues segmentation. The model initially generates two types of training patches whose central pixels are located within annotated epithelial and stromal regions. These context patches accommodate the local spatial dependencies among central pixel and its neighborhoods in the patch. During the testing phase, a square window sliding pixel-by-pixel across the entire image is used to select the context patches. The context patches are then fed to the trained CN-PI model for predicting the class labels of their central pixels. To show the effectiveness of the proposed model, the proposed CN-PI model is compared with 6 patch-wise segmentation based CN models (CN-PA) on two datasets consisting of 106 and 51 hematoxylin and eosin (H&E) stained images of breast cancer, respectively. The proposed model is shown to have F1 classification scores of 90% and 93%; accuracy (ACC) of 90% and 94%, and Matthews correlation coefficients (MCCS) of 80% and 88%, respectively, show improved performances over CN-PA models.
Key words: Deep convolutional neural network     breast histopathological image analysis     segmentation on epithelial and stromal tissues     pixel-wise segmentation    

根据美国癌症协会[1]和我国抗癌协会[2]的最新统计, 乳腺癌是女性最常见的恶性肿瘤, 发病率居女性恶性肿瘤之首.在多数情况下, 乳腺癌的发病原因是因为受到多种致癌因子的刺激, 从而引起乳腺上皮细胞发生基因突变, 病理表现为无限增殖的癌细胞具有不同于正常上皮细胞的异型性, 并导致显著的组织异型性.组织病理图像分析是乳腺癌诊断的“金标准”[3].上皮和间质是乳腺组织病理图像中两种最基本的组织.上皮组织是一种细胞组织, 通常存在于导管和小叶系统中.间质组织包括包围在导管和小叶、血管, 以及淋巴管周围的脂肪和纤维结缔组织, 是这些组织结构的支持框架.约有80%的乳腺肿瘤起源于乳腺上皮组织.癌症的增长和发展通常依赖于间质和上皮组织的微环境[4].因此, 上皮和间质的组织的自动分割是分析乳腺肿瘤微环境[5], 构建癌症的计算机辅助诊断系统的前提[6].

然而, 组织病理图像具有高度的复杂性, 在组织病理图像中自动分割上皮和间质组织具有如下难度:

1) 高分辨率组织病理图像尺寸大, 是名副其实的“大数据”. 图 1(a)~1(d)分别展示了某患者一张全扫描组织病理切片在显微镜不同扫描分辨率下的图像.其中图 1(a)是1 : 0放大倍数下全扫描组织病理图像, 其尺寸约为100 000像素×700 000像素, 压缩后的存储空间约为1.43 GB. 图 1(b)图 1(a)中红色区域放大4倍数后的图像; 图 1(c)图 1(b)中红色区域放大20倍数后的图像; 图 1(d)图 1(c)中红色区域放大40倍数后的图像.在这种高分辨率、大尺寸图像中运用计算机自动分割两类组织, 对硬件和图像分析算法都有较大的挑战.

图 1 显微镜不同物镜放大倍数下的乳腺肿瘤组织病理图像 Figure 1 Histopathological images of breast tumors under different magnification of objective microscope

2) 组织病理结构类型复杂, 上皮和间质组织相互交织在一起, 相互之间没有明确的界限.同一类组织的形态差异很大.一张组织病理切片拥有众多的病理结构类型, 形态各异, 如图 2所示.图 2(a)用伪彩色标记病理医生的人工标注, 其中红色和绿色分别代表上皮和间质区域, 未被染色的区域是目前不被关注的区域即背景区域; 图 2(b)是包含上皮和间质组织的原始的乳腺H和E染色组织病理图像. 图 2(c)~2(f)是根据病理医生标记位置, 随机从图 2(b)中的上皮组织区域(红色区域)取出的图像块.通过比较这些图像, 可以看出上皮组织的组织结构、形态等, 差异性非常大, 组织难以用固定的特征来描述.因此, 目前传统的计算机图像分析方法难以分割这些组织.

图 2 上皮组织的不同形态 Figure 2 Different forms of epithelial tissue

3) 具有不同组织病理学分级的组织病理图像组织异质性大, 其中在病理学分级越高(恶性程度越高)的组织病理图像中, 上皮和间质组织的自动分割难度越大. 图 3(a)~3(c)中是组织病理学分级为1的患者中选取的切片, 图 3(d)~3(f)中是组织病理学分级为2的患者中选取的切片, 图 3(g)~3(i)是组织病理学分级为3的患者中取出的切片, 图 3(c)3 (f)3(i)是病理医生做的人工标注.根据病理医生的标注(图 3(c), 3(f), 3(i))中得到的边界信息, 从原始H & E图像(图 3(a), 3(d), 3(g))中的上皮和间质组织交界处随机选取一些小块放大后的图像块如图 3(b)图 3(e)图 3(h)所示.可以很明显地看出, 组织学分级越高的图像中上皮和间质组织形态和结构越混乱, 上皮和间质组织之间的边界越模糊, 视觉上的差异也越不明显.这些问题给上皮和间质组织的自动分割算法带来更大的难度.

图 3 不同组织病理学分级的图像 Figure 3 Images of different histopathological grades

4) H & E图像不仅背景复杂、噪声大, 而且存在染色不均、染色批次效应等问题.此外不同扫描仪成像质量存在差异.这些方面都会对自动图像处理分析算法带来难度.

尽管存在上述难度, 仍有不少学者在组织病理图像的上皮和间质组织自动分割中做出了优秀的研究成果, 推动了这个领域研究的发展. Linder等[7]提出了一种基于局部区域二值化(Local binary patterns, LBP)[8]为基础的方法, 用$80\times80$的滑动窗口从图像中提取出重叠的小块并提取小块的纹理特征, 最后基于该纹理特征使用支持向量机(Support vector machine, SVM)[9]分类, 从而自动分割免疫组织化(Immunohistochemistry, IHC)[10]染色的微阵列组织(Tissue micro arrays, TMAs)中的上皮和间质组织. Beck等在文献[11]中提出了著名的C-Path模型, 能够基于乳腺组织病理图像分析自动地预测患者的5年生存期, 引起了学术界和工业界的极大关注[12].为了构建患者的5年生存期预测模型, 作者运用了超像素过分割的方法[13]将组织病理图像首先过分割成多个小区域, 然后基于这些小区域进一步分割每个小块中的细胞核以及细胞质.受这个工作的启发, Ali等在文献[14]中使用超像素过分割的方法从病理图像中提取小区域并用于SVM的训练, 并运用于分割口腔咽鳞癌图像中上皮和间质组织. Hiary等在文献[15]提出了贝叶斯表决模型用于分割上皮和间质组织. Eramian等[16]用二值图像分割的方法分割牙源性囊肿图像中的上皮和间质组织. Amaral等[17]使用基于可视化的字典学习的方法来自动区分由IHC染色的TMAs中的上皮和间质组织.文献[18]中首先运用多尺度超像素分割上皮组织, 然后结合图聚类的方法自动检测全扫描图像中的导管原位癌区域.

与以上提到的传统的图像分析方法不同, 深度学习在基于大量训练数据的基础上, 运用数据驱动的方式通过组合底层特征构建更加抽象的高层特征.以深度卷积网络(Convolutional networks, CN)为代表的深度学习模型表现出了强大的鲁棒性和普适性, 在自然场景中的图像分类和检测中取得了巨大成功.随着该领域研究的深入, 研究人员的研究目标开始从简单的图像分类转变为复杂的大尺寸图像的逐像素分割.而组织病理学图像具有的高度复杂性正好符合这样一个应用目标.与分类和检测的任务不同, 对整张图像的自动分割具有更大的难度.尤其是对组织病理图像中不同组织结构的自动分割具有更大的难度.近年来, 深度学习方法开始被广泛运用于组织病理图像分析.该领域的先驱工作是Cirećsan等在文献[19]中, 成功地运用深度卷积网络在乳腺组织图像中自动检测正在进行有丝分裂细胞.作者使用具有卷积层和池化层的深度神经网络[20-21]来学习图像的高层特征, 然后使用softmax分类器对每个像素点进行分类, 从而实现细胞有丝分裂检测的目标.这项工作赢得了ICPR 2012和MICCAI 2013细胞有丝分裂检测大赛的冠军. Cruz-Roa等在文献[22]提出了一种卷积编码器的自动神经网络架构, 将深度卷积神经网络与自动编码器[23]结合在一起用于组织病理图像中导管原位癌区域的自动检测. Xu等在文献[24]运用堆叠式稀疏自动编码器框架对乳腺病理组织学图像中的细胞自动检测. Wang等在文献[25]提出将手动特征和CN学习到的高层特征组合检测细胞有丝分裂. Xu等在文献[6]中首先运用超像素分割方法把上皮和间质组织过分割为小块区域, 然后把该小块区域输入到训练好的CN模型以预测该整个图像块的组织类型.

本文内容分配如下, 第1节介绍本文使用的深度卷积神经网络结构; 第2节介绍了图像预处理方法; 第3节介绍了训练集的构建方法; 第4节介绍本文的实验流程; 第5节是本文的实验结果及其讨论; 第6节是对本文工作的总结和展望. 表 1列出了本文所使用的缩写符号及其解释.

表 1 本文使用的缩写符号及其描述 Table 1 Abbreviated symbols and their meanings in this paper
1 基于逐像素分割的深度卷积神经网络(CN-PI)

本文使用的网络结构是基于Krizhevsky等在文献[26]中提出的经典的AlexNet模型, 其网络结构如图 4所示.该模型主要包括卷积层、池化层、线性纠正函数(Rectified linear unit, ReLU)的激活函数[27]、局部响应归一化层、softmax (SMC)分类器.整个模型的输入是包含RGB三个颜色通道的正方形图像块, CN模型将根据输入的每个彩色图像块中的颜色信息特征, 通过自己特有的网络结构将颜色特征转化为高水平的特征, 随后对这个高水平的特征进行分类.关于卷积层、池化层、线性纠正激活函数、局部响应归一化层的详细描述, 可参考文献[26].卷积层通过构建多个卷积滤波器, 通过对整张图像的局部感受域的卷积运算得到结果.为了避免饱和非线性问题, 本文采用了ReLU激活函数的不饱和性, 该函数使得网络在训练梯度下降时以更快的速度收敛, 从而加快整个网络的训练速度. ReLU激活函数描述如下:

图 4 本文使用的CN网络结构图 Figure 4 The CN net work structure in this paper
$ f(x)=\max(0,x) $ (1)

池化是一种非线性的下采样的方法.其中最大池化(Max pooling)是常用的一种池化方法.由于图像通常会存在冗余的局部信息, 最大池化操作能把输入图像分割成为不重叠的局部感受域, 对每一个局部感受域都输出最大值, 并提取最能代表和反映局部感受域的特征.采用最大池化层的方式降低了上层的计算复杂度的同时减少了冗余信息.因此, 最大池化用一种很灵活的方式, 降低了中间表示层的维度.此外, 最大池化层具有平移、旋转的不变性的特性, 对于位移变化有着不错的鲁棒性.

全连接层的目标是将前一层的输出的特征$x^{(i)}$连接成一个向量作为后一层的输入.通过两个全连接层连接SMC分类器作为输出层, 输入是卷积神经网络的最后一层即第二层全连接.本文使用的基于二分类的SMC, 是一个监督性的logistic回归模型.网络输出端的神经元个数等于类的个数, 因此对于输入的第$i$个图像块的特征$x^{(i)}$, SMC输出可以看作一个二维的向量

$ \begin{align} h_{\theta}(x^{(i)}) =& \left( \begin{array}{c} p(y^{(i)}=1|x^{(i)};{\theta}_1) \\ p(y^{(i)}=2|x^{(i)};{\theta}_2) \\ \end{array} \right)=\\[2mm] &\ \frac{1}{\sum\limits^2_{j=1}{\rm e}^{{\theta}_j^{\rm T}x^{(i)}}}\left( \begin{array}{c} {\rm e}^{{\theta}_1^{\rm T}x^{(i)}} \\ {\rm e}^{{\theta}_2^{\rm T}x^{(i)}} \\ \end{array} \right) \end{align} $ (2)

其中, SMC的输入$x^{(i)}$是CN提取的高水平的特征. ${\theta}_j$是由SMC模型通过训练学习分别得到的两个输出神经元的参数.每个上皮小块或者间质小块通过CN提取出高水平特征$x^{(i)}$输入到SMC中, SMC会输出一个二维的概率值, 网络将通过给出分别属于两类的二维概率值中较大的那类作为分类最终结果.模型训练中的SMC损失函数定义如下:

$ L(\theta) = -\frac{1}{m}\sum\limits^m_{i=1}\sum\limits^{2}_{j=1}\Gamma(y^{(i)}=j)\log \frac{{\rm e}^{{\theta}_j^{\rm T}x^{(i)}}}{\sum\limits^2_{n=1}{\rm e}^{{\theta}_n^{\rm T}x^{(i)}}} $ (3)

其中, $\Gamma(\cdot)$是示性函数.

2 图像预处理

在进行组织分割之前, 首先需要对待处理的图像进行预处理.由于组织病理图像存在数据来源不统一和扫描设备多样的问题, 因此在做组织分割之前需要对所有的图像进行颜色标准化处理.该方法预先选取一幅病理图像作为目标图像, 其他的病理图像在颜色标准化之后都将与目标图像具有相同的颜色分布.具体方法是将目标图像和待标准化病理图像进行颜色空间变换, 由于Lab颜色空间与RGB颜色空间相比, 更加接近人的视觉, 因此本文采用文献[28]中提出的颜色空间变换的方法把RGB颜色空间转换到Lab颜色空间.接下来对三个通道的每一个像素的灰度值进行线性变换运算

$ l_{\rm mapped}=\frac{l_{\rm original}-\bar{l}_{\rm original}}{\hat{l}_{\rm original}}\hat{l}_{\rm target}+\bar{l}_{\rm target} $ (4)
$ a_{\rm mapped}=\frac{a_{\rm original}-\bar{a}_{\rm original}}{\hat{a}_{\rm original}}\hat{a}_{\rm target}+\bar{a}_{\rm target} $ (5)
$ b_{\rm mapped}=\frac{b_{\rm original}-\bar{b}_{\rm original}}{\hat{b}_{\rm original}}\hat{b}_{\rm target}+\bar{b}_{\rm target} $ (6)

在式(4)~(6)中, $\{\hat{l}, \hat{a}, \hat{b}\}$$\{\bar{l}, \bar{a}, \bar{b}\}$分别定义为Lab颜色空间各通道中所有像素灰度值的均方差和均值.其中下标target和original分别为目标图像和标准化前的图像, mapped为标准化后的图像.最后, 将线性变换后在Lab颜色空间的图像还原为RGB颜色空间, 便可以实现待标准化图像和目标图像具有一样的颜色分布.

3 训练集的构建

本文中训练集的构建是非常关键的一个环节.定义$R(\cdot)$为从图像中提取的尺寸为$d\times d$正方形图像块的算子. $R(c_{uv})\in {\bf R}^{d^2}$为以$c_{uv}$为中心像素在原始图像${C}$中提取的包括该像素周边上下文像素信息的图像块, 具体描述如下:

$ \begin{align} R(c_{uv}) =& \left\{c_{lm}, c_{lm}\in {C}|u-\frac{d} {2}\leq l\leq u+\frac{d}{2}, \right.\\ &\left.v-\frac{d}{2}\leq m\leq v+\frac{d}{2}\right\} \end{align} $ (7)

本文取$d=32$.本文图像块选择32像素×32像素是为了保持和AlexNet网络的输入图像块大小一致.需要指出的是, 由于图像块的尺寸是一个像素为偶数的正方形块, 本文选取的中心像素坐标是(16, 16).图像块$R(c_{uv})$包括了中心像素$c_{uv}$和它的邻域像素的空间位置关系, 如图 5(e)图 5(f)所示, 因此对该像素进行标记和分类时, 该像素不是孤立存在的, 而是包括了上下文像素信息的图像块的分类.本文的目标是对于任意输入的图像块$R(c_{uv})$, 构建一个函数$f(\cdot)$预测中心像素$c_{uv}$的类标签$y(c_{uv})$, 具体函数映射定义为

图 5 在边缘处提取训练集小块示意图 Figure 5 The images of extracting small block in training set at the edge
$ f:R(c_{uv})\mapsto y(c_{uv}) $ (8)

其中, $R(c_{uv})$的定义见式(7), 包含以$c_{uv}$为中心像素的上下文像素灰度信息.

为了实现逐像素点分割的目标, 本文构建的训练集包括两种类型的图像块:上皮组织块$R^e$和间质组织块$R^s$.两类训练集的构建方法如图 5所示. 1)根据专家标记的图像(图 5(b))提取其中对应的上皮和间质组织的边界并进行膨胀操作(图 5(d)). 2)根据专家标注将图 5(d)中的膨胀后的边界区域具体划分为上皮区域和间质区域(图 5(e)). 3)以图 5(e)中所有红色区域的像素点为中心取正方形32像素×32像素的小块作为上皮组织块$R^e$ (图 5(e)), 以所有绿色区域的像素点为中心取的小块作为间质组织块$R^s$ (图 5(f)).本文还考虑到训练集样本的数量以及冗余小块的数量, 随机丢弃部分小块.

除了边缘区域附近提取的小块以外, 本文同时也在上皮和间质组织内部选取大量的同样尺寸的两种类型的图像块.

4 实验设计

本节将详细介绍本文提出的上皮和间质组织自动分割具体实验流程和具体算法实现方法.

4.1 实验数据

本文实验数据采用文献[11]中荷兰癌症研究所(NKI)和温哥华综合医院(VGH)两个机构提供的数据.包括由病理专家手动标记的157张乳腺组织病理图像(NKI 106张; VGH 51张).每张图像都是基于$20\, \times$倍光学分辨率的H & E染色的乳腺癌组织芯片(TMA)中截取的感兴趣区域, 每张图像尺寸均为1 128像素×720像素.

CN网络的训练集和测试集分别由两种组织内部区域小块和组织边缘区域两部分的图像块组成, 训练集小块的构建方法见第4节.本文使用的训练集和测试集中的图像块的数量如表 2所示.

表 2 训练和测试样本的数量 Table 2 The number of training and testing samples
4.2 参数设置

本文实验使用的操作系统和计算机硬件为Linux系统ubuntu14.04, 英特尔第三代酷睿i7-3770 @ 3.40 GHz四核处理器16 GB内存(三星DDR3 1 600 MHz, Nvidia GeForce GTX 960微星4 GB显卡, 开发工具MATLAB 2014a.使用的卷积神经网络是基于Caffe框架[29], 网络参数设置如表 3所示, 网络结构如图 4所示.训练之前对网络初始化, 使用基于用数据库CIFAR-10训练的AlexNet网络参数作为初始, 接下来运用训练集微调网络参数, 得到最终的网络.这种网络初始化的方法能够避免人工设置或者高斯随机初始化参数的不足.

表 3 本文使用的深度卷积网络结构参数 Table 3 The parameters of deep convolution network structure in this paper

本文使用层网络的贪婪层智慧训练[30], 主要思路是每次只训练网络中的一层, 即首先训练一个只含一个隐藏层的网络, 根据损失函数(3), 使用梯度下降法最小化该损失函数得到第一隐藏层的参数, 然后当这层网络训练结束之后, 训练第二个隐藏层的网络.训练的第二个隐藏层神经网络的输入是第一个隐藏层神经网络隐藏层的激活值, 输出还是原样本的类标签, 然后跟上面一样训练第二个隐藏层的网络, 依此类推.按照网络结构的层次逐层训练来最终训练CN模型. SMC分类器根据输出神经元$h_{\theta}(x^{(i)})$的二维向量(2)预测出每个像素点所属的类别, 其中上皮组织$y^{(i)}=1$, 间质组织$y^{(i)}=0$.

4.3 实验流程

本文采用的实验步骤如下:

步骤1.  图像预处理.运用第2节中描述的图像预处理操作, 消除数据库中不同图像之间的颜色亮度差异.

步骤2.  构建训练和测试图像集.根据表 2中训练和测试样本的数量分配方式, 随机选取训练图像构建训练图像集, 剩余的图像作为测试图像集.

步骤3.  构建两种组织的训练图像块.针对训练样本图像, 根据专家标注, 运用第4节及图 5所描述的方法, 构建上皮和间质组织训练图像块.为了增强整个系统的鲁棒性, 选取的两种组织内部与边缘正方形图像块的比例大致为1:4.具体的两类组织图像块的数量如表 2所示.

步骤4.  训练CN模型.构建如图 4所示的CN模型.网络和参数设置, 网络的初始化, 见第5.2节描述.运用步骤3中获得的训练集, 训练该CN网络.

步骤5.  从测试图像中提取测试图像块.从测试样本中依次选取待分割的组织病理图像, 从每幅图像的左上角第一个像素为中心像素开始, 按照式(7)提取32像素×32像素的小块$R_i(c_{uv})$.接下来运用滑动窗的方法从左往右、从上往下让滑动窗的中心像素依此遍历整幅图像.为了保证处在边缘的像素也可以取到正方形图像块, 针对图像边缘像素, 本文采取了镜像边缘像素的方法来扩充边缘.

步骤6.  分割测试图像.如图 6所示, 图 6(a)是输入待分割的组织病理图像, 以图像中的某像素点为中心提取包括上下文信息的32像素× 32像素的图像小块; 图 6(b)是将该小块输入至已经预先训练好的CN模型预测该图像块中心像素点的类别; 图 6(c)是把图 6(a)图 6(b)的操作流程遍历整张图像, 并对每个图像块的中心像素点分类结果用伪色彩表示, 第0类代表上皮组织并表示为红色, 第1类代表间质组织并表示为绿色.其中黑色为本研究中暂不需关注的组织.将步骤5中从测试图像中得到的图像块依次输入到在前几个步骤中训练好的CN网络, 对每次输入的第$i$图像块$x^i=R_i(c_{uv})$都根据式(3)中SMC分类器输出的二维向量中的最大概率, 决定该图像块的中心像素$c_{uv}$的类标信息$y^i$.

图 6 分割流程图 Figure 6 The images of segmentation process

步骤7.  将步骤6遍历整幅待分割的图像, 完成对整幅待检测图像的分割.

4.4 对比模型

为了验证本文提出的CN-PI模型在上皮和间质组织分割的有效性, 对比几种基于图像块分割的深度卷积网络(CN-PA). CN-PI模型及对比的CN-PA模型的具体结构和详细描述见表 4.关于CN-PA模型的更详细描述参见文献[6].

表 4 本文中不同的对比模型及其描述 Table 4 Different contrast models and their descriptions in this paper
4.5 定量评估指标

本文使用混淆矩阵(Confused matrix)中各衍生参数定量比较不同模型的分割结果, 其中混淆矩阵中的各个元的定义如下:

TP:真阳性, 表示专家标记为上皮组织、自动分割模型分类为上皮组织的像素点的个数;

FP:假阳性, 表示专家标记为间质组织、自动分割模型分类为上皮组织的像素点的个数;

FN:假阴性, 表示专家标记为上皮组织、自动分割模型分类为间质组织的像素点的个数;

TN:真阴性, 表示专家标记为间质组织、自动分割模型分类为间质组织的像素点的个数.

根据混淆矩阵的各个元, 按如下公式计算混淆矩阵的衍生参数:

$ \begin{align*} &{\rm TPR}=\dfrac{\rm TP}{\rm TP+FN} \\ &\rm TNR=\dfrac{TN}{FP+TN} \\ &\rm PPV=\dfrac{TP}{TP+FP} \\ &\rm NPV=\dfrac{TN}{TN+FN}\\ &\rm FPR=\dfrac{FP}{FP+TN}\\ &\rm FNR=\dfrac{FN}{TP+FN} \end{align*} $
$ \begin{align*} &\rm FDR=\dfrac{FP}{FP+TP} \\ &\rm ACC=\dfrac{TP+TN}{P+N}\\ &\rm {F1=\dfrac{2\times TP}{2\times TP+FP+FN}} \\[2mm] &\rm MCC=\\[1mm] &\ \ \ \rm \dfrac{TP\times TN-FP\times FN}{\sqrt{(TP+FP)(TP+FN(TN+FP)(TN+FN))}}\end{align*} $

真阳性率(TPR)、真阴性率(TNR)、阳性预测值(PPV)、阴性预测值(NPV)、假阳性率(FPR)、假阴性率(FNR)、伪发现率(FDR)、准确性(ACC)、F1得分(F1)和马休斯相关系数(MCC)都是基于上述混淆矩阵中的4个元衍生出来的评估指标.其中ACC、F1和MCC是对模型综合能力评估的指标.

为了更好地进行比较, 本文使用ROC曲线评估各种模型的性能. ROC曲线是根据学习器的预测结果对样例重新排列, 按照顺序逐个把样本作为正例进行预测.并计算TPR与FPR, 将TPR作为纵轴, FPR作为横轴. AUC值是ROC曲线下各部分的面积, 其值越高代表模型性能越好.因此, ROC曲线和AUC值能够全面评估不同模型分割准确率的性能.

5 实验与结果讨论 5.1 定性的实验结果

图 7(a)是原始的病理图像. 图 7(b)是病理专家标注的上皮组织(红色)和间质组织(绿色), 黑色部分为背景区域, 即不被关注的区域; 为了定性地对比不同模型对两种组织分割的结果, 被分割的这两种组织区域也分别用红色和绿色两种伪彩色表示. 图 7(c)~7(i)分别是本文提出的CN-PI模型以及相比较的CN-SW-SVM, CN-SW-SMC, CN-Ncut-SVM, CN-Ncut-SMC, CN-SLIC-SVM, CN-SLIC-SMC模型得到用伪彩色表示的分割结果.其中红色和绿色分别代表着上皮和间质组织, 黑色部分为背景区域.通过比较这些分割结果可以看出, CN-PI模型的分割结果与专家标记的结果具有最高的相似度, 因此比其他模型在分割准确率方面有较明显的优势.

图 7 定性的分割结果对比 Figure 7 Compare in qualitative segmentation results
5.2 定量的实验结果

CN-PI和CN-PA模型在两种组织分类中的定量性能评估结果见表 5, 其中粗体字代表不同模型在该指标中取得的最优值.从表 5可以看出, CN-PI模型具有最好的性能, 但在计算效率上不足.从完成每张图像的平均分割时间来看, CN-PI需要花费更多的时间. 图 8(a)图 8(b)分别展示了CN-PI和CN-PA模型在NKI数据库和VGH数据库上的分割准确率的ROC曲线.不同颜色的曲线对应着不同的方法, 右下角框内的数据是不同ROC曲线对应的AUC值.其中红色矩形框内的AUC值代表最优的性能. ROC曲线的AUC值表明, CN-PI比CN-PA对两类组织的分类准确率上具有更优的性能.

表 5 不同模型分割结果的定量评估(%) Table 5 Quantitative evaluation of segmentation results for different models (%)
图 8 本文模型与对比模型在NKI (a)和VGH (b)数据库中分割结果的ROC曲线 Figure 8 The ROC curves of segmentation results in database NKI (a) and VGH (b) of our model and comparison models

图 8(a)图 8(b)分别是本文提出的CN-PI模型与对比的CN-PA模型在NKI和VGH数据库上分割结果的ROC曲线.结果表明, 本文提出的CN-PI模型在两个数据库上的上皮和间质分割结果均取得了最高的AUC值(分别是95.17%和96.94%), 说明CN-PI模型在上皮和间质分割上具有最好的性能.

尽管从计算时间来看, 本文提出的CN-PI模型较慢, 但是考虑到分割准确率是更为重要的性能, 因此本文提出的模型在解决该问题上还是具有较大的优势.此外, 由于计算机硬件性能的快速发展, 使用各种集群服务器越来越便利, 计算时间慢的不足可以弥补.在今后的工作中,研究的模型将在保证分割准确率的同时, 提高计算效率.

6 总结

本文提出了一种基于深度卷积网络的逐像素点分割(CN-PI)模型, 分割乳腺组织病理图像中上皮和间质组织.将CN-PI与其他基于图像块分割的深度卷积网络(CN-PA)模型在分割两种组织的性能上做了对比, CN-PI模型在分割准确率上具有较明显的优势.

不过, CN-PI模型在分割的过程中, 由于以待分割图像的每个像素点为中心像素构造的图像块都需要输入到CN中进行预测, 因此如果图像尺寸特别大, 将需要耗费较长时间.该不足还有待在未来的模型中加以改进.未来的工作拟将间质和上皮分割的结果运用于肿瘤的恶性程度的自动评分, 从而实现基于组织病理图像计算的肿瘤恶性程度自动评分的目标.

参考文献
1
Chen W Q, Zheng R S, Baade P D, Zhang S W, Zeng H M, Bray F, Jemal A, Yu X Q, He J. Cancer statistics in China, 2015. CA:A Cancer Journal for Clinicians, 2016, 66(2): 115-132. DOI:10.3322/caac.21338
2
Siegel R L, Miller K D, Jemal A. Cancer statistics, 2015. CA:A Cancer Journal for Clinicians, 2015, 65(1): 5-29. DOI:10.3322/caac.21254
3
Rubin R, Strayer D S. Rubin's Pathology:Clinicopathologic Foundations of Medicine. 5th Edition. Baltimore, MD: Lippincott Williams and Wilkins, 2008.
4
Downey C L, Simpkins S A, White J, Holliday D L, Jones J L, Jordan L B, Kulka J, Pollock S, Rajan S S, Thygesen H H, Hanby A M, Speirs V. The prognostic significance of tumour-stroma ratio in oestrogen receptor-positive breast cancer. British Journal of Cancer, 2014, 110(7): 1744-1747. DOI:10.1038/bjc.2014.69
5
Yuan Y Y, Failmezger H, Rueda O M, Ali H R, Gräf S, Chin S F, Schwarz R F, Curtis C, Dunning M J, Bardwell H, Johnson N, Doyle S, Turashvili G, Provenzano E, Aparicio S, Caldas C, Markowetz F. Quantitative image analysis of cellular heterogeneity in breast tumors complements genomic profiling. Science Translational Medicine, 2012, 4(157): 157ra143.
6
Xu J, Luo X F, Wang G H, Gilmore H, Madabhushi A. A deep convolutional neural network for segmenting and classifying epithelial and stromal regions in histopathological images. Neurocomputing, 2016, 191: 214-223. DOI:10.1016/j.neucom.2016.01.034
7
Linder N, Konsti J, Turkki R, Rahtu E, Lundin M, Nordling S, Haglund C, Ahonen T, Pietikäinen M, Lundin J. Identification of tumor epithelium and stroma in tissue microarrays using texture analysis. Diagnostic Pathology, 2012, 7: 22. DOI:10.1186/1746-1596-7-22
8
Ojala T, Pietikainen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987. DOI:10.1109/TPAMI.2002.1017623
9
Vapnik V N. Statistical Learning Theory. New York: Wiley, 1998.
10
Dalal N, Triggs B. Histograms of oriented gradients for human detection. In:Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA:IEEE, 2005. 886-893 http://dl.acm.org/citation.cfm?id=1068507.1069007
11
Beck A H, Sangoi A R, Leung S, Marinelli R J, Nielsen T O, van de Vijver M J, West R B, van de Rijn M, Koller D. Systematic analysis of breast cancer morphology uncovers stromal features associated with survival. Science Translational Medicine, 2011, 3(108): 108ra113.
12
Bourzac K. Software:the computer will see you now. Nature, 2013, 502(7473): S92-S94. DOI:10.1038/502S92a
13
Ren X, Malik J. Learning a classification model for segmentation. In:Proceedings of the 9th IEEE International Conference on Computer Vision. Nice, France:IEEE, 2003. 10-17 http://dl.acm.org/citation.cfm?id=946677
14
Ali S, Lewis J, Madabhushi A. Spatially aware cell cluster (SpACCl) graphs:predicting outcome in oropharyngeal pl6+ tumors. In:Medical Image Computing and Computer-assisted Intervention:MICCAI International Conference on Medical Image Computing and Computer-assisted Intervention. Berlin Heidelberg:Springer, 2013. 412-419 http://europepmc.org/abstract/MED/24505693
15
Hiary H, Alomari R S, Saadah M, Chaudhary V. Automated segmentation of stromal tissue in histology images using a voting Bayesian model. Signal, Image and Video Processing, 2012, 7(6): 1229-1237.
16
Eramian M, Daley M, Neilson D, Daley T. Segmentation of epithelium in H&E stained odontogenic cysts. Journal of Microscopy, 2011, 244(3): 273-292. DOI:10.1111/jmi.2011.244.issue-3
17
Amaral T, McKenna S, Robertson K, Thompson A. Classification and immunohistochemical scoring of breast tissue microarray spots. IEEE Transactions on Biomedical Engineering, 2013, 60(10): 2806-2814. DOI:10.1109/TBME.2013.2264871
18
Bejnordi B E, Balkenhol M, Litjens G, Holland R, Bult P, Karssemeijer N, van der Laak J A W M. Automated detection of DCIS in whole-slide H&E stained breast histopathology images. IEEE Transactions on Medical Imaging, 2016, 35(9): 2141-2150. DOI:10.1109/TMI.2016.2550620
19
Cirećsan D C, Giusti A, Gambardella L M, Schmidhuber J. Mitosis detection in breast cancer histology images with deep neural networks. In:Medical Image Computing and Computer-assisted Intervention:MICCAI International Conference on Medical Image Computing and Computer-assisted Intervention. Berlin Heidelberg:Springer, 2013. 411-418 http://rd.springer.com/chapter/10.1007/978-3-642-40763-5_51
20
Lécun Y, Bottou L, Bengio Y, Haffner P. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 1998, 86(11): 2278-2324. DOI:10.1109/5.726791
21
Serre T, Wolf L, Poggio T. Object recognition with features inspired by visual cortex. In:Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA:IEEE, 2005. 994-1000 http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=1467551
22
Cruz-Roa A A, Ovalle J E A, Madabhushi A, Osorio F A G. A deep learning architecture for image representation, visual interpretability and automated basal-cell carcinoma cancer detection. In:Medical Image Computing and Computer-assisted Intervention:MICCAI International Conference on Medical Image Computing and Computer-assisted Intervention. Berlin Heidelberg:Springer, 2013. 403-410 http://link.springer.com/10.1007/978-3-642-40763-5_50
23
Su H, Xing F, Kong X F, Xie Y P, Zhang S T, Yang L. Robust cell detection and segmentation in histopathological images using sparse reconstruction and stacked denoising autoencoders. Medical Image Computing and Computer-Assisted Intervention——MICCAI 2015. Switzerland:Springer International Publishing, 2015. 383-390 http://link.springer.com/10.1007/978-3-319-24574-4_46
24
Xu J, Xiang L, Liu Q S, Gilmore H, Wu J Z, Tang J H, Madabhushi A. Stacked sparse autoencoder (SSAE) for nuclei detection on breast cancer histopathology images. IEEE Transactions on Medical Imaging, 2016, 35(1): 119-130. DOI:10.1109/TMI.2015.2458702
25
Wang H B, Cruz-Roa A, Basavanhally A, Gilmore H, Shih N, Feldman M, Tomaszewski J, Gonzalez F, Madabhushi A. Mitosis detection in breast cancer pathology images by combining handcrafted and convolutional neural network features. Journal of Medical Imaging, 2014, 1(3): 034003. DOI:10.1117/1.JMI.1.3.034003
26
Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks. In:Advances in Neural Information Processing Systems 25:Proceedings of the 2012 Conference. Cambridge:MIT Press, 2012. http://dl.acm.org/citation.cfm?id=3065386
27
Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks. Journal of Machine Learning Research, 2010, 15: 315-323.
28
Reinhard E, Adhikhmin M, Gooch B, Shirley P. Color transfer between images. IEEE Computer Graphics and Applications, 2001, 21(5): 34-41.
29
Jia Y Q, Shelhamer E, Donahue J, Karayev S, Long J, Girshick R, Guadarrama S, Darrell T. Caffe:convolutional architecture for fast feature embedding. Eprint Arxiv, 2014. arXiv:1408.5093v1 http://dl.acm.org/citation.cfm?id=2654889&preflayout=flat
30
Schölkopf B, Platt J, Hofmann T. Greedy layerwise training of deep networks. In:Advances in Neural Information Processing Systems 19:Proceedings of the 2006 Conference. Cambridge:MIT Press, 2007. 153-160