核磁共振成像(magnetic resonance imaging, MRI)为脑肿瘤的诊断与规划治疗提供了丰富的信息,但是由于脑肿瘤的大小、形状和强度都各不相同,使得肿瘤分割变得困难。同时由于成像技术的原因,MRI图像也受到强度不均匀的影响,也会影响分割的准确性。在临床中,脑肿瘤的分割都是靠人工标注的,这是非常耗时的,并且也依赖于医生的经验,因此脑肿瘤的自动分割也成为医学领域一项具有挑战性的难题。
无监督聚类与有监督聚类相比不需要大量的标记数据集,可以在不损失分割精度的前提下降低计算复杂度、提高计算效率。用于脑肿瘤图像分割的无监督方法包括Fuzzy-c-Means(FCM)[1]、Gaussian Mixture Model(GMM)[2]、K-means[3-4]和Region Seeds Growing(RSG)[5]等。谱聚类是近些年比较流行的一种无监督聚类方法,它是一种基于图的聚类方法[6],与其他聚类技术相比可以在多项式时间内产生全局最优解。但是谱聚类依赖图节点之间构造的相似矩阵,当数据量大的时候,会带来计算复杂度较高的问题。为了克服谱聚类的缺点,Fowlkes[7]采用Nystrom方法,可以用少量的采样像素来逼近相似度矩阵,提高了计算效率,然而由于数据量大、特征向量之间不正交等原因,影响了分割结果的准确性。超像素最开始由Ren等[8]提出,它代表了一个连贯的局部区域,保留了图像的大部分特征,利用超像素可以显著地降低图的节点数,加快图的划分。文献[9]首先使用K-means生成超像素,然后通过谱聚类对超像素进行聚类,进而完成了对脑肿瘤的分割。
本文基于谱聚类和超像素在图像分割中的成功应用,提出了多特征融合的超像素谱聚类MRI脑肿瘤图像分割方法。采用超像素为图节点,构建了一种融合图像空间、颜色和纹理特征的相似度计算函数,进而求得归一化拉普拉斯矩阵,然后对其特征向量进行聚类来完成对图像的分割。通过实验结果表明,该方法有效地降低了计算复杂度,提高了分割精度。
1 相关基础概念 1.1 SLIC算法SLIC算法是近些年比较流行的超像素分割算法[10],其根据空间距离和颜色相似特征进行局部的迭代聚类。SLIC方法是K-means聚类在生成超像素时的一种改进,与K-means相比它有两个重要的改进:1)SLIC将聚类搜索空间限制为与超像素的大小成比例,这样可以将K-means算法的复杂度降为常数,整个算法复杂度为线性。2)同时考虑颜色和空间距离并且进行加权处理,可以对超像素的边界依附性和紧凑型加以控制,它有一个参数
$ {d_{\rm{c}}} = \sqrt {{{({l_j} - {l_i})}^2} + {{({a_j} - {a_i})}^2} + {{({b_j} - {b_i})}^2}} $ |
$ {d_{\rm{s}}} = \sqrt {{{({x_j} - {x_i})}^2} + {{({y_j} - {y_i})}^2}} $ |
$ D = \sqrt {{{({d_{\rm{c}}})}^2} + {{\Bigg(\frac{{{d_{\rm{s}}}}}{S}\Bigg)}^2}{m^2}} $ |
式中:
谱聚类是一种目前比较流行的基于图的无监督聚类技术[6]。它将需要聚类的数据看作为空间中的点,然后通过边将这些点连接起来,并赋予各个边权重值。将间隔较远的两点之间的边赋予较低权重,而相距较近的两点之间的边赋予较高权重,通过对聚类数据点构成的图进行切图,让切图后不同聚类间边权重和尽可能低,而同一聚类内的边权重和尽可能高,以达到对数据聚类的目的。NJW是一种经典的谱聚类方法[11],其通过对拉普拉斯矩阵的特征向量和特征值进行分解来对数据进行聚类。给定一个图像
$ {S_{ij}} = \left\{ {\begin{array}{*{20}{c}} {{{\rm{e}}^{\frac{{d{{({I_i},{I_j})}^2}}}{{2{\sigma ^2}}}}},}&{i \ne j} \\ {0,}&{i = j} \end{array}} \right. $ |
式中:
由于成像技术的原因,原始MRI图像中会不可避免地带有噪声,并且噪声通常服从Rician分布,非局部均值滤波(non-local means, NL-Means)技术被发现能很好地处理MRI图像中的噪声[12],该算法利用图像中普遍存在的冗余信息来去除噪声,它利用整幅图像来去噪,以图像块为单位在图像中寻找相似区域,再对这些区域求平均,能够比较好地去掉MRI图像中的噪声。NL-Means滤波过程可以表示为
$ u(x) = \sum\limits_{y \in {{\mathit{ \Omega}} _x}} { \omega (x,y)v(y)} $ |
式中
$ \begin{array}{l} \omega (x,y) > 0\;\begin{array}{*{20}{c}} {\;{\rm{and}}\;\;} \end{array}\begin{array}{*{20}{c}} {\displaystyle\sum\limits_{y \in {{\mathit{ \Omega}} _x}} {\omega (x,y) = 1} } \end{array}\\ \forall x \in{\mathit{ \Omega}} ,y \in {{\mathit{ \Omega}} _x} \end{array} $ | (1) |
Download:
|
|
将去噪后的MRI图像通过SLIC算法进行超像素分割,进而获得构建加权无向图的节点,SLIC分割结果如图2。因为谱聚类具有对高斯核尺度参数
Download:
|
|
局部二值模式(local binary pattern, LBP)是一种常用来描述图像纹理特征的算子,它具有旋转不变性和灰度不变性等优点。其定义在一个3×3的窗口内,以窗口中心的像素作为阈值,并将其与其8邻域内的像素的灰度值进行比较,进而得到该区域的纹理信息[13],如图3所示,用公式表示为
$ {\rm{LBP}}({x_c},{y_c}) = \sum\limits_{P = 0}^{P - 1} {{2^P}s({i_p} - {i_c})} $ |
式中:
$ s(x) = \left\{ {\begin{array}{*{20}{c}} {1,}&{x \geqslant 0}\\ {0,}&{\text{其他}} \end{array}} \right. $ |
Download:
|
|
给定
$ D(i,j) = \sqrt {{(g(i) - g(j))^2} + {\Bigg(\dfrac{{r(i) - r(j)}}{{d_w}} \times t_w\Bigg)^2} + {\Bigg(\dfrac{{c(i) - c(j)}}{{d_w}} \times t_w\Bigg)^2} + \dfrac{{{{(t(i) - t(j))}^2}}}{{t_w}}} $ |
$ d_w = \sqrt {\frac{{h \times w}}{m}} $ |
式中:
计算相似距离之后,选择fully connected graph的方式构建相似度矩阵,相似度矩阵
$ {{{\mathit{\boldsymbol{S}}}}_{i,j}} = \left\{ \begin{array}{l} {{{\rm{e}}^{\left(\frac{{ - D_{i,j}^2}}{{2{\sigma _i}{\sigma _j}}}\right)}}},\quad{i \ne j} \\ 0,\quad{i = j} \end{array} \right. $ |
其中:
$ {\sigma _i^2} = \frac{1}{N}\sum\limits_{j = 1}^N {\Bigg({{{\mathit{\boldsymbol{D}}}}_{ij}} - \frac{1}{N}\sum\limits_{k = 1}^N {{{{\mathit{\boldsymbol{D}}}}_{ik}}} \Bigg)^2} $ | (4) |
谱聚类算法相比于其他分割算法能更有效的进行聚类,但是它的计算复杂度为
为了验证本文方法,分别与INJW算法[14]和RSF-Ncut算法[15]进行对比分割实验。实验所用的数据来自BraTS 2015数据集[2],实验机器采用PC机,Inter Core i5 2.6 GHZ处理器,8 GB内存,实验平台为MATLAB 2019b,图4给出了以上3种分割方法与人工分割的对比图。
Download:
|
|
为了定量评估算法的性能,本文选用相似性系数(Dice)、相对体积误差(RVD)和灵敏度(Sensitivity)作为脑肿瘤分割结果的评价指标,其中Dice表示分割结果和groundtruth之间的重叠程度,RVD表示分割结果和groundtruth之间体积的差值,Sensitivity表示正确分割的肿瘤占真值肿瘤的比例,实验中对每幅图像均做了多次实验,结果取平均值。
$ {\rm{Dice = }}\frac{{2 \times ({R_{{\rm{seg}}}}\;{\rm{and}}\;{R_{{\rm{gt}}}})}}{{{R_{{\rm{seg}}}} + {R_{{\rm{gt}}}}}} $ |
$ {\rm{RVD}} = \Bigg(\frac{{{R_{{\rm{seg}}}}}}{{{R_{{\rm{gt}}}}}} - 1\Bigg) $ |
$ {\rm{Sensitivity}} = \frac{{(R{}_{{\rm{seg}}}\;{\rm{and}}\;{R_{{\rm{gt}}}})}}{{{R_{{\rm{gt}}}}}} $ |
从视觉效果来看,本文方法较对比方法更能保持分割出的脑肿瘤部位的完整性,在边界保持上也具有更好的效果。表1给出本文方法与INJW方法和RSF-Ncut方法的分割性能对比,可以看出,在所选取的3个性能指标上,本文方法均高于对比算法。因此,本文方法具有更高的分割精度和更优的分割效果。
本文提出了一种多特征融合的超像素谱聚类MRI脑肿瘤图像分割方法,算法有以下特点:
1)采用超像素代替单一像素为图节点构建加权无向图,有效地降低了谱聚类的计算复杂度,提高了计算效率。
2)在计算相似度矩阵时,融合多种图像特征,使相似度矩阵更全面地反映了图像的信息。实验表明,本文所提方法在Dice、RVD和Sensitivity3个性能评价指标上均优于对比方法,达到了更高的分割精度,具有实际应用价值。
本文的算法也存在局限性,还有很大的提升空间,具体表现在:在计算相似度矩阵时存在大量的指数运算,比较耗时,因此分割实时性还有待提高。未来将对算法的分割实时性作进一步的探索,寻找更加快速有效的方法。
[1] | 蒋秋霖, 王昕. 改进FCM的MR脑肿瘤图像分割[J]. 长春工业大学学报, 2019, 40(2): 149-155. (0) |
[2] | MENZE B H, JAKAB A, BAUER S, et al. The multimodal brain tumor image segmentation benchmark (BRATS)[J]. IEEE transactions on medical imaging, 2015, 34(10): 1993-2024. DOI:10.1109/TMI.2014.2377694 (0) |
[3] | 宗晓萍, 田伟倩. 采用K-means的脑肿瘤磁共振图像分割与特征提取[J]. 计算机工程与应用, 2020, 56(3): 187-193. DOI:10.3778/j.issn.1002-8331.1810-0220 (0) |
[4] | ASTHANA P, VASHISTH S. Segmentation of brain tumor from MRI images[C]//Proceedings of the 2017 International Conference on Computing and Communication Technologies for Smart Nation. Gurgaon, India, 2017. (0) |
[5] | ZHU Weihua, SHEN Ying. A region growing segmentation approach for MRI brain image processing[C]//Proceedings of the 2019 IEEE 13th International Conference on Anti-counterfeiting, Security, and Identification. Xiamen, China, 2019. (0) |
[6] | SHI Jianbo, MALIK J. Normalized cuts and image segmentation[J]. IEEE transactions on pattern analysis and machine intelligence, 2000, 22(8): 888-905. DOI:10.1109/34.868688 (0) |
[7] | FOWLKES C, BELONGIE S, CHUNG F, et al. Spectral grouping using the Nystrom method[J]. IEEE transactions on pattern analysis and machine intelligence, 2004, 26(2): 214-225. DOI:10.1109/TPAMI.2004.1262185 (0) |
[8] | REN Xiaofeng, MALIK J. Learning a classification model for segmentation[C]//Proceedings of the 9th IEEE International Conference on Computer Vision. Nice, France, 2003. (0) |
[9] | 苏坡, 杨建华, 薛忠. 基于超像素的多模态MRI脑胶质瘤分割[J]. 西北工业大学学报, 2014, 32(3): 417-422. DOI:10.3969/j.issn.1000-2758.2014.03.017 (0) |
[10] | ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE transactions on pattern analysis and machine intelligence, 2012, 34(11): 2274-2281. DOI:10.1109/TPAMI.2012.120 (0) |
[11] | YUAN Changan, QIN Xiao, QIN Zhengyou, et al. Image segmentation based on modified superpixel segmentation and spectral clustering[J]. Journals & magazines, 2018, 2018(16): 1704-1711. (0) |
[12] | BUADES A, COLL B, MOREL J M. A review of image denoising algorithms, with a new one[J]. Multiscale modeling & simulation, 2005, 4(2): 490-530. (0) |
[13] | LIU Guangshuai, LIU Wanghua, CHEN Xiaowen. An improved pairwise rotation invariant Co-occurrence local binary pattern method for texture feature extraction[C]//Proceedings of the 2019 IEEE International Conference on Artificial Intelligence and Computer Applications. Dalian, China, 2019. (0) |
[14] | 王焱, 王卉蕾. 改进的谱聚类算法在图像分割中的应用[J]. 测控技术, 2018, 37(4): 11-15. DOI:10.3969/j.issn.1000-8829.2018.04.003 (0) |
[15] | 周晓宇, 张龙波, 王雷, 等. 结合谱聚类与改进RSF模型的医学图像分割[J]. 计算机工程与应用, 2019, 55(15): 193-197, 212. (0) |