«上一篇
文章快速检索     高级检索
下一篇»
  应用科技  2021, Vol. 48 Issue (1): 31-35  DOI: 10.11991/yykj.202006006
0

引用本文  

白志超, 康维新. 多特征融合的超像素谱聚类MRI脑肿瘤图像分割[J]. 应用科技, 2021, 48(1): 31-35. DOI: 10.11991/yykj.202006006.
BAI Zhichao, KANG Weixin. Segmentation of MRI brain tumor image of superpixel spectral clustering based on multi-feature fusion[J]. Applied Science and Technology, 2021, 48(1): 31-35. DOI: 10.11991/yykj.202006006.

通信作者

白志超,baizhichao@hrbeu.edu.cn

作者简介

白志超,男,硕士研究生;
康维新,男,教授,博士

文章历史

收稿日期:2020-06-13
多特征融合的超像素谱聚类MRI脑肿瘤图像分割
白志超, 康维新    
哈尔滨工程大学 信息与通信工程学院,黑龙江 哈尔滨 150001
摘要:为了有效地提高MRI脑肿瘤图像的分割精度,更好地辅助医生诊断病情,提出了一种多特征融合的超像素谱聚类MRI脑肿瘤图像分割方法。首先通过简单线性迭代聚类分割的超像素替代像素点来构建加权无向图,并且融合多种图像特征构建相似度计算函数,同时采用自适应的方式计算高斯核的尺度参数,根据相似度函数计算相似度矩阵进而求得拉普拉斯矩阵,然后对此拉普拉斯矩阵的特征向量进行K-means聚类来完成对图像的分割。在BraTS 2015数据集上与其他2种谱聚类图像分割方法进行了对比实验,并采用相似性系数(Dice)、相对体积误差(RVD)和灵敏度(Sensitivity)这3个指标对分割结果进行评价。结果表明,本文方法在这3个指标上均优于对比方法。因此本文提出的多特征融合的MRI脑肿瘤图像分割方法能够更高效、更精确地完成MRI图像的分割。
关键词多特征    MRI    脑肿瘤    超像素    相似度矩阵    谱聚类    图像分割    无监督聚类    
Segmentation of MRI brain tumor image of superpixel spectral clustering based on multi-feature fusion
BAI Zhichao, KANG Weixin    
College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China
Abstract: In order to effectively improve the segmentation accuracy of MRI brain tumor images and better assist doctors in diagnosis, a segmentation method of MRI brain tumor image of superpixel spectral clustering is proposed in this paper based on multi-feature fusion. Firstly, superpixels obtained by simple linear iterative clustering (SLIC) segmentation are used to replace pixels to construct weighted undirected graph, and similarity calculation function is built based on multi-feature fusion. Meanwhile, the scale parmeters of the Gaussian kernel are calculated by the adaptive computation method, and the similarity matrix is calculated according to the similarity function. Then, the Laplacian matrix is obtained, and the image segmentation is completed by the K-means clustering of the eigen vector of the Laplacian matrix. Finally, this method is compared with the other two spectral clustering image segmentation methods on BraTS 2015 data set, and three indicators such as similarity coefficient (Dice), relative volume deviation (RVD), and sensitivity are used to evaluate the segmentation result. The results show that the method proposed in this paper is better than the contrast methods with respect to these three indicators, therefore, the segmentation method of MRI brain images based on multi-feature fusion can be more robust and more accurate.
Keywords: multi-feature    MRI    brain tumor    superpixel    similarity matrix    spectral clustering    image segmentation    unsupervised clustering    

核磁共振成像(magnetic resonance imaging, MRI)为脑肿瘤的诊断与规划治疗提供了丰富的信息,但是由于脑肿瘤的大小、形状和强度都各不相同,使得肿瘤分割变得困难。同时由于成像技术的原因,MRI图像也受到强度不均匀的影响,也会影响分割的准确性。在临床中,脑肿瘤的分割都是靠人工标注的,这是非常耗时的,并且也依赖于医生的经验,因此脑肿瘤的自动分割也成为医学领域一项具有挑战性的难题。

无监督聚类与有监督聚类相比不需要大量的标记数据集,可以在不损失分割精度的前提下降低计算复杂度、提高计算效率。用于脑肿瘤图像分割的无监督方法包括Fuzzy-c-Means(FCM)[1]、Gaussian Mixture Model(GMM)[2]、K-means[3-4]和Region Seeds Growing(RSG)[5]等。谱聚类是近些年比较流行的一种无监督聚类方法,它是一种基于图的聚类方法[6],与其他聚类技术相比可以在多项式时间内产生全局最优解。但是谱聚类依赖图节点之间构造的相似矩阵,当数据量大的时候,会带来计算复杂度较高的问题。为了克服谱聚类的缺点,Fowlkes[7]采用Nystrom方法,可以用少量的采样像素来逼近相似度矩阵,提高了计算效率,然而由于数据量大、特征向量之间不正交等原因,影响了分割结果的准确性。超像素最开始由Ren等[8]提出,它代表了一个连贯的局部区域,保留了图像的大部分特征,利用超像素可以显著地降低图的节点数,加快图的划分。文献[9]首先使用K-means生成超像素,然后通过谱聚类对超像素进行聚类,进而完成了对脑肿瘤的分割。

本文基于谱聚类和超像素在图像分割中的成功应用,提出了多特征融合的超像素谱聚类MRI脑肿瘤图像分割方法。采用超像素为图节点,构建了一种融合图像空间、颜色和纹理特征的相似度计算函数,进而求得归一化拉普拉斯矩阵,然后对其特征向量进行聚类来完成对图像的分割。通过实验结果表明,该方法有效地降低了计算复杂度,提高了分割精度。

1 相关基础概念 1.1 SLIC算法

SLIC算法是近些年比较流行的超像素分割算法[10],其根据空间距离和颜色相似特征进行局部的迭代聚类。SLIC方法是K-means聚类在生成超像素时的一种改进,与K-means相比它有两个重要的改进:1)SLIC将聚类搜索空间限制为与超像素的大小成比例,这样可以将K-means算法的复杂度降为常数,整个算法复杂度为线性。2)同时考虑颜色和空间距离并且进行加权处理,可以对超像素的边界依附性和紧凑型加以控制,它有一个参数 $K$ ,可以控制超像素的数量。SLIC算法简单易于理解,通过不断地进行迭代聚类,直到结果收敛。通过限制聚类的搜索区域,显著地降低了计算复杂度,生成的超像素具有规则的尺寸。SLIC的距离计算公式为

$ {d_{\rm{c}}} = \sqrt {{{({l_j} - {l_i})}^2} + {{({a_j} - {a_i})}^2} + {{({b_j} - {b_i})}^2}} $
$ {d_{\rm{s}}} = \sqrt {{{({x_j} - {x_i})}^2} + {{({y_j} - {y_i})}^2}} $
$ D = \sqrt {{{({d_{\rm{c}}})}^2} + {{\Bigg(\frac{{{d_{\rm{s}}}}}{S}\Bigg)}^2}{m^2}} $

式中: ${d_{\rm{s}}}$ 为空间距离; ${d_{\rm{c}}}$ 为颜色距离; $S$ 为网格间隔; $m$ 为权衡因子,l、a、b分别为Lab颜色空间各通道的值,x、y为像素点坐标。 $m$ 大时,空间邻近性更重要; $m$ 小时,颜色相似性更重要。

1.2 谱聚类算法

谱聚类是一种目前比较流行的基于图的无监督聚类技术[6]。它将需要聚类的数据看作为空间中的点,然后通过边将这些点连接起来,并赋予各个边权重值。将间隔较远的两点之间的边赋予较低权重,而相距较近的两点之间的边赋予较高权重,通过对聚类数据点构成的图进行切图,让切图后不同聚类间边权重和尽可能低,而同一聚类内的边权重和尽可能高,以达到对数据聚类的目的。NJW是一种经典的谱聚类方法[11],其通过对拉普拉斯矩阵的特征向量和特征值进行分解来对数据进行聚类。给定一个图像 $I = \{ {I_1}, $ $ {I_2},\cdots, {I_n}\}$ ,其中 ${I_1},{I_2},\cdots ,{I_n}$ 表示图像中的像素,将图像表示成一个加权无向图 $G = \{ V,E\} $ ,其中 $V$ 表示图中的节点, $E$ 表示节点之间的边,在计算相似度矩阵时,第 $i$ 个节点和第 $j$ 个节点之间的相似度量函数可以表示为

$ {S_{ij}} = \left\{ {\begin{array}{*{20}{c}} {{{\rm{e}}^{\frac{{d{{({I_i},{I_j})}^2}}}{{2{\sigma ^2}}}}},}&{i \ne j} \\ {0,}&{i = j} \end{array}} \right. $

式中: $d({I_i},{I_j})$ 表示节点 ${I_i}$ 与节点 ${I_j}$ 之间的欧氏距离; $\sigma $ 为高斯核尺度参数。然后将相似度矩阵转化为归一化拉普拉斯矩阵进行特征向量分解。最后,利用K-means算法对最小的 $k$ 个特征值进行聚类,得到原始信息聚类结果。

2 多特征融合的超像素谱聚类脑肿瘤图像分割 2.1 非局部均值滤波去噪

由于成像技术的原因,原始MRI图像中会不可避免地带有噪声,并且噪声通常服从Rician分布,非局部均值滤波(non-local means, NL-Means)技术被发现能很好地处理MRI图像中的噪声[12],该算法利用图像中普遍存在的冗余信息来去除噪声,它利用整幅图像来去噪,以图像块为单位在图像中寻找相似区域,再对这些区域求平均,能够比较好地去掉MRI图像中的噪声。NL-Means滤波过程可以表示为

$ u(x) = \sum\limits_{y \in {{\mathit{ \Omega}} _x}} { \omega (x,y)v(y)} $

式中 $\omega (x,y)$ 为权重值,表示在原始图像 $I$ 中像素 $x$ 和像素 $y$ 之间的相似度。 $\omega (x,y)$ 需要满足式(1)表示的条件,图1给出了去噪后的效果。

$ \begin{array}{l} \omega (x,y) > 0\;\begin{array}{*{20}{c}} {\;{\rm{and}}\;\;} \end{array}\begin{array}{*{20}{c}} {\displaystyle\sum\limits_{y \in {{\mathit{ \Omega}} _x}} {\omega (x,y) = 1} } \end{array}\\ \forall x \in{\mathit{ \Omega}} ,y \in {{\mathit{ \Omega}} _x} \end{array} $ (1)
Download:
图 1 去噪后图像
2.2 构建相似度度量函数

将去噪后的MRI图像通过SLIC算法进行超像素分割,进而获得构建加权无向图的节点,SLIC分割结果如图2。因为谱聚类具有对高斯核尺度参数 $\sigma $ 的选取敏感的特点,并且MRI医学图像感兴趣区域(ROI)总是存在边界模糊的现象,单一的采用距离及颜色特征度量超像素节点之间的相似性并不会获得良好的分割效果,因此本文构建了一种融合多特征的相似度度量函数,在距离及颜色特征的基础上添加MRI图像的纹理特征,并且采用自适应的方式计算尺度参数 $\sigma $

Download:
图 2 超像素分割
2.2.1 获取纹理体征

局部二值模式(local binary pattern, LBP)是一种常用来描述图像纹理特征的算子,它具有旋转不变性和灰度不变性等优点。其定义在一个3×3的窗口内,以窗口中心的像素作为阈值,并将其与其8邻域内的像素的灰度值进行比较,进而得到该区域的纹理信息[13],如图3所示,用公式表示为

$ {\rm{LBP}}({x_c},{y_c}) = \sum\limits_{P = 0}^{P - 1} {{2^P}s({i_p} - {i_c})} $

式中: $({x_c},{y_c})$ 为中心像素; ${i_c}$ 为中心像素灰度值; ${i_n}$ 为相邻像素的灰度值; $s(x)$ 是一个符号函数。

$ s(x) = \left\{ {\begin{array}{*{20}{c}} {1,}&{x \geqslant 0}\\ {0,}&{\text{其他}} \end{array}} \right. $
Download:
图 3 纹理特征
2.2.2 构建相似度矩阵

给定 $N$ 个超像素,加权无向图被表示成一个 $N \times N$ 的相似度矩阵,第 $i$ 个超像素与第 $j$ 个超像素之间的相似距离定义为

$ D(i,j) = \sqrt {{(g(i) - g(j))^2} + {\Bigg(\dfrac{{r(i) - r(j)}}{{d_w}} \times t_w\Bigg)^2} + {\Bigg(\dfrac{{c(i) - c(j)}}{{d_w}} \times t_w\Bigg)^2} + \dfrac{{{{(t(i) - t(j))}^2}}}{{t_w}}} $
$ d_w = \sqrt {\frac{{h \times w}}{m}} $

式中: $g(i)$ $r(i)$ $c(i)$ 分别表示超像素的平均灰度值和平均位置; $t(i)$ 为超像素的平均纹理特征值,同时由于空间距离依赖于图像的大小,因此添加空间加权因子 $d_w$ ;其中 $h$ 为图像高度; $w$ 为图像宽度,在实验中,将 $m$ 设置为固定值100; $t_w$ 为纹理特征调节参数,在实验中设置为固定值10。

计算相似距离之后,选择fully connected graph的方式构建相似度矩阵,相似度矩阵 ${{\mathit{\boldsymbol{S}}}}$ 定义如下:

$ {{{\mathit{\boldsymbol{S}}}}_{i,j}} = \left\{ \begin{array}{l} {{{\rm{e}}^{\left(\frac{{ - D_{i,j}^2}}{{2{\sigma _i}{\sigma _j}}}\right)}}},\quad{i \ne j} \\ 0,\quad{i = j} \end{array} \right. $

其中:

$ {\sigma _i^2} = \frac{1}{N}\sum\limits_{j = 1}^N {\Bigg({{{\mathit{\boldsymbol{D}}}}_{ij}} - \frac{1}{N}\sum\limits_{k = 1}^N {{{{\mathit{\boldsymbol{D}}}}_{ik}}} \Bigg)^2} $ (4)

谱聚类算法相比于其他分割算法能更有效的进行聚类,但是它的计算复杂度为 $O({N^{3/2}})$ ,采用SLIC进行超像素分割可以大大降低 $N$ ,提高计算效率。同时本文构造的相似度矩阵融合了MRI图像的纹理信息,可以更好反应图像的结构与信息,采用式(4)计算 $\sigma $ 可以有效地避免人为选取 $\sigma $ 带来的敏感性问题。

3 对比试验与结果分析

为了验证本文方法,分别与INJW算法[14]和RSF-Ncut算法[15]进行对比分割实验。实验所用的数据来自BraTS 2015数据集[2],实验机器采用PC机,Inter Core i5 2.6 GHZ处理器,8 GB内存,实验平台为MATLAB 2019b,图4给出了以上3种分割方法与人工分割的对比图。

Download:
图 4 3种算法分割结果及人工分割的对比图

为了定量评估算法的性能,本文选用相似性系数(Dice)、相对体积误差(RVD)和灵敏度(Sensitivity)作为脑肿瘤分割结果的评价指标,其中Dice表示分割结果和groundtruth之间的重叠程度,RVD表示分割结果和groundtruth之间体积的差值,Sensitivity表示正确分割的肿瘤占真值肿瘤的比例,实验中对每幅图像均做了多次实验,结果取平均值。

$ {\rm{Dice = }}\frac{{2 \times ({R_{{\rm{seg}}}}\;{\rm{and}}\;{R_{{\rm{gt}}}})}}{{{R_{{\rm{seg}}}} + {R_{{\rm{gt}}}}}} $
$ {\rm{RVD}} = \Bigg(\frac{{{R_{{\rm{seg}}}}}}{{{R_{{\rm{gt}}}}}} - 1\Bigg) $
$ {\rm{Sensitivity}} = \frac{{(R{}_{{\rm{seg}}}\;{\rm{and}}\;{R_{{\rm{gt}}}})}}{{{R_{{\rm{gt}}}}}} $

式中RsegRgt分别表示算法分割结果和人工分割。

从视觉效果来看,本文方法较对比方法更能保持分割出的脑肿瘤部位的完整性,在边界保持上也具有更好的效果。表1给出本文方法与INJW方法和RSF-Ncut方法的分割性能对比,可以看出,在所选取的3个性能指标上,本文方法均高于对比算法。因此,本文方法具有更高的分割精度和更优的分割效果。

表 1 3种分割方法性能对比
4 结论

本文提出了一种多特征融合的超像素谱聚类MRI脑肿瘤图像分割方法,算法有以下特点:

1)采用超像素代替单一像素为图节点构建加权无向图,有效地降低了谱聚类的计算复杂度,提高了计算效率。

2)在计算相似度矩阵时,融合多种图像特征,使相似度矩阵更全面地反映了图像的信息。实验表明,本文所提方法在Dice、RVD和Sensitivity3个性能评价指标上均优于对比方法,达到了更高的分割精度,具有实际应用价值。

本文的算法也存在局限性,还有很大的提升空间,具体表现在:在计算相似度矩阵时存在大量的指数运算,比较耗时,因此分割实时性还有待提高。未来将对算法的分割实时性作进一步的探索,寻找更加快速有效的方法。

参考文献
[1] 蒋秋霖, 王昕. 改进FCM的MR脑肿瘤图像分割[J]. 长春工业大学学报, 2019, 40(2): 149-155. (0)
[2] MENZE B H, JAKAB A, BAUER S, et al. The multimodal brain tumor image segmentation benchmark (BRATS)[J]. IEEE transactions on medical imaging, 2015, 34(10): 1993-2024. DOI:10.1109/TMI.2014.2377694 (0)
[3] 宗晓萍, 田伟倩. 采用K-means的脑肿瘤磁共振图像分割与特征提取[J]. 计算机工程与应用, 2020, 56(3): 187-193. DOI:10.3778/j.issn.1002-8331.1810-0220 (0)
[4] ASTHANA P, VASHISTH S. Segmentation of brain tumor from MRI images[C]//Proceedings of the 2017 International Conference on Computing and Communication Technologies for Smart Nation. Gurgaon, India, 2017. (0)
[5] ZHU Weihua, SHEN Ying. A region growing segmentation approach for MRI brain image processing[C]//Proceedings of the 2019 IEEE 13th International Conference on Anti-counterfeiting, Security, and Identification. Xiamen, China, 2019. (0)
[6] SHI Jianbo, MALIK J. Normalized cuts and image segmentation[J]. IEEE transactions on pattern analysis and machine intelligence, 2000, 22(8): 888-905. DOI:10.1109/34.868688 (0)
[7] FOWLKES C, BELONGIE S, CHUNG F, et al. Spectral grouping using the Nystrom method[J]. IEEE transactions on pattern analysis and machine intelligence, 2004, 26(2): 214-225. DOI:10.1109/TPAMI.2004.1262185 (0)
[8] REN Xiaofeng, MALIK J. Learning a classification model for segmentation[C]//Proceedings of the 9th IEEE International Conference on Computer Vision. Nice, France, 2003. (0)
[9] 苏坡, 杨建华, 薛忠. 基于超像素的多模态MRI脑胶质瘤分割[J]. 西北工业大学学报, 2014, 32(3): 417-422. DOI:10.3969/j.issn.1000-2758.2014.03.017 (0)
[10] ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE transactions on pattern analysis and machine intelligence, 2012, 34(11): 2274-2281. DOI:10.1109/TPAMI.2012.120 (0)
[11] YUAN Changan, QIN Xiao, QIN Zhengyou, et al. Image segmentation based on modified superpixel segmentation and spectral clustering[J]. Journals & magazines, 2018, 2018(16): 1704-1711. (0)
[12] BUADES A, COLL B, MOREL J M. A review of image denoising algorithms, with a new one[J]. Multiscale modeling & simulation, 2005, 4(2): 490-530. (0)
[13] LIU Guangshuai, LIU Wanghua, CHEN Xiaowen. An improved pairwise rotation invariant Co-occurrence local binary pattern method for texture feature extraction[C]//Proceedings of the 2019 IEEE International Conference on Artificial Intelligence and Computer Applications. Dalian, China, 2019. (0)
[14] 王焱, 王卉蕾. 改进的谱聚类算法在图像分割中的应用[J]. 测控技术, 2018, 37(4): 11-15. DOI:10.3969/j.issn.1000-8829.2018.04.003 (0)
[15] 周晓宇, 张龙波, 王雷, 等. 结合谱聚类与改进RSF模型的医学图像分割[J]. 计算机工程与应用, 2019, 55(15): 193-197, 212. (0)