动态纹理是一种空间重复且随时间变化的视觉模式,它构成了在时间上具有某种稳定特性的图像序列[1]。动态纹理在我们生活中随处可见,例如,随风飘动树枝、白云、喷水的喷泉、燃烧的蜡烛、波浪等。动态纹理分割是将包含多种纹理的视频图像序列分割成一系列不连续的区域,在气象学、医学等领域都有广泛的应用。
目前对动态纹理分割的方法主要有2种,分别是基于运动属性的方法和基于“运动”和“外观”两种属性相结合的方法。李亚楠[2]等为了解决在2D到3D视频的转换过程中深度信息的提取,提出了基于图像分割的金字塔Lucas-Kanade光流法提取深度信息。李元博[3]在对运动边界对光流估计影响进行分析的基础上,根据运动边界相对于光流场的稀疏性,提出了增强光流梯度稀疏性的先验概率模型及优化方法,并实现了基于图像分割的对运动边界显式建模的分层光流估计方法。在基于“运动”和“外观”两种属性相结合的方法中,Sun[4]提出了基于分离马尔可夫随机场模型及其在低层视觉中的应用。Minje[5]利用非平稳负矩阵分解与马尔可夫随机场相结合进行单通道源分离。Gutierrez[6]利用马尔可夫随机场和并行处理熵估计完成MATLAB的图形用户界面的图像分割。Pereyra[7]利用马尔可夫链蒙特卡洛方法中的potts的马尔可夫随机场模型实现粒度系数的最大边缘概率估计。张冬等[8]提出了基于空时马尔可夫场的动态纹理分割,该方法充分利用了动态纹理的局部空间信息和动态纹理的沿时间变化的信息。
在基于空时马尔可夫随机场的动态纹理分割算法中,细尺度上的标号随机场由粗尺度上的标号场进行简单初始化,然后,逐步迭代得到分割结果,并没有充分考虑利用不同尺度间小波系数及标号场间的关系,部分动态纹理的分割结果并不理想。目前对动态纹理图像序列分割过程中没有充分利用图像序列间关系,因此基于尺度间上下文关系模型的动态纹理分割需要进一步研究。本文在基于空时马尔可夫模型基础上进行改进,使其更适合动态纹理分割,获得了更好的分割效果。
1 马尔可夫场理论马尔可夫随机场模型已被广泛应用于图像纹理分类、图像纹理分割以及一般图像的分割。由于动态纹理的复杂性,并且大部分像素都与它的邻域像素相互作用与影响,马尔可夫随机场可以充分利用这种邻域关系进行动态纹理分割。
1.1 邻域系统和基团二维的平面网格结构可以较好地表现图像中像素之间的空间相关性,二维的马尔可夫随机过程称之为马尔可夫随机场。
1) 邻域系统的定义:对于给定的指标参数集合β,若存在N={Nij:Nij⊂β×β,i,j∈β},满足以下条件:1)(i,j)∉Nij;2)(i2,j2)∈Nij,(i,j)∈Ni2j2,则N就是指标集合β×β的一个邻域系统,其中Nij称为是i,j的邻域。
2) 基团的定义:设N是β×β上的一个邻域系统,C={Ck,k∈β}是N的联通集,如果满足下面的条件:1)Ck∈β×β;2)(i1,j1)∈Ck,(i2,j2)∈Ck,则有(i1,j1)∈Ni2j2;那么,则称Ck为N一个基团,C={Ck,k∈β}是有关邻域N的基团系统。
在图像纹理中一般选取4邻域和8邻域系统,但在动态纹理中,这种邻域系统就不适合,因此采用的空时邻域系统,如图 1所示。
1.2 空时邻域系统由于动态纹理是关于时间和空间的三维纹理视频,因此我们应采用图 1三维邻域系统[9]。空时邻域系统由3个基团组成:空间基团、时间基团、空时基团。
1.3 确定能量函数空时邻域系统下的基团能量函数定义如下:
式中β取决于基团的性质,加权空间基团βs用来控制空间的均匀性,加权时间基团βt用来控制时间上的均匀性。对于空时基团,它由空间基团和时间基团共同决定。因此标记场的参数记为
2 小波域尺度间关系模型 2.1 标记场模型的建立多尺度随机场中每一位置的标记不是仅仅由本尺度的二阶邻域节点的标记决定。还与它的父节点、叔父节点标记有关。在本尺度我们一般采用多层逻辑模型(multi-level logistic model),简称MLL模型[10]。
式中:Z是归一化常数,Vc(x)是与基团c相关的势能,C是所有的基团的集合。
在尺度间我们采用多尺度随机场模型。可以表示为
式中:ρ(s)、μ(s)分别表示为父节点、叔父节点;i,j,k、θ分别表示为父节点、2个叔父节点的分类标记和节点i和父节点ρ(s)具有相同相空间取值的可能性[11]。
2.2 特征场模型的建立各尺度上的小波系数向量具有很强的空间相关性,不同类型的纹理相关性也不相同。GMRF模型对特征场建模时考虑了相邻位置的交互关系,并且在纹理分割和合成中具有广泛应用。
动态纹理图像经过小波变换之后的小波系数用ω表示。采用GMRF模型对特征场建模可以表示为[12]
式中:B表示向量的维数,ηsωn是尺度n上特征的二阶邻域位置对应的小波系数向量的集合,xsn是当前节点的标记,Σkn为噪声的条件协方差矩阵。
式中:μkn、θk,τn为第k类特征的均值向量和双点基团的空间交互参数矩阵。
3 模型的参数估计和分割算法 3.1 模型的参数估计在本文需要求出的特征场参数有μkn、Σkn、θk,τn[13-15],标记场参数有β、θ。其中特征场的参数可以通过训练样本计算得出。
式中:Mkn、Sn(k)分别表示为尺度n上标记为k的特征的个数和网格位置的集合。
标记场模型中的参数β、θ。参数β通常给定。
(1) |
动态纹理分割即已知观测图像的条件下,采用贝叶斯估计器可以表示为一个优化问题[16]:使用自顶向下的递归,估计过程可以表示为
(2) |
(3) |
(4) |
分割的步骤如下:
1) 给定初始的尺度间参数θ=0.5。
2) 根据式(2),采用自底向上递归过程计算每一帧图像纹理每一尺度每一节点对应于每一标记的似然值f(ωd(s)|xsn,ω)。
3) 求出每一帧图像纹理最高尺度分割结果,应用空时邻域系统建立图像空间的关系,每一帧图像与前一帧和后一帧的图像形成空间邻域,优化最高尺度分割结果,最终确定最高尺度上分割结果。
4) 从尺度n=J-2到尺度n=0的各尺度上,进行如下计算:
a) 根据式(1)采用EM算法计算新的尺度间交互参数θ′;
b) 根据式(3)计算当前尺度每一节点S的中间分割结果($\hat{x}$)sn;
c) 利用空时邻域系统优化中间分割结果;
d) 根据式(4)计算当前尺度每一节点S的分割结果$\hat{x}$sn;
5) 重复步骤2)~4),获取每一节点位置的最终分割结果。
4 实验仿真为了证明本文提出的动态纹理分割算法的有效性,从动态纹理视频序列中选择连续3帧图像,其中每一帧大小为128×128。图 2中显示的是其中3帧连续的视频图像。图 3是图像的真实分割结果。图 4中分别是原始尺度、一级小波变换、两级小波变换后的分割结果。图 5是未使用尺度间小波系数的关系分割结果。
上述对人工合成纹理进行了仿真实验,为了证明本文提出的动态纹理分割算法对实物拍摄纹理的分割有效性,从实物拍摄的动态纹理视频序列中选择连续3帧图像,其中每一帧大小为128×128。图 6中显示的是其中3帧连续的视频图像。图 7是图像的真实分割结果。图 8中分别是原始尺度、一级小波变换、两级小波变换后的分割结果。图 9是未使用尺度间小波系数的关系分割结果。
表 1给出了动态纹理序列不同尺度图像与传统方法分割的误分割率。记误分割率为
分割尺度 | 误分割率 |
序列1:原始尺度 | 0.022 3 |
序列1:一级变换 | 0.022 8 |
序列1:二级变换 | 0.034 2 |
序列1:传统方法 | 0.071 8 |
序列2:原始尺度 | 0.028 4 |
序列2:一级变换 | 0.031 6 |
序列2:二级变换 | 0.037 0 |
序列2:传统方法 | 0.060 9 |
处理速度方面,表 2列出了不同算法的运算时间。本文算法测试所用PC机CPU主频为2.0 GHz,内存为4 GB,win7操作系统,测试软件MATLAB R2013a。
从表 1可以看出本文方法原始尺度的误分割率最低,传统方法的误分割率最高。在本文提出的方法中,尺度越低误分割率越高,尺度越接近原始尺度误分割率越低。这充分体现了引入小波域尺度间关系可以很好地实现动态纹理分割,并提高动态纹理分割效果。从表 2中可以看出不同算法的运行时间,本文算法运行时间与原方法相比,时间更短,从而提高了分割效率。
5 结论1) 本文实现了对动态纹理不同帧图像序列进行小波变换,对变换后的不同尺度序列利用空时马尔可夫随机场模型建立不同尺度序列间的关系,这种模型可以更好地实现不同序列间的信息的相互利用。
2) 纹理图像经过小波变换后形成多个尺度,利用变换后纹理的尺度内的各子带间和不同尺度的尺度间的关系优化动态纹理的分割结果,仿真结果证明该方法提高了动态纹理的分割效果。
综上可以得出,利用小波域尺度间上下文关系模型对动态纹理进行分割,并对实验数据进行分析,得到该模型的分割效果逐渐变得越来越好。相比原来方法分割精度得到很大提高,且算法时间也相对较少。同时,该算法也存在一定缺陷,如在不同纹理的边界分割的错误还是很大等,仍需进一步研究、实验。
[1] | CHETVERIKOV D, PéTERI R. A brief survey of dynamic texture description and recognition[C]//International Conference on Computer Recognition System. Berlin Heidelberg: Springer, 2005: 17-26. |
[2] | 李亚楠, 赵耀, 林春雨, 等. 基于图像分割的金字塔Lucas-Kanade光流法提取深度信息[J]. 铁道学报 , 2015, 37 (1) : 63-68 |
[3] | 李元博. 基于运动边界模型的光流估计方法研究[D]. 西安: 西安电子科技大学, 2013. |
[4] | SUN J, TAPPEN M F. Separable Markov random field model and its applications in low level vision[J]. IEEE transactions on image processing , 2013, 22 (1) : 402-407 DOI:10.1109/TIP.2012.2208981 |
[5] | KIM M, SMARAGDIS P. Single channel source separation using smooth Nonnegative Matrix Factorization with Markov Random Fields[C]//Proceedings of 2013 IEEE International Workshop on Machine Learning for Signal Processing. Southampton, United Kingdom: IEEE, 2013: 1-6. |
[6] | UTIERREZ MATA A, SERNA DOMINGUEZ I, DE LA ROSA I, et al. Matlab graphic user interface for image segmentation using Markov random fields and entropy estimation with parallel processing[C]//Proceedings of 2014 International Conference on Electronics, Communications and Computers (CONIELECOMP). Cholula, Mexico: IEEE, 2014: 231-236. |
[7] | PEREYRA M, WHITELEY N, ANDRIEU C, et al. Maximum marginal likelihood estimation of the granularity coefficient of a Potts-Markov random field within an MCMC algorithm[C]//Proceedings of 2014 Statistical Signal Processing (SSP). Gold Coast, Australia: IEEE, 2014: 121-124. |
[8] | 张冬. 基于空时马尔可夫场的动态纹理分割[D]. 哈尔滨: 哈尔滨工程大学, 2011: 23-26. |
[9] | 王来慧. 基于多分辨率隐马尔可夫随机场的动态纹理分割[D]. 哈尔滨: 哈尔滨工程大学, 2012: 20-30. http://cdmd.cnki.com.cn/article/cdmd-10217-1012516816.htm |
[10] | BESAG J. Spatial interaction and the statistical analysis of Lattice systems[J]. Journal of the royal statistical society , 1974, 36 (2) : 192-236 |
[11] | DASGUPTA P, CHAKRAKBARTI P P, de SARKAR S C. Multi-objective heuristic search[M]. London: Academic Press, 1999 . |
[12] | 刘国英, 茅力非, 王雷光, 等. 基于小波域分层 Markov 模型的纹理分割[J]. 武汉大学学报: 信息科学版 , 2009, 34 (5) : 531-534 |
[13] | 刘国英, 马国锐, 王雷光, 等. 基于Markov随机场的小波域图像建模及分割[M]. 北京: 科学出版社, 2010 : 72 -139. |
[14] | 李旭超. 小波域马尔可夫随机场在图像处理中的应用[M]. 北京: 电子工业出版社, 2011 : 56 -90. |
[15] | 赵银娣, 张良培, 李平湘. 广义马尔可夫随机场及其在多光谱纹理影像分类中的应用[J]. 遥感学报 , 2006, 10 (1) : 123-130 |
[16] | BOUMAN C A, SHAPIRO M. A multiscale random field model for Bayesian image segmentation[J]. IEEE transactions on image processing , 1994, 3 (2) : 162-178 DOI:10.1109/83.277898 |