2. 江苏省资源环境信息工程重点实验室，江苏 徐州 221116
2. Jiangsu Key Laboratory of Resources and Environmental Information Engineering,Xuzhou 221116,China
1 引 言
随着遥感技术的发展，遥感图像的空间分辨率越来越高。地物在高分辨率图像下表现出更多的细节特征，在不同尺度下其纹理信息和结构信息会有很大变化[1]，有效获取地物多尺度纹理特征的变化规律对于遥感图像的分割/分类至关重要。小波域隐马尔可夫树(hidden Markov tree,HMT)模型充分考虑了小波变换尺度内的聚集性以及尺度间的连续性，能够很好地描述不同尺度下图像的纹理特征。HMT模型最早出现在文献[2]中；文献[3]将其应用于图像分割中，设计了HMTseg图像分割算法；目前HMT模型的理论研究和应用发展正在继续深入[4, 5, 6, 7, 8, 9, 10]。
HMTseg图像分割算法首先利用HMT模型计算得到不同尺度上的初分割结果，然后根据贝叶斯准则采用上下融合方法由粗尺度到细尺度对初分割结果进行融合，所获得的分割结果同时兼顾了粗尺度初分割中不同纹理区域的主体轮廓信息和细尺度初分割中不同纹理交界的局部边缘细节。但是HMTseg算法并不能有效保留图像局部边缘细节，主要原因有两点：① 在上下文尺度间融合过程仅考虑相邻两尺度初始分割结果，每一尺度融合后的分割结果受上一级尺度的约束影响较大，致使相邻尺度间依赖性过强[9]；② 从粗尺度向细尺度融合，作为上下文的上一级尺度的数据块小于当前尺度，参与融合的数据块大小不等，以致当前尺度融合后的分割细节不能得到很好体现。
针对尺度间依赖性过强的问题，文献[9]通过对各尺度初分割图像中的各像素赋予权值，提出了一种结合权值背景的多尺度融合算法。然而对于参与融合数据块大小不等的问题，却鲜有文献报道。针对这个问题，本文提出一种基于迭代上下文融合的HMT模型分割算法，在上下文尺度间融合阶段，待每一尺度根据上下文信息融合后，将其结果作为该尺度下的背景再次进行上下文融合，如此循环直至满足迭代终止条件，使得参与融合的背景信息与当前尺度具有同等的细节信息(即数据块大小相等)，从而进一步提高HMT模型图像分割的细节表现力。
2 基于小波域HMT模型的图像初分割图像经过小波变换后得到一系列不同分辨率的图像，每种分辨率图像中都包含水平、垂直、对角线方向的高频信息。这些不同方向的高频信息反映了图像的纹理特征[11, 12]。HMTseg利用高斯混合模型描述同尺度内小波系数的相关性，运用状态转移概率描述尺度间的相关性。HMTseg假设小波系数具有“大”(主纹理信息的小波系数)和“小”(次纹理信息的小波系数)两个状态，分别用m=1和m=0表示。大系数用大方差、零均值的高斯模型描述，小系数用小方差、零均值的高斯模型描述。因此每个小波系数的非高斯特性则可用两状态的高斯混合模型来刻画，其数学表达式为
式中，wi为小波系数；m表示小波系数为大/小(1/0)的状态；pim是小波系数为m状态的先验概率；f(wi|Si=m)表示状态m下的小波系数的高斯条件概率密度函数。式(1)表明，小波系数wi的概率密度模型由状态变量和高斯条件概率密度函数共同决定。
在HMTseg模型中，小波系数的状态不可直接观测，因此被称为隐状态。相邻两尺度间的小波系数两隐状态通过状态转移矩阵A(i)来描述[2]，数学表示为
式中，i为当前尺度;ρ(i)为当前尺度i的上一尺度；εi,m′ρ(i),m表示上一尺度ρ(i)小波系数呈m状态，传递到当前尺度i为m′状态的转移概率。A(i)矩阵元素满足：εi,0ρ(i),0+εi,1ρ(i),0=1，εi,0ρ(i),1+εi,1ρ(i),1=1。图像经过小波分解后有3个子带，为方便计算，通常假设3个子带相互独立。文献[4]指出这种假设虽然简化了对图像的描述，但是依然有效。因此每个小波分解后的图像对应3个HMT模型，即为水平、垂直和对角线方向高频子带的HMT。通过最大期望(expectation maximization,EM)算法[3]训练得到各模型参数以后，利用最大似然判别法获得不同尺度下的初分割结果。 3 迭代上下文融合方法
本文定义零尺度为最粗尺度。对于一幅大小为2J像素×2J像素的原始图像，在零尺度下为一个独立的数据块(整体)，该数据块边长为2J；在j尺度下原图像被分成2j×2j个数据块，每个数据块边长为2J－j；在J尺度下每个数据块即为一个像素单元，共有2J×2J个数据块[3]。文献[13]指出图像的数据块构成的四叉树与小波系数构成的四叉树存在着一一对应关系。
粗尺度小波系数对应较大的数据块，统计信息较丰富，故粗尺度初分割结果较好；细尺度对应较小的数据块，统计信息不可靠，故细尺度初分割精度较低。虽然粗尺度分割结果较为可靠，但由于其对应的数据块尺寸较大，导致细节部分信息体现不足，不同类属交界处尤为明显。以j-1尺度下的初分割图像dj－1和j尺度下的初分割图像dj为例，j-1尺度分割结果较为可靠，但同时数据块边长比j尺度下大1倍(j-1尺度下数据块边长为2J－j+1)，细节表现不如j尺度的分割结果。为了获取稳定精确的最细尺度上(即像素级)的分割结果，必须有效结合粗尺度分割结果可靠、细尺度分割结果包含更多边缘细节的特点，从粗尺度向细尺度融合上下文信息。
HMTseg图像分割方法在尺度间融合阶段，直接将j-1尺度(粗尺度)分割结果作为背景信息融合j尺度(细尺度)初分割结果，参与融合运算的数据块大小不等，作为背景信息的j-1尺度上分割图像的数据块较大，从而导致融合后的细节表现力不足。有鉴于此，本文设法寻求一个分割结果可靠、数据块与待融合图像(细尺度初分割结果)数据块尺寸相同的图像作为背景信息，以期进一步改善像素级分割效果。考虑到经HMTseg上下文融合得到的分割结果既继承了上一级粗尺度的分割可靠性，又具有与当前尺度同等大小的数据块，本文提出一种基于迭代的上下文融合方法，将某尺度下融合结果再次作为该尺度下图像的上下文，再次进行上下文融合，从而减少因数据块大小不等引起的误差。
图 1给出了从j-1到j尺度间的迭代融合流程，具体步骤描述如下。
步骤1：设定当前迭代次数n=0，设置变化阈值P(P定义为上下两级尺度类别属性变化像元所占总像元的比重)，定义HMT模型尺度间融合的上下文关系[3, 14, 15]。本文定义的上下文关系与HMTseg算法相同，只考虑父节点及其八邻域的类属，用向量Vj=[vkj|k=1,2,…,K]表示j尺度的上下文关系，其中，vkj代表j尺度上下文中第k类所占的比重
步骤2：计算j尺度初分割图像dj的上下文统计量Vj，利用HMTseg上下文融合方案，从j-1尺度分割图像dj－1向j尺度初分割图像dj进行融合，得到融合后的分割结果d′j。
步骤3：令t(n)=d′j，以t(n)作为背景信息，基于贝叶斯准则[16, 17]，通过计算j尺度数据块dj的最大后验概率判别其类属，得到融合结果t(n+1)，令d′j=t(n+1)。
步骤4：计算前后两次分割结果t(n)和t(n+1)的类别属性变化像元所占图像总像元个数的比重p。p＜P，令dj=d′j，输出融合结果，进行下一细尺度上的融合；否则，令n=n+1，返回步骤3。
|
| 图 1 迭代上下文融合方法流程图 Fig. 1 The flow chart of the proposed iterative context fusion method |
为了验证本文方法的有效性，本文采用Brodatz纹理组合图像和真实的Formosat-2遥感图像两组数据进行试验，利用HMTseg、文献[9]算法与本文方法进行对比试验，运用归一化概率边缘指数(normalized probabilistic rand index,NPR)[18]、信息变化量(variation of information,VI)[19]和全局一致性误差(global consistency error,GCE)[20]作为分割结果客观评价指标。
4.1 Brodatz纹理组合图像分割第1组试验数据是Brodatz纹理组合图像，由Brodatz纹理库[21]中的D10(左上)、D75(右上)、D77(左下)和D15(右下)共4类纹理组合而成的原始图像，大小为512像素×512像素，如图 2(a)所示。对上述各类Brodatz纹理采用大小为256像素×256像素的样本进行HMT模型训练，利用HMTseg、文献[9]、本文方法对图 2(a)进行分割，分割结果分别见图 2(b)、(c)、(d)，定量评价见表 1。
|
| 图 2 Brodatz纹理组合图像分割结果 Fig. 2 Segmentation results of the image composed of Brodatz textures |
Brodatz纹理合成图像分割试验(图 2)主观评价如下：
(1) HMTseg误分割现象较严重，位于Brodatz纹理组合图像中的左上和右下两类较大尺度纹理分割精度较低，且不同纹理的交界处分割结果较差。主要原因在于：HMTseg在上下文尺度间融合过程中参与融合的数据块大小不等，并还存在文献[9]提到的尺度间依赖性问题。
(2) 文献[9]算法分割结果虽然在大尺度纹理分割结果精度上有了很大改善，但不同纹理的交界处分割结果依然不理想。
(3) 与HMTseg、文献[9]算法相比，本文算法分割结果不论在大尺度纹理还是在不同纹理的交界处，分割效果均有很大提高。
客观评价指标中，NPR反映了实际分割结果与理想分割图像之间的属性共生一致性，NPR值越接近1则与理想分割图像一致性越高；VI是由实际分割结果的熵、理想分割图像的熵以及实际分割结果与参考分割图像的联合熵这3个分量计算得出，用以衡量实际分割结果相对理想分割图像的信息变化量，VI值越小分割效果越好；GCE是定义在局部细分误差基础上的统计量，用以度量实际分割结果与理想分割图像在细节上的差异性，GCE值越接近0分割效果越好。值得一提的是，本文方法的目的是为了提高HMT模型图像分割算法的边缘细节保持能力，因此，在上述定量评价指标中GCE最能说明问题。表 1中，与HMTseg相比，文献[9]算法GCE值从0.184 6降到0.144 9，细节差异减小；本文方法GCE值最小，能进一步改善图像分割细节表现力。由表 1可知，在Brodatz纹理组合图像试验中，与HMTseg、文献[9]算法相比，本文方法NPR值最高、VI和GCE值均最小，表明了本文方法得到的分割结果最接近与理想分割图像。
4.2 Formosat-2遥感图像分割第2组试验数据是西班牙巴塞罗那地区的Formosat-2多光谱遥感图像1，图中主要有林地、建设用地、农田和水体4类地物，图像大小为2048像素×2048像素。为使单波段遥感图像包含尽量多的信息，本文采用Formosat-2多光谱遥感图像经主成分变换后的第一主分量图像进行分割试验。图 3(a)、(b)分别为Formosat-2多光谱遥感数据的真彩色合成图像和第一主分量图像。图 3(c)为目视解译得到的参考图，其中，绿色表示林地，黄色表示建设用地，灰色表示农田，蓝色表示水体。对各种地物类型使用大小为256像素×256像素的样本进行HMT模型训练，运用HMTseg、文献[9]、本文方法对图 3(b)进行分割，并赋予类别属性，得到的结果分别见图 3(d)、(e)、(f)。表 2给出了图 3中各分割/识别结果的定量分析比较，其中增加了总分类精度(overall accuracy,OA)和Kappa系数用以评价识别精度。
|
| 图 3 Formosat-2 遥感图像分割/识别结果 Fig. 3 Segmentation/recognition results of the Formosat-2 remote sensing image |
对于Formosat-2遥感图像分割试验结果，主观评价如下：
(1) HMTseg算法误分现象较为严重，在原始图像左上方的山地中有一部分孤立的建筑群(正方形标识区域)没有被分割出来，并将原始图像中部的近海港水域(长方形标识区域)误分割成了山地，且将位于原始图像下方的入海口处的宽河道(椭圆标识区域)误分判为农田。
(2) 与HMTseg相比，文献[9]算法识别出了近海港水域(长方形标识区域)和入海口处的宽河道(椭圆标识区域)，但位于山地的建筑群(正方形标识区域)同样未能分割出来，此外在海岸交界处存在一定的误分割。
(3) 与HMTseg、文献[9]算法相比，本文方法不仅能纠正上述误分割现象，而且不同地物交界处的分割精度也得到了提高，很大程度保留了分割图像边缘细节信息。
从客观上评价(表 2)，本文方法NPR值达到了0.916 6，较接近于1，高于HMTseg算法的0.855 7、文献[9]方法的0.876 3，表明本文方法所得分割结果与理想分割图像最为一致；本文方法VI值较小，其实际分割结果与理想分割图像相比，信息变化量较少；本文方法GCE值为0.142 7，小于HMTseg算法的0.172 3、文献[9]方法的0.167 4，说明本文方法所得分割结果在细节表现上与理想分割图像差异最小。将分割结果赋予类别属性后得到分类图，利用分类评价指标进行比较分析，本文方法得到的识别结果Kappa系数达到了0.869 3，高于HMTseg算法的0.815 2、文献[9]方法的0.859 1。综上所述，本文方法在分割细节表现力方面优于传统的HMTseg和文献[9]算法，进一步提高了分割与识别精度。
5 结 论通过Brodatz纹理组合图像和真实的Formosat-2遥感图像分割试验，结果表明：与HMTseg和文献[9]算法相比，本文方法在分割精度和细节保持方面有较大的提高。在主观目视效果上，本文方法能够更准确地分割识别出图像中的各类信息，并较好地保留了图像的细节信息。在客观指标上，对于纹理组合图像试验数据，本文方法较HMTseg和文献[9]算法NPR分别提高了3.40%和2.98%，VI分别降低了26.69%和14.10%，GCE分别降低了27.74%和7.94%；对于真实遥感图像试验数据，NPR分别提高了7.12%和4.60%，VI分别降低了30.43%和19.84%，GCE分别降低了17.35%和14.93%。
对于遥感图像分割，本文以多光谱图像的第一主成分图像的属性值为测度，实际应用中，使用者可以考虑遥感图像中目标地物指数，如建筑物指数、植被指数、水体指数等。此外，本文算法仅利用了单一特征进行图像分割，如何充分发挥遥感图像多特征在地物识别中的优势，进一步发展HMT模型在遥感图像分割中的应用，将是下一步研究的重点。
| [1] | LI Hui, XIAO Pengfeng, FENG Xuezhi, et al. Multiscale Edge Detection in Multispectral Remotely Sensed Imagery Based on Vector Field Model[J]. Acta Geodaetica et Cartographica Sinica, 2012, 41(1):100-107. (李晖, 肖鹏峰, 冯学智, 等. 基于向量场模型的多光谱遥感图像多尺度边缘检测[J]. 测绘学报, 2012, 41(1): 100-107.) |
| [2] | CROUSE M S, NOWAK R D, BARANIUK R G. Wavelet-based Statistical Signal Processing Using Hidden Markov Models[J]. IEEE Transactions on Signal Processing, 1998, 46(4): 886-902. |
| [3] | CHOI H, BARANIUK R G. Multiscale Image Segmentation Using Wavelet Domain Hidden Markov Models[J]. IEEE Transactions on Image Processing, 2001, 10(9): 1309-1321. |
| [4] | PENG Ling. Research on Texture Classification in Remote Sensing Image with Wavelet-based Hidden Markov Tree Models[D]. Beijing: Institute of Remote Sensing Applications of CAS, 2005. (彭羚. 基于小波域隐马尔可夫树模型的遥感图像纹理分类研究[D]. 北京: 中国科学院遥感应用研究所, 2005.) |
| [5] | LI Yunfeng, CAO Yukun, ZHU Qingsheng, et al. Multiresolution Segmentation Approach for Tree Image Based on Hidden Markov Tree Model[J]. Application Research of Computers, 2007, 24(8): 233-235. (李云峰, 曹渝昆, 朱庆生, 等. 基于小波域隐马模型的树木类图像分割算法[J]. 计算机应用研究, 2007, 24(8): 233-235.) |
| [6] | ZHANG Qiang, WU Yan. Wavelet Markov Random Field Based on Context and Hidden Class Label for SAR Image Segmentation[J]. Journal of Electronics & Information Technology, 2008, 30(1): 211-214. (张强, 吴艳. 基于上下文和隐类属的小波域马尔可夫随机场SAR图像分割[J]. 电子与信息学报, 2008, 30(1):211-214.) |
| [7] | HOU Biao, LIU Feng, JIAO Licheng. Image Segmentation Based on Wavelet Domain Hidden Markov Tree Model[J]. Journal of Infrared Millimeter Waves, 2009, 28(2): 156-160. (侯彪, 刘凤, 焦李成, 等. 基于小波域隐马尔科夫树模型的图像分割[J]. 红外与毫米波学报, 2009, 28(2): 156-160.) |
| [8] | MOR E, ALADJEM M. Boundary Refinements for Wavelet-domain Multiscale Texture Segmentation[J]. Image and Vision Computing, 2005, 23(13): 1150-1158. |
| [9] | SUN Wenfeng, SUN Qiang, JIAO Licheng. Modified Multiscale Fusion Combing Wavelet-domain HMT Model for Remote Sensing Image Segmentation[J]. Infrared and Laser Engineering, 2004, 33(5): 528-532. (孙文锋, 孙强, 焦李成. 改进多尺度融合结合小波域HMT模型的遥感图像分割[J]. 红外与激光工程, 2004, 33(5):528-532.) |
| [10] | WU Yan, JIAO Jingmei, YANG Xiaoli, et al. Segmentation Algorithm for SAR Images Based on Fusion of HMT in the Contourlet Domain and D-S Theory of Evidence and D-S Theory of Evidence[J]. Acta Geodaetica et Cartographica Sinica, 2011, 40(2): 148-155. (吴艳, 焦惊眉, 杨晓丽, 等. 基于Contourlet域HMT和D-S证据理论的SAR图像融合分割[J]. 测绘学报, 2011, 40(2): 148-155.) |
| [11] | LIU Xiaozhao. Multiscale Texture Image Segmentation Based on Wavelet Transform[D]. Chongqing: Chongqing University, 2010. (刘晓召. 基于小波变换的纹理图像多尺度分割算法研究[D]. 重庆: 重庆大学, 2010.) |
| [12] | NI Lin. Wavelet Transform and Image Processing[M]. Hefei: China Science and Technology University Press, 2010. (倪林. 小波变换与图像处理[M]. 合肥: 中国科学技术大学出版社, 2010.) |
| [13] | CHOI H, ROMBERG J K, BARANIUK R G, et al. Hidden Markov Tree Modeling of Complex Wavelet Transforms[C]//Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing(ICASSP 2000). Istanbul: IEEE Computer Society, 2000: 133-136. |
| [14] | BOUMAN C A, SHAPIRO M. A Multiscale Random Field Model for Bayesian Image Segmentation[J]. IEEE Transactions on Image Processing, 1994, 3(2): 162-176. |
| [15] | CHENG H, Bouman C A. Trainable Context Model for Multiscale Segmentation[J]. IEEE Transactions on Image Processing, 1998, 4(7): 610-614. |
| [16] | ROMBERG J K, CHOI H, BARABNIUK R G. Bayesian Tree-structured Image Modeling Using Wavelet-domain Hidden Markov Models[J]. IEEE Transactions on Image Processing, 2001, 10(7): 1056-1068. |
| [17] | CHENG H, BOUMAN C A. Multiscale Bayesian Segmentation Using a Trainable Context Model[J]. IEEE Transactions on Image Processing, 2001, 10(4): 511-525. |
| [18] | UNNIKRISHNAN R, PANTOFARU C, HEBERT M. A Measure for Objective Evaluation of Image Segmentation Algorithms[J]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,San Diego: IEEE, 2005: 31-34. |
| [19] | MEILA M. Comparing Clusterings: An Information Based Distance[J]. Journal of Multivariate Analysis, 2007, 98(5): 873-895. |
| [20] | MARTIN D, FOWLKES C, TAL D, et al. A Database of Human Segmented Natural Images and Its Application to Evaluating Segmentation Algorithms and Measuring Ecological Statistics[C]//Proceedings of the Eighth IEEE International Conference on Computer Vision, ICCV-01, Washington DC: IEEE Computer Society, 2001: 416-425. |
| [21] | RANDEN T. Brodatz Textures[EB/OL].1997[2011-11-20]. http://www.ux.uis.no/-tranden/ brodatz.html. |