文章信息
- 焦洪赞, 王少宇, 彭正洪
- JIAO Hongzan, WANG Shaoyu, PENG Zhenghong
- 基于条件随机场的光谱相似性匹配高光谱遥感影像聚类方法
- A spectral similarity matching classifier based on conditional random field for hyperspectral remote sensing imagery
- 武汉大学学报(工学版), 2016, 49(6): 937-943
- Engineering Journal of Wuhan University, 2016, 49(6): 937-943
- http://dx.doi.org/10.14188/j.1671-8844.2016-06-023
-
文章历史
- 收稿日期: 2016-06-15
2. 武汉大学遥感信息工程学院,湖北 武汉 430072
2. School of Remote Sensing and Information Engineering,Wuhan University,Wuhan 430072,China
高光谱聚类是在缺乏先验信息的前提下,根据高维特征空间的相似性判别准则,对高光谱数据进行归类的方法[1].当前,随着高空间分辨率的高光谱(双高)遥感数据的出现,如航空HYDICE、ROSIS、CASI等,高光谱数据不仅包含了精细光谱信息,而且蕴含了地物丰富的空间细节信息,能同时表达地物目标的物理和几何属性.然而,随着空间分辨率的提高,虽然高光谱遥感数据的几何信息表达能力增强,但是加剧了光谱维的时空可变性[2-3],使得传统的聚类算法难以应用于双高遥感数据聚类的需求.
针对双高遥感数据的聚类过程遇到的问题,当前的解决思路包括两类,即空谱融合聚类与光谱匹配聚类.空谱融合的聚类方法为:首先利用光谱波段选择与特征提取的方式,降低光谱特征维度,然后利用降维光谱数据进行空间特征提取,最终利用光谱特征与空间特征向量叠加后,进行聚类操作[4].然而,该类方法在光谱降维的过程中,破坏了光谱曲线的物理意义,且光谱特征与空间特征叠加权重难以确定,导致聚类结果容易出现“空间过平滑”的现象[5].光谱匹配聚类方法为:利用光谱相似性测度(光谱角、光谱相关系数、光谱信息散度、光谱峰谷特征参量)度量光谱向量的相似性,实现光谱聚类.该类方法充分利用了光谱的形状特征,适合开展基于光谱特征的精细地物聚类任务.但是,基于像元的光谱匹配聚类方法难以结合地物空间分布特征,导致聚类结果在地类边缘区域出现大量椒盐噪声[6].
综上所述,本文结合随机场理论,提出基于条件随机场的光谱相似性匹配高光谱遥感影像聚类方法,从光谱匹配的角度融合空间信息,实现光谱形状特征和空间特征的耦合.该方法同时具备光谱匹配方法和条件随机场的优势.通过实验证明,本文所提出方法的分类精度要高于传统的遥感影像聚类方法.
1 光谱相似性测度光谱相似性测度是度量高光谱遥感影像中两个像元之间相似性的一种量化值.常用的光谱相似性测度包括光谱角、光谱信息散度[7-8]等.光谱相似性测度关注光谱形状特征,对像元之间的光谱向量进行匹配,认为光谱形状相似的像元属于同一类,解决了基于欧氏距离的聚类方法因为照度和数据(近似)线性尺度变化问题产生的错分和漏分问题[9],对于光谱向量之间的相似性度量具有更高的准确度和更强的鲁棒性.
其中,光谱角(Spectral Angle)是最为常用的一种光谱相似性测度.它将每个像元的光谱信息看成是维数与波段数相等的光谱向量,通过计算光谱向量间的夹角,决定对应像元之间的相似性,角度越小,则相似性越高.光谱角具有物理意义明确、计算简单等特点,本文选取光谱角作为光谱相似性测度引入条件随机场.其数学定义如下[10]:
其中:nb表示波段数;ti、ri表示光谱向量;α表示光谱角,值域为(0,
条件随机场(Conditional Random Field,CRF)是一种判别式条件概率无向图模型,被广泛地应用到图像处理[11]、立体视觉[12]、动态分析[13]等领域.在遥感图像处理领域,对应于遥感影像数据的特点,常使用其二维形式,其二维形式如图 1所示.
|
| 图 1 条件随机场模型 Figure 1 Model of conditional random field |
图 1中:灰色圆代表观察场,在遥感影像中代表像元灰度;黄色圆代表标记场,是每个像元的分类信息,即该像元属于每一类别的概率.中心像元及其邻域叫做子势团,邻域像元的先验分类信息会对中心像元产生约束,这种约束关系在所有子势团中均成立,所有子势团构成势团.由Hammersley-Clifford定理,在观察序列X下标记序列Y的条件概率服从Gibbs分布:
其中:φc(yc,x)表示势函数.在遥感影像处理问题中,一般使用二阶的条件随机场,其公式如下[14-15]:
式中:φi(yi,x)代表光谱项,ξij(yi,yj,x)代表空间项.每个标记场结点都包含一个光谱项和一个空间项,在分类时输入光谱特征和空间特征.(i,j)∈E表示像元j是像元i的邻域像元.式(3)即为分类后验概率的计算模型.
3 基于光谱相似性测度的条件随机场CRF模型包含光谱项和空间项,能够在分类时同时考虑光谱特征和空间特征.空间特征的提取通过邻域像元的先验分类信息对中心像元的约束来实现,这种约束实际上考虑的是子势团中邻域像元和中心像元当前类别的关系及其光谱相似性是否一致的问题,认为如果中心像元和邻域像元的光谱相似,则它们的类别应该趋于一致,否则需要进行改正.所以在CRF模型中,对于像元光谱相似性的判别直接决定了基于CRF模型分类算法的精度.高光谱遥感影像波段多,光谱曲线形状特征尤为重要,传统的欧氏距离和马氏距离等相似性测度均无法考虑该特征,并且会出现因为照度和数据(近似)线性尺度变化问题产生的错分和漏分问题.为提高像元光谱相似性判别的精确度,本文使用光谱相似性测度作为CRF模型中光谱相似性的判别准则,产生了基于光谱相似性测度的条件随机场模型(以下简称光谱相似性测度CRF).光谱相似性测度CRF由二阶条件随机场衍生而来,在一般光谱项和空间项模型中融入光谱相似性测度,不仅在聚类中融入了空间特征,减少了光谱匹配方法的噪声问题,同时使传统CRF模型能够适应高光谱遥感影像的数据特点.
本文选取一种简化的CRF模型的空间项[16],并对其做出了改进.如图 2所示,1个像元与周围4个像元构成4-邻域关系,中心像元与邻域像元之间基于光谱向量的形状特征进行光谱匹配,通过计算光谱相似性测度量化中心像元与邻域像元之间的相似性,对中心像元划分类别进行约束,形成了边界约束模型.其数学定义如下:
|
| 图 2 空间项 Figure 2 Spatial term |
图 2中:yi、yj代表像元的标记值,xi、xj代表光谱向量.SSM(xi,xj)代表光谱相似性测度.σ2是归化项,为了将Bi,j限制在[0,1)的范围内.Bi,j是基于光谱相似性测度的图像平滑度的惩罚项,ξij(yi,yj,x)相当于置信度的概念.当前邻域像元和中心像元类别不一致时,若其光谱相似性小,与当前分类不一致的现状相符,则SSM(xi,xj)大,ξij(yi,yj,x)大,认为当前中心像元分类的置信度高;若其光谱相似性大,与当前分类不一致的现状相悖,则SSM(xi,xj)小,ξij(yi,yj,x)小,认为当前中心像元分类的置信度低.当前邻域像元和中心像元类别一致时,ξij(yi,yj,x)取最大为1,起到了图像平滑的效果[17].
光谱项采用基于光谱相似性测度的FCM聚类算法,将欧氏距离替换成为光谱相似性测度,其目标函数如下[18]:
其中:U表示所有像元的模糊度集合;C表示聚类中心的集合;uik表示第k个像元对于第i类的隶属度,隶属度的取值区间为[0,1],根据归一化原则,数据隶属不同类别的概率总和等于1;SSM(xi,xk)为第k个像元和第i个聚类中心光谱向量的光谱相似性测度.
由拉格朗日乘子法可得聚类中心和隶属度的计算公式:
光谱相似性测度CRF,相比于传统的基于单个像元的光谱匹配方法融合了空间信息.光谱相似性测度相比传统的相似性测度,如欧氏距离、马氏距离等,更加适用于高光谱遥感影像.光谱特征和空间特征的同时输入,实现了光谱信息和空间信息的耦合,提高了分类精度,同时,CRF的模型推测过程,解决了传统的空谱融合方法对于光谱特征和空间特征合适权重的选择问题.
4 算法流程基于条件随机场的光谱相似性匹配聚类算法流程描述如下:
1) 根据式(4)~(6)计算空间项,式(7)~(9)计算光谱项;
2) 基于光谱项和空间项进行模型推测,本文使用环形置信度迭代算法(LBP)[19]进行模型推测.LBP算法将整幅影像看作是一个有向图,每个像元看作一个结点,包含该像元的先验分类信息,将像元之间的连接看作边,包含邻域像元的先验类别对中心像元分类的约束信息.在模型推测过程中,结点信息和边信息在有向图中传递,进而得到每个像元后验分类概率的近似全局最优推测.基本步骤如下:
(a)将结点Vi和边Eij初始化为μi和ηij,其中:
(b)对图中的边进行更新,使用当前结点与更新边之外的边对待更新边进行更新,待更新边的方向为由当前结点指向相邻结点.这是一个迭代的过程,直至收敛.计算式为
(c)根据结点信息和边信息计算置信度,k∈δi表示像元k属于像元i的邻域:
最终,获取像元所属类别.通过LBP算法得到的标记序列对应于每一个像元仍然是一个多概率值,最终通过最大似然判别准则,选取最大概率对应的类别作为该像元的所属类别.
流程图如图 3所示.
|
| 图 3 流程图 Figure 3 Flow chart |
实验数据为HYDICE获取的美国德克萨斯州城区高光谱遥感影像,影像大小为307×307像元,光谱分辨率为10 nm,空间分辨率为2 m,总波段数为187.包含的地物主要为沥青路面、水泥路面、建筑物、草地、林地、裸地.其灰度影像和验证样本如图 4所示.实验使用的光谱相似性测度为光谱角,以此来构造光谱相似性测度CRF(以下简称光谱角CRF),选取K-means、ISODATA、FCM、基于单个像元光谱匹配的光谱角FCM、传统空谱融合的欧氏距离CRF、光谱角CRF共6种聚类方法,并对分类结果进行分析.
|
| 图 4 HYDICE影像和验证样本 Figure 4 Gray image and ROI |
分类结果如图 5(a)~(f)所示.(a)~(c)是传统聚类方法的结果;(e)是传统的空谱融合方法的结果,类别交错在一起,错分严重;(d)和(f)是基于光谱匹配方法的结果,各类别之间可分离性强,依据先验知识,地物分布基本正确.对比(d)和(f),光谱角CRF从光谱匹配的角度融合了空间信息,分类结果噪声小,而且保持了地物的形状特征,解决了基于单像元光谱匹配方法的不足.如图中的黄色部分,水泥路面的提取效果得到了显著提升.
|
| 图 5 分类结果 Figure 5 Results of classification |
|
| 图 6 建筑物提取 Figure 6 Extraction of buildings |
图 6为局部的建筑物提取效果图,由原图可知,该建筑物因为屋顶形状复杂,导致同一屋顶不同区域照度不一致.对比分类结果,由(a)~(c)、(e)知,传统方法提取的建筑物形状变形严重,由(d)、(f)知,基于光谱匹配的方法提取的建筑物的形状连续并且轮廓清晰,说明该类方法对增益是不敏感的.其中图 6(f)中,光谱角CRF提取的该建筑物噪声最小,形状和轮廓最为清晰.
由图 5所示,浅紫色代表沥青路面,基于光谱匹配的方法提取道路纯净且形状保持较好.光谱角FCM结果噪声较大,而光谱角CRF则很好地解决了这一问题.图 7(a)~(f)所示为居民区中的道路分布,这些道路属水泥路面,对应黄色部分.但是由于照度过低,传统方法将其错分为建筑物.基于光谱匹配的方法则分类正确,其中,光谱角CRF方法对于这些道路的提取效果最好,形状保持最好.
|
| 图 7 水泥路提取 Figure 7 Extraction of concrete roads |
综上所述,定性来看,从光谱匹配角度融合空间信息的光谱角CRF高光谱遥感影像聚类方法优于传统方法,分类准确,地物形状信息保持较好,并且解决了基于像元的光谱匹配方法存在的噪声大问题.
实验通过混淆矩阵的方法定量分析各分类结果,如表 1~3所示.
| 聚类方法 | K-means | ISODATA | FCM | 欧氏距离CRF | 光谱角FCM | 光谱角CRF |
| OverRoll/% | 67.97 | 67.63 | 68.69 | 73.42 | 84.55 | 87.31 |
| Kappa | 0.61 | 0.60 | 0.62 | 0.68 | 0.81 | 0.84 |
| 地物 | 沥青路面 | 水泥路面 | 建筑物 | 草地 | 林地 | 裸地 |
| K-means | 81.83 | 95.92 | 57.90 | 51.55 | 41.97 | 88.10 |
| ISODATA | 78.61 | 79.61 | 62.89 | 52.80 | 42.23 | 91.28 |
| FCM | 69.98 | 92.76 | 51.09 | 80.99 | 68.07 | 78.17 |
| 欧氏距离CRF | 74.58 | 94.80 | 55.38 | 81.86 | 77.48 | 82.79 |
| 光谱角FCM | 90.86 | 71.87 | 79.10 | 83.23 | 85.09 | 95.98 |
| 光谱角CRF | 97.60 | 71.76 | 79.58 | 99.88 | 93.09 | 84.91 |
| 地物 | 沥青路面 | 水泥路面 | 建筑物 | 草地 | 林地 | 裸地 |
| K-means | 65.80 | 83.87 | 81.38 | 31.39 | 64.44 | 77.00 |
| ISODATA | 68.17 | 82.12 | 75.32 | 32.03 | 66.33 | 78.13 |
| FCM | 59.02 | 83.79 | 84.05 | 49.85 | 58.02 | 90.76 |
| 欧氏距离CRF | 62.09 | 85.01 | 90.45 | 56.66 | 64.01 | 93.09 |
| 光谱角FCM | 72.45 | 78.95 | 96.92 | 70.60 | 99.70 | 84.91 |
| 光谱角CRF | 70.35 | 96.57 | 98.22 | 73.63 | 99.39 | 98.50 |
由表 1知,基于光谱匹配的方法,光谱角FCM和光谱角CRF的总体精度和Kappa系数都比传统方法高出许多.从光谱匹配的角度融入空间信息的光谱角CRF方法相比传统的融合空间信息的欧氏距离CRF方法,总体精度高出13.89%,Kappa系数高出0.16;比基于像元的光谱匹配方法光谱角FCM,总体精度高出2.76%,Kappa系数高出0.03.
表 2和表 3为每种方法分类结果中各类别的生产者精度和用户精度.由表可知,基于光谱匹配的光谱角FCM和光谱角CRF分类结果中,沥青路面、建筑物、草地、林地4种类别不管是生产者精度还是用户精度,均大于传统方法;其中结合空间信息的光谱角CRF结果中,沥青路面、草地、林地的生产者精度和水泥路面、建筑物、林地、裸地的生产者精度均超过了90%,有些类别精度甚至超过了95%.
综合定性和定量分析,在高光谱遥感影像分类问题中,从光谱匹配角度融合空间信息产生的光谱角CRF方法相比传统的基于像元的光谱匹配方法和传统的CRF方法,分类精度更高.相比于传统的CRF方法,解决了因为照度和线性尺度变化等问题产生的错分;相比于基于像元的光谱匹配方法,融入空间信息,地物的形状和轮廓得到了更好的保留.
6 结论本文提出的基于条件随机场的光谱相似性匹配高光谱遥感影像聚类方法,从光谱匹配融合空间信息的角度出发,将光谱相似性测度和条件随机场有机地结合在一起.基于光谱相似性测度在条件随机场中构造邻域,实现了光谱形状特征和空间特征的耦合,解决了传统的基于像元的光谱匹配方法噪声大的问题和传统的空谱融合方法的错分、漏分问题.通过理论分析和实例验证,本文提出的聚类方法对增益不敏感,噪声小,并且能够保持地物较为完整的形状信息,适用于高空间分辨率的高光谱遥感影像分类.
| [1] | Zhong Y F, Zhang L P, Huang B. An unsupervised artificial immune classifier for multi/hyperspectral remote sensing imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44(2): 420–431. DOI:10.1109/TGRS.2005.861548 |
| [2] | Dudley K L, Dennison P E, Roth K L, Roberts D A, Coates A R. A multi-temporal spectral library approach for mapping vegetation species across spatial and temporal phenological gradients[J]. Remote Sensing of Environment, 2015, 167: 121–134. DOI:10.1016/j.rse.2015.05.004 |
| [3] | Paoli A, Melgani F, Pasolli E. Clustering of hyperspectral images based on multiobjective particle swarm optimization[J]. IEEE Transactions on Geoscience and Remote Sensing, 2009, 47(12): 4175–4188. DOI:10.1109/TGRS.2009.2023666 |
| [4] | Zhang L, Zhang L, Tao D, Huang X. On combining multiple features for hyperspectral remote sensing image classificatio[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(3): 879–893. DOI:10.1109/TGRS.2011.2162339 |
| [5] | Du B, Zhang L, Zhang L, Chen T, Wu K. A discriminative manifold learning based dimension reduction method for hyperspectral classification[J]. International Journal of Fuzzy Systems, 2012, 14(2): 272–277. |
| [6] | Jiao H, Zhong Y, Zhang L. An unsupervised spectral matching classifier based on artificial DNA computing for hyperspectral remote sensing imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(8): 4524–4538. DOI:10.1109/TGRS.2013.2282356 |
| [7] | Freek van der Meer ab. The effectiveness of spectral similarity measures for the analysis of hyperspectral imagery[J]. International Journal of Applied Earth Observations and Geoinformation, 2006, 8(1): 3–17. DOI:10.1016/j.jag.2005.06.001 |
| [8] | Chein-I Chang. An information-theoretic approach to spectral variability, similarity, and discrimination for hyperspectral image[J]. IEEE Transactions on Information Theory, 2000, 46(5): 1927–1932. DOI:10.1109/18.857802 |
| [9] |
王涛, 刘少峰, 杨金中, 等. 改进的光谱角制图沿照度方向分类法及其应用——以ETM数据为例[J].
遥感学报, 2007, 11(1): 77–84.
Wang Tao, Liu Shaofeng, Yang Jinzhong, et al. An improved SAM classification with direction of irradiance and its application——The studies on ETM data[J]. Journal of Remote Sensing, 2007, 11(1): 77–84. |
| [10] | Youngslnn SohnN, Sanjay Rebello. Supervised and unsupervised spectral angle classifiers[J]. Photogrammetric Engineering & Remote Sensing, 2002, 68(12): 1271–1280. |
| [11] | Artan Y, Langer D L, Haider M A, van der Kwast T H, Evans A J, Wernick M N, Yetik I S. Prostate cancer segmentation with multispectral MRI using cost-sensitive conditional random fields[C]// Proc. IEEE Int. Symp. Biomed. Imag., 2009: 278-281. |
| [12] | Scharstein D, Pal C. Learning conditional random fields for stereo[C]// Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2007: 1-8. |
| [13] | Sminchisescu C, Kanaujia A, Li Z, Metaxas D. Conditional models for contextual human motion recognition[J]. Comput. Vis. Image Understand, 2006, 104: 210–220. DOI:10.1016/j.cviu.2006.07.014 |
| [14] | Christopher T Symons, Nagiza F Samatova, Ramya Krishnamurthy, Byung H Park, Tarik Umar, David Buttler, Terence Critchlow, David Hysom. Multi-criterion active learning in conditional random fields[C]// Proceedings of the 18th IEEE International Conference on Tools with Artificial Intelligence, 2006. |
| [15] | Tadashi Nomoto. Discriminative sentence compression with conditional random fields[J]. Science Direct, 2007, 43: 1571–1587. |
| [16] | Zhang Guangyun, Jia Xiuping. Simplified conditional random fields with class boundary constraint for spectral-spatial based remote sensing image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2012, 9(5): 856–860. DOI:10.1109/LGRS.2012.2186279 |
| [17] | Zhong Yanfei, Lin Xuemei, Zhang Liangpei. A support vector conditional random fields classifier with a mahalanobis distance boundary constraint for high spatial resolution remote sensing imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(4): 1314–1330. DOI:10.1109/JSTARS.4609443 |
| [18] | Yukihiro Hamasuna, Yasunori Endo, Sadaaki Miyamoto. On mahalanobis distance based fuzzy c-means clustering for uncertain data using penalty vector regularization[C]// IEEE International Conference on Fuzzy Systems, 2011: 810-815. |
| [19] | HiroyukiSato, YoshihikoHasegawa, DanushkaBollegala, HitoshiIba. Improved sampling using loopy belief propagation for probabilistic model building genetic programming[J]. Swarm and Evolutionary Computation, 2015, 23: 1–10. |
2016, Vol. 49



