1 引 言
遥感影像中地物复杂、信息丰富,特别是随着分辨率的提高,地物细节更加清晰、信息量成倍增长,因此寻找一种合适的特征描述方法成为高分辨率遥感影像分类过程中的关键问题。纹理特征[1, 2]作为重要的视觉表现方式,在遥感图像处理中被广泛应用。
目前存在两种主流的纹理特征提取方法[2]:基于统计信息的纹理特征提取方法和基于滤波器的纹理特征提取方法。以灰度共现矩阵[3]、分形模型方法[4]、纹理谱方法[5]为代表的基于统计信息的方法将纹理看做是按照一定的规律分布的一系列像元的排列,并通过其统计特性来描述纹理特征。但统计方法通常会存在计算耗时等问题,同时缺乏在不同尺度以及不同方向上的纹理特征描述[2]。基于滤波器的方法将纹理看做是由不同频率信号构成的复合信号,通过不同方向以及带宽的滤波器滤波后的特征值作为纹理特征描述,这一点优于统计方法,也使得滤波器组成为纹理特征描述的重要方法。如Gabor纹理特征[6, 7]是滤波器方法中的典型代表。近些年,文献[8, 9, 10]基于其多年在纹理分析上的研究工作,对传统的基于滤波器组的方法在纹理提取方法中的重要地位提出了质疑,并指出滤波器组方法存在特征易模糊损失,且计算复杂等问题。文献[9, 10]提出一种基于纹理元的纹理特征提取方法:直接利用影像局部像素块的原始灰度信息聚类形成纹理元,作为组成纹理图像的局部特征基元,然后利用图像中纹理元的统计直方图表达全局纹理特征。该方法能兼顾局部特征与全局特征来表达纹理,并且具有计算简单、特征全面等优点。
仅利用纹理信息是不够的,在遥感影像分类时结合光谱和纹理信息能够得到更有效的结果[11]。但同时也给特征提取带来一个挑战:特征降维。目前主流的数据降维方法有独立成分分析[12]、流行学习方法[13]、主成分分析法[14]、随机投影[15, 16]等。文献[15]对这些降维方法进行比较分析得出,传统的降维方法,如主成分分析(PCA)、奇异值分解(SVD)、潜在语义分析(LSI)等,存在计算复杂等问题,而随机投影(random projection)能够在降维的同时很好地保持信息量,降维效果最优。
兼顾高分辨率影像中对象的局部特征及全局特征,本文提出基于纹理元特征描述以及结合SVM的分类方法,主要包括如下步骤:①利用随机投影对基于原始的像素灰度值的纹理元矢量进行降维,得到本文中所说的压缩纹理元;②利用k-均值聚类学习纹理字典;③融合样本中词汇统计直方图与词汇二阶矩信息作为最终的纹理特征度量,并结合SVM进行分类。
2 基于纹理元方法的特征提取随着遥感技术的发展,遥感影像的分辨率也越来越高,能分辨的地物目标尺寸达到米级甚至亚米级。传统的利用像素及其邻域像素的特征表达方法,对噪音敏感且不稳定,已经无法满足高分辨率遥感影像分类的要求。基于纹理元的特征提取方法兼顾了对象的局部特征及全局特征,全面地描述了对象纹理特征。
2.1 基于随机投影的局部纹理元提取针对结合光谱与空间信息的特征提取存在特征维数大等问题,本文提出基于随机投影的纹理特征提取方法,利用随机投影对原始纹理特征进行降维,映射到压缩的纹理特征子空间。
随机投影[15, 16, 17, 18, 19, 20] 是指将高维信号投影到随机选择的低维子空间的过程。随机投影能降维,又能保留信息不损失的特性,在压缩感知理论[18]中有充分的说明,即少量的随机量能够保持稀疏信号的大部分信息,近似地表达信号,并可由它精确重构原信号[18]。文献[19]利用随机投影针对人脸识别问题提出稀疏分类器,并指出大部分的信号是稀疏可压缩的。本文中的基于随机映射的纹理特征提取方法包含以下两个步骤。
2.1.1 旋转不变纹理特征的提取传统纹理特征都是基于原始像素灰度信息进一步计算得到的,这表明原始灰度信息包含了完整的纹理信息。文献[9, 10]通过试验证明直接利用原始影像灰度信息来描述纹理比传统滤波器方法要好。本文依照此结论,直接利用原始灰度信息,并采用文献[20]提出的排序框架来提取旋转不变的原始纹理元向量。假定图像I有n个波段,对图像每个波段逐像素提取m×m窗口大小的图像块,按如下规则进行排序
式中,a=1,2,…,fix(m/2);p0,0为中心像素点。式(1)表示对m×m窗口中每一个以p0,0为中心的矩形环上所有灰度值进行排序,并串联成原始特征向量fSp∈Rm2。 2.1.2 基于随机投影的特征降维本文采用光谱与空间信息相结合的方法,组合n个波段的原始特征向量fSp,构成原始特征向量fSp∈Rnm2×1
式(2)表示利用随机投影将高维的特征向量fSp映射到低维的特征向量FCS,其中Φ∈Rh×k为随机投影矩阵,k=nm2,h«k。所有的压缩特征向量构成压缩特征子空间{fCS}。随机投影矩阵Φ需满足一定的要求:①Φ的大小参数h与k满足JL(Johnson-Lindenstrauss)引论[15];②根据压缩感知理论[18],随机投影矩阵Φ应满足受限等距性质。文献[15]中列举了几种构建随机矩阵的方法,包括高斯随机矩阵和简单的随机矩阵等。本文选择满足均值为0,方差为1的正交的高斯随机矩阵作为随机投影矩阵,并在试验中分析了随机矩阵Φ中h的大小与分类精度的关系。
2.2 基于局部纹理元的全局纹理特征传统的结合空间信息的分类方法利用中心像素及其邻域像素信息提取对应像素点的纹理特征,以像元为基元,使得特征描述对噪音敏感。本文利用每个像素点所在的中心单词及其邻域v×v内的单词作为纹理基元,构成视觉词汇图(visual words map,VWM),通过视觉词汇图提取表达兴趣像素点的纹理特征。该描述方法优点包括:①大小为m×m的纹理基元,包含局部纹理信息,能更好地确定纹理基元的性质;②由邻域v×v内的单词组成的VWM,表达全局空间信息,包含了确定中心像素点所属类别的空间信息;③两个窗口共同表达的纹理特征具有多尺度描述作用。
基于视觉词汇图的全局纹理特征提取包括3个步骤:字典学习、词汇编码、特征提取。
2.2.1 字典学习在压缩特征子空间中,利用k-均值算法,以欧氏距离作为相似性度量准则,对每一类训练样本{FTiCS}进行聚类,将聚类中心作为该类的词汇字典di。假设共有C类样本,每类的聚类中心数为K,通过组合各类的词汇字典合成最终的大小为CK的压缩纹理词汇字典D∈Rh×CK={d1,d2,…,dC}。
2.2.2 词汇编码根据第一步中得到的纹理字典D,利用最近邻算法,通过计算{FCS}中的纹理基元到纹理字典D中每个单词的欧氏距离,并采用距离最小的单词对应的编号对纹理基元进行编码。通过中心单词及其v×v邻域内的单词的编号构成视觉词汇图,用wi,j表示视觉词汇图中每个单词对应的纹理基元。视觉词汇图生成示意图如图 1所示,其中,中心像素x0,0用红色框标注。
2.2.3 特征提取本文利用视觉词汇图的词汇直方图H=[σ1 σ2…σCK]T用来描述统计特性,其中σi表示单词i在VWM中的出现次数。同时为了减少“同物异谱,同谱异物”的现象对精度的影响,需要加入视觉词汇图中词汇的空间信息。所以本文提出利用词汇图中各词汇相对于中心像素位置的二阶矩M=[δ1 δ2…δCK]T,来描述词汇图中词汇的空间分布信息,其中,di,j为单词i的距中心点的距离,di为距离平均值。通过融合直方图信息与二阶矩信息,形成最终的纹理度量F∈R2CK×1
3 试验与讨论在Matlab平台下,利用VL-feat工具箱[21],采用两幅高分辨率的遥感影像进行分类试验,对本文方法提出的纹理特征进行验证。试验分析了本文方法中的特征尺度及特征维数对分类精度的影响,并比较分析了本文方法与其他特征提取方法的分类精度。试验通过全局分类精度(overall accuracy,OA) 、Kappa系数对结果进行评价。
3.1 试验数据数据1(Japan数据)为GeoEye-1卫星的高分辨率数据(如图 2),空间分辨率为0.5 m,包含R、G、B 3个波段,全图数据大小3000 像素×3000 像素,本文截取其中大小为1100 像素×1300 像素的图像作为试验数据。数据2(Pavia University数据,简称PaviaU数据) 为ROSIS 高光谱传感器系统在意大利南部的Pavia University上空获取的空间分辨率为1.3 m,有103个连续波段,大小为610 像素×340 像素,具有公共的ground truth高光谱数据[22]。本文利用PCA方法提取3个主成分作为试验数据,其伪彩色如图 3(a)所示。
3.2 尺度大小对分类精度的影响
本文方法中图像块大小m和词汇图大小v分别对应了局部特征尺度和全局特征尺度。表 1和表 2分别为两个试验数据的尺度大小对全局精度的影响结果(每个试验数据均为10次相同试验取均值)。
% | |||||
图像块大小m | |||||
3×3 | 5×5 | 7×7 | 9×9 | ||
词汇图大小v | 3×3 | 79.58±0.60 | 80.28±0.50 | 87.83±0.45 | 90.92±0.11 |
5×5 | 87.07±1.22 | 90.85±0.52 | 93.20±0.08 | 92.89±0.29 | |
7×7 | 91.11±0.61 | 93.03±0.13 | 93.38±0.38 | 94.20±0.93 | |
9×9 | 93.48±0.15 | 93.84±0.29 | 94.33±0.22 | 94.70±1.14 | |
11×11 | 93.06±0.48 | 95.01±0.14 | 94.42±0.36 | 95.78±0.42 |
% | |||||
图像块大小m | |||||
3×3 | 5×5 | 7×7 | 9×9 | ||
词汇图大小v | 3×3 | 79.05±0.10 | 87.41±0.29 | 89.47±0.24 | 92.45±0.15 |
5×5 | 90.46±0.30 | 92.57±0.07 | 93.90±0.24 | 95.26±0.22 | |
7×7 | 94.71±0.06 | 96.13±0.03 | 95.81±0.20 | 96.92±0.08 | |
9×9 | 96.94±0.09 | 97.61±0.02 | 97.89±0.07 | 98.24±0.02 | |
11×11 | 98.37±0.10 | 99.11±0.03 | 98.65±0.05 | 99.10±0.05 |
从表 1、表 2中可以看到,对于两个试验数据,词汇图大小v及图像块大小m都存在着相同的趋势,由行向数据表明当全局特征尺度选择合适时,局部特征对OA的影响不大,列向数据表明局部尺度一定,全局特征尺度变化对OA影响较大。同时,随着尺度选择的增大,试验运行时间也增加剧烈,所以对于这两组数据,考虑到运行时间,选择精度相当的较小尺度。因此在面临尺度选择的问题时,尺度过小会导致特征表达不完整,降低分类精度;尺度过大则容易造成对象的异质性增加,导致特征的区分性降低,从而降低分类精度。对于高分辨率遥感影像,全局特征的尺度问题比局部特征的尺度问题更加重要,分辨率越高,全局特征的尺度宜选择更高。
3.3 特征维数对分类精度的影响对于本文方法,降维后的纹理向量特征维数h以及纹理字典大小k分别对应局部特征维数与全局特征维数。图 4和图 5分别为h和k对OA的影响结果表。这里所选用的局部特征尺度均为7×7,因此原始特征维数均为49。
从图 4中可以看到,h与OA的关系曲线呈现一种上升后变缓的趋势,随着h的增加,特征的冗余性增加,这也引起分类精度的下降。同时,可以看到OA的变化范围较小,对于Japan数据在1.3%以内,对于PaviaU数据在1%以内。这说明了随机投影在降维的同时能够很好地保持信息量。因此,在选择局部特征维数h时,为了得到较好的分类精度,同时考虑试验运行效率,当局部尺度为7×7时,本文选择的最佳降维维数为25。
从图 5中可以看到,OA随着全局特征维数参数k的增加而增加,k越大,曲线越平缓。同样,试验的运行时间也随着h的增大而剧烈增加。因此,在选择k时也综合考虑运行时间和分类精度,本文选择k为50。
比较图 4和图 5,发现全局特征维数对OA的影响更大,主要因为局部特征维数只关系到样本中词汇编码的准确性,而全局特征包含样本的全局纹理特征,所以其完整性更容易影响分类精度。
3.4 不同特征提取方法比较为验证本文所采用的排序纹理块特征(Sorted-patch)的有效性,本文分别在同一分类框架下对其他4种局部纹理特征方法及颜色特征方法进行验证:局部二进模式 (LBP)、尺度不变特征转换 (SIFT)、灰度共生矩阵 (GLCM)、原始图像块(Patch)及颜色特征(RGB)。
从表 3中可以看到,其他5种局部特征的描述能力均不及本文中的Sorted-patch特征。LBP、SIFT和GLCM等特征分类精度均比较低,可以看出这3类从纹理块中取出的局部特征分别对不同的类别敏感。而Patch特征的分类全局精度OA到达93.30%,比LBP、SIFT、GLCM、RGB高出很多,能够有效地描述纹理。而本文提出的Sorted-patch特征,与Patch特征比较,对草地、公路、土地3类的分类精度有明显提高,说明Sorted-patch特征的旋转不变性使得分类精度提高。表 4中,对于PaviaU数据,LBP、SIFT、GLCM、 RGB特征的全局分类精度都达到了90%以上,但在部分地物类别上的分类效果仍然不理想,而且类别间的分类精度差别大,导致Kappa系数较低。Patch特征的分类精度明显高于前面4种特征,而本文方法Sorted-patch方法得到较高的分类精度。对比两个表各个特征的表现,可以发现LBP、SIFT、GLCM、RGB对不同数据的表达能力不稳定,不如Patch和Sorted-patch方法,本文方法取得较高分类精度。通过对高空间分辨率遥感影像以及用PCA降维后的高光谱遥感影像的试验,表明本文方法能有效地表达纹理,取得较为稳定的分类结果。
% | ||||||
LBP | SIFT | GLCM | RGB | Patch | Sorted-Patch | |
房屋 | 65.41 | 81.75 | 78.01 | 98.97 | 97.96 | 99.51 |
阴影 | 50.08 | 72.21 | 67.08 | 93.98 | 96.08 | 95.26 |
树木 | 63.57 | 70.09 | 67.52 | 87.81 | 94.08 | 95.99 |
草地 | 54.00 | 41.46 | 54.59 | 96.92 | 97.02 | 98.44 |
公路 | 49.54 | 64.67 | 64.73 | 71.59 | 76.26 | 81.63 |
土地 | 67.59 | 68.20 | 70.32 | 99.11 | 98.23 | 99.98 |
空地 | 41.64 | 57.89 | 48.00 | 96.89 | 96.12 | 97.20 |
OA | 57.23 | 66.99 | 65.77 | 91.44 | 93.16 | 95.13 |
Kappa | 49.57 | 61.03 | 59.75 | 89.94 | 91.97 | 94.28 |
% | ||||||
LBP | SIFT | GLCM | RGB | Patch | Sorted-Patch | |
沥青路 | 96.86 | 96.35 | 98.62 | 96.94 | 99.17 | 99.66 |
草地 | 84.20 | 83.90 | 88.02 | 96.04 | 93.77 | 96.19 |
沙砾 | 96.94 | 97.46 | 98.90 | 97.79 | 99.70 | 99.84 |
树木 | 97.85 | 98.46 | 98.81 | 98.41 | 98.41 | 98.84 |
金属板 | 99.48 | 99.93 | 99.90 | 96.51 | 99.90 | 99.98 |
裸土地 | 90.03 | 90.71 | 91.33 | 99.90 | 94.72 | 97.79 |
柏油房 | 99.92 | 99.51 | 99.92 | 96.74 | 99.90 | 99.92 |
砖块 | 96.50 | 98.59 | 98.04 | 99.82 | 99.58 | 99.78 |
阴影 | 99.79 | 99.89 | 99.79 | 90.94 | 99.89 | 99.98 |
OA | 91.05 | 91.28 | 93.46 | 94.71 | 96.49 | 98.00 |
Kappa | 87.95 | 88.94 | 91.66 | 93.23 | 95.50 | 97.50 |
本文针对高分辨率遥感影像,提出的基于压缩纹理元的遥感影像分类方法。试验表明该方法取得了比较好的分类结果。本文方法的优点为:①特征提取算法简单,直接利用原始像素块作为局部纹理描述;②随机投影能够在降维的同时保持信息量不损失;③结合词汇图的统计与空间分布特征,加入词汇空间信息,能够有效地区分地物。 当然本文方法还存在着需要改进的地方,首先考虑尺度选择的问题,其次字典学习算法有待改善,用稀疏编码的方法增强区分性,并可以结合面向对象的分类方法,有望能取得更好的效果。
[1] | ZHENG Zhaobao, ZHOU Yueqin. A Study of Texture and Description for Aerial Images [J]. Acta Geodaetica et Cartographica Sinica, 1997, 26(3): 228-234. (郑肇葆, 周月琴. 论航空影像的纹理与描述[J]. 测绘学报, 1997, 26(3): 228-234.) |
[2] | ZHANG Zhilong. Feature Extraction and Recognition of Important Targets in Remote Sensing Imagery [D]. Changsha:National University of Defense Technology, 2005. (张志龙.基于遥感图像的重要目标特征提取与识别方法研究[D]. 长沙:国防科学技术大学, 2005.) |
[3] | HARALICK R M, SHANMUGAM K, DINTEIN I. Textural Features for Image Classification [J]. IEEE Transactions on Systems,Man and Cybernetics, 1973, 3(6): 610-621. |
[4] | HUANG Guilan, ZHENG Zhaobao. The Application of Fractal in the Classification of Image Texture [J]. Acta Geodaetica et Cartographica Sinica, 1995, 24(4): 283-291. (黄桂兰,郑肇葆.分析几何在影像纹理分类中的应用[J]. 测绘学报, 1995, 24(4): 283-291.) |
[5] | NIE Dan, FU Zhongliang, ZHANG He. Grain Analysis Means of Remote Sensing Image Based on Grain Table [J]. Geosatial Information, 2006, 4(6): 36-38. (聂丹,付仲良,张鹤. 基于纹理谱的遥感影像纹理分析方法[J]. 地理空间信息, 2006, 4(6): 36-38.) |
[6] | TAO Chao, TAN Yihua, PENG Bifa, et al. A Probabilistic Latent Semantic Analysis Based Classification for High Resolution Remotely Sensed Imagery [J]. Acta Geodaetica et Cartographica Sinica, 2011, 40(2): 156-162. (陶超,谭毅华,彭碧发,等. 一种基于概率潜在语义模型的高分辨率遥感影像分类方法[J]. 测绘学报, 2011, 40(2): 156-162.) |
[7] | CHEN Jie, DENG Min, XIAO Pengfeng, et al. Object-oriented Classification of High Resolution Imagery Combining Support Vector Machine with Granular Computing [J]. Acta Geodaetica et Cartographica Sinica, 2011, 40(2): 135-147. (陈杰,邓敏,肖鹏峰,等.结合支持向量机与粒度计算的高分辨率遥感影像面向对象分类 [J].测绘学报,2011, 40(2): 135-147.) |
[8] | VARMA M, ZISSERMAN A. Texture Classification: Are Filter Banks Necessary? [J]. Computer Society Conference on Computer Vision and Pattern Recognition, 2003, 18(20): 691-698. |
[9] | VARMA M, ZISSERMAN A. A Statistical Approach to Texture Classification form Using Images [J]. International Journal of Computer Vision, 2005, 62(4): 61-81. |
[10] | VARMA M, ZISSERMAN A. A Statistical Approach to Material Classification Using Image Patches [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(11):2032-2047. |
[11] | MATHIEU F, JOCELYN C, JONATLI B, et al. Spectral and Spatial Classification of Hyperspectral Data Using SVMs and Morphological Profiles [J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46 (11): 3804-3814. |
[12] | FENG Yan, HE Mingyi, SONG Jianghong, et al. ICA-Based Dimensionality Reduction and Compression of Hyperspectral Images[J]. Journal of E1ectronics & Information Technology, 2007, 29(12): 2871-2875. (冯燕,何明一,宋江红,等. 基于独立成分分析的高光谱图像数据降维及压缩[J]. 电子与信息学报, 2007, 29(12): 2871-2875.) |
[13] | DU Peijun, WANG Xiaomei, TAN Kun, et al. Dimensionality Reduction and Feature Extraction from Hyperspectral Remote Sensing Imagery Based on Manifold Learning [J]. Geomatics and Information Science of Wuhan University, 2011, 36(2): 148-152. (杜培军,王小美,谭琨,等. 利用流形学习进行高光谱遥感影像的降维与特征提取[J]. 武汉大学学报:信息科学版, 2011, 36(2): 148-152.) |
[14] | CAO Qian, TAN Kun, DU Peijun, et al. Hyperspectral Remote Sensing Image Dimensionality Reduction by Kernel PCA Method Based on Nystrom Algorithm [J]. Metal Mine, 2012, 41(4): 114-117. (曹茜,谭琨,杜培军,等. 用简化核主成分分析法实现高光谱遥感影像降维[J]. 金属矿山, 2012, 41(4): 114-117.) |
[15] | BINGHAM E, MANNILA H. Random Projection in Dimensionality Reduction: Applications to Image and Text Data [C]// The 7th ACM/SIGKDD International Conference on Knowledge Discovery and Data Mining.[S.l.]:ACM,2001: 245-250. |
[16] | LIU L, PAUL W F. Texture Classification from Random Features [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(3): 574-586. |
[17] | XU S, FANG T, LI D, et al. Object Classification of Aerial Images with Bag-of-Visual Words [J]. IEEE Geoscience and Remote Sensing Letters, 2010, 7(2): 366-370. |
[18] | WRIGHT J, YANG A, GANESH A, et al. Robust Face Recognition via Sparse Representation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-217. |
[19] | CANDES E, TAO T. Near-Optimal Signal Recovery from Random Projections: Universal Encoding Stratigies?[J]. IEEE Transactions on Information Theory, 2006, 52(10): 5406-5425. |
[20] | LIU L, PAUL W F. Sorted Random Projections for Robust Rotation-invariant texture Classification [J]. Pattern Recognition, 2012, 5(6): 2405-2418. |
[21] | VEDALDI A, FULKERSON B. An Open and Portable Library of Computer Vision Algorithms[EB/OL].[ 2008-11-30]. http://www.vlfeat.org/. |
[22] | Computational Intelligence Group. Hyperspectral Remote Sensing Scenes[EB/OL]. [2009-09-02].http://www.ehu.es/ccwintco/index.php/Hyperspectral_Remote_Sensing_Scenes. |