文章快速检索  
  高级检索
基于热核嵌入的图像分类技术
胡云泉 , 郑丽颖 , 王伊雪
哈尔滨工程大学 计算机科学与技术学院, 黑龙江 哈尔滨 150001     
摘要: 由于热核具有反映图像几乎全部背景信息的性质,提出利用热核特征代替图像谱特征来反映图像特征以提高图像的分类准确率。在对图像提取热核特征前先对图像的特征点检测算法做了改进,即采用Canny-Harris与Harris-Laplace相结合算法对图像进行特征点的检测。然后利用改进算法得到的特征点建立图的谱特征(邻接矩阵特征与拉普拉斯矩阵特征)以及热核特征,最后对这些特征进行SVM分类并比较实验结果。
关键词: 热核特征     谱特征     特征点检测     SVM     图像分类    
Image classification based on heat kernel embedding
HU Yunquan, ZHENG Liying, WANG Yixue
School of Computer Science and Technology, Harbin Engineering University, Harbin 150001, China
Abstract: As heat kernel can reflect almost all background information of images, this paper proposed a new method that uses heat kernel feature to substitute the spectral feature of images, so as to improve accuracy of image classification. An improved feature point detector was adopted before extracting heat kernel feature. The new feature point detection method combined Canny-Harris algorithm with Harris-Laplace algorithm. Then the derived feature points were employed to establish spectral features of a graph (adjacent matrix feature and Laplace matrix feature) and the heat kernel feature. Finally, these features were classified by SVM and the performances were analyzed with the experimental results.
Key words: heat-kernel feature     spectral feature     feature point detection     SVM     image classification    

热核[1]主要来源于热方程的启发,它一直是解决场论的基本数学方法,常被用于数学以及物理领域,由于其通过物体边缘热能量变化的原理可以充分表示图像的几何特征,所以目前在图像处理领域中也得到应用。热核理论在图像处理中,可以具象地描述为将图像分成若干个不同的区域,每个区域利用一个热核进行表示,这样一幅图像会映射出若干个热核。由于每个热核作为局部的核心都可以反映其所在局部区域的几乎所有几何信息,可见利用热核来代表图像的特征具有信息反映全面、特征冗余少、容易计算等良好性质[2-4]

2009年Bai Xiao和Edwin R.Hancock等[3]对热核进行了深入研究,利用热核进行马氏距离聚类和主成分分析 (principal component analysis, PCA) 空间嵌入都得到了较好的聚类效果。因此文中将根据这一启发利用热核特征对图像进行支持向量机 (support vector machine, SVM) 分类。

文中首先针对Harris-Laplace[5-7]特征点检测漏检问题提出了改进的特征点检测算法,然后在此基础上建立图像的谱特征[8-9]以及热核特征[10-11],最后对这些特征利用支持向量机 (support vector machine, SVM)[12-13]进行分类。

1 图像热核特征描述 1.1 图像Harris-Laplace特征点提取与Delaunay三角剖分

Mikolajczyk等[6]针对Harris的检测算法不可抗尺度几何攻击、鲁棒性较差这一问题展开研究并且在此基础上进行了改善,提出了Harris-Laplace特征点检测算法。因此文中先利用Harris-Laplace进行图像的特征点检测,并在特征点上进行Delaunay三角剖分[14-15],结果如图 1所示。

图 1 Delaunay三角剖分
1.2 热核坐标向量空间的嵌入

得到图像的Delaunay三角剖分结果后,可根据此结果建立热核坐标。首先对图建立拉普拉斯矩阵,然后对其进行归一化,最后将归一化的拉普拉斯矩阵进行谱特征分解得到:

其中Λ=diag (λ1, λ2, …, λ|V|) 为一个对角矩阵且其对角元素是有序的,与之对应的有序特征向量矩阵可表示为Φ=φ1|φ2|…|φ|V|,因为是对称且半正定的所以归一化后的矩阵的特征值都是正数。然后将热方程矩阵和拉普拉斯矩阵建立关联得到

式中:ht是热核;t表示时间。可将热核视作是穿过图的边,并随时间变化而不断流动的信息。热核能量的流动速率是由图的拉普拉斯矩阵决定。热核方程式的解析式[8]由拉普拉斯矩阵谱特征与时间共同建立,即

对式 (1) 进行Young-Householder分解即:

式中:,u是图节点的索引,式中每一个列向量是图的节点坐标,

因此,对于节点索引u的坐标向量为

式 (2) 表明热核的坐标向量并不是一个二维或者三维的坐标向量,而是一个多于三维的高维向量,因此不能将图像的热核在二维或者三维坐标中进行直观的嵌入得到。

1.3 图像热核特征建立

本小节通过热核嵌入坐标来得到热核的特征列向量。主要思想是通过热核嵌入坐标得到其协方差特征值。

首先求解热核嵌入坐标的均值向量[10]如式 (3) 所示。

式中e=(1, 1, …, 1)Τ是长度为|V|的全1向量。然后由坐标均值向量得到中心坐标矩阵Yc=Y-,其中。最后通过矩阵Yc得到热核坐标的协方差矩阵:

经过整理得到从而得到一幅图像的热核所有嵌入点坐标协方差矩阵的特征值矩阵为

以及非归一化的特征向量矩阵:

最后将特征值矩阵转换为列向量:

2 Harris-Laplace与Canny-Harris相结合改进特征点检测

由于Harris-Laplace对图像的弱边缘存在漏检现象,因此会导致弱边缘中特征点检测的缺失。虽然Canny-Harris对图像的弱边缘较敏感,但它存在对图像粗糙纹理特征点不敏感的缺陷。两种算法的各自优劣比较如图 2所示。

图 2 两种特征点检测算法的检测结果

图 2(a)(b)是分别用Canny-Harris和Harris-Laplace对纹理较粗糙图像进行的特征检测,图 2(c)(d)是分别用Canny-Harris和Harris-Laplace对纹理较光滑图像进行特征检测。可以看出对于纹理较粗糙的物体表面图 2(a)(b)利用Canny-Harris角点的检测方法,图像粗糙表面中的许多细节纹理角点检测不到,而只检测到了强边缘和弱边缘。而用Harris-laplace角点检测则可以很好的识别图像中纹理较粗糙的细节信息。对于纹理较光滑的图 2(c)(d)中小鸭子的翅膀下方和小鸭子的颈部都有弱边缘存在,但通过Harris-laplace算法并没有很好地检测到,而用canny-Harris角点检测算法就可以检测到这些弱边缘中的特征点。

通过上述的优劣比较可见两种算法各有优劣,因此文中提出将两种特征点检测相结合作为改进的特征点检测算法,汲取它们各自的优点,优势互补,达到图像强弱边缘以及粗糙纹理部分同时检测到特征点的目的。

选取一张兼具粗糙文理及光滑纹理的图像进行Canny-Harris和Harris-Laplace特征点融合检测,图 3即所得图像。可以看出,融合后特征点检测效果较好,强弱边缘均被检测出来。具体的方法流程如图 4所示。

图 3 Canny-Harris和Harris-Laplace特征点融合后的图像
图 4 改进特征点检测算法

首先,对图像进行Canny边缘检测,并对图像边缘中一些重要极值点进行标注得到需要的特征点。然后,进行Harris-Laplace特征点检测,并记录检测到的特征点。最后,将两种方法检测到的特征点整合,合并重复特征点。利用这种方法对所有图像进行统一自适应检测,这样就可以解决单独用某一种算法对图像特征点漏检的情况发生。

3 利用图像热核特征进行图像分类

文中提出的图像分类方法流程如图 5所示。首先对输入图像提取相应特征点并进行Delaunay三角剖分;然后在此基础上得到图像谱特征以及热核特征,利用热核特征作为SVM的输入,从而实现图像分类。

图 5 基于热核的SVM分类流程
图 6 COIL中的6类图片
4 实验结果及分析 4.1 图像数据来源

文中使用COIL图像库中的6类图像进行分类实验如图 7所示,由于每类共有72幅图像,实验中从每类的第1幅图像开始每间隔1幅选出1幅作为训练图像,所以每1类总共有36幅作为训练图像,其余的36幅图像作为测试图像。这样实验训练集是由216张图像提取的特征组成,同样测试集也是216张图像提取的特征组成,从而共有432组图像特征。

图 7 热核特征列向量的截取维度对SVM分类准确率影响的实验方法
4.2 影响热核特征的两个因素

由于SVM具有最大分离面的良好特性,因此文中利用SVM对图像的热核特征进行图像分类。在分类中有2个主要因素影响热核特征SVM的分类准确率,分别为特征向量的截取维度以及热核特征的时间参数。因此文中需要先对这2个影响因素进行研究并选定合适的参数,文中将利用控制变量法分别固定其中1个变量然后观察另1个变量对热核SVM分类准确率的影响,最后利用选好的较优参数实现基于热核特征的图像分类。

4.2.1 热核特征的截取维度对确定

这里仅对改进的特征点检测后建立的热核特征列向量的不同维度输入进行比较,根据控制变量法首先固定热核时间参数t=1。其具体流程如图 7所示。由于432幅COIL图像中最少维度的热核特征列向量是67维,所以根据水桶原理实验以67维作为截取的上限。在实验的过程中从截取1维特征列向量开始实验,然后不断增加截取的维度直到截取至67维特征列向量结束。

对实验得到的分类准确率进行插值曲线绘制如图 8所示,其中圆圈代表实验得到的基准数据,曲线为通过基准数据得到的插值结果。从插值曲线中看到当选择热核特征列向量输入维度为17、18时,得到的分类准确率最高,因此文中将列向量截取维度选为18。

图 8 截取维度对测试集分类准确率影响的插值曲线

4.2.2 热核特征时间参数确定

由式 (4) 可知时间参数在一定程度上会影响到热核特征,从而会对热核特征分类准确率也造成影响。为了研究其对热核特征及其分类准确率的影响,将对特征点检测算法得到的热核特征利用不同时间参数进行SVM分类实验,根据控制变量法和4.2.1节的实验结果可以将热核特征列向量的输入维度固定为18,然后对不同时间参数的热核特征进行分类。具体实验流程如图 9所示。通过上述实验得到不同时间参数的热核特征分类准确率结果如表 1

图 9 热核特征的时间参数对SVM分类准确率影响的实验方法
表 1 热核特征中时间参数对于分类准确率的影响
时间 测试集准确率/% 训练集准确率/%
t=0.5 91.203 7 96.296 3
t=1 92.592 6 94.907 4
t=5 90.277 8 93.055 6
t=10 87.963 92.129 6
t=100 76.851 9 78.240 7

4.3 热核特征与图像谱特征进行SVM分类对比

通过4.2.1节实验结果可知热核特征列向量的输入维度选择为18左右其分类准确率最高。因此在热核特征与谱特征的SVM分类准确率对比实验中将输入的热核特征维度固定在18维度,为了避免对不同图像特征截取不同维度列向量对实验造成影响,文中将图像谱特征列向量截取维度也固定在18维度。同时,根据4.2.2的实验得到的结论将热核特征的时间参数选择为t=1。在实验中分别用3种特征点检测算法 (Canny-Harris、Harris-Laplace、改进的特征点检测算法) 建立邻接矩阵特征、拉实验中对图像数据中6类图像进行分类,实验结果如图 10~19所示,其中圆圈表示实际测试集的正确分类,星号代表通过SVM预测后图像的分类结果。图中的横坐标为图像216幅图像的序列号,纵坐标表示图像的类别。利用Canny-Harris特征检测后建立热核等特征进行SVM分类实验结果如图 10~12

图 10 Canny-Harris检测后建立邻接矩阵特征的分类结果
图 11 Canny-Harris检测后建立拉普拉斯矩阵特征的分类结果
图 12 Canny-Harris检测后建立热核特征的分类结果
图 13 Harris-Laplace检测后建立邻接矩阵特征的分类结果
图 14 Harris-Laplace检测后建立拉普拉斯矩阵特征的分类结果
图 15 Harris-Laplace检测后建立拉普拉斯矩阵的分类结果
图 16 Harris-Laplace检测后建立热核特征的分类结果
图 17 改进算法的特征点检测后建立邻接矩阵特征的分类结果
图 18 改进的特征点检测后建立拉普拉斯矩阵特征的分类结果
图 19 改进算法的特征点检测后建立热核特征的分类结果

图 10~12中由实验分类结果可见,通过Canny-Harris特征点检测后利用热核特征进行分类被错分的图片相对邻接矩阵与拉普拉斯特征错分的图片较少一些。

2) 利用Harris-Laplace特征点检测后建立热核等特征进行SVM分类实验结果如图 13~14所示。实验分类结果可见,通过Harris-Laplace特征点检测后利用热核特征进行分类被错分的图片相对邻接矩阵与拉普拉斯特征错分的图片较少。

3) 利用改进算法特征点检测后建立热核等特征进行SVM分类实验结果如图 15-19所示。

图 15~19中由实验分类结果可见,通过改进的特征点检测后利用热核特征进行分类被错分的图片相对邻接矩阵与拉普拉斯特征错分的图片较少。

通过上述实验结果可以直观看到每幅图像分类的具体情况,其中包括该幅图像是否分类正确,若分类错误则可知是哪一幅图片原本应属于哪一类而被误分为哪一类。

从实验结果可见,3种特征点检测得到的结果:利用热核特征相对另两类特征进行SVM分类时被误分的图片较少。

实验具体分类准确率如表 2所示。

表 2 热核特征与谱特征分类准确率对比
项目 Canny-Harris Harris-Laplace 改进的特
征点检测
邻接矩阵特征 71.2963%
(154/216)
83.3333%
(180/216)
87.963%
(190/216)
拉普拉斯特征 78.2407%
(169/216)
87.963%
(190/216)
91.6667%
(198/216)
热核特征 78.7037%
(170/216)
89.3519%
(193/216)
92.5926%
(200/216)

5 结论

文章中首先对热核的坐标建立进行了一个比较全面的描述,然后针对图像特征点检测过程中Harris-Laplace检测算法存在的不足文中提出将Harris-Laplace与Canny-Harris相结合的方法。该方法既可以检测到一些Harris-Laplace算法不敏感的弱边缘,同时还可以检测到Canny-Harris算法不敏感的图像粗糙纹理角点。

然后,文中基于热核的良好的图像描述性质提出将其应用到图像分类处理当中并分析其分类效果。提出将图像热核特征向量作为支持向量机的输入,通过实验的验证可以看出热核的分类准确率比图像谱特征的分类更精确些。且利用改进的特征点检测算法后建立的热核特征进行SVM分类,其实验结果相比之下准确率更高。

综上所述,文中首先提出了改进的特征点检测方法,该方法结合了2种算法的优点改进了图像重要特征点漏检情况。并利用改进的特征点检测算法得到的热核特征进行SVM分类,实验证明了其热核特征分类精确度优于图像拉普拉斯等特征的精确度,但文中对于热核等特征列向量的输入最优维度以及热核特征的时间参数是通过人为实验选择的,这种方法存在工作量较大和不稳定等缺点。所以后续的工作希望能对特征的输入维数与热核特征的时间参数进行自适应的识别来提高分类的效率。

参考文献
[1] 庞海. 热核方法在量子场论和统计物理中的应用[D]. 天津: 天津大学, 2012: 17-89.
[2] XIAO Bai, HANCOCK E R, WILSON R C. A generative model for graph matching and embedding[J]. Computer vision and image understanding, 2009, 113(7): 777-789 DOI:10.1016/j.cviu.2009.01.004
[3] XIAO Bai, HANCOCK E R, WILSON R C. Geometric characterization and clustering of graphs using heat kernel embeddings[J]. Image and vision computing, 2010, 28(6): 1003-1021 DOI:10.1016/j.imavis.2009.05.011
[4] XIAO Bai, HANCOCK E R. Clustering shapes using heat content invariants[C]//Proceedings of 2005 IEEE International Conference on Image Processing. Genova, Italy: IEEE, 2005: I-1169-72.
[5] 赵春晖, 赵擎天. 一种基于Harris-Laplace特征点检测的抗几何攻击数字水印算法[J]. 应用科技, 2009, 36(9): 24-28
[6] BRONSTEIN M M, BRONSTEIN A M. Shape recognition with spectral distances[J]. IEEE transactions on pattern analysis & machine intelligence, 2010, 33(5): 1065-1071
[7] 刘美玲, 高虎明. 基于Harris-Laplace特征点检测抗几何攻击的数字水印算法[J]. 科学技术与工程, 2014, 14(10): 242-246 DOI:10.3969/j.issn.1671-1815.2014.10.051
[8] 徐贤锋, 檀结庆. 一种改进的多尺度Harris特征点检测方法[J]. 计算机工程, 2012, 38(17): 174-177 DOI:10.3778/j.issn.1002-8331.2012.17.034
[9] LUO Bin, WILSON R C, HANCOCK E R. Spectral embedding of graphs[J]. Pattern recognition, 2003, 36(10): 2213-2230 DOI:10.1016/S0031-3203(03)00084-0
[10] 王一丹, 林伟, 延伟东, 等. 基于热核特征的SAR图像地物识别方法[J]. 系统工程与电子技术, 2015, 37(5): 1047-1054
[11] 杨绪峰, 林伟, 延伟东, 等. 采用热核特征的SAR图像目标识别[J]. 红外与激光工程, 2014, 43(11): 3794-3801 DOI:10.3969/j.issn.1007-2276.2014.11.050
[12] CORTES C, VAPNIK V. Support-vector networks[J]. Machine learning, 1995, 40(3): 273-297
[13] HAN B, DAVIS L S. Density-based multifeature background subtraction with support vector machine[J]. IEEE transactions on pattern analysis and machine intelligence, 2012, 34(5): 1017-1023 DOI:10.1109/TPAMI.2011.243
[14] 李刚, 赵玉新. 基于边界特征点提取的约束Delaunay三角剖分算法[J]. 系统仿真学报, 2007, 19(16): 3734-3738 DOI:10.3969/j.issn.1004-731X.2007.16.029
[15] 万琳. 基于三角网格的图像表示方法研究[D]. 武汉: 华中科技大学, 2009: 7-19.

文章信息

胡云泉, 郑丽颖, 王伊雪
HU Yunquan, ZHENG Liying, WANG Yixue
基于热核嵌入的图像分类技术
Image classification based on heat kernel embedding
应用科技, 2017, 44(2): 59-64, 83
Applied Science and Technology, 2017, 44(2): 59-64, 83
DOI: 10.11991/yykj.201605018

文章历史

收稿日期: 2016-05-25
网络出版日期: 2017-03-27

相关文章

工作空间