Download PDF  
文章快速检索  
  高级检索
引用本文
孙劲光, 邓智硕. 局部特征脸型分类方法[J]. 智能系统学报, 2017, 12(1): 104-109.
SUN Jinguang, DENG Zhishuo. Local feature facial classification method[J]. CAAI Transactions on Intelligent Systems, 2017, 12(1): 104-109.
DOI: 10.11992/tis.201605021
局部特征脸型分类方法
孙劲光, 邓智硕
辽宁工程技术大学 电子与信息工程学院, 辽宁 葫芦岛 125105
基金项目: 国家自然科学基金青年基金项目（61401185）    
作者简介: 孙劲光, 女, 1962年生, 博士, 教授, 博士生导师, 计算机学会 (CCF) 会员 (21314S), 主要研究方向为计算机图像处理、计算机图形学、知识工程;
邓智硕, 男, 1992年生, 硕士研究生, 研究方向为计算机图像处理
收稿日期: 2016-05-23. 网络出版日期: 2017-02-27.
通信作者: 邓智硕.E-mail:deng2006zs@163.com
摘要: 本文针对传统脸型分类算法特征点定位不准和过度依赖轮廓曲线的问题，提出了一种人脸轮廓圆形邻域局部特征表达方式和脸型分类模型。首先，初步定位脸型轮廓特征点；然后，在特征点周围选取三重八连通圆形邻域，通过计算一级邻域、拓展邻域与中心区域间的纹理变化，生成二进制编码序列，构造脸型局部特征向量；最后，设计OVO-RBF-SVM多分类模型，实现脸型分类。本文方法在CAS-PEAL人脸库上进行脸型类型判别，获得了94.28%的准确率；在相同情况下，分别与基于主动形状模型和基于下颌曲线模型的脸型类型判别方法进行对比，准确率分别提高了6.64%和6.58%。本文所研究的方法在一定程度上解决了特征点定位相对不准确导致误差增加的问题，同时尽可能多利用图片原始信息，保证轮廓特征提取的准确率，具有较强的鲁棒性。通过实验证明本文方法适用于脸型分类。
关键词: 脸型分类     圆形邻域     特征编码     局部特征表达     多分类支持向量机    
Local feature facial classification method
SUN Jinguang, DENG Zhishuo
School of Electronic and Information Engineering, Liaoning Technical University, Huludao 125105, China
Abstract: Considering the problems where the feature points of traditional facial classification algorithms are not located in the position of the actual feature points and are heavily dependent upon the contour curve, a facial contour circular neighborhood local feature expression and a facial classification model were proposed.First, the preliminary facial contour feature points were located and then around the feature points, the triple eight connected round-neighborhood was selected.By calculating a neighborhood level and expanding the neighborhood with the central area between the texture changes, the binary code sequence was generated and the tectonic facial local feature vectors can be created. Then, the faces were classified by designing the OVO-RBF-SVM classification model. The experiment was conducted on the CAS-PEAL face library for facial contour feature discrimination, achieving 94.28% accuracy rate; under the same circumstances, the face-type discrimination methods which are based on the active shape model and jaw curve model were compared, and the accuracy rate raised 6.64% and 6.58%, respectively. To a certain extent, the method proposed in this paper solves the problem where the error increases when the location of the feature points are relatively inaccurate, and at the same time, the original picture information is utilized as much as possible, to ensure the accuracy of the contour feature extraction, which has strong robustness. The experimental results show that this method is suitable for facial classification.
Key words: facial classification     round-neighborhood     feature coding     local feature representation     multi classification support vector machineface    

近年来，在模式识别和计算机视觉等领域中，人脸识别已经成为重要的研究课题。人脸识别即通过计算机提取待处理人脸图像的特征，在库中找到对应的身份信息，从而实现人脸与身份的匹配。人脸识别技术在安全领域中扮演着非常重要的角色，而且该技术还具有巨大的应用前景。

香港中文大学汤晓鸥教授领导的计算机视觉研究小组宣布他们开发了一个名为DeepID系列的深度学习模型, 在LFW (labeled faces in the wild) 数据库中得了99.45%的识别率, 超出了人类用肉眼达到的97.52%的识别率, 这一成果极大地提升了人脸识别技术的可信度, 同时也将Facebook的DeepFace人脸识别的准确率提升了近2个百分点[1-5]。脸型分类对于人脸识别的速度与准确率起着重要作用。虽然DeepID系列取得了如此卓越的成果，但由于该模型依然采用局部细节特征及整体特征融合判别形式，与人类对人物识别的认知方式 (外形-轮廓-细节) 和基于外形再进行细节判断的相似性判别方式存在不一致性，因此，本文从局部特征出发，以人类的认知方式探索人脸轮廓分类的方法。

传统的人脸轮廓分类算法过度依赖脸型轮廓的曲线特征，而忽略脸型周围的纹理特征，在提取脸型轮廓时，对图片质量要求过高，极易产生误差，很难构建准确的人脸轮廓曲线。为了克服特征点定位不准确的问题，充分利用图片原始信息，保证人脸轮廓特征的准确率，提出采用圆形邻域局部特征表达 (round local feature expression，RLFE) 的形式描述人脸轮廓特征。

1 相关工作

目前，脸型分类主要是基于几何模型和轮廓模型，文献[6-7]作者利用人脸轮廓的曲率特征进行分类，通过轮廓曲率之间的相互关系函数定义相似性，并将人脸分为圆脸、椭圆脸、方脸、三角脸及其他脸型五类，具有较好的识别速度，取得了87.7%的准确率。该方法定义轮廓曲线为y=f(x)，曲率k=|y″|/(1+y′2)3/2，通过比较对应点的曲率判别脸型。但是下颌轮廓曲线提取较为困难，提取的曲线精度不高，所以分类结果不够可靠。

与此相比，文献[8]提出了基于ASM主动形状模型的方法，原理简单，准确率较高。由先验知识，将作为训练样本的人脸分为椭圆脸、圆脸、方脸和三角脸，训练不同的脸型得到不同脸型的形状模型，然后分别通过对比经典ASM模型与分类后模板模型定位的特征点来确定脸型。如模型s0=stype+Δ，其中s0、stype分别表示经典ASM模型和模板模型定位的特征点集合，当Δ越接近零向量，说明待测脸型与模板模型越相似。但是，在实际应用中模型运算量巨大，并且不能解决ASM模型定位不准带来的误差。

2 RLFE人脸轮廓特征表达方法研究

为了克服人脸轮廓特征点存在不准确可能性，通过对人脸轮廓特征点周围的细节特征的分析，以轮廓特征点为核心进行邻域区域划分，利用面部区域特征的连贯特性，构建出RLFE表达式，并对每个特征点进行特征编码，构建轮廓特征向量；以此为基础，设计多分类器，建立脸型轮廓的多分类模型。

2.1 基于圆形邻域的人脸轮廓特征区域划分方法

围绕人脸轮廓初始特征点，圆形邻域可以很好地逼近人脸曲线，更准确地描述人脸轮廓，本文提出了一种基于圆形邻域的局部特征表达。以特征点 (x0, y0) 为中心由内向外划分出中心区域、一级邻域、扩展邻域，共三层圆形邻域，各区域划分遵循式 (1) 和式 (2)。除中心区域外，一级邻域和扩展邻域按x轴负方向以0°逆时针划分出8个相同大小的子邻域，依次命名为g0, g1, …, g8, g0′, g1′, …, g8′。如图 1所示，中心区域为g0，一级邻域为{gi|i=1, 2, …, n}，扩展邻域为{gi+gi′|i=1, 2, …, 8}。

图 1 圆形邻域示意图 Fig. 1 Schematic diagram of circular neighborhood
图选项
(1)
(2)

式中：(xi, yi) 表示邻域内像素点，r为特征点到中心区域边缘半径，αgi表示gi区域所对应的圆心角。r值的选取见5.1节。

2.2 特征邻域对齐

为了保证图像中的正面人脸处于垂直方向，规定图像中人脸的眉心到鼻尖的方向为标准方向。根据标准方向与竖直方向的夹角，计算每个邻域的偏差角度，假设眉心点为A(x1, y1)、鼻尖点为B(x2, y2)，则每个区域需要旋转偏差角度β，如图 2所示。根据偏差角β测定调整特征邻域角度，见式 (3) 和式 (4)。

图 2 偏差角示意图 Fig. 2 Schematic diagram of deviation angle
图选项
(3)
(4)
2.3 特征编码

为了便于人脸特征的分类，本文提出根据圆形邻域的区域强度关系，构建人脸轮廓区域的特征，提取的特征抽象成编码。将每个邻域的平均灰度作为区域强度，即

(5)

式中:i=1, 2, …, 8；pij为点 (xij, yij) 的灰度值，j=1, 2, …, Nj。

通过比较中心区域与各个邻域的强度关系，即

(6)

生成相应的二进制序列；采取异或输出的方式进行编码，相同梯度邻域的强度关系相同，输出结果为1，否则结果为0。最终结果可以直观地表达出相同方向梯度上强度关系是否一致，RLFE特征表达的方法见公式 (7)~(9)，即

一级邻域编码为

(7)

式中：i=0, 2, …, 7。

扩展邻域编码为

(8)

式中：i=0, 2, …, 7。

RLFE编码为

(9)

每张人脸轮廓上特征点按照同位置、同顺序的方式排列，将特征点的特征编码按照该顺序级联起来，级联后的序列作为该脸的特征向量，记作X=(x1, x2, …, xn)，其中xn表示第n个特征点的特征编码。由于每个特征点都融合各个方向邻域间的梯度强度变化关系，特征向量可以准确地表达人脸轮廓，具有较强的鉴别能力。

3 OVO-RBF-SVM分类器设计 3.1 基于Fisher准则的人脸分类RBF-SVM模型设计

基于SVM分类思想与Fisher准则基本思想[9]，本分类模型旨在找到一个最优方向，将原始数据向这个方向投影，使同类数据间距离尽可能小，异类间距离尽可能大。因此本文用Fisher准则的思想，优化RBF-SVM核参数，构建RBF-SVM分类模型。

假设X1=(x11, x12, …, x1n1), X2=(x21, x22, …, x2n2) 为RLFE提取的两类人脸特征。这两类特征映射到高维度空间中的均值μ1, μ2分别为

(10)
(11)

类间离散度的平方Sb为

(12)

X1和X2的类内离散度的平方分别为

(13)
(14)

根据Fisher准则，求解最优核参数就转化为求解最大值。

(15)

根据上述方法优化核参数γ得到的RBF-SVM核函数分类模型为

(16)
3.2 OVO-RBF-SVM多分类模型

为适应多种不同的人脸类型，需要设计一个多分类模型。因此，本文采用“OVO”投票机制实现不同脸型的多分类模型 (简称OVO-RBF-SVM)。每两种脸型之间设计一个分类器，这样k种脸型就需要设计Ck2个分类器；当有未知脸型输入时，通过分类器依次投票，胜利的一方票数加1，最后票数最多的类别即为最终输出脸型，式 (17) 和 (18) 给出了基于OVO-RBF-SVM的人脸脸型分类模型。如果最多票数相同，使用这两类之间的分类器进行最终决策。

(17)
(18)

式中：σij表示分类器在第i类和第j类之间的分类结果，ωk表示第k类胜利的次数。

4 算法描述

算法1   RLFE算法描述

输入   带有类别信息的N个训练样本S，每个样本人脸轮廓特征点个数为T。

输出   脸型轮廓特征向量X=(x1, x2, …, xn)。

FOR i=1 to N

  FOR j=1 to T

   Coding Bij, Cij;

    RLFE (x, y);

   END FOR

END FOR

算法2   OVO-RBF-SVM多分类算法描述

输入：带有K种类别信息的N个脸型轮廓特征向量X，未知的测试样本T。

输出：测试样本类型ANS。

使用N个脸型轮廓特征向量X，训练出Ck2个分类器：

依照式 (17) 输出未知测试样本的类别。

5 实验分析与实现

国际上没有标准的关于脸型的人脸库，所以本文采用CAS-PEAL人脸库[10]中的1 000张温和光照，无表情的正面人脸进行验证，并综合10位专家的意见，将其分为圆脸、椭圆脸、方脸和三角脸4种脸型库。采用交叉实验方法，每种脸型随机选出若干个样本，进行3次实验。

5.1 邻域半径对分类准确率影响分析

由于人脸轮廓的特殊性，圆形邻域尺度选择对识别率有较大的影响，偏大的邻域不能表达邻域间强度变化特点，偏小的邻域则过于敏感，易出现更大的误差，本文在上述人脸库中对不同邻域半径的RLFE特征表达做了研究，结果如表 1所示，其中dis表示相邻两个特征点间的距离。

表 1 不同邻域半径对准确率的影响 Table 1 Influence on accuracy of different neighborhood radius
中心区域半径 一级邻域 扩展邻域 准确率/%
第1次 第2次 第3次
1×dis 91 87 85
94 92 94
90 87 86
80 75 70
表选项

从表 1中可以看出，选择过大或过小的邻域半径都会使识别率下降，当中心邻域半径为，一级邻域半径为，二级邻域半径为时，准确率达到最大值95%。故局部特征模型选用上述邻域半径。

5.2 特征点定位对分类准确率影响分析

由于中心区域的存在，使得对特征点定位要求降低，并不需要十分精准的定位人脸轮廓，只需中心区域定位在面部轮廓即可。如图 3所示，特征点A定位在人脸轮廓上时，我们认为特征点A定位准确；特征点B未定位在轮廓上，但是特征点中心区域定位在轮廓上，我们认为特征点B定位不准确。

图 3 特征点定位示意图 Fig. 3 Schematic diagram of feature point location
图选项

如表 2~4所示，随着不准确特征点个数的上升，识别率略有下降，当初始定位点存在1/2不准确时，基本不影响识别准确率。所以本文所研究的方法基本上解决了特征点定位不准带来的识别率下降问题，在一定的程度上提高了识别系统的容错性。

表 2 特征点全部定位在人脸轮廓上的实验结果 Table 2 experimental results of all feature points on the face contour
脸型 测试样本数 正确分类数 准确率/%
第1次 第2次 第3次
圆脸 45 42 41 42 91.85
椭圆脸 50 48 47 47 94.66
方脸 50 48 49 48 96.66
三角脸 30 28 28 27 92.22
总计 175 166 165 164 94.28
表选项

表 3 1/2特征点未在人脸轮廓上的实验结果 Table 3 The experimental results with 1/2 feature points not on the face contour
脸型 测试样本数 正确分类数 准确率/%
第1次 第2次 第3次
圆脸 45 41 40 41 90.37
椭圆脸 50 47 47 47 94.00
方脸 50 48 48 48 96.00
三角脸 30 28 27 27 91.11
总计 175 164 162 163 93.14
表选项

表 4 3/4特征点未在人脸轮廓上的实验结果 Table 4 The experimental results with 3/4 feature points not on the face contour
脸型 测试样本数 正确分类数 准确率/%
第1次 第2次 第3次
圆脸 45 13 16 16 33.33
椭圆脸 50 19 17 17 35.33
方脸 50 10 15 14 26.00
三角脸 30 8 5 10 25.56
总计 175 50 53 57 30.47
表选项

5.3 不同算法准确率对比分析

为了验证本文所研究方法的有效性，与其他具有代表性的算法进行对比实验。从表 5可以看出，由于解决了特征点定位不准的问题，本文所研究的方法的准确率相对于其他算法有较大提升，从分类的结果上来看，还是十分令人满意的。

表 5 各种算法准确率比较 Table 5 Comparison of the accuracy of various algorithms
算法 准确率/%
基于主动形状模型 87.64
基于下颌曲线模型 87.7
本文 94.28
表选项

6 结束语

针对传统脸型分类算法的不足，本文提出用RLFE特征表达方式构建人脸轮廓特征向量，以初始特征点为圆心划分出三重邻域，尽可能减小特征点定位带来的分类准确率误差。与传统的脸型分类算法相比，分类准确率有较大的提升。但是本文只在静态、温和的环境下进行实验，在动态、复杂环境下区分脸型是未来的工作重点。随着虚拟现实的发展，未来三维数据处理必将成为研究的热点，将本文方法移植到三维图像[11]上也是下一步的工作重点。

参考文献
[1] LUO Ping, WANG Xiaogang, TANG Xiaoou. Hierarchical face parsing via deep learning[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA, 2012: 2480-2487.
[2] SUN Yi, WANG Xiaogang, TANG Xiaoou. Deep learning face representation from predicting 10, 000 classes[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA, 2014: 1891-1898.
[3] LU Chaochao, ZHAO Deli, TANG Xiaoou. Face recognition using face patch networks[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, NSW, Australia, 2013: 3288-3295.
[4] ZENG Xingyu, OUYANG Wanli, WANG Xiaogang. Multi-stage contextual deep learning for pedestrian detection[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, VIC, Australia, 2013: 121-128.
[5] SUN Yi, WANG Xiaogang, TANG Xiaoou. Hybrid deep learning for face verification[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, NSW, Australia, 2013: 1489-1496.
[6] 王俊艳, 苏光大. 基于下颌轮廓线的人脸分类方法[J]. 红外与激光工程, 2004, 32 (2): 159-163.
WANG Junyan, SU Guangda. Human face classification method based on chin contour[J]. Infrared and laser engineering, 2004, 32(2): 159-163.
[7] 凌旭峰, 杨杰, 杨勇. 基于轮廓线曲率特征的人脸分类及识别[J]. 红外与激光工程, 1999, 28 (4): 37-39.
LING Xufeng, YANG Jie, YANG Yong. Curvature-feature-based method for human face classification and recognition[J]. Infrared and laser engineering, 1999, 28(4): 37-39.
[8] 杜立强, 贾鹏, 周宗潭, 等. 基于主动形状模型的人脸脸型自动分类算法[J]. 计算机应用, 2009, 29 (10): 2710-2712.
DU Liqiang, JIA Peng, ZHOU Zongtan, et al. Human face shape classification method based on active shape model[J]. Journal of computer applications, 2009, 29(10): 2710-2712. DOI:10.3724/SP.J.1087.2009.02710.
[9] KIM S W, OOMMEN B J. On using prototype reduction schemes to optimize kernel-based fisher discriminant analysis[J]. IEEE transactions on systems, man, and cybernetics, part B (cybernetics), 2008, 38(2): 564-570. DOI:10.1109/TSMCB.2007.914446.
[10] GAO Wen, GAO Bo, SHAN Shiguang, et al. The CAS-PEAL large-scale Chinese face database and baseline evaluations[J]. IEEE transactions on systems, man, and cybernetics—part A: systems and humans, 2008, 38(1): 149-161. DOI:10.1109/TSMCA.2007.909557.
[11] SARAKON P, CHAROENPONG T, CHAROENSIRIWATH S. Face shape classification from 3D human data by using SVM[C]//Proceedings of the 7th Biomedical Engineering International Conference. Fukuoka, Japan, 2014: 1-5.
DOI: . 10.11992/tis.201605021
中国人工智能学会和哈尔滨工程大学联合主办。
0

文章信息

孙劲光, 邓智硕
SUN Jinguang, DENG Zhishuo
局部特征脸型分类方法
Local feature facial classification method
智能系统学报, 2017, 12(1): 104-109
CAAI Transactions on Intelligent Systems, 2017, 12(1): 104-109
. http://dx.doi.org/10.11992/tis.201605021

文章历史

收稿日期: 2016-05-23
网络出版日期: 2017-02-27

相关文章

工作空间