2017, Vol. 12
情感机器人是当今机器人研究领域的热点问题，随着人类社会逐步进入老龄化社会，情感机器人研究的智能效率性、行动灵活性和人际交往性等功能变得越来越有价值。现如今，机器人已经开始进入人类的日常生活，它们在家政服务和医疗等方面已经代替了人类的部分工作[1]。并且，越来越多的仿人情感机器人相继问世，这些机器人不仅有人类的外表，还具有与人类相似的面部表情，几乎可以像人一样交流[2]。
2008年，英国布里斯托尔机器人学实验室研制出了仿人机器人Jules[3]，该机器人拥有34个电动机，这些电动机被软性橡胶所覆盖，可以实现人类面部表情和嘴唇运动，模仿人类常见的10种面部表情。2011年，哈尔滨工业大学研制了一款能实现表情识别和表情再现的仿人机器人[4]，该机器人具有眼球、眼睑、下颚和表情机构驱动系统，可以实现7种不同特征的面部表情。2014年，日本大阪大学机器人研究所所长石黑浩设计了女播音员机器人“Kodomoroid”[5-6]，该机器人的皮肤采用的是硅树脂材料，并且还配置了人工肌肉。该机器人在与人交流时，嘴唇和眉毛都会动，还会眨眼、左顾右盼等。
虽然国内外在仿人情感机器人方面取得了非常可喜的成果，但是目前大多数表情机器人再现的人类表情，看起来还是十分简单、粗糙，远没有人类的面部表情丰富、细腻，很难跨越仿人情感机器人研究中的“恐怖谷”理论[7-8]。本研究希望通过让机器人在情感交互过程中表现出个性特点，增强表情动作的真实感，帮助情感机器人跨越“恐怖谷”，提高人们对仿人表情机器人的接受度。
1 不同个性的情感模型 1.1 个性类型英国著名心理学家H.J.Eysenck[9]对人的个性做了深入研究，提出了个性维度理论。他指出，个性维度是一个连续的尺度，每个人的个性都是这些个性维度的组合。他曾提出5个个性维度：外内向、神经质、精神质、智力和守旧性，但最主要的个性维度是外内向和神经质。
外内向又可细分为外向型和内向型。外向型的人个性上具体表现为情绪冲动、好交际、爱发脾气等；内向型的人个性上具体表现为情绪稳定、好静、冷淡、极少发脾气等。神经质又称情绪性，情绪稳定的人情感反应缓慢而且轻微，情绪不稳定的人通常表现出高焦虑，而且容易激动。
Eysenck认为外内向和情绪性是两个互相垂直的维度，以这两种个性维度建立坐标系，可以组成4种非常具有代表性的个性类型：多血质(稳定外向型)、黏液质(稳定内向型)、胆汁质(不稳定外向型)和抑郁质(不稳定内向型)，表 1列出了4种个性类型不同的性格表现。
|
表 1 4种个性类型 Tab.1 Four types of personalities |
OCC情感模型是人类情感研究过程中最完整的情感模型之一[10]，它是用一致性的认知导出条件来表达情感的，在该模型中，假设情感是对事件或对象产生的情势倾向反应[11]。首先设置一些函数，设D(p, e, t)表示人物p在t时刻对事件e的期望值，正值表示结果符合人物的期望。设Ig(p, e, t)表示全局强度变量(例如现实、接近度)的一种组合，Pj(p, e, t)表示产生“高兴”(以高兴为例)的潜力。当D(p, e, t)>0时，设
| ${P_j}\left( {p,e,t} \right) = {f_j}\left[ {D\left( {p,e,t} \right),{I_g}\left( {p,e,t} \right)} \right]$ | (1) |
式中：fj[·]表示将高兴具体化的函数。
式(1) 可以表示产生高兴情绪的潜力，但不能用来表示产生“高兴”情感的强度。所以定义：
当Pj(p, e, t)>Tj(p, t)，则有
| ${I_j}\left( {p,e,t} \right) = {P_j}\left( {p,e,t} \right) - {T_j}\left( {p,t} \right)$ | (2) |
否则
| ${I_j}\left( {p,e,t} \right) = 0$ | (3) |
式中：Tj为阀值函数，Ij为情感强度函数。
通过式(1)~(3) 可知，当外界刺激产生的“高兴”状态潜力超过阀值时，人就产“高兴”情绪，外界刺激越强烈，高兴的强度就越大。剩余的5种基本表情计算规则与此相同，只需改变相应的潜力函数P(·)即可。不同个性的人，其阀值函数自然就不同，比如内向的人情绪稳定，其情感阀值就大些。由此可知，不同个性的人对相同事件或对象产生的情感强度不同。
2 面部表情实现原理根据美国心理学家Ekman和Friesen提出的面部动作编码系统(facial action coding system, FACS)[12-14]，人的面部表情主要由24个动作单元(action unit, AU)控制生成，而实现人类的6种基本表情：喜、怒、哀、乐、惊、怕，只需要其中的14个AU单元。表 2列出了FACS理论中的部分动作单元，表 3列出了6种基本表情与AU动作单元之间的控制关系。
|
|
表 2 FACS的动作单元 Tab.2 FACS action units |
|
|
表 3 基本表情与AU的关系 Tab.3 The relationship between basic expressions and AU |
根据表 2、3研究可以得出，只要能够实现表 2中的14个AU单元，便可控制生成仿人机器人的面部表情。根据仿生学原理，在仿人机器人的面部添加多个控制点，仿人机器人面部控制点将根据人类面部肌肉的特点来布置。眉毛上布置两个控制点，眼部的上眼睑布置一个控制点，嘴部的嘴角和上下嘴唇布置4个控制点。仿人机器人面部表情控制点的详细分布情况如图 1所示[17]。
|
图 1 面部表情控制点分布 Fig.1 Distribution of facial expression control points |
本节通过建立人脸模型，赋予其类似人体皮肤的材料力学参数，然后采用ANSYS有限元仿真分析的方法进行不同个性的面部表情仿真，得到不同个性的面部表情仿真结果，并列出面部控制区域的载荷和位移。
3.1 面部表情模拟仿真过程 3.1.1 面部弹性体模型的建立与设置根据三维人脸建模技术，按照与SHFR-Ⅲ 1:1的比例建立仿人机器人的人脸模型。由于人类面部特征曲面形状非常复杂，建模难度大，这里采用Solidworks强大的曲面设计功能建立人脸模型。利用Solidworks曲面特征，结合3-D草图功能首先绘制出人体面部的器官，如眉毛、眼睛、鼻子和嘴巴，然后再逐渐向边界扩展，直至拼接出一张完整的人脸曲面，最后将所有曲面缝合在一起，这样就建立了人脸曲面模型。
通过ASNSYS与Solidworks软件的自动接口程序，将人脸曲面模型导入ANSYS[18]。为力求仿真结果真实可靠，在ANSYS中将人脸曲面模型设置为接近人体皮肤的厚度。考虑到材料不会发生大的应变情况，这里将人脸模型简化设置为普通线弹性模型。本研究中赋予人脸模型的材料属性为：弹性模量为7 840 Pa，泊松比为0.475，密度为1 200 kg/m3，各向同性[19]。图 2为面部皮肤弹性体模型及其尺寸。
|
图 2 面部皮肤弹性体模型及尺寸 Fig.2 Model and size of facial skin elasticity |
网格划分是有限元分析中至关重要的一步，网格划分质量的好坏直接影响有限元分析结果是否收敛及仿真结果的正确与否。由于面部皮肤弹性体模型主要由复杂曲面缝合而成，这里采用四边形为主导的网格划分方式。为达到更加逼真的仿真效果，还需要对面部表情的主要控制区域进行网格细化。通过研究人类的基本表情，得知人类的表情生成主要依靠眉毛、眼睛、嘴部器官。利用ANSYS中的曲面分割工具将人脸模型中的这些器官区域分割出来，然后进行局部网格细化，完成人脸模型的网格划分。图 3为人脸模型的网格划分。
|
图 3 网格划分 Fig.3 Meshing |
利用ANSYS中的曲面分割功能，在面部曲面模型中的眉毛、眼睑、嘴部位置分割出表情的控制区域，基本表情控制区域如图 4中的A~J区域所示。
|
图 4 表情控制区域分布 Fig.4 Distribution of expression control areas |
约束和载荷是ANSYS仿真计算的边界条件，根据面部解剖学理论本研究将面部皮肤与头骨之间的连接部位作为固定约束条件，主要部位为面部皮肤边界、太阳穴和上鼻骨，如图 5所示。然后在图 4中的表情控制区域添加不同的力载荷。
|
图 5 模型约束条件 Fig.5 Model constraints |
本节选择特征鲜明且具有对比性的两种基本表情：高兴和愤怒来进行仿真分析。
首先确定出各控制区域在各种基本表情中的运动范围，然后根据第1节中不同个性的情感模型：人的个性不同，对相同的刺激产生的情感强度也不同，所以需要在各控制区域施加不同大小的力载荷，以获得情感强度不同的基本表情仿真结果。
根据表 1中4种个性类型的性格表现，可以判断出这4种个性类型在高兴和愤怒时情感阀值Ti的大小，进而可以判断情感强度的强弱。当基本表情为高兴时，4种个性类型的情感阀值Ti的大小为黏液质>抑郁质>多血质>胆汁质，则情感强度的强弱为黏液质＜抑郁质＜多血质＜胆汁质；当基本表情为愤怒时，4种个性类型的情感阀值Ti的大小为黏液质>多血质>抑郁质>胆汁质，则情感强度的强弱为黏液质＜多血质＜抑郁质＜胆汁质。
根据4种个性类型高兴和愤怒表情的强弱大小，在人脸模型的控制区域的运动范围内由小到大逐点取值。通过反复试验，得到仿真表情最接近人类表情的仿真结果和其对应的面部控制区域的力载荷。表 4为高兴时4种个性类型各控制区域的力载荷，图 6为对应的高兴表情仿真结果；表 5为愤怒时4种个性类型各控制区域的力载荷，图 7为对应的愤怒表情仿真结果。
|
|
表 4 高兴时面部控制区域力载荷 Tab.4 Force loads of face control areas when happy |
|
图 6 高兴表情仿真结果 Fig.6 Happy expression simulation results |
|
|
表 5 愤怒时面部控制区域力载荷 Tab.5 Force loads of face control areas when angry |
|
图 7 愤怒表情仿真结果 Fig.7 Angry expression simulation results |
为验证仿人机器人不同个性面部表情的仿真结果，以上海大学精密机械系的面部表情机器人SHFR-Ⅲ为实验平台[20]，该表情机器人的机械结构采用模块化设计，分为眉毛机构、眼部机构和嘴部机构，各个机构都添加了控制单元，如图 8所示，与图 4中的控制区域对应。在机械结构的基础上，在SHFR-Ⅲ的面部添加皮肤，皮肤材料选择接近人体皮肤性能的硅胶材料。将皮肤附在机器人面部“骨架”上，并将硅胶皮肤与控制单元联接。SHFR-Ⅲ以FPGA控制板作为核心控制元件，通过上位机控制驱动控制单元的舵机，从而驱动面部皮肤。
|
图 8 SHFR-Ⅲ实验平台 Fig.8 SHFR-Ⅲ experiment platform |
首先对不同个性的高兴表情进行动作实验，通过上位机控制舵机转动，牵引面部皮肤控制点运动，实现不同个性的高兴面部表情，实验结果如图 9所示。同样，对不同个性的愤怒表情进行动作实验，实验结果如图 10所示。
|
图 9 不同个性高兴表情实验 Fig.9 Happy expression experiment of different personalities |
|
图 10 不同个性愤怒表情实验 Fig.10 Angry expression experiment of different personalities |
实验结果表明，该面部表情机器人可以实现不同个性的基本面部表情，验证了仿真结果。
5 结束语通过对个性理论和情感模型的研究，得到了不同个性的基本表情实现方法。然后采用ANSYS有限元仿真计算的方法，通过对面部弹性体模型施加约束和载荷，求解出不同个性的高兴和愤怒表情的近似于人类的仿真结果，并得到了实现不同个性的高兴和愤怒表情的控制区域载荷大小。根据仿真结果中各控制区域的位移大小，进行不同个性的表情动作实验，实验结果表明，表情机器人可以实现不同个性的高兴和愤怒面部表情。由于受具体条件限制，表情机器人控制单元的位移不能与仿真模型中的控制区域完全相同，不同个性的基本表情不能更好的体现，但为进一步研究仿人表情机器人提供了较好的技术基础。
| [1] |
侯鹏. 智能机器人运动控制系统及算法研究[D]. 北京: 北京交通大学, 2013: 1-6. HOU Peng. Research of intelligent robot's motion control system and algorithm[D]. Beijing:Beijing Jiaotong University, 2013:1-6. (  0)
|
| [2] |
吕振, 解仑, 韩晶, 等. 基于情绪控制的仿人机器人表情研究[J]. 华中科技大学学报:自然科学版, 2013, S1: 352-355. LU Zhen, XIE Lun, HAN Jing, et al. Research on humanoid robot expressions based on mood control[J]. Journal of Huazhong university of science and technology, 2013, S1: 352-355. ( 0)
|
| [3] |
DELAUNAY F, DE GREEFF J, BELPAEME T. Towards retro-projected robot faces:an alternative to mechatronic and android faces[C]//The 18th IEEE International Symposium on Robot and Human Interactive Communication. Toyama, Japan, 2009:306-311.
(0)
|
| [4] |
李瑞峰, 孙中远, 王珂, 等. 具有面部表情识别与再现的机器人头部系统的研制[J]. 机械设计与制造, 2011(7): 95-97. LI Ruifeng, SUN Zhongyuan, WANG Ke, et al. Research of the robot head system with facial expression recognition and representation[J]. Machinery design and manufacture, 2011(7): 95-97. ( 0)
|
| [5] |
BECKER-ASANO C, ISHIGURO H. Evaluating facial displays of emotion for the android robot Geminoid F[C]//IEEE Workshop on Affective Computational Intelligence (WACI). 2014:1-8.
(0)
|
| [6] |
BECKER-ASANO C, ISHIGURO H. Evaluating facial displays of emotion for the android robot Geminoid F[C]//IEEE Workshop on Affective Computational Intelligence (WACI). 2011:1-8.
(0)
|
| [7] |
恐怖谷理论. [2016-07-24]. http://zh.wikipedia.org/zh-cn/恐怖谷理论.
(0)
|
| [8] |
ISHIHARA H, YOSHIKAWA Y, ASADA M. Realistic child robot "Affetto" for understanding the caregiver-child attachment relationship that guides the child development[C]//2011 IEEE International Conference on Development and Learning (ICDL). Frankfurt am Main, Germany, 2011:1-5.
(0)
|
| [9] |
叶奕乾, 孔克勤, 杨秀君. 个性心理学[M]. 3版. 上海: 华东师范大学出版社, 2010: 106-132.
(0)
|
| [10] |
杜坤坤, 刘欣, 王志良, 等. 情感机器人[M]. 北京: 机械工业出版社, 2012: 171-199.
(0)
|
| [11] |
王志良, 祝长生. 人工情感[M]. 北京: 机械工业出版社, 2009: 178-273.
(0)
|
| [12] |
AMINI R, LISETTI C. HapFACS:an open source api/software to generate facs-based expressions for ecas animation and for corpus generation[C]//2013 Humaine Association Conference on Affective Computing and Intelligent Interaction (ACⅡ). Geneva, Switzerland. 2013:270-275.
(0)
|
| [13] |
EKMAN P, FRIESEN W V. Facial action coding system[M]. Consulting Psychologist Press, 1977: 110-120.
(0)
|
| [14] |
EKMAN P, ROSENBERG E L. What the face reveals:basic and applied studies of spontaneous expression using the facial action coding system (FACS)[M]. 2nd Edition. Stock: Oxford University Press, 2005: 330-340.
(0)
|
| [15] |
COHN J F, AMBADAR Z, EKMAN P. Observer-based measurement of facial expression with the facial action coding system[J]. The handbook of emotion elicitation and assessment, 2007: 203-221. (0)
|
| [16] |
KOBAYASHI H, HASHIMOTO T, SENDA M, et al. Realization of realistic and rich facial expressions by face robot[C]//Proceedings of 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems, Tokyo, Japan, 2003:1123-1128.
(0)
|
| [17] |
KIHARA Y, DUAN Guifang. A dynamic facial expression database for quantitative analysis of facial paralysis[C]//International Conference on Computer Sciences and Convergence Information Technology. Seogwipo, South Korea, 2011:949-952.
(0)
|
| [18] |
许京荆. ANSYS 13.0 Workbench数值模拟技术[M]. 北京: 中国水利水电出版社, 2012: 253-260.
(0)
|
| [19] |
柯显信, 尚宇峰, 卢孔笔. 基于HyperWorks仿人机器人面部表情仿真[J]. 制造业自动化, 2015, 37(1): 118-121. KE Xianxin, SHANG Yufeng, LU Kongbi. Simulation of humanoid robot facial expression based on HyperWorks[J]. Manufacturing automation, 2015, 37(1): 118-121. ( 0)
|
| [20] |
信继忠, 柯显信, 杨阳, 等. 具有面部表情的仿人头部机器人系统的研制[J]. 智能系统学报, 2015, 10(8): 556-560. XIN Jizhong, KE Xianxin, YANG Yang, et al. Development of the system of a humanoid robot head with facial expressions[J]. CAAI transactions on intelligent systems, 2015, 10(8): 556-560. ( 0)
|