广东工业大学学报  2021, Vol. 38Issue (6): 98-102.  DOI: 10.12052/gdutxb.200135.
0

引用本文 

费德意, 冯桑. 基于可拓设计的驾驶人多模态情绪感知装置研究[J]. 广东工业大学学报, 2021, 38(6): 98-102. DOI: 10.12052/gdutxb.200135.
Fei De-yi, Feng Sang. An Analysis of Driver's Multimodal Emotion Perception Device Based on Extension Design[J]. JOURNAL OF GUANGDONG UNIVERSITY OF TECHNOLOGY, 2021, 38(6): 98-102. DOI: 10.12052/gdutxb.200135.

基金项目:

教育部产学合作协同育人项目(201901221008,201901241011)

作者简介:

费德意(1998–),男,硕士研究生,主要研究方向为汽车智能网联技术、可拓设计。

通信作者

冯桑(1973–),男,副教授,博士,主要研究方向为汽车智能控制、可拓设计,E-mail:fengsang@gdut.edu.cn

文章历史

收稿日期:2020-10-13
基于可拓设计的驾驶人多模态情绪感知装置研究
费德意, 冯桑    
广东工业大学 机电工程学院,广东 广州 510006
摘要: 为科学决策和评价驾驶人情绪感知装置的最优化多模态组合方案, 本文基于可拓设计多功能产品创造法, 利用基元理论中的发散分析法分析了情绪感知装置的检测功能, 建立了类物元,并生成具体产品物元模型。分析了单一检测装置包含的3种安装位置间的重组关系, 拓展出一系列重组方案, 再利用优度评价法对其进行筛选。最终确定了一种有效的多模态驾驶人情绪感知装置的组合方案。
关键词: 可拓设计    安全驾驶    情绪感知    
An Analysis of Driver's Multimodal Emotion Perception Device Based on Extension Design
Fei De-yi, Feng Sang    
School of Electromechanical Engineering, Guangdong University of Technology, Guangzhou 510006, China
Abstract: In order to scientifically evaluate and decide the optimal multimodal combination scheme of driver's emotion perception device, based on the extension design multi-functional product creation method, the detection function of emotion perception device is analyzed by using the divergence analysis method of basic element theory, and the matter-element like model of specific product established. The relationship between the three installation positions of a single detection device is analyzed, and a series of reorganization schemes are developed. The optimization evaluation method is used to screen them, and an effective combination scheme of multimodal driver emotion perception device is determined.
Key words: extension design    safe driving    emotion perception    

驾驶人的驾驶情绪状态将直接影响其行车感知与操作稳定性,因此设计一种可以对驾驶人情绪状态进行全面、准确感知与识别的车载装置已成为目前研究的热点。目前此类研究多数都是针对生理信号或行为信号展开的。其中,生理信号是个体情绪对外界应激的直接表现,有利于排除个体差异因素,具有较高信效度。易慧等[1]通过提取心电信号并滤波,达到了较好的情绪识别效果。钟铭恩等[2]发现驾驶人左右额叶脑电信号在不同情绪状态下有明显变化。Sharma等[3]研究了应力传感器,并可用于监测驾驶员压力水平。然而,这类检测方法需要接触人体,如脑电信号一般要通过电极帽进行采集,对驾驶造成一定干扰,埋下了安全隐患。相比下,行为信号的采集无需接触身体,易在行车中被获取。谢卓然等[4]采用USB工业相机采集人脸图像以获取驾驶人表情特征数值,通过映射判断其情绪状态。马兴民等[5]认为情绪状态可由外在面部表情体现,并采用表情识别实现系统功能,但存在一些误差。

仅通过某种单一信号的检测手法或方案显然无法保证检测结果的准确性和系统的稳定性,车载情绪识别装置更多应依赖多模态信息。为开发多模态的情绪识别系统,于申浩等[6]从面部图像和脉搏信号中提取特征,识别驾驶员的路怒情绪。Poria等[7]对文本、语音、面部表情融合的多模式情感分析研究进行了综述。刘鹏[8]通过融合面部表情和语音对驾驶人路怒症进行了研究。Katsis等[9]使用面部肌电图、心电图、呼吸和皮肤电活动来综合评估驾驶人情绪状态。

然而,在对不同模态的情绪感知装置进行组合时,多数研究者仅凭个人经验从单一的技术角度考虑,缺乏相应的综合分析与论证,无法确保多模态情绪识别装置的合理组合及有效落地。可拓设计是借助于可拓论与可拓创新方法等进行产品概念设计并处理设计过程中的矛盾以寻求较优方案的设计理论与方法,作为可拓工程的一个重要方向,已在工程技术、信息科学等多个领域得到广泛应用[10]

在可拓设计论三个创造法[11]基础上,吴培旭等[12]提出多功能产品创造法,为多功能产品的开发设计提供了一套有章可循的设计步骤。姚干勤等[13]提出可拓重构设计方法以满足客户对产品造型风格的需求,避免了造型设计中由设计师主观意识依赖过强和客观知识使用不足造成的缺陷。王体春等[14]为提升大型复杂产品方案结构配置的设计效率和质量,提出了一种基于可拓本体概念的快速设计可拓模式框架。李仔浩等[15]基于逆向设计建立了一种新型模型化与定量化相结合的产品创意生成流程化方法,并应用于发电机创新设计,提高了设计效率[16]。郭恒发等[17]提出了一种融合可拓学与TRIZ的产品设计创意生成方法,提高了创新效率及优度评价的科学性。祁钰茜等[18]利用物元分析理论与层次分析法对愤怒驾驶状态及程度进行辨识,证明可拓理论用于交通安全分析是可行的。

因此,本文综合考虑经济性、部署难易度、可靠性等因素,采用可拓设计理论,寻求开发多模态情绪识别系统的最优方案。

1 构建基元模型

驾驶员行车过程中的情绪识别对象包括语音、面部表情、姿态等行为信号和脑电、心电等生理信号。若想开发一款情绪多模态识别装置,必须充分利用各类传感器特性并科学组合。首先将情绪检测装置M的功能用事元A表示,再根据发散树生成的事元定义出情绪检测装置的类物元。

$ {A=({\text{检}}{\text{测}}{\text{,}}{\text{支}}{\text{配}}{\text{对}}{\text{象}}{\text{,}}{\text{面}}{\text{部}}{\text{表}}{\text{情}}){\text{⊣}} }$
${\left\{\begin{aligned} & {A}_{1}=({\text{检}}{\text{测}}{\text{,}}{\text{支}}{\text{配}}{\text{对}}{\text{象}}{\text{,}}{\text{声}}{\text{音}})\\& {A}_{2}=({\text{检}}{\text{测}}{\text{,}}{\text{支}}{\text{配}}{\text{对}}{\text{象}}{\text{,}}{\text{姿}}{\text{态}}{\text{动}}{\text{作}})\\& {A}_{3}=({\text{检测,支配对象,电信号}})\\& {A}_{4}=({\text{检}}{\text{测}}{\text{,}}{\text{支}}{\text{配}}{\text{对}}{\text{象}}{\text{,}}{\text{体}}{\text{温}})\\& {A}_{5}=({\text{检}}{\text{测}}{\text{,}}{\text{支}}{\text{配}}{\text{对}}{\text{象}}{\text{,}}{\text{脉}}{\text{搏}})\\& {A}_{6}=({\text{检测,支配对象,驾驶行为}}) \end{aligned}\right.} $
$ {\left\{M\right\}=\left[\begin{array}{*{20}{l}}{\text{检}}{\text{测}}{\text{装}}{\text{置}}{\text{,}}&{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}&{\mathrm{\upsilon }}_{\mathrm{m}1}\\ {}&{\text{传}}{\text{感}}{\text{器}}{\text{类}}{\text{型}}{\text{,}}&{\mathrm{\upsilon }}_{\mathrm{m}2}\\{}& {\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}&{\mathrm{\upsilon }}_{\mathrm{m}3}\end{array}\right]}\qquad $
${ \begin{split} {\mathrm{\upsilon }}_{\mathrm{m}1}=&\{{\text{脉}}{\text{搏}}{\text{,}}{\text{声}}{\text{音}}{\text{,}}{\text{体}}{\text{温}}{\text{,}}{\text{姿}}{\text{态}}{\text{动}}{\text{作}}{\text{,}}\\& {\text{生}}{\text{物}}{\text{电}}{\text{信}}{\text{号}}{\text{,}}{\text{面}}{\text{部}}{\text{表}}{\text{情}}{\text{,}}{\text{驾}}{\text{驶}}{\text{行}}{\text{为}}\} \end{split} }\;\;\;\;\qquad$
$ {\begin{split} {\mathrm{\upsilon }}_{\mathrm{m}2}=&\{{\text{电}}{\text{极}}{\text{,}}{\text{麦}}{\text{克}}{\text{风}}{\text{,}}{\text{温}}{\text{度}}{\text{计}}{\text{,}}{\text{相}}{\text{机}}{\text{,}}\\& {\text{脉}}{\text{搏}}{\text{传}}{\text{感}}{\text{器}}{\text{,}}\mathrm{I}\mathrm{M}\mathrm{U}({\text{惯}}{\text{性}}{\text{测}}{\text{量}}{\text{单}}{\text{元}}){\text{,}}{\text{轮}}{\text{速}}{\text{计}}\} \end{split}}$
$ {{\mathrm{\upsilon }}_{\mathrm{m}3}=\{{\text{车}}{\text{体}}{\text{,}}{\text{驾}}{\text{驶}}{\text{员}}{\text{身}}{\text{体}}{\text{,}}{\text{驾}}{\text{驶}}{\text{室}}{\text{前}}{\text{端}}\}} \qquad\quad\;\;$

上述类物元涉及7类传感器、3类安装位置、信息准确度、信噪比和采集难度,根据单一情绪检测装置的检测对象进行归类,可得出以下具体产品物元。

$ { {M}_{1}=\left[\begin{array}{*{20}{l}}{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{1}{\text{,}}&{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}&{\text{面}}{\text{部}}{\text{表}}{\text{情}}\\{}& {\text{传}}{\text{感}}{\text{器}}{\text{类}}{\text{型}}{\text{,}}&{\text{相}}{\text{机}}\\{}& {\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}&{\text{驾}}{\text{驶}}{\text{室}}{\text{前}}{\text{端}}\end{array}\right]=\left[ {\begin{array}{*{20}{c}} {{M_{11}}}\\ {{M_{12}}}\\ {{M_{13}}} \end{array}} \right] } $
$ { {M}_{2}= \left[\begin{array}{*{20}{l}}{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{2}{\text{,}}&{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}&{\text{声}}{\text{音}}\\{}& {\text{传}}{\text{感}}{\text{器}}{\text{类}}{\text{型}}{\text{,}}&{\text{麦}}{\text{克}}{\text{风}}\\{}& {\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}&{\text{驾}}{\text{驶}}{\text{室}}{\text{前}}{\text{端}}\end{array}\right]=\left[ {\begin{array}{*{20}{c}} {{M_{21}}}\\ {{M_{22}}}\\ {{M_{23}}} \end{array}} \right] } $
$ { {M}_{3}= \left[\begin{array}{*{20}{l}}{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{3}{\text{,}}&{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}&{\text{姿}}{\text{态}}{\text{动}}{\text{作}}\\{}& {\text{传}}{\text{感}}{\text{器}}{\text{类}}{\text{型}}{\text{,}}&{\text{相}}{\text{机}}\\{}& {\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}&{\text{驾}}{\text{驶}}{\text{室}}{\text{前}}{\text{端}}\end{array}\right]= \left[ {\begin{array}{*{20}{c}} {{M_{31}}}\\ {{M_{32}}}\\ {{M_{33}}} \end{array}} \right] } $
$ { {M}_{4}= \left[\begin{array}{*{20}{l}}{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{4}{\text{,}}&{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}&{\text{生}}{\text{物}}{\text{电}}{\text{信}}{\text{号}}\\{}& {\text{传}}{\text{感}}{\text{器}}{\text{类}}{\text{型}}{\text{,}}&{\text{电}}{\text{极}}\\{}& {\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}&{\text{驾}}{\text{驶}}{\text{员}}{\text{身}}{\text{体}}\end{array}\right]={\left[ {\begin{array}{*{20}{c}} {{M_{41}}}\\ {{M_{42}}}\\ {{M_{43}}} \end{array}} \right]} } $
$ { {M}_{5}= \left[\begin{array}{*{20}{l}}{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{5}{\text{,}}&{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}&{\text{体}}{\text{温}}\\{}& {\text{传}}{\text{感}}{\text{器}}{\text{类}}{\text{型}}{\text{,}}&{\text{温}}{\text{度}}{\text{计}}\\{}& {\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}&{\text{驾}}{\text{驶}}{\text{员}}{\text{身}}{\text{体}}\end{array}\right]={\left[ {\begin{array}{*{20}{c}} {{M_{51}}}\\ {{M_{52}}}\\ {{M_{53}}} \end{array}} \right]} } $
$ { {M}_{6}= \left[\begin{array}{*{20}{l}}{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{6}{\text{,}}&{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}&{\text{脉}}{\text{搏}}\\{}& {\text{传}}{\text{感}}{\text{器}}{\text{类}}{\text{型}}{\text{,}}&{\text{脉}}{\text{搏}}{\text{传}}{\text{感}}{\text{器}}\\{}& {\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}&{\text{驾}}{\text{驶}}{\text{员}}{\text{身}}{\text{体}}\end{array}\right]={\left[ {\begin{array}{*{20}{c}} {{M_{61}}}\\ {{M_{62}}}\\ {{M_{63}}} \end{array}} \right]} } $
$ { {M}_{7}= \left[\begin{array}{*{20}{l}}{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{7}{\text{,}}&{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}&{\text{驾}}{\text{驶}}{\text{行}}{\text{为}}\\{}& {\text{传}}{\text{感}}{\text{器}}{\text{类}}{\text{型}}{\text{,}}&{\text{轮}}{\text{速}}{\text{计}}{\text{,}}&\mathrm{I}\mathrm{M}\mathrm{U}\\{}& {\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}&{\text{车}}{\text{体}}\end{array}\right]={\left[ {\begin{array}{*{20}{c}} {{M_{71}}}\\ {{M_{72}}}\\ {{M_{73}}} \end{array}} \right]} } $
2 物元重组关系分析与可拓变换 2.1 物元重组关系分析

本文所研究的情绪感知模块属于行车中的实时系统,主要执行数据采集和滤波等预处理功能,具体的情绪计算分析交由车载域控制器甚至云端进行后处理。因此,不同检测装置间的兼容性较强,不存在互斥关系。但将具有不相关关系的物元组合在一起,只会造成成本上的提高,组合实施的具体功能效果需要根据各个组成物元的信息准确度、信噪比、采集难度来进行综合决定。

单一检测装置所包含的3种安装位置各不相同,但驾驶室前端、车体以及驾驶员身体之间的装置安设互不干涉,可兼容于同一目标车辆,根据物元关系的定义可知其安装位置间为不相关关系。

由重组关系的定义可得,面部表情、声音、姿态检测装置三者的重组关系为相似关系,电信号、体温、脉搏检测装置间的重组关系也为相似关系,驾驶行为检测与这两者间为不相关关系。

根据以上分析,列出各拓展产品的重组关系如表1所示,其中R表示相似关系的个数,N表示不相关关系的个数。

表 1 重组关系拓展统计 Table 1 Statistical table of restructuring relationship expansion
2.2 利用可拓变换生成产品创意

表1可知,面部表情检测、声音采集、姿态动作三者间均含有相似关系,将这三者放在一起进行开发将会充分利用相似关系以节约成本,同理,体温、脉搏、电信号同样具有这种联系。而驾驶行为检测与其余几项检测装置均无法构成相似关系,但由于它的存在也不影响驾驶员操作及其余检测,即不与其余检测装置互斥,因此也可以作为一种检测之外的补充。但是,若同时采用面部表情检测和体温脉搏或电信号检测,由于这两者为不相关关系,不会有成本上的节约,而且由于图像检测放置于驾驶室前端可能会干扰驾驶员视线,电信号检测需要与驾驶员相互接触,这或多或少影响驾驶员的操作,所以这两种检测方式同时进行是不太合理的。

在重组获得创意时,各情绪信号同时传输存在相应传感器接收频率不一致的问题,可通过滤波器进行同步或改变后处理模块处理频次等方式解决。除此之外,各检测装置相关物元间不发生传导变换,因此只需对应变换其安装位置即可。

根据以上分析,利用可拓变换方法可获得多种检测装置的设计创意。

创意1  选择无需触碰人体且安装位置均在驾驶室的产品物元对 ${M}_{1}$ 中含检测对象特征元的一维分物元 ${{M}}_{11}$ 做增加变换T,生成集面部表情检测、声音采集、姿态动作检测为一体的车载驾驶员复合检测装置产品创意。

$ { \begin{split} {M}_{11}'=&{{T}_{1}M}_{11}={M}_{11}\oplus {M}_{21}\oplus {M}_{31}=\\&[{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{1}'{\text{,}}{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}{\text{面}}{\text{部}}{\text{表}}{\text{情}}\oplus {\text{声}}{\text{音}}\oplus {\text{姿}}{\text{态}}{\text{动}}{\text{作}}] \end{split}}\qquad\qquad\;\;\;\; $

由于变换前的产品物元安装位置均相同,因此该创意的安装位置特征元不变,为

$ \;\;\;\;\;\;{ {M}_{13}'={M}_{13}=[{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{1}'{\text{,}}{\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}{\text{驾}}{\text{驶}}{\text{室}}{\text{前}}{\text{端}}] }$

创意2  选择需要接触驾驶员身体的体温、脉搏、电信号检测装置,对 $ {M}_{4} $ 中含检测对象特征元的一维分物元 $ {M}_{41} $ 做增加变换。

$ { \begin{split} {M}_{21}'=&{{T}_{21}M}_{41}={M}_{41}\oplus {M}_{51}\oplus {M}_{61}=\\&[{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{2}'{\text{,}}{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}{\text{体}}{\text{温}}\oplus {\text{脉}}{\text{搏}}\oplus {\text{电}}{\text{信}}{\text{号}}] \end{split}}\qquad$

其安装位置特征元不变,为

$ { {M}_{23}'={M}_{23}=[{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{2}'{\text{,}}{\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}{\text{驾}}{\text{驶}}{\text{员}}{\text{身}}{\text{体}}] } \qquad\;\;\;\;$

创意3  在保留创意1不与驾驶人身体直接接触的优势上,将驾驶行为检测装置与创意1所述复合检测装置进行结合,引入车体信息源,生成新的含检测对象特征元的一维分物元。

$ { \begin{split} & {M}_{31}'={T}_{31}{M}_{11}'={M}_{11}'\oplus {M}_{71}=[{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{3}'{\text{,}}\\&\;\;\;\qquad{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}{\text{驾}}{\text{驶}}{\text{行}}{\text{为}}\oplus {\text{表}}{\text{情}}\oplus {\text{声}}{\text{音}}\oplus {\text{姿}}{\text{态}}{\text{动}}{\text{作}}] \end{split} }\;\;\;\;\qquad$

表1可知安装位置间属不相关关系。根据创意1的安装位置对创意3的安装位置特征做增加变换

$ { {M}_{33}'={T}_{33}{M}_{13}'=[{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{3}'{\text{,}}{\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}{\text{驾}}{\text{驶}}{\text{室}}{\text{前}}{\text{端}}\oplus {\text{车}}{\text{体}}t] } $

创意4  对创意2引入车体信息源,形成以驾驶行为、体温、脉搏、电信号检测为一体的产品创意,其含检测对象特征元的一维分物元表示为

$ { \begin{split} & {M}_{41}'={T}_{41}{M}_{21}'={M}_{21}'\oplus {M}_{71}=[{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{4}'{\text{,}}\\&\qquad\;\;\;{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}{\text{驾}}{\text{驶}}{\text{行}}{\text{为}}\oplus {\text{体}}{\text{温}}\oplus {\text{脉}}{\text{搏}}\oplus {\text{电}}{\text{信}}{\text{号}}] \end{split}} \qquad\;\;\;\;\;\;$

根据创意2的安装位置对创意4的安装位置特征元做增加变换。

$ { {M}_{43}'={T}_{43}{M}_{23}'=[{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{4}'{\text{,}}{\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}{\text{驾}}{\text{驶}}{\text{员}}{\text{身}}{\text{体}}\oplus {\text{车}}{\text{体}}] }$
3 优度评价与方案选取

选取由2.2节所确定的如下4种新产品构思方案进行优度评价。

$ {{M}_{1}'=\left[\begin{array}{*{20}{l}}{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{1}'{\text{,}}&{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}&{\text{面}}{\text{部}}{\text{表}}{\text{情}}\oplus {\text{声}}{\text{音}}\oplus \\{}& {}& {\text{姿}}{\text{态}}{\text{动}}{\text{作}}\\{}& {\text{传}}{\text{感}}{\text{器}}{\text{类}}{\text{型}}{\text{,}}&{\text{相}}{\text{机}}\oplus {\text{麦}}{\text{克}}{\text{风}}\\{}&{\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}&{\text{驾}}{\text{驶}}{\text{室}}{\text{前}}{\text{端}}\end{array}\right]} $
$ {{M}_{2}'=\left[\begin{array}{*{20}{l}}{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{2}'{\text{,}}&{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}&{\text{体}}{\text{温}}\oplus {\text{脉}}{\text{搏}}\oplus {\text{电}}{\text{信}}{\text{号}}\\{}& {\text{传}}{\text{感}}{\text{器}}{\text{类}}{\text{型}}{\text{,}}&{\text{电}}{\text{极}}\oplus {\text{温}}{\text{度}}{\text{计}}\oplus\\{}&{}& {\text{脉}}{\text{搏}}{\text{传}}{\text{感}}{\text{器}}\\{}&{\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}&{\text{驾}}{\text{驶}}{\text{员}}{\text{身}}{\text{体}}\end{array}\right]}\;\;\;\; $
$ {{M}_{3}'=\left[\begin{array}{*{20}{l}}{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{3}'{\text{,}}&{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}&{\text{驾}}{\text{驶}}{\text{行}}{\text{为}}\oplus {\text{表}}{\text{情}}\oplus\\{}& {}& {\text{声}}{\text{音}}\oplus {\text{姿}}{\text{态}}{\text{动}}{\text{作}}\\{}& {\text{传感器类型}}{\text{,}}&{\text{相机}}\oplus {\text{麦克风}} \oplus \\{}&{}& {\text{轮速计}}\oplus {\rm{IMU}}\\{}& {\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}&{\text{驾}}{\text{驶}}{\text{室}}{\text{前}}{\text{端}}\oplus {\text{车}}{\text{体}}\end{array}\right]} \;\;\;\;\;\;\;\;$
$ { {M}_{4}'=\left[\begin{array}{*{20}{l}}{\text{检}}{\text{测}}{\text{装}}{\text{置}}{D}_{4}'{\text{,}}&{\text{检}}{\text{测}}{\text{对}}{\text{象}}{\text{,}}&{\text{驾}}{\text{驶}}{\text{行}}{\text{为}}\oplus {\text{体}}{\text{温}} \oplus \\{}&{}&{\text{脉}}{\text{搏}}\oplus {\text{电}}{\text{信}}{\text{号}} \\{}& {\text{传感器类型}}{\text{,}}&{\text{温度计}}\oplus {\text{脉搏传感器}} \oplus \\{}&{}& {\text{电极}}\oplus {\text{轮速计}}\oplus {\rm{IMU}} \\{}&{\text{安}}{\text{装}}{\text{位}}{\text{置}}{\text{,}}&{\text{驾}}{\text{驶}}{\text{员}}{\text{身}}{\text{体}}\oplus {\text{车}}{\text{体}}\end{array}\right] }$

在行车过程中,不同的情绪信号有不同的检测方法。这些方法存在着信号采集难度、途径和准确性、信噪比和装置成本上的差异,如果简单地将其糅合在一起,将会造成生产成本上的冗余或感知效果不理想。表2对这些指标进行了初步对比分析。

表 2 对情绪识别不同信号的比较 Table 2 Comparison of different signals for emotion recognition

根据表2,采用优度评价方法[11]选择适合的评价特征对上述4种方案进行评价择优。

考虑所采集的信息与情绪关联的强弱,将信息准确度定为评价特征;考虑在汽车工业的量产问题,将装置成本作为评价特征,由于相关产品的原理、生产工艺与产品质量等特性相差过大,成本难以界定具体数值,设厂商的预期成本为c;考虑所采集信息是否便于降噪提取,将信噪比设为评价特征;考虑在实际行车过程中装置处于所要求的安装位置上是否便于数据采集,将采集难度作为评价特征。由此确定4个对应的一级衡量指标为

$ {\mathrm{MI}}=\{{\mathrm{MI}}_{1},{\mathrm{MI}}_{2},{\mathrm{MI}}_{3},{\mathrm{MI}}_{4}\} $
$ \left\{\begin{aligned} & {\mathrm{MI}}_{1}=({\text{信}}{\text{息}}{\text{准}}{\text{确}}{\text{度}}{\text{,}}\left\langle 0,\mathrm{ }1 \right\rangle )\\& {\mathrm{MI}}_{2}=({\text{成}}{\text{本}}{\text{,}}\left\langle 0,\mathrm{ }1.5 \right\rangle c)\\& {\mathrm{MI}}_{3}=({\text{信}}{\text{噪}}{\text{比}}{\text{,}}\{{\text{低}}\})\\& {\mathrm{MI}}_{4}=({\text{采}}{\text{集}}{\text{难}}{\text{度}}{\text{,}}\{{\text{低}}\}) \end{aligned}\right. $

对以上4个衡量指标分配各自的权系数为

$ \mathrm{\alpha }={(\mathrm{\alpha }}_{1},{\mathrm{\alpha }}_{2},{\mathrm{\alpha }}_{3},{\mathrm{\alpha }}_{4})=(0.2,\mathrm{ }0.2,\mathrm{ }0.3,\mathrm{ }0.3) $

采用简单关联函数K1对信息准确度MI1进行衡量,正域为 ${X}_{1}=\left\langle {a}_{1},{b}_{1} \right\rangle =\left\langle 0, 1 \right\rangle $ ,最大值为1。

$ {K}_{1}\left({x}_{1}\right)={x}_{1}{\text{,}}{x}_{1} \in {X}_{1} $

根据成本MI2构造初等关联函数K2,正域为

$ {X}_{2}=\left\langle {a}_{2},{b}_{2} \right\rangle =\left\langle 0,1.5 \right\rangle c $

成本的满意区间即标准正域为

$ {X}_{0}=\left\langle {a}_{2},{b}_{2} \right\rangle =\left\langle 0,1 \right\rangle c $
$ {K}_{2}\left({x}_{2}\right)=\left\{\begin{aligned} & 1-\mathrm{\rho }(x,{X}_{0}),\mathrm{D}(x,{X}_{0},{X}_{2})=0,x\in {X}_{0}\\& 0,\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{D}(x,{X}_{0},{X}_{2})=0,x\notin {X}_{0},x\in {X}_{2} \end{aligned}\right. $

离散关联函数K3对信噪比MI3的等级划分为

$ {K}_{3}\left({x}_{3}\right)=\left\{\begin{aligned} & \;\;\;\;1{\text{,}}{x}_{3}={\text{低信噪比}}\\& \;\;\;\;0{\text{,}}{x}_{3}={\text{中信噪比}}\\& -1{\text{,}}{x}_{3}={\text{高信噪比}} \end{aligned}\right. $

离散关联函数K4对采集难度MI4的等级划分为

$ {K}_{4}\left({x}_{4}\right)=\left\{\begin{aligned} &\;\;\;\;1{\text{,}}{x}_{4}={\text{难度低}}\\& \;\;\;\;0{\text{,}}{x}_{4}={\text{难度中等}}\\& -1{\text{,}}{x}_{4}={\text{难度高}} \end{aligned}\right. $

根据上文提到的各方案共轭部确定其等级并进行综合优度计算。结合表2 可得到各方案关于MI1的关联度为

$ {K}_{1}\left({K}_{1}\left({Z}_{1}\right),{K}_{1}\left({Z}_{2}\right),{K}_{1}\left({Z}_{3}\right),{K}_{1}\left({Z}_{4}\right)\right)=\left(0.6,0.8,0.9,0.9\right)\;\;\;\; $

依次得出关于MI2、MI3、MI4的关联度为

$ \hspace{-20pt} \begin{split} {K}_{2}=&\left({K}_{2}\left({Z}_{1}\right),{K}_{2}\left({Z}_{2}\right),{K}_{2}\left({Z}_{3}\right),{K}_{2}\left({Z}_{4}\right)\right)=\\&\left({K}_{2}\left(0.7c\right),{K}_{2}\left(0.5c\right),{K}_{2}\left(c\right),{K}_{2}\left(0.8c\right)\right)=\\&\left(1.3c,1.5c,c,1.2c\right) \end{split}\qquad\;\;\;\;\;$
$ \hspace{-25pt} {K}_{3}=\left({K}_{3}\left({Z}_{1}\right),{K}_{3}\left({Z}_{2}\right),{K}_{3}\left({Z}_{3}\right),{K}_{3}\left({Z}_{4}\right)\right)=(\mathrm{0,1},0,1)\;\; $
$ \hspace{-15pt} {K}_{4}=\left({K}_{4}\left({Z}_{1}\right),{K}_{4}\left({Z}_{2}\right),{K}_{4}\left({Z}_{3}\right),{K}_{4}\left({Z}_{4}\right)\right)=\left(1,-\mathrm{1,1},-1\right) $

由下式对关联度进行规范化

$ {k}_{ij}=\frac{{K}_{i}\left({Z}_{j}\right)}{\underset{q\in \{1,2,\cdots ,m\}}{\mathrm{max}}\left|{K}_{i}\left({Z}_{q}\right)\right|}, i=\mathrm{1,2},\cdots ,n{\text{,}}j=1,2,\cdots ,m $

结合上文权系数,计算 $ {Z}_{j} $ 优度 $ C\left({Z}_{j}\right) $ (j=1,2,3,4)为

$ C\left({Z}_{1}\right)=\sum\limits_{i=1}^{4}{\alpha }_{i}{k}_{i1}=0.59,\;C\left({Z}_{2}\right)=\sum\limits_{i=1}^{4}{\alpha }_{i}{k}_{i2}=0.36 $
$ C\left({Z}_{3}\right)=\sum\limits_{i=1}^{4}{\alpha }_{i}{k}_{i3}=0.61,\;C\left({Z}_{4}\right)=\sum\limits_{i=1}^{4}{\alpha }_{i}{k}_{i4}=0.34 $

比较上述优度评价结果,其中 $ C\left({Z}_{3}\right) $ 的值最大,方案3的优度评价最佳,即将驾驶行为检测、面部表情检测、声音采集、姿态动作检测功能进行组合。通过查找方案3的物元模型,得到该方案的传感器架构为相机、麦克风及轮速计、IMU组合,安装位置为驾驶室前端及车体。该方案采集难度低,信息准确度高,中等信噪比且成本处于合理的范围内。

4 总结

针对驾驶人的情绪检测感知问题,本文探究了车载驾驶人多模态情绪感知装置的较优组合方案。通过可拓设计中的多功能产品创造法,从各单一检测装置入手逐步推导出一系列组合方案,对所得方案进行了优度对比判断,最终得到了较优方案。

随着模式识别、人工智能、车载系统等技术的高速发展,在未来相关研究得到新进展或问题的需求发生改变时,针对驾驶员行车过程中情绪检测识别的实验方法和检测手段也将不断更新与进步,本文所得的最优解也将不再适用,但依然可以通过采用或迭代本文所提供的可拓分析方法更新方案。高级别的无人驾驶技术受法律、伦理等因素限制,落地仍需较长时间,人车交互共驾场景将长期存在。本文提出的驾驶人情绪检测装置组合方案的分析设计方法可以推动相关产品的落地,为驾驶人生命财产安全提供有力的保障。

参考文献
[1]
易慧, 陈瑞娟, 邓光华, 等. 基于心率变异性的情绪识别研究[J]. 生物医学工程研究, 2020, 39(2): 128-132.
YI H, CHEN R J, DENG G H, et al. Research on emotion recognition based on heart rate variability[J]. Journal of Biomedical Engineering Research, 2020, 39(2): 128-132.
[2]
钟铭恩, 吴平东, 彭军强, 等. 基于脑电信号的驾驶员情绪状态识别研究[J]. 中国安全科学学报, 2011, 21(9): 64-69.
ZHONG M E, WU P D, PENG J Q, et al. Study on an emotional state recognition technology based on drivers' EEGs[J]. China Safety Science Journal, 2011, 21(9): 64-69. DOI: 10.3969/j.issn.1003-3033.2011.09.011.
[3]
SHARMA N, GEDEON T. Objective measures, sensors and computational techniques for stress recognition and classification: a survey[J]. Computer Methods & Programs in Biomedicine, 2012, 108(3): 1287-1301.
[4]
谢卓然, 马荣国, 宋鹏飞. 基于S5PV210芯片的驾驶员情绪感知系统设计[J]. 电子设计工程, 2015(19): 162-164.
XIE Z R, MA R G, SONG P F. Design of driver emotion perception system based on the S5PV210 chip[J]. Electronic Design Engineering, 2015(19): 162-164. DOI: 10.3969/j.issn.1674-6236.2015.19.048.
[5]
马兴民, 孙文财, 徐艺, 等. 驾驶员不良情绪状态检测系统的方法研究[J]. 吉林大学学报(信息科学版), 2015, 33(6): 680-684.
MA X M, SUN W C, XU Y, et al. Research on method of driver's negative emotions detection system[J]. Journal of Jilin University (Information Science Edition), 2015, 33(6): 680-684. DOI: 10.3969/j.issn.1671-5896.2015.06.012.
[6]
于申浩. 基于深度学习与信息融合的路怒情绪识别研究[D]. 济南: 山东大学, 2018.
[7]
PORIA S, CAMBRIA E, BAJPAI R, et al. A review of affective computing: from unimodal analysis to multimodal fusion[J]. Information Fusion, 2017, 37: 98-125. DOI: 10.1016/j.inffus.2017.02.003.
[8]
刘鹏. 融合面部表情和语音的驾驶员路怒症识别方法研究[D]. 镇江: 江苏大学, 2017.
[9]
KATSIS C D, KATERTSIDIS N, GANIATSAS G, et al. Toward emotion recognition in car-racing drivers: a biosignal processing approach[J]. IEEE Transactions on Systems, Man, and Cybernetics—Part A: Systems and Humans, 2008, 38(3): 502-512. DOI: 10.1109/TSMCA.2008.918624.
[10]
杨春燕, 蔡文. 可拓学[M]北京: 科学出版社, 2014.
[11]
杨春燕. 可拓创新方法[M]. 北京: 科学出版社, 2016.
[12]
吴培旭, 刘建群. 基于可拓设计方法的多功能产品创造法[J]. 广东工业大学学报, 2015(3): 10-17.
WU P X, LIU J Q. Solution to creating multi-function product based on extension design methods[J]. Journal of Guangdong University of Technology, 2015(3): 10-17. DOI: 10.3969/j.issn.1007-7162.2015.03.003.
[13]
姚干勤, 薛澄岐. 基于相似案例的产品可拓重构设计方法[J]. 包装工程程, 2019, 40(14): 119-127, 161.
YAO G Q, XUE C Q. The design method of product extension reconfiguration based on similar cases[J]. Packaging Engineering, 2019, 40(14): 119-127, 161.
[14]
王体春, 秦家祺, 华洋. 基于可拓本体的复杂产品方案设计可拓集成框架研究[J]. 机电工程, 2020, 37(5): 461-470.
WANG T C, QIN J Q, HUA Y. Extension integration framework for complex product scheme design based on extension ontology[J]. Mechanical & Electrical Engineering Magazine, 2020, 37(5): 461-470. DOI: 10.3969/j.issn.1001-4551.2020.05.001.
[15]
李仔浩, 杨春燕. 基于逆向设计的产品可拓创意生成方法[J]. 机械设计, 2019, 36(12): 127-133.
LI Z H, YANG C Y. Product extension creative generation method based on reverse design[J]. Journal of Machine Design, 2019, 36(12): 127-133.
[16]
李仔浩, 杨春燕, 李文军. 可拓创新方法在发电机创新设计中的应用[J]. 广东工业大学学报, 2020, 37(1): 1-6.
LI Z H, YANG C Y, LI W J. An application of extension innovation method in generator innovation design[J]. Journal of Guangdong University of Technology, 2020, 37(1): 1-6. DOI: 10.12052/gdutxb.190115.
[17]
郭恒发, 李兴森, 刘仁湖. 融合可拓学与TRIZ的产品设计创意生成方法——以手机充电器产品设计为例[J]. 广东工业大学学报, 2020, 37(5): 7-12.
GUO H F, LI X S, LIU R H. A creative generation method of product design based on extenics and TRIZ — taking the design of mobile phone charger as an example[J]. Journal of Guangdong University of Technology, 2020, 37(5): 7-12. DOI: 10.12052/gdutxb.200042.
[18]
祁钰茜, 吴超仲, 高嵩, 等. 基于AHP和物元分析的愤怒驾驶状态辨识研究[J]. 交通信息与安全, 2015(2): 80-85.
QI Y Q, WU C Z, GAO S, et al. A study of angry driving identification based on AHP and matter element analysis[J]. Journal of Transport Information and Safety, 2015(2): 80-85. DOI: 10.3963/j.issn.1674-4861.2015.02.013.