公路交通科技  2021, Vol. 38 Issue (5): 123−128, 137

扩展功能

文章信息

曾杰, 王戡, 胡雄, 吴昆伦
ZENG Jie, WANG Kan, HU Xiong, WU Kun-lun
驾驶员疲劳检测系统在环测试技术研究
Study on Driver Fatigue Detection System In-loop Test Technology
公路交通科技, 2021, 38(5): 123-128, 137
Journal of Highway and Transportation Research and Denelopment, 2021, 38(5): 123-128, 137
10.3969/j.issn.1002-0268.2021.05.015

文章历史

收稿日期: 2020-07-02
驾驶员疲劳检测系统在环测试技术研究
曾杰 , 王戡 , 胡雄 , 吴昆伦     
重庆车辆检测研究院 国家智能网联汽车质量检验中心(重庆), 重庆 401122
摘要: 针对驾驶员疲劳检测系统性能的测试需求逐渐增加,使用测试员模拟疲劳动作的测试方式,存在疲劳动作重复性差、测试环境难以控制、系统响应时间测量不准确的问题,搭建了一种自动化的驾驶员疲劳检测系统在环测试平台。该平台由仿生机器人、六自由度驾驶模拟器、光照模拟系统、测试管理与数据处理软件组成,可实现由控制软件根据预定义的测试动作列表,发出仿生机器人疲劳动作指令,被测疲劳检测系统识别机器人动作并发出语音报警,数据管理系统识别报警信号,达到自动化的测试管理与数据处理的目标。同时,驾驶模拟器与光照模拟器可以根据预设的驾驶舱振动谱与外部环境光照条件,复现实际道路运行时的环境条件。选取典型的驾驶员疲劳动作进行测试,对比了3款被测系统分别由测试平台和测试员测试的性能表现。结果表明:(1)3款驾驶员疲劳检测系统均能正确识别仿生机器人的疲劳动作,在测试平台上的误检率、漏检率表现与测试员测试方式非常接近;(2)利用测试平台可以快速复现驾驶员疲劳动作与环境光照条件,有效提高测试结果的一致性;(3)与测试员测试方式的耗时相比,利用测试平台可提升50%的测试评价效率。
关键词: 汽车工程     在环测试平台     自动化测试系统     驾驶员疲劳     仿生机器人     驾驶模拟器    
Study on Driver Fatigue Detection System In-loop Test Technology
ZENG Jie, WANG Kan, HU Xiong, WU Kun-lun    
National Intelligent and Connected Vehicle Quality Inspection Center (Chongqing), Chongqing Vehicle Test & Research Institute, Chongqing 401122, China
Abstract: In view of the increasing demand for the performance test of driver fatigue detection system, there are some problems such as poor repeatability of fatigue behaviors, difficult control of test environment and inaccurate measurement of system response time in the test mode of simulating fatigue behaviors by test engineer. An automatic driver fatigue detection system in-loop testbed is built. The testbed is composed of bionic robot, 6-DOF driving simulator, illumination simulation system, test management and data processing software. The control software can send out the fatigue action command to bionic robot according to the predefined test action list. The tested fatigue detection system can recognize the robot action and send out voice alarm. The data management system can recognize the alarm signal and achieve the goal of automatic test management and data processing. Meanwhile, the driving simulator and the illumination simulator can reproduce the environmental conditions of the actual road operation according to the preset cockpit vibration spectrum and external environmental illumination condition. The typical driver fatigue behaviors are selected for testing, and the performances of 3 tested systems are compared between the testbed and the test engineer. The result shows that (1) all the 3 driver fatigue detection systems can correctly recognize the fatigue behaviors of the bionic robot, and the false detection rate and missing detection rate on the testbed are very close to the test engineer's test mode; (2) the driver's fatigue behaviors and the environmental lighting conditions can be quickly reproduced by the testbed, and the consistency of test result is improved; (3) compared with the time consuming of test engineer, the testbed can improve the test evaluation efficiency by 50%.
Key words: automobile engineering     in-loop testbed     automatic test system     driver fatigue     bionic robot     driving simulator    
0 引言

近年来,随着公路运输业快速发展、客货运输需求不断扩大,客货车发生严重交通事故频次也越来越高,人为因素造成交通事故的比例高达80%~90%[1-2], “两客一危”车辆的道路运输安全受到国家部委的高度重视[3-4]。机动车驾驶员作为控制车辆运行的责任主体,其操作车辆行为是否安全直接影响道路交通安全[5-6], 驾驶员疲劳检测系统可以利用图像、声音、生物感知等技术辨识驾驶员的驾驶状态,并将驾驶员不安全驾驶行为保存至行车记录系统,保证事前预防、事后可查[7-8]。针对城市公交车和“两客一危”车辆,交通运输部发布了《交通运输部办公厅关于推广应用智能视频监测报警技术的通知》(交办运[2018]115号),简称115号文,正在大力推广应用驾驶行为监测系统。目前,针对驾驶员不安全驾驶行为的识别问题,国内外学者展开了广泛研究。丁伍洋[9]等基于不确定性云模型理论的眼动参数描述方法,提出云发生器算法建立了疲劳监测的眼动参数云融合模型评估方法。Liu[10]、Fatima[11]、Yassine[12]等利用基于视觉的深度学习算法识别面部表情,提升驾驶员疲劳状态识别准确率。方斌[13]、蔡菁[14]、You[15]等基于多摄像头在复杂工况下的驾驶员瞳孔位置检测、眼睛状态识别和面部疲劳表情识别问题展开研究,Murugan[16]、Morales[17]、Jing[18]等提出利用生物电流分析驾驶员生理状态,从而推测驾驶员疲劳情况。综上所述,国内外学者主要基于机器视觉技术研究驾驶员疲劳的识别问题,而针对驾驶员疲劳检测系统的测试与评价方法少有学者研究。由于驾驶行为检测系统的研发企业缺乏有效的、重复性的、标准化的测试规程和手段,现有的驾驶员疲劳检测设备的功能、性能、可靠性等还未能得到全面测试与评价。国内外还未见公开发布的驾驶员行为监测系统的检验标准和测试评价规范,相关的检测方法、手段还不成熟。目前,采用基于测试员做出疲劳动作的测试方案,需要让测试员坐在驾驶位上做出各种疲劳动作,存在疲劳动作的可重复性和可控性差,环境光照和车辆运行振动环境不可控的问题。因此,研发一套标准化的驾驶员疲劳检测终端测试系统,对建立起标准化的测试规程和测试手段具有重要意义。

1 测试平台构架

本研究根据前期测试驾驶员疲劳检测系统积累的测试经验和行业发展需求,研发了驾驶员疲劳检测系统在环测试平台。测试平台主要由仿生机器人、六自由度驾驶模拟器、光照模拟器、被测系统、语音识别麦克风、监控摄像机、上位机、控制与数据处理软件平台等主要子系统组成,原理构架如图 1所示。控制与数据处理软件是驾驶员疲劳检测系统在环测试平台的测试管理软件,软件集成了环境光照模拟系统、仿生机器人动作控制算法、语音内容识别算法、自动化测试等,实现自动化测试控制与测试结果分析功能。测试平台测试执行疲劳测试的步骤:

图 1 驾驶员疲劳检测系统在环测试平台 Fig. 1 Driver fatigue detection system in-loop testbed

(1) 上位机软件编辑自动化测试脚本;

(2) 光照模拟器运动至制定位置和控制光照强度;

(3) 控制仿生机器人做出疲劳动作;

(4) 语音识别系统捕获被测系统报警语音信号,并识别报警内容;

(5) 语音识别结果与仿生机器人动作对比;

(6) 执行下一条测试脚本;

(7) 脚本执行完成,自动化生成测试报告。

1.1 仿生机器人

在国外,仿生机器人已经规模化应用于教育、医疗、咨询等领域,已经具备成熟的动作应用基础。本研究所使用的仿生机器人面部由硅胶倒模制作,头部由5个关节组成,眼睑、眼球有独立控制电机驱动,可实现眼睑开合、眼珠转动、嘴巴开合、头部转动、头部俯仰、眨眼、闭眼等动作。机器人单手臂机械本体采用七自由度串联关节式结构设计,采用智能柔性执行器作为执行结构,控制精度达到工业级应用水平。仿真机器人手臂的6个关节采用串联方式连接, 手臂的外罩根据关节运动特点以及人体外皮肤尺寸进行仿生设计。机器人手采用创新型直线驱动设计,手掌内部集成了6个微型直线伺服驱动器和5个压力传感器,可以模拟人手实现精准的抓取动作,可实现抽烟、打电话动作。

1.2 光照模拟系统

根据本实验室前期积累的大量实车测试经验,发现光照条件是影响驾驶员疲劳动作识别率的重要组成因素之一。本测试平台使用光照模拟系统模拟外部环境光照条件,提升了实验室测试时环境光照条件真实度。光照模拟系统常用的匀光结构有两种:一种是镜面反射、透射为主的匀光结构,它一般采用灯阵、反射镜,透镜阵列等光学器件进行组合;另一种是漫反射为主的匀光结构,主要通过封闭的漫反射环境来实现匀光。本测试平台使用的是镜面反射为主的结构,结构如图 2所示。由4组灯光组成,上部有电动支架调节高度和光源角度,底部有移动导轨和电机组成调整光源位置、俯仰角度,从而覆盖测试平台的光源需求。根据测试场景需求,设计了如图 3所示的光栅格板,板上切割了多个不同尺寸、不同形状的小孔,实现车辆行驶在树荫阳光交替时的光照条件模拟。

图 2 光照模拟系统 Fig. 2 Illumination simulation system

图 3 光栅格板 Fig. 3 Raster grid plate

2 测试评价标准及测试执行 2.1 测试评价方法

本研究根据115号文所要求的测试规范和部分测试项目展开,对比驾驶员疲劳检测系统在环测试平台与测试员测试的两种方式,在一致性、重复性、测试效率方面的表现。本研究选取了以下测试项目:(1)疲劳驾驶报警: 眨眼、打哈欠、闭眼与打哈欠组合;(2)接打手持电话报警: 手持电话、打电话;(3)长时间未目视前方报警:左看、右看;(4)抽烟报警:抽烟;(5)设备失效报警: 红外阻断墨镜、遮挡物;115号文对测试人员的穿戴、环境光照和震动条件也提出了相应要求:被测系统能够在全部工况环境下(白天、夜晚、顺光、逆光、侧光、树荫、阳光交替闪烁,车辆震动等)实现驾驶员驾驶状态识别;在驾驶员佩戴帽子、眼镜、墨镜(红外可穿透)、口罩等情况下正常工作,其中戴口罩不适用于打哈欠动作的测试。

2.2 测试执行流程

测试员测试的方式是指测试员坐在六自由度驾驶模拟器的驾驶位上,模拟相应的测试动作进行测试,测试员坐立位置与仿生机器人相同,为主驾驶位。

2.2.1 测试平台震动输入

本研究在营运客车道路测试上积累的典型车辆纵向震动的加速度曲线作为震动路谱输入,如图 4所示。该曲线来自于实车运行结果,路面为典型的城市快速路段,平整度略差于封闭式高速路段。将路谱导入至场景软件中,场景软件将路面振动激励通过六自由度驾驶平台进行复现,六自由度驾驶平台可以根据放大系数调整振动幅度。

图 4 六自由度驾驶平台模拟的振动输入 Fig. 4 Vibration input of 6-DOF driving platform simulation

2.2.2 环境光照模拟

本研究选取天气晴朗的夏季中午时分,在试验场的动态广场四周空旷情况下,将客车行驶至动态广场中间位置,通过调整车头不同朝向角度模拟逆光、侧光、顺光等光照情况,利用照度计记录在驾驶位驾驶员头部的光照强度。利用记录的光照度列表,在实验室中调整光照模拟器的亮度和光源位置,模拟环境光照对被测设备性能的影响。戴上近视眼镜测试闭眼动作,逆光时更容易造成眼镜有强烈的反光情况,从而导致检测效果较差,容易出现漏报或误报。实验室中模拟的逆光场景,与测试员在空旷试验场进行逆光测试的表现一致。实验室四周可以完全封闭,达到较为黑暗的光照条件,从被测系统截取黑暗光照条件下的仿生机器人面部识别结果。利用图 3的格栅板,模拟车辆行驶在树荫阳光交替时的光照效果,结合光源位置、光照强度、灯光开启数量,实现不同时刻的环境光照条件模拟。

2.2.3 测试流程

使用测试员测试的流程如图 5所示,测试员根据屏幕的提示时间作出相应动作,记录员根据被测系统发出的报警时刻进行记录相应数据,同时负责监督测试员的测试动作是否规范。使用测试平台测试的方式,可配置测试动作列表、测试动作数量、光源位置、光照强度等参数,自动化执行测试脚本并生成数据分析报告。

图 5 测试员方式的测试流程 Fig. 5 Test process of test engineer mode

3 测试结果评价与分析

本研究一共选取了3款不同企业生产的驾驶员疲劳检测系统,分析仿生机器人模拟疲劳动作对被测系统的影响,并主要对比整体测试效率、动作重复性、误报率、漏报率、准确率、检出率等评价指标。误报率=错误报警/测试组动作数量,准确率=1-误报率,检出率=报警数量/测试组动作数量,漏报率=1-检出率。左/右看和抬/低头的每种动作分别50次,其余每50次动作为1组。将佩戴眼镜、帽子、口罩等道具的测试工况,平均分配至每个测试组。

3.1 驾驶员疲劳动作识别对比分析

3款驾驶员行为监测系统在相同测试条件下,人类测试员测试与仿生机器人测试的结果如图 6~8所示。根据测试对比结果可以发现:(1)3款被测系统在测试平台上产生的总体误报率比测试员测试的方式低;(2)被测系统1以测试员测试抽烟、打电话、左/右看动作的漏报率相对更低,两种测试方式的漏报率差最大为4%(2次动作);(3)被测系统2在测试平台上产生的抽烟、打电话漏报率比测试员测试的方式高,两种测试方式的漏报率差最大为6%(3次动作);(4)被测系统3在测试平台上产生的左/右看漏报率比测试员测试的方式高,两种测试方式的漏报率差距最大为4%(2次动作);(5)摄像头遮挡和佩戴阻断墨镜工况,两种测试方式的测试结果一致;(6)3款被测系统在测试平台上的总体误报率、漏报率表现与测试员测试的方式较为接近,仅有2~3次动作识别结果的差异;(7)仿生机器人模拟的疲劳动作能够代替测试员测试的方式。

图 6 系统1—测试结果对比(单位: %) Fig. 6 System 1— comparison of test results (unit: %)

图 7 系统2—测试结果对比(单位: %) Fig. 7 System 2—comparison of test results(unit: %)

图 8 系统3—测试结果对比(单位: %) Fig. 8 System 3—comparison of test results (unit: %)

3.2 报警延迟时间对比分析

系统对疲劳动作的识别报警延迟是一个重要的测评指标,报警过早会造成干扰、报警过晚不利于提醒疲劳的驾驶员。3款驾驶员疲劳检测系统在相同测试条件下,两种测试方式的对比结果如图 9所示。根据测试对比结果可以发现:(1)3款被测系统在测试平台上产生的总体报警延迟时间比测试员测试的方式低;(2)对比两种测试方法,3款被测系统对遮挡与阻断墨镜工况的报警延迟时间表现接近一致;(3)测试员测试方式的报警延迟时间记录较为粗糙,根据仿生机器人动作的执行开始时间与被测系统报警发出时刻进行准确的差值,测试平台测试的方式可对报警延迟时间进行准确评价。

图 9 报警延迟时间对比(单位: s) Fig. 9 Comparison of alarm delay time(unit: s)

3.3 测试效率与动作一致性对比分析

3款驾驶员疲劳检测系统在相同测试条件下,两种测试方式的耗时对比结果如图 10所示。有效测试时间是指完成一组连续测试动作的时间,测试数据统计是指对测试记录的结果进行处理耗时,使用测试员测试的无效测试时间主要组成:(1)测试员不规范动作; (2)测试员其他原因中断连续测试; (3)调整车辆位置; (4)更换测试人员; (5)更换测试道具。测试平台测试方式的无效测试时间主要组成:(1)调整光源位置; (2)更换测试道具; (3)测试系统死机。测试员测试3款被测系统的无效测试时间占比已超总测试耗时约为50%,测试数据统计时间占总测试时间约为16%。测试平台测试3款被测系统的无效测试时间占总测试耗时约为30%,测试数据统计时间占总测试耗时约为3%。使用仿生机器人模拟驾驶员疲劳动作的重复性、一致性都完全优于测试员测试的方式,两种测试方式的有效测试时间接近,测试员测试的无效测试时间超过测试平台测试的无效时间3倍以上。相对于测试员测试方式,使用测试平台至少可缩短50%的总测试时间。

图 10 测试用时对比(单位: h) Fig. 10 Comparison of test time consumption(unit: h)

4 结论

本研究利用驾驶员疲劳检测系统在环测试平台,根据115号文的部分测试要求对3款驾驶员疲劳检测系统进行了性能测试,并与测试员测试的方式进行对比,结果表明:

(1) 使用仿生机器人模拟驾驶员的疲劳动作,对3款被测系统的误报率影响较小,但需进一步优化仿生机器人的动作以降低对被测系统识别动作的漏报率。

(2) 利用测试平台可以提升对被测系统的报警延迟时间评价准确性。

(3) 利用测试平台可以明显提高被测系统的测试评价效率,同时减少测试员对测试评价结果的主观与客观影响。

本研究将在后续工作中,将进一步收集不同驾驶员在驾驶时的抽烟、打电话、双手脱离方向盘等动作数据,优化仿生机器人模拟驾驶员疲劳动作的准确性。

参考文献
[1]
徐军莉, 闵建亮, 胡剑锋, 等. 定性推理生成器在驾驶疲劳检测中的应用[J]. 汽车安全与节能学报, 2018, 9(1): 32-40.
XU Jun-li, MIN Jian-liang, HU Jian-feng, et al. Application of Generator for Uncertainty Reasoning in Fatigue Driving Inspection[J]. Journal of Automotive Safety and Energy, 2018, 9(1): 32-40.
[2]
李作进, 李仁杰, 李升波, 等. 基于方向盘转角近似熵与复杂度的驾驶人疲劳状态识别[J]. 汽车安全与节能学报, 2016, 7(3): 279-284.
LI Zuo-jin, LI Ren-jie, LI Sheng-bo, et al. Driver Fatigue Recognition Based on Approximated Entropy and Complexity of Steering Wheel Angle[J]. Journal of Automotive Safety and Energy, 2016, 7(3): 279-284.
[3]
裴玉龙, 蔡小溪, 刘颖慧. 长途客运驾驶员出车前疲劳状态便捷检测方法研究[J]. 公路交通科技, 2020, 37(1): 131-140.
PEI Yu-long, CAI Xiao-xi, LIU Ying-hui. Study on Method for Convenient Detecting Long-distance Bus Driver's Fatigue State before Driving[J]. Journal of Highway and Transportation Research and Development, 2020, 37(1): 131-140.
[4]
胥川, 裴赛君, 王雪松. 基于无侵入测量指标的个体差异化驾驶疲劳检测[J]. 中国公路学报, 2016, 29(10): 118-125.
XU Chuan, PEI Sai-jun, WANG Xue-song. Driver Drowsiness Detection Based on Non-intrusive Metrics Considering Individual Difference[J]. China Journal of Highway and Transport, 2016, 29(10): 118-125.
[5]
马勇, 付锐. 驾驶人视觉特性与行车安全研究进展[J]. 中国公路学报, 2015, 28(6): 82-94.
MA Yong, FU Rui. Research and Development of Drivers Visual Behavior and Driving Safety[J]. China Journal of Highway and Transport, 2015, 28(6): 82-94.
[6]
张骏, 吴志敏, 潘雨帆, 等. 基于SVR模型的驾驶简单反应时间预测方法[J]. 中国公路学报, 2017, 30(4): 127-132.
ZHANG Jun, WU Zhi-min, PAN Yu-fan, et al. Predicting Method of Simple Reaction Time of Driver Based on SVR Model[J]. China Journal of Highway and Transport, 2017, 30(4): 127-132.
[7]
HU J F. Comparison of Different Features and Classifiers for Driver Fatigue Detection Based on a Single EEG Channel[J]. Computational & Mathematical Methods in Medicine, 2017, 2017: 510-520.
[8]
YIN J H, HU J F, MU Z D. Developing and Evaluating a Mobile Driver Fatigue Detection Network Based on Electroencephalograph Signals[J]. Healthcare Technology Letters, 2017, 4(1): 34-38.
[9]
丁伍洋, 陈云华, 高素文, 等. 基于眼动参数云融合模型的疲劳检测方法[J]. 计算机工程设计, 2013, 34(11): 4067-4071.
DING Wu-yang, CHEN Yun-hua, GAO Su-wen, et al. Fatigue Detection Method Based on Eye Movement-features Fusion Cloud Model[J]. Computer Engineering and Design, 2013, 34(11): 4067-4071.
[10]
LIU Z M, PENG Y X, HU W J. Driver Fatigue Detection based on Deeply-learned Facial Expression Representation[J]. Journal of Visual Communication and Image Representation, 2019, 71(5): 23-27.
[11]
FATIMA B, SHAHID A R, ZIAUDDIN H, et al. Driver Fatigue Detection Using Viola Jones and Principal Component Analysis[J]. Applied Artificial Intelligence, 2020, 34(6): 456-483.
[12]
YASSINE N, BARKER S, HAYATLEH K. Simulation of Driver Fatigue Monitoring via Blink Rate Detection, Using 65 nm CMOS Technology[J]. Analog Integrated Circuits and Signal Processing, 2018, 95(3): 409-414.
[13]
方斌, 徐硕, 冯晓锋. 面向ARM平台的自标定驾驶员疲劳检测方法[J]. 汽车安全与节能学报, 2020, 11(1): 71-78.
FANG Bin, XU Shuo, FENG Xiao-feng. Self-calibration Driver Fatigue Detection for Advanced RISC Machine (ARM) Platform[J]. Journal of Automotive Safety and Energy, 2020, 11(1): 71-78.
[14]
蔡菁, 程雷, 王红霞. 基于Kinect的疲劳驾驶综合监测系统研究[J]. 计算机工程与科学, 2015, 37(12): 2379-2385.
CAI Jing, CHENG Lei, WANG Hong-xia. A Driver Fatigue State Monitoring System Based on Kinect[J]. Computer Engineering and Science, 2015, 37(12): 2379-2385.
[15]
YOU F, LI Y H, HUANG L. Monitoring Drivers' Sleepy Status at Night Based on Machine Vision[J]. Multimedia Tools and Applications, 2017, 76(13): 14869-14886.
[16]
MURUGAN S, SELVARAJ J, SAHAYADHAS A. Detection and Analysis: Driver State with Electrocardiogram (ECG)[J]. Physical and Engineering Sciences in Medicine, 2020, 43(2): 525-537.
[17]
MORALES J M, DIAZ-PIEDRA C, RIEIRO H, et al. Monitoring Driver Fatigue Using a Single-channel Electroencephalographic Device: A Validation Study by Gaze-based, Driving Performance, and Subjective Data[J]. Accident Analysis and Prevention, 2017, 109: 62-69.
[18]
JING D F, ZHANG S W, GUO Z Y. Fatigue Driving Detection Method for Low-voltage and Hypoxia Plateau Area: A Physiological Characteristic Analysis Approach[J]. International Journal of Transportation Science and Technology, 2020, 9(2): 148-158.