«上一篇
文章快速检索     高级检索
下一篇»
  应用科技  2019, Vol. 46 Issue (3): 76-79  DOI: 10.11991/yykj.201812011
0

引用本文  

吴佳宝, 陈万忠, 马迪, 等. 基于视觉追踪的轮椅行进控制系统[J]. 应用科技, 2019, 46(3), 76-79. DOI: 10.11991/yykj.201812011.
WU Jiabao, CHEN Wanzhong, MA Di, et al. Wheelchair travel control system based on visual tracking[J]. Applied Science and Technology, 2019, 46(3), 76-79. DOI: 10.11991/yykj.201812011.

基金项目

吉林省产业技术研究与开发项目(2016C025);吉林大学博士研究生创新项目(2016092)

通信作者

陈万忠,E-mail:chenwz@jlu.edu.cn

作者简介

吴佳宝,女,硕士研究生;
陈万忠,男,教授,博士

文章历史

收稿日期:2018-12-10
网络出版日期:2019-03-26
基于视觉追踪的轮椅行进控制系统
吴佳宝 , 陈万忠 , 马迪 , 蒋贵虎     
吉林大学 通信工程学院,吉林 长春 130025
摘要:为了解决目前一些手部存在障碍的使用者无法实现自主操纵轮椅的问题,研究了一种由软、硬件相结合的视觉追踪轮椅行进控制系统。使用者头戴视觉追踪装置坐在由单片机最小系统、蓝牙模块、霍尔传感器模块组成的电动轮椅上,通过图像采集分割、瞳孔轮廓检测、瞳孔标定、容差判定等方法确定使用者眼球的位置,进而控制电动轮椅向前走、向后走、向左转、向右转和停止5个行为状态。通过实验测试,该系统操作简单、方便且灵敏度高。该系统较传统轮椅而言,适用人群更加广泛,使得一些手部无法自理的使用者能够直接通过眼睛的转动控制轮椅的行进,间接提高了他们的生活质量。
关键词视觉追踪    瞳孔轮廓检测    图像分割    容差判定    轮椅行进控制    霍尔传感器    蓝牙通信    单片机    
Wheelchair travel control system based on visual tracking
WU Jiabao , CHEN Wanzhong , MA Di , JIANG Guihu     
School of Communication Engineering, Jilin University, Changchun 130025, China
Abstract: In order to solve the problem that some users with hand disorders can not operate wheelchair independently, this paper studies a visual tracking wheelchair travel control system that combines software and hardware. By wearing a visual tracking device on his head, the user wearing a visual tracking device on the head sits on an electric wheelchair that is composed of the smallest system of single chip microcomputer, bluetooth module and Hall sensor module. The position of the user's eyeball is determined by image acquisition and segmentation, pupil contour detection, pupil calibration, tolerance determination and other methods. Then the electric wheelchair can be controlled by five behavior states: to move forward and backward, to the left and right, and stop. The experimental results show that the system is simple, convenient and sensitive. Compared with the traditional wheelchair, the system is more widely applicable to people, which enables some users who can not take care of themselves to control the wheelchair's movement directly through the rotation of their eyes, and indirectly improves their quality of life.
Keywords: visual tracking    pupil contour detection    image segmentation    tolerance determination    wheelchair travel control    Hall sensor    bluetooth communication    single chip microcomputer    

据了解,世界人口老龄化日益加重,肢体残疾人士的数量日渐增加,越来越多的肢体残障群体对代步工具的需求也越来越迫切[1]。中国由于对智能仪器的研究起步较晚,在智能轮椅的各方面研究都较为落后,基于此,本文提出了一种采用视觉追踪的轮椅行进控制系统来满足更多无法自理人群的需要[2],进而提高他们自身的生活自理能力和工作能力,使他们更好地融入社会,促进和谐社会进程。

1 系统简介

本文的系统结构示意图如图1所示。系统整体操作流程为:首先使用者坐于轮椅上同时佩戴头戴式视觉追踪装置,之后工作人员通过PC机对受试者眼球进行标定,最后使用者通过眼球的上下左右和平视5种眼球状态控制轮椅向前走、向后走、向左转、向右转和停止5个行为[3]

Download:
图 1 系统结构示意
2 系统硬件设计

系统硬件整体的结构框图如图2所示。硬件系统分为头戴式视线追踪装置和轮椅控制硬件2个部分。通过850 nm的红外发射管对人眼进行补光,利用WX051摄像头对人眼图像进行采集,将信息通过USB接口传送到笔记本电脑上,再通过笔记本电脑对眼球方向进行判断和分析,经过蓝牙将方向指令传送给电动轮椅,电动轮椅的控制模块接收到指令并经过单片机分析后,通过电磁场的转换控制和电机控制轮椅的行动状态[4]

Download:
图 2 系统硬件结构框图
2.1 头戴式视线追踪装置设计

装置硬件电路包括2个五号电池作为电源、3个并联的电阻、装载了850 nm的高透红外滤光片的WX051摄像头和连接电脑USB接口的数据线。装置硬件主构架为一个型号为Hero5的GoPro头盔,在头盔前置旋杆上安装一个装载了850 nm的高透红外滤光片的WX051摄像头,并且把摄像头装载在眼睛的正前方。在眼部摄像头的周围需要安装一个850 nm的红外发射管进行补光。

型号为Hero5的GoPro头盔安装有前头固定支架,可以将摄像头稳定地固定在头盔前部;固定支架上包含旋转基座和长杆螺丝,可以随意调整支架的高度和远近(随意调整摄像头距离眼睛的位置);头盔同时还包含头盔带,锁扣设计固定头盔与头部使之更加稳定,使用者可以随意转动头部而不影响头盔与头部的相对位置。

装载850 nm的高透红外滤光片的WX051摄像头和850 nm的红外发射管用来对眼睛进行图像采集。850 nm的红外发射管在850 nm波长的感应度比在其他波长的感应度好,发射功率更大且发射距离更远,因此850 nm这种有轻微红暴的红外管更适合应用在红外摄像头上[5]。头戴式视线追踪装置具体硬件电路图如图3所示。

Download:
图 3 头戴式视线追踪装置硬件电路
2.2 轮椅硬件设计 2.2.1 轮椅硬件系统设计

本设计采用的是型号为BZ-6401的电动轮椅,该轮椅的硬件系统框图如图4所示,眼睛发出的方位指令通过USB接口传送给PC机;PC机将指令通过蓝牙传送给轮椅;轮椅在接受到指令后,通过舵轮电机对轮椅的行进方向进行控制[6]。轮椅由可充电蓄电池持续供电。

Download:
图 4 轮椅硬件系统框图
2.2.2 轮椅硬件系统设计

轮椅控制器硬件由以下3部分组成,它们分别是蓝牙模块、单片机最小系统和霍尔位置传感器模块[7]。轮椅控制器硬件电路图如图5所示。

Download:
图 5 轮椅控制器硬件电路

蓝牙模块负责接收PC机发送的方位指令,实现其通信功能并且将指令发送给单片机。

单片机最小系统[8]包含52单片机、时钟电路、复位电路、P0口外接上拉电阻以及LED驱动电路。单片机最小系统在控制器硬件设计部分负责分析从蓝牙接收到的指令,并将指令通过处理转化为机器语言,从P0口将指令传送给霍尔位置传感器模块,进而对轮椅行进实现控制。

霍尔位置传感器模块主要由型号为MX90系列的霍尔位置传感器、型号为74LS04的芯片、型号为ULN2803的芯片、5个型号为HJR1−2CL−05V的继电器和5个电磁铁组成。霍尔位置传感器是一种检测物体位置的磁场传感器,利用霍尔效应原理可以检测磁场及其变化。本文则是通过5个继电器的开闭来控制5个电磁铁的工作状态,利用5个电磁铁是否工作来制造相应的5种磁场状态,进而模拟轮椅前进、后退、左转、右转和停止共5种行为。ULN2803芯片是由8个NPN达林顿晶体管组成,用来驱动电磁继电器使之正常工作。74LS04是带有6个非门的芯片,是六输入反相器,输出信号与输入信号相位相反,作用是将单片机上电以后P0口输出的低电平转化为高电平,防止系统上电5个电磁铁即导通工作导致驱动芯片无法正常驱动。

3 系统软件设计 3.1 电脑端软件设计

PC机端主要的设计语言是采用Visual C++编程语言和OpenCV相结合实现眼球控制轮椅行进功能,电脑端软件流程图如图6所示。

Download:
图 6 眼球控制轮椅行进电脑端软件流程

1)对眼部图像进行切割并且绘制合适的瞳孔轮廓[9]

2)若检测到瞳孔,则对参考点的坐标进行判断,判断是否为原始坐标点。

3)若参考点是原始坐标点,则点击键盘按键“C”进行瞳孔坐标标定,将瞳孔坐标赋给起始坐标。

4)若参考点不是原始坐标点[10],则计算瞳孔坐标与参考点坐标的坐标差con_point。如果坐标差con_point的横纵坐标均满足在某个容差范围内,则给蓝牙发送“Z”;如果坐标差con_point的纵坐标小于负容差且坐标差con_point的横坐标大于−30小于30,则给蓝牙发送“A”;如果坐标差con_point的纵坐标大于容差且坐标差con_point的横坐标大于−30小于30,则给蓝牙发送“E”;如果坐标差con_point的横坐标大于容差+10且坐标差con_point的纵坐标大于−30小于30,则给蓝牙发送“G”;如果坐标差con_point的横坐标小于负容差−10且坐标差con_point的纵坐标大于−30小于30,则给蓝牙发送“C”。若以上条件均不满足,则程序自动结束跳出。

3.2 轮椅单片机设计

首先对单片机进行初始化设置,接下来单片机始终处在等待阶段直到接收到来自串口的中断[11],该中断发生的条件是单片机接收到来自蓝牙的指令(此时RI标志位为1)。在发生中断时,判断接收的数据是什么[12]。在接收到指令为“1”时,令P0.0输出口为1,其他输出口为0,因此驱动了电磁铁E1,产生了一个向前的电磁场,进而轮椅会受到磁场作用向前运动;同理在接收到指令为“2”时,令P0.1输出口为1,其他输出口为0,因此驱动了电磁铁E2,产生了一个向左的电磁场,进而轮椅会受到磁场作用向左转动;在接受到指令为“3”时,令P0.2输出口为1,其他输出口为0,因此驱动了电磁铁E3,产生了一个向右的电磁场,进而轮椅会受到磁场作用向右转动;在接受到指令为“4”时,令P0.3输出口为1,其他输出口为0,因此驱动了电磁铁E4,产生了一个向后的电磁场,进而轮椅会受到磁场作用向后运动;在接受到指令为“5”时,令P0.4输出口为1,其他输出口为0,因此驱动了电磁铁E5,产生了一个中间的电磁场,进而轮椅会受到磁场作用停止。

4 实际测试

图7为测试结果图,其中虚线箭头是为轮椅规划的路径,实线为轮椅的行进路线。

Download:
图 7 测试结果

测试方法:在空地上贴宽高比为3 m×3 m的轨道线条,受试者佩戴头戴式视觉追踪装置坐在轮椅上,标定瞳孔参考点后,受试者通过控制眼球的状态控制轮椅按照标定的轨道行进,最终得到如图7所示的测试结果。

5 结论

本文提出了一种基于视觉追踪的轮椅行进控制系统的应用方案。

1)通过使用者的眼睛转动来控制轮椅的动作,有效地解决了生活无法自理人群不能自由行动的问题;

2)该系统操作简单、方便同时灵敏度很好,通过了实际操作和运行取得了较好的实用效果;

3)软件系统速度快、精度高,经过试验测试,本系统的准确率可以达到99%。

参考文献
[1] 黄挺程, 蓝伟巍, 陈珍珍. 浅谈智能轮椅的研究设计[J]. 科技创新与应用, 2017(15): 77. (0)
[2] 高福强, 徐伟, 汝长海. 智能轮椅控制系统的设计与实现[J]. 机电技术, 2017(5): 15-18. (0)
[3] 苏艺晴, 王増彩, 孙壮壮, 李芷含, 徐瑞雪. 关爱老年人的智能轮椅[J]. 科技视界, 2017(30): 171-172. DOI:10.3969/j.issn.2095-2457.2017.30.108 (0)
[4] 张奎. 智能轮椅控制系统研究[D]. 安徽理工大学, 2018. (0)
[5] 韩晨, 陈明淑, 李红波, 韩南南, 周涛, 王龙. 基于单片机的老年轮椅控制系统设计[J]. 内燃机与配件, 2018(8): 231-232. DOI:10.3969/j.issn.1674-957X.2018.08.133 (0)
[6] 周一汛. 一种面向老人监护的智能轮椅[D]. 南京信息工程大学, 2016. (0)
[7] 王鹏超, 王伟东, 刘霞, 陈伟. 基于单片机技术开发的智能遥控轮椅[J]. 价值工程, 2018, 37(16): 134-135. (0)
[8] 魏江东, 郑卫. 单片机应用系统最小功耗的软、硬件设计[J]. 应用科技, 2003(8): 19-20+23. DOI:10.3969/j.issn.1009-671X.2003.08.007 (0)
[9] 何人天, 余浩, 吕梦遥. 眼球控制的智能轮椅的设计与实现[J]. 信息通信, 2017(1): 71-73. DOI:10.3969/j.issn.1673-1131.2017.01.035 (0)
[10] 刘诗怡, 鲁鹏. 一种可辅助转移的多姿态智能轮椅的设计[J]. 科技创新导报, 2017, 14(16): 116-117+119. (0)
[11] 周伟, 谢存禧. 基于单片机的多功能智能轮椅的模块化设计[J]. 机械设计与制造, 2010(3): 18-20. DOI:10.3969/j.issn.1001-3997.2010.03.008 (0)
[12] 贺志军, 张东, 李杞仪. 基于单片机的智能轮椅控制系统设计[J]. 机床与液压, 2009, 37(3): 110-113. DOI:10.3969/j.issn.1001-3881.2009.03.037 (0)