齐鲁工业大学学报   2019, Vol. 33 Issue (1): 65-69
0
意念控制无人机的相关研究[PDF全文]
徐舫舟1,3,4, 赵松松1, 郑文风1, 舒明雷2,3,4     
1. 齐鲁工业大学(山东省科学院) 电子信息工程学院(大学物理教学部),济南 250353;
2. 齐鲁工业大学(山东省科学院) 计算中心,济南 250353;
3. 山东省计算中心(国家超级计算济南中心),济南 250101;
4. 医学人工智能重点实验室,济南 250101
摘要:意念控制无人机是基于脑-机接口(Brain-Computer Interface,BCI)系统来实现的。使用NeuroSky的脑波传感器ThinkGear AM(TGAM)模块提取脑电信号,对TGAM模块的配套开发包进行软件编译和开发,将提取到的脑电信号中的专注度和眨眼强度以数值的形式显示出来,并设置阈值定义不同的飞行模式,在PC端设计出一个意念控制显示平台,可以直接观察佩戴者的意念状态和无人机的飞行状态。另一方面,PC端由串口将处理后的脑电信号传输给信号发射器,信号发射器根据实时采集的脑电信号输出对应的指令,从而操控STC15系列四旋翼直升机的起飞、下降、飞行方向和前进速度。
关键词TGAM模块    专注度    眨眼    无人机    
Research on Unmanned Aerial Vehicle System Based on Mind Control
XU Fang-zhou1,3,4, ZHAO Song-song1, ZHENG Wen-feng1, SHU Ming-lei2,3,4     
1. School of Electronic and Information Engineering(Department of Physics), Qilu University of Technology(Shandong Academy of Sciences), Jinan 250353, China;
2. Computer Science Center, Qilu University of Technology(Shandong Academy of Sciences), Jinan 250353, China;
3. Shandong Computer Science Center(National Supercomputer Center in Jinan), Jinan 250101, China;
4. Key Laboratory of Medical Artificial Intelligence, Jinan 250101, China
Abstract: The unmanned aerial vehicle (UAV) based on mind control can be achieved from brain-computer interface (BCI) system. Electroencephalogram (EEG) can be recorded by NueroSky's ThinkGear AM (TGAM) module, for which a software package has been compiled and developed. Attention and blink is presented in numerical forms, and thresholds set to define different flight modes. A display platform of mind control is designed and set up in PC to directly reveal the wearer's mind state and the flight state of the UAV. On the other hand, the processed EEG can be send to the transmitter via the serial ports. The transmitter outputs corresponding instructions according to the real-time processing of EEG. The takeoff, descent, flight direction and forward speed of the STC15 series four-rotor helicopter can be controlled by these instructions.
Key words: TGAM module    attention    blink    UAV    

随着人工智能技术的发展,人类对脑电信号的研究日益深入。脑电信号记录大脑活动过程中的脑波变化情况,是大脑神经细胞电生理活动在大脑皮层或头皮表面的总体反应[1-2]。当人们处于不同的生理状态时,其大脑所产生的脑电信号不同。国际脑波组织根据脑电信号频率范围的不同将其划分为Delta波、Theta波、Alpha波、Beta波、Gamma波等几种类型[3-5]。脑-机接口(Brain Computer Interface, BCI)系统是不依赖于大脑外周神经与肌肉的正常输出通道,而直接通过脑电活动产生控制信号和外部设备之间建立信息沟通的信道[6-8]。BCI系统涉及计算机通信与控制、生物医学工程和康复医学等领域,已经成为交叉学科的热点课题。BCI技术通过大脑与人工智能处理器的直接交互,实现大脑对外部设备的控制,在军事、医疗、娱乐和生活等方面具备广阔的应用前景。

近年来,利用不同生理状态下的脑信号通过BCI技术来控制物体运动的设想引起了广大研究者的兴趣。为了促进BCI系统在人工智能和虚拟现实应用中的发展,本文研究了基于BCI系统的意念控制无人机。主要利用人类脑电波(Electroencephalogram, EEG)信号操控无人机,通过研究基于EEG信号的BCI技术在无人机中的应用,实现了无人机的“随心而动,随意而行”。

意念控制无人机具备携带方便、可操控性强、性价比高等特点,在军事、娱乐以及儿童早教等方面具备广阔的应用前景。意念控制无人机可在战场上代替士兵执行各种战斗任务,譬如用于军事侦察、目标锁定、情报获取等。赋予无人机“随心而动”的智能化操作,可为武器装备的操控提供全新的智能化发展方向,全面增强部队战斗力。在游戏领域中,意念控制将开拓出一种全新的体验,人们不再需要用手触摸就可以运行游戏。尤其是与虚拟现实相结合后,游戏玩家可以随心所欲地切换自己的视角,身临其境的感受将更加强烈。在儿童教育领域中,可以开发通过专注度和紧张度控制的游戏和玩具,从小训练孩子的专注力,使孩子对自己的大脑能够进行比较精准的控制,养成做事一心一意的习惯。同时,对刻意放松的训练也能使孩子随时获得内心的平静,对其健康成长有很大的益处。

1 意念控制无人机系统框架

意念控制无人机可通过佩戴者有意识的调整专注程度来实现对无人机油门大小的控制,完成起飞和降落,通过调整眨眼强度实现无人机向前、向后、向左、向右、悬停等飞行模式。意念控制四轴无人机集成了开源STC15四轴无人机、开源STC15信号发射器、神念科技公司(NeuroSky)的脑电波获取套件ThinkGear AM(TGAM)模块、蓝牙传输模块、U转串烧录器等硬件设备。

意念控制无人机整体主要由四部分组成,分别为:基于脑机接口的TGAM模块、计算机、信号发射器和无人机。TGAM模块用来采集人体的EEG信号,是整个方案的信号采集部分;计算机用来进行软件开发,将提取到的EEG信号中包含的专注度和眨眼强度分配为对应的输出命令,建立意念控制显示平台,直观地在计算机屏幕上显示出专注度、眨眼强度及其对应的命令,属于整个方案的信号处理部分;信号发射器是计算机与四旋翼无人机之间的中介,将计算机输出的专注度和眨眼强度转化为控制无人机相应动作的指令,发送给无人机设备;无人机通过对四个螺旋桨的控制来完成横飞、悬停、垂直起降、低空飞行等各种飞行方式,从而改变飞行器的位置。意念控制无人机的系统框架如图 1所示。

图 1 意念控制无人机系统框架图

2 意念控制无人机设计方案 2.1 脑电信号数据采集

Neuro Sky公司的脑波传感器TGAM模块主要由TGAM芯片、电极、干电池、蓝牙设备和耳夹组成,佩戴者将耳夹夹在耳垂处,将电极贴于额前,人为有意识地放松或集中注意力。TGAM可实时检测佩戴者的脑电波情况,并对采集到的脑电信号数据进行滤波等预处理,然后通过蓝牙传输的方式发送给电脑。

2.2 数据分析与转换

TGAM芯片会根据其内置的算法分析采集到的原始脑波数据,将其转为eSense数据,我们可以调用其内置的API进行程序的编写。TGAM将数据进行编码之后,会将数据流文件通过蓝牙传输的方式发送到计算机上。TGAM每秒大约发送数据513个包,存在大包和小包之分,其中前512个为小包。小包的格式是AA AA 04 80 02 xxHigh xxLow。AA AA 04 80 02是保持不变的标识位,xxHight和xxLow组成了原始数据rawdata[9-11]。经过数据的转化计算,我们可以将原始数据从小包中解析出来。第513个包是大包,我们所需的眨眼强度、专注度都在第513个包中。大包中的数据每位数的含义是固定的,所以不需要进行数据的转化计算,可直接进行运用。通过程序对大包数据的分析运算后可得到Signal、Meditation、Attention和眨眼强度值Blink等值[12-13]

经过算法分析,可以把专注度的大小和眨眼的强度数字化为1~100之间,数值越大代表专注度和眨眼的强度越大。将数字化后的专注度值Attention和眨眼强度值Blink传输到电脑,对TGAM模块配套的C#程序进行编译修改,设置一个合适的阈值,使不同注意力范围对应于不同的飞行命令。建立意念展示平台,使专注度的大小和眨眼强度及无人机状态可通过运行Windows窗口直接看到。专注度是每秒钟刷新一次,眨眼强度是每次眨眼触发一次。意念展示平台如图 2所示。

图 2 意念展示平台

将专注度的大小和眨眼的强度通过串口发送给信号发射器,信号发射器会根据设置的阈值把接收到的专注度和眨眼强度转换为控制无人机相应的指令。

2.3 数据发送

打开四轴无人机开关后,无人机会自动与PC端信号发射器连接,电脑信号发射器由STC系列单片机制作而成,连接电脑USB插口。在PC端安装USB转串口程序,就可以实现PC端与STC信号发射器的通信。打开无人机开关,根据无人机上指示灯闪烁情况可查看是否与电脑信号发射器连接成功。

无人机与电脑发射器连接后,电脑通过发射器将专注度大小与眨眼强度作为不同的信号发送给无人机并检测无人机状态。无人机根据接收到的佩戴者的专注度及眨眼强度对应的指令执行相应的动作;同时,还可以从Windows窗口实时看到佩戴者的专注度大小、眨眼强度及无人机状态。

2.4 无人机的运动

无人机通过接收到不同的信号,即专注度的大小来控制油门的大小,眨眼的强度控制前后左右和悬停,从而实现灵活地用意念控制无人机的飞行。选取一个定值(如52)作为注意力大小的阈值,将专注度分为两部分,分别代表无人机的降落和起飞;并且将眨眼强度值平均分为五部分,从小到大依次为q1、q2、q3、q4、q5,分别代表无人机悬停、向前、向后、向左、向右的飞行模式。当无人机仅接收到专注度信号时,若专注度低于52,油门大小为0,无人机的四个螺旋桨不工作,即无人机保持静止。若专注度高于52,随着专注度的提升,油门逐渐变大,螺旋桨转动,开始起飞,即专注度越高油门越大、飞得越高;同样,专注度逐渐变低时,无人机逐渐下降,直到专注度低于52,无人机落地。当四旋翼无人机接收到专注度和眨眼强度两种数据后,数据中的注意力值小于52时,无人机保持静止不动;当接收到的数据中的专注度大于52且眨眼强度在q1范围内时,无人机会在注意力值对应的油门大小情况下保持对应高度稳定不动;当接收到的数据中的专注度大于52且眨眼强度在q2范围内时,无人机会根据注意力值对应的油门大小向前飞行;当接收到的数据中的专注度大于52且眨眼强度在q3范围内时,无人机会根据注意力值对应油门大小向后飞行;当接收到的数据中的专注度大于52且眨眼强度在q4范围内时,无人机会根据注意力值对应的油门大小向左飞行;当接收到的数据中的专注度大于52且眨眼强度在q5范围内时,无人机会根据注意力值对应的油门大小向右行飞行。意念控制无人机工作流程如图 3所示。

图 3 意念控制无人机工作流程

3 意念控制无人机硬件选取 3.1 脑电信号采集设备

采用神念科技公司(NeuroSky)的脑波传感器TGAM模块。它能够实时地从人类头皮表面检测获取大脑EEG信号,佩戴者只需佩戴好TGAM脑电采集设备,有意识地眨眼及放松或集中注意力,即可从EEG信号中提取出专注度和眨眼强度两种意念信号,并通过蓝牙发送给PC端。

3.2 PC端与信号发射器

PC端调用TGAM模块传送的专注度与眨眼强度的数值,传送给STC15信号发射器。信号发射器通过U转串烧录器与PC端连接,通过PC端的串口实现两者的数据传输功能。在PC端与信号发射器的通信过程中,U转串烧录器发挥信号传递的作用,实现了电脑与信号发射器的连接,为进一步控制无人机打下坚实的基础,是整个设计系统中不可或缺的重要设备。采用STC15L2K08S2信号发射器,给无人机发送的是2.4G无线信号,其在空气中传播时衰较小,传播距离更远。配备四个微调按钮,极大地降低了飞行偏差。另一方面,为了更方便地控制无人机,在PC端可以同时打开无人机检测窗口,实时观察无人机的飞行状态。

3.3 无人机设备

信号发射器根据接收到的脑电数据发送相应的飞行指令给无人机飞控设备,后者控制旋翼转速,从而实现对无人机的控制。

稳定可靠的框架结构是无人机稳定工作的前提。在选择无人机时,首先应该考虑的是框架与电路的设计。无论是框架构造还是电路设计都应该是经过优化的,并具备随时修改程序的优点。配备四个空心杯,动力大;接收信号发射器的2.4G信号,信号传输更加稳定与安全;飞行范围大,无人机可在足够的空间内进行上下、前后、左右灵活飞行。目前,四旋翼无人机在国际领域已成为研究热点,具备体积小、质量轻和集成度高等特点。

4 结论

设计了一款脑电信号控制无人机的系统。将无人机与TGAM模块结合,通过对脑电采集设备和四旋翼无人机配套代码的编译、修改等软件开发,成功实现了通过“意念”控制无人机的设想。该系统稳定性高、成本低、容易操作,具有重要的实用价值和广阔的市场前景。

参考文献
[1]
张海军, 王浩川. 多导联EEG信号分类识别研究[J]. 计算机工程与应用, 2008, 44(24): 228-230. DOI:10.3778/j.issn.1002-8331.2008.24.069
[2]
徐琳, 许百华. 非线性动力学脑电信号分析方法的研究与应用[J]. 心理科学, 2005, 28(2): 761-763.
[3]
王坤, 崔维棋, 李国珍, 等. 单侧睁眼闭眼引起的全脑脑电图差异研究[J]. 首都医科大学学报, 2012, 33(2): 205-208. DOI:10.3969/j.issn.1006-7795.2012.02.014
[4]
孙久荣. 脑科学导论. [M]. 北京: 北京大学出版社, 2001: 22-65.
[5]
STURM I, LAPUSCHKIN S, SAMEK W, et al. Interpretable deep neural networks for single-trial EEG classification[J]. Journal of Neuroscience Methods, 2016, 274: 141-145. DOI:10.1016/j.jneumeth.2016.10.008
[6]
魏庆国.基于运动想象的脑-机接口分类算法的研究[D].北京: 清华大学, 2006. http://cdmd.cnki.com.cn/Article/CDMD-10003-2007190734.htm
[7]
徐舫舟.基于运动想象的脑机接口相关算法研究[D].济南: 山东大学, 2014. http://cdmd.cnki.com.cn/article/cdmd-10422-1015522213.htm
[8]
XU F Z, ZHOU W D, ZHEN Y L, et al. Using fractal and local binary pattern features for classification of ECOG motor imagery tasks obtained from the right brain hemisphere[J]. International Journal of Neural Systems, 2016, 26(6): 1-13.
[9]
姜伟浩, 燕林, 金峥峥, 等. 基于意念控制的运动控制系统研发[J]. 福建电脑, 2015(1): 78-79. DOI:10.3969/j.issn.1673-2782.2015.01.039
[10]
张敏强, 闫思成, 王贵生, 等. 基于TGAM芯片的脑电控制小车[J]. 科学技术创新, 2016(20): 59. DOI:10.3969/j.issn.1673-1328.2016.20.058
[11]
郭雪峰, 袁志勇. 脑电波无线鼠标设计[J]. 科学技术创新, 2017(27): 139-140. DOI:10.3969/j.issn.1673-1328.2017.27.084
[12]
陈东伟, 吴方, 王震, 等. 基于脑-机接口的智能小车系统设计与实现[J]. 信息技术, 2013(6): 80-82.
[13]
TRIVEDI K R, THAKKER D R A. Brainwave enabled multifunctional communication, controlling and speech signal generating system[C].Chennai: Proceedings of the International Conference on Electrical, Electronics, and Optimization Techniques, 2016. https://www.researchgate.net/publication/311255473_Brainwave_enabled_multifunctional_communication_controlling_and_speech_signal_generating_system