自动化学报  2017, Vol. 43 Issue (11): 1898-1907   PDF    
面向知识自动化的磨矿系统操作员脑认知特征与控制效果的相关分析
化成城1, 王宏1, 卢绍文2, 王宏2,3     
1. 东北大学机械工程与自动化学院 沈阳 110819 中国;
2. 东北大学流程工业综合自动化国家重点实验室 沈阳 110819 中国;
3. 曼彻斯特大学自动化中心 曼彻斯特 M13 9PL 英国
摘要: 面向知识型工作自动化,研究了流程工业生产过程中操作人员的脑认知特征与操作控制水平之间的关键,建立了一种基于操作员脑网络特征的操作熟练程度隐性知识的显性化模型.采用关注信号瞬时相位、基于希尔伯特变换的相位锁方法,构建了脑功能网络(Functional brain network,FBN).基于磨矿系统操作员脑功能网络的图论参数与社区连接强度,建立了特征空间,采用支持向量机与神经网络进行特征分类.结果表明,在高频区,熟练操作员(熟手)的脑功能网络连接强度明显高于不熟练操作员(生手):在低频部分则生手的脑功能网络连接强度略高,其特征分类准确率为87.24%.磨矿系统操作过程中形成的溢流粒度(Grinding particle size,GPS)曲线可以初略地反映操作人员的熟练程度,本文在深入分析了其溢流粒度曲线与操作员脑网络特征的基础上,发现相对于溢流粒度曲线操作员的脑网络特征可以更全面地描述操作控制水平(特别在操作开始时间段),采用脑网络特征识别操作控制水平在时间上超前于溢流粒度曲线识别方法.本研究对于将知识工作者的认知特征引入到流程工业控制中,具有一定的借鉴意义.
关键词: 知识自动化     操作控制水平     实时检测系统     脑认知     脑功能网络     相位锁    
Knowledge Automation-oriented Brain Cognitive Feature and Control Effect Analysis of Operator in Mineral Grinding Process
HUA Cheng-Cheng1, WANG Hong1, LU Shao-Wen2, WANG Hong2,3     
1. School of Mechanical Engineering and Automation, Northeastern University, Shenyang 110819, China;
2. The State Key Laboratory of Synthetical Automation for Process Industries, Northeastern University, Shenyang 110819, China;
3. Control Systems Centre, the University of Manchester, Manchester, M13 9PL, U. K
Manuscript received : April 13, 2016, accepted: August 2, 2016.
Foundation Item: Supported by National Natural Science Foundation of China (51505069, 61621004), the University Innovation Team of Liaoning Province (LT2014006), the State Key Laboratory of Process Industry Automation of China (PAL-N201304)
Author brief: HUA Cheng-Cheng Ph. D. candidate at the School of Mechanical Engineering and Automation, Northeastern University. His research interest covers expert system based on EEG and pattern recognition;
LU Shao-Wen Associate professor at the State Key Laboratory of Synthetical Automation for Process Industries, Northeastern University. He received his Ph. D. degree in electronic engineering from the Queen Mary University of London, UK. His research interest covers industrial process modeling and simulation, multi-scale modeling, stochastic simulation, and visualization methods;
WANG Hong Professor at the University of Manchester, UK. He also holds a research position at Northeastern University, China, Huazhong University of Science and Technology, and the Institute of Automation, Chinese Academy of Sciences, China. His research interest covers stochastic distribution control, fault detection and diagnosis, nonlinear control, and data-based modeling for complex systems
Corresponding author. WANG Hong Professor at the School of Mechanical Engineering and Automation, Northeastern University. Her research interest covers biomechatronics engineering, human-machine interaction and fusion, electrophysiology, and machine learning. Corresponding author of this paper
Recommended by Associate Editor ZHAO Qian-Chuan
Abstract: Towards knowledge work automation, the paper studies the key correlation between brain cognitive feature and operation level of operators in the process industrial production, and models the explication of tacit knowledge based on the functional brain network (FBN) feature of operators. Using phase locking value method based on the Hilbert transform focusing on instantaneous phase we construct FBN, and then apply parameters of graphic theory and link strength of community analysis of FBN of operators to the mineral grinding processing automated system, so as to obtain the feature space. The result of classification using SVM and ANN classifier suggests that the connection strength of FBNs of old hands is significantly higher than that of new learners in high frequency, while that of new learners is slightly higher in low frequency, and the accuracy of classification is 87.24%. The grinding particle size (GPS) represents the operation level initially and roughly. According to the deep analysis of GPS and FBN features, the paper suggests that the FBN features can describe the operation level more comprehensively (especially in the initial stage of operation) than GPS. The operation level detection based on FBN features is more look-ahead than based on GPS curves in time. The research provides a reference for introducing the cognitive features of knowledge worker into the process industry.
Key words: Knowledge automation     operation level     real-time detection system     brain cognition     functional brain network (FBN)     phase locking value    

流程工业知识自动化涉及生产中的操作、调度、计划决策等知识型工作自动化, 而人作为其中的一环往往发挥着至关重要的作用[1], 成为了保障整个自动化系统优化运行的关键之一.目前, 在流程工业过程中, 高强度的工作往往由机器来做, 人在整个工业流程中以操作人员等形式构成了整个流程中的重要节点.操作人员的专业程度、熟练程度和专注度都直接或间接地影响着流程工业的效率和产品的质量.人不同于机器和计算机, 人易疲倦、易受情绪影响等, 因此人又是流程工业系统中较为薄弱的一环.如果能实时监测操作人员的状态, 将操作人员的信息引入到流程工业控制中, 以及帮助非熟练操作员(生手)水平的操作人员完成熟练操作员(熟手)级别的任务, 对于实现流程工业知识自动化具有重要意义.

知识获取是知识自动化系统的关键, 它直接关系到后续所建模型的精确度和有效性.传统的知识获取方法受人的主观因素影响较大, 容易产生知识的偏差, 比如问卷调查, 问卷调查确实是一种简单易行且成本低廉的判断方式, 但问卷调查结果无法表现出操作所需要的隐性知识, 比较容易受被试者主观意志影响且不能对操作人员在整个操作过程中进行实时监控.因此, 如何能够将人的操作和运行经验等知识完整且无偏差地转化为计算机能够使用的目标语言是亟待解决的关键问题.实际上, 人的行为是由脑来控制的, 人体的行为和思维信息往往可以通过人体的生理电信号反映出来.针对那些无法表达且传递较为困难的内隐知识, 采用分析相关人员脑电等生理信号的方式来实现知识提取, 将是一种可行的方法.

研究熟练操作人员(熟手)和非熟练操作人员(生手)工作中各个脑区间功能连接模式的差异, 有助于揭示人脑知识获取与大脑功能的关系, 从而了解人脑认知、记忆和信息处理的过程.从人机交互方面来讲, 认知特征的引入, 可以帮助我们更客观更超前地检测出操作人员的熟练程度.近年来, 脑网络作为神经科学领域的新方法, 得到了研究者们的广泛关注[2].对脑网络的研究主要集中在大脑神经疾病的诊断[3], 以及大脑智力、记忆力、认知、信息处理等功能或过程[4].本文将脑网络理论引入到流程工业过程中, 建立了一套基于操作人员脑网络特征的操作控制熟练程度隐性知识的显性化系统.以磨矿这一流程工业过程为例, 针对熟手与生手操作人员的脑电(Electroencephalogram, EEG)信号, 采用关注信号瞬时相位、基于希尔伯特变换的相位锁值(Phase locking value)[5-7], 构建了脑功能网络(Functional brain networks, FBN)[8], 将脑网络特征的分类结果作为隐性知识的显性化描述.利用图论(Graph theory)[9]方法和社区(Community)划分方法[10]提取脑功能网络特征, 建立特征空间.磨矿系统操作过程中形成的溢流粒度(Grinding particle size, GPS)曲线可以初略地反映操作人员的熟练程度, 本文在深入分析了其溢流粒度曲线与操作员的脑网络特征的基础上, 建立了操作控制与脑电特征之间的关系, 将工业控制过程信息与人脑认知特征有机地联系起来.

1 实验方法 1.1 实验

在学校招募20人(25 ± 2岁)作为被试者, 其中5名被试者为女性.所有被试都是自愿参加实验, 没有神经疾病历史.从20名被试者中随机挑选出10名进行磨矿控制技能培训, 为期一个月, 作为操作熟练组.剩余10名被试者不接受培训, 仅对其介绍磨矿控制操作方法, 作为操作不熟练组.

被试者在东北大学流程工业自动化国家重点实验室的磨矿系统半实物仿真系统[11-12]上进行控制过程操作, 控制给矿量、给水量以及磨矿浓度[13]三个磨矿参数来控制溢流粒度值, 同时使用NeuroScan脑电采集系统(共37个电极: 7个参考电极, 30个脑电电极符合国际10 $\sim$ 20标准; 采样率: 1 000 Hz; 0.5 $\sim$ 40 Hz带通滤波器)采集被试者脑电信号.如图 1所示.每次实验开始前由工作人员告知被试者当前的溢流粒度值与目标溢流粒度值, 目标值与当前值相差5个单位(如图 3所示).被试者通过控制三个磨矿控制参数, 使溢流粒度由当前值到达目标值, 限时5分钟.在这个过程中, 被试者无法看到溢流粒度曲线, 只能凭感觉和经验进行操作.而操作过程中的溢流曲线将被截取保存下来, 作为实验数据进一步处理.

图 1 实验过程示意图 Figure 1 The diagram of experiment process
图 3 样本散点图((a)原始特征散点图; (b)主成分分析后相互独立的成分散点图) Figure 3 The scatters of samples ((a) The scatters of raw features; (b) The scatters of individual PCA components)

采集的被试者脑电信号经过预处理, 采用独立成分分解(Independent component analysis, ICA), 滤波器与样本熵(Sample entropy)结合的方法自动检测和去除伪迹, 计算邻接矩阵, 设置阈值构建出脑功能网络, 利用图论方法及大脑社区方法计算出脑网络参数作为特征进行分类.

1.2 脑功能网络

本文用脑网络方法评价操作人员的操作水平, 将脑网络特征的分类结果作为隐形知识的显性化描述.对采集的脑电信号进行预处理之后计算邻接矩阵(Adjacent matrix)[14].邻接矩阵的大小与脑电导联数有关(导联数×导联数), 由每两个电极采集到的脑电信号的同步性作为该矩阵元素存放在矩阵对应导联的位置.该同步性需要能够表达出两个导联所在脑区的同步激活状态.以电极位置为节点, 以两个电极采集的脑电信号间同步性强度为连接节点的边, 构建脑功能网络.

基于脑电信号的脑功能网络可以通过信号的不同属性的同步/相关性来构建, 传统的研究方法有时域方法:相关性(Correlation coefficient)、非线性相关性, 和频域方法:相干性(Coherence coefficient); 现代的研究方法有信息论方法:互信息(Mutual information); 状态空间同步(Synchronization in state space):似然同步方法(Synchronization likelihood)[15], 非线性相互依赖性(Nonlinear interdependence); 相位同步(Phase synchronization)方法:相位锁值(Phase locking value); 基于多元自回归模型(Multivariate autoregressive model MVAR)的参数估计法:格兰杰因果性(Granger causality), 部分有向相干性(Partial directed coherence)等[16].本文使用相位锁值方法, 两个非线性时间序列即使在幅值不相关的情况下, 也有可能会在相位上产生同步, 这就是所谓的相位同步, 相位锁值是相位同步方法中一种.

相位的获取主要有两种方法, 一种是基于希尔伯特变换(Hilbert transform)的相位计算方法, 另一种是通过对信号进行基于Morlet小波函数的小波变换求出信号相位[5].其中第二种方法继承了小波分析的优势, 属于时--频分析方法, 不需要预设滤波器就可以计算特定频段信号的相位.但是该方法相对于基于希尔伯特变换方法来说计算复杂、耗时, 且该方法所用小波函数在所选频段中心能量高边缘能量低, 导致在分析脑电特定节律信号时, 其中各频率成分贡献不平均.因此本文采用基于希尔伯特变换的相位计算方法.

为计算信号相位, 引入分析信号

$ \begin{equation} {\pmb\zeta} (t)={\pmb s}(t)+i\hat{\pmb s}(t) \end{equation} $ (1)

其中, ${\pmb s}(t)$为原始信号, 而$\hat{\pmb s}(t)$为原信号希尔伯特变换后结果.希尔伯特变换即为方程${\pmb h}(t)=p.v.\frac{1}{\pi t}$与原信号卷积, 公式如下:

$ \begin{align} &\hat{\pmb s}= H\{\pmb s\}={\pmb h}*{\pmb s}\nonumber \\ &\hat{\pmb s}(t)=\int_{-\infty}^{\infty}{\pmb s}(\tau){\pmb h}(t-\tau){\rm d}\tau=\nonumber \\ &\qquad\frac{1}{\pi}p. v. \int_{-\infty}^{\infty}\frac{{\pmb s}(\tau)}{{ t}-\tau}{\rm d}\tau \end{align} $ (2)

其中, $p.v.$为柯西主值.相位锁值计算两个导联的信号的相位角之差的余弦值和正弦值在一段时间内的平均值的平方的二次根:

$ \begin{equation} {\pmb\varphi}(t)=\arctan\frac{\hat{{\pmb s}}(t)}{{\pmb s}(t)} \end{equation} $ (3)
$ \begin{equation} {\pmb\varphi}_{n, m}(t)={\pmb\varphi}_{n}(t)-{\pmb\varphi}_{m}(t) \end{equation} $ (4)
$ \begin{align} \gamma _{n, m}=\;& \sqrt{\left|\left < e^{i{\pmb\varphi}'_{n, m}(t)}\right> \right|}=\nonumber \\ & \sqrt{\left < \cos{\pmb\varphi}'_{n, m}(t)\right>^2+\left < \sin{\pmb\varphi}'_{n, m}(t)\right>^2 } \end{align} $ (5)

其中, $\left<\cdot\right>$表示在一段时间内值的平均值. ${\pmb\varphi}_{(n, m)}(t)是m$, $n$两导信号的相位差值, ${\pmb\varphi}'_{(n, m)}(t)$${\pmb\varphi}_{(n, m)}(t)$的解卷绕结果. $\gamma_{(n, m)}$即为$m$, $n$两导信号相位锁值[6].本文通过带通滤波器将预处理后的脑电信号分离出脑电不同节律$\delta(1\sim 4 \rm {Hz})$$\theta(4\sim 7 \rm {Hz})$$\alpha(8\sim 15 \rm {Hz})$$\beta(16\sim 31\rm {Hz})$及本研究关注的整个频段($0. 5\sim 31 \rm {Hz}$), 然后以宽度为一秒的滑动时间窗结合相位锁方法, 构建出随着时间变化的不同频段的脑功能网络.

1.3 脑功能网络分析方法

图论分析方法是以图为研究对象的数学方法, 利用图论方法可以用数字来度量脑网络的一些性质.常用的描述脑网络的一些参数为度、聚类系数、特征最短路径[9].根据研究的网络类型不同, 这些参数的计算方法也不同.网络根据边的属性分为有向与无向, 加权与二值[3].是否有向由计算脑网络方法决定, 相位锁值计算得到的是无向网络.加权网络的边具有权值, 权值表示连接的强度, 其范围为[0, 1], 脑网络的构建得到的通常是加权脑网络, 若研究只关注脑网络结构, 不考虑节点间的连接强度, 可以将脑网络做二值化处理.本文使用的是加权无向网络, 则三个网络参数的计算方法如下:度(Degree)是用来度量节点中心性, 等于与节点相连的节点数量.单独节点的度可以反映该节点的重要程度.网络所有节点的平均度度量二值化网络的疏密程度(即网络中边的数量)和加权网络的连接强度, 下式$k_i$为节点$i$的度, $w_{ij}$为连接节点$i$$j$边的权值:

$ \begin{equation} k_i=\sum\limits_{j\in N}w_{ij} \end{equation} $ (6)

聚类系数(Clustering coefficient)是度量网络中的某一结点附近的网络结构, 对于节点$i$来说$t_i$即表示周围节点(指与节点$i$相连的节点)间的连接率.在加权网络中即指以包含节点$i$在内的三个节点构成的三角形的三边的权值之积的三次根比上$k_i$($k_i-1$).而平均聚类系数反应了整个网络的隔离程度(是否分散成了若干个社区).

$ \begin{equation} t_{i}=\frac{1}{2}\sum\limits_{j, h\in N}(w_{ij}w_{ih}w_{jh})^{\frac{1}{3}} \end{equation} $ (7)
$ \begin{equation} C=\frac{1}{n}\sum\limits_{i\in N}\frac{2t_i}{k_{i}(k_{i}-1)} \end{equation} $ (8)

平均最短路径(Average shortest path)是度量网络集成度, 即能够反映来自各个脑区的信息快速结合的能力.特征最短路径(Characteristic shortest path)指网络中两节点间以最短距离连接方式连接的距离.由于我们研究的网络是加权网络, 因此, 每条边的距离为其权值的倒数, 即权值越大, 连通越好则距离越近.节点$i$与节点$j$的特征最短路径计算公式如下:

$ \begin{equation} d_{ij}=\sum\limits_{a_{uv}\in g_{i\rightarrow j}}\frac{1}{w_{uv}} \end{equation} $ (9)

其中, $g_{(i\rightarrow j)}$为节点$i$$j$之间最短路径上的边的集合, $a_{uv}$为连接节点$u$$v$的边.

$ \begin{equation} L=\frac{1}{n}\sum\limits_{i\in N}\frac{\sum\limits_{j\in N, j\neq i}d_{ij}}{n-1} \end{equation} $ (10)

由于在本文实验的磨矿任务中, 被试者首先受到视觉上的刺激, 即显示器上操作界面到被试者眼睛的信息输入过程.然后大脑处理这些信息, 做出规划和命令, 输出操作员的操作行为.而人类大脑四大脑区中的枕叶和额叶则是这一过程的主要参与者, 枕叶通过神经元与视神经直接相连, 因此其神经活动充分反映了视觉刺激的变化.而额叶拥有最多的多巴胺敏感神经细胞, 而多巴胺系统与短时记忆, 计划与注意力有关[17], 这些都是磨矿操作任务中需要的.因此本文研究关注这两个脑区的神经活动, 为减少系统冗余, 节约计算成本我们从30导脑电信号中选出: $Fp1$$F7$$F3$$Fp2$$F8$$F4$$O1$$O2$作为研究对象, 如图 2所示.将导联电极分成:左侧额叶区域($c1$: $Fp1$$F7$$F3$)、右侧额叶区域($c3$: $Fp2$$F8$$F4$)以及枕叶(Occipital lobe)区域($c2$: $O1$$O2$)三个脑区.各个脑区内部功能相近且电极位置接近故划分成一个脑区.计算$c1$$c2$$c3$三个脑区的区内连接强度, 与两两脑区之间的连接强度, 作为本文设计专家系统的分类特征.脑区内部的连接强度由脑区内导联间的连接强度的平均值确定.脑区间的连接强度是其中一个脑区内所有导联与另一个脑区内所有导联间连接强度的平均值.这样就得到6个特征: $c1$$c2$$c3$内部连接强度及$c1-c2$$c1-c3$$c2-c3$区间连接强度.

图 2 脑电电极位置及脑区划分图 Figure 2 The location of electrodes and brain communities
1.4 特征提取与特征选择

由上述方法得到的特征组成的特征空间的维数为5 $\times $ 9, 5为脑电信号分的频段数.该特征空间中不同元素的可分性不同, 且部分可分性高的特征之间具有很强的相关性, 如图 3(a)所示, 为特征空间中与分类目标相关性最强的三个特征, 三个特征具有很强的线性相关性.因此产生的信息具有很大的冗余.为了减少信息冗余同时降低分类器的计算成本, 对原始的特征空间用主成分分析方法进行降维处理, 去除特征间相关性[18].

在主成分分析后, 得到了8个主要成分(如表 1所示, 8个成分的方差贡献率之和为82.71%), 8个成分之间相互独立.由这8个特征组成新的特征向量, 该特征向量仍具有较高的维数, 且其中有些特征不利于分类.因此需要利用不同的可分性测度对8个成分进行排序, 通过特征选择的方法提取出有利于分类的特征组成新的特征向量.排序的根据通常有:方差贡献率、与分类目标相关性、假设检验的显著性、接收机操作特性曲线(Receiver operating characteristic curve, ROC)、可分性判据等.

表 1 主成分分析得到的各个成分的相关参数与可分性判据 Table 1 The properties and the sort separability criterion of the PCA components

本文采用的是基于特征排序与支持向量机结合的方法, 从少到多扩充特征子集的寻求次优解[19], 该方法的优点在于计算量小.首先对所有8个成分的特征进行基于支持向量机的五倍交叉验证得出每个成分分类准确率的无偏估计.五倍交叉验证是指若有180个样本, 将其中30个作为测试集, 150个作为训练集进行多次训练和分类, 得到分类精度的平均值.然后以分类精度作为可分性判据将8个成分进行排序, 以排名第一的成分为起始特征子集, 而后逐一将剩下成分中排名第一的成分加入到特征子集, 再进行五倍交叉验证, 直到分类准确率没有明显增长为止, 得出的就是经过选择的次优分类子集.

1.5 分类及评价

本文选用支持向量机分类器(Support vector machine, SVM)与神经网络分类器, 两个分类器作为模式识别中最常用的两个分类器, 在神经科学研究中各有优势. SVM分类器是基于结构最小化理论, 将特征向量映射到高维特征空间中, 选择尽可能将不同类样本点分开的超平面, 该超平面即为判别函数.支持向量机的优点在于其利用少量特征向量作为支持向量, 因此适用于小样本分类, 具有较强的泛化能力[20].但是, 由于脑电信号为非线性非平稳信号, 其在时间尺度上计算到的特征也具有非线性特征.因此样本特征可能会出现线性不可分的情况, 而支持向量机作为线性分类器, 分类效果会不好.利用核函数技术可以使支持向量机成为非线性分类器, 克服上述缺点, 本文采用的非线性核函数为高斯RBF核的支持向量机.

神经网络分类器是基于误差最小化理论的非线性分类器, 本文使用的是分类性能优秀的三层BP (Back propagation)神经网络, 三层BP神经网络结构包括输入层、输出层和隐含层.输入层神经元个数由特征向量的维数确定.由于是二分类问题, 因此, 输出层神经元个数为1.隐含层的神经元数量通常由输入层输出层节点个数决定, 常用的经验公式有很多[21].除了经验公式法, 可以通过逐渐增加隐含层神经元数量搜索出分类精度最高的隐含层神经元个数, 本文确定隐含层神经元个数就是采用这种方法[22].

分类器性能评价是判断分类结果好坏的重要步骤, 传统的评价分类器性能的方法有准确率(Accuracy)、精确度(Precision)、召回率(Recall)及F测度(F-score).而如今常用的评价方法为ROC曲线和AUC (Area under ROC curve)值[19].本文使用了以上三种分类器结合成分(1, 2, 6, 7)和成分(1, 2, 6, 7, 8, 4, 3, 5)两个特征子集进行分类, 并对这些分类方式进行评价.

2 实验结果 2.1 粒度曲线

粒度曲线是通过控制给矿量、给水量以及磨矿浓度三个磨矿参数而形成的描述磨矿溢流粒度值随时间的变化的曲线. 图 4所示为其中3个生手被试者与3个熟手被试者在实验过程中的操作结果(粒度曲线)以及粒度曲线的差分.与生手水平操作者相比, 具有熟手水平操作者控制的粒度曲线波动较小, 且曲线比较平滑.可以从粒度曲线中看出生手被试者$a$的粒度曲线变动过于迅速和剧烈, 一度远远偏离目标值, 在后半段的调整下逐渐接近目标值, 但依然没有达到目标值.从其粒度差分曲线可以看出粒度曲线波动剧烈, 且较为对称地分布于0值上下, 这说明被试者$a$在操作过程中的调整大部分都是无效的, 粒度曲线在接近目标值的过程中经常大幅度调整.而在生手操作者$b$$c$的操作下, 粒度曲线在前期波动比较大, 后期趋于平稳, 但最终依然没有到达目标值(生手操作员$b$在100 s左右非常接近目标值后又偏离).而熟手的粒度曲线也有这种趋势, 前期波动大, 后期平稳, 但规律不明显, 相对于生手变化比较平稳, 图中三个熟手最后都趋近于目标值.

图 4 熟手与生手操作形成的溢流粒度曲线对比 Figure 4 The difference in GPS curves between old hands and new learners
2.2 脑网络分析

图 5为根据全部操作员不同频段脑电信号建立的平均脑功能网络图, 将电极位置作为脑网络的节点, 而电极之间的连线表示这两个电极采集到信号的相位同步性, 即相位锁值, 作为脑网络的边, 边的粗细代表着相位锁的值.为简化脑网络图, 便于发现规律, 设置0.5为阈值, 只绘制相位锁值高于0.5的边, 因为低于0.5的相位同步可能是由于容积导连(Volume conduction)造成的伪同步.从图 5可以看出, 在$\delta$$\theta$节律以及整个频段中, 生手与熟手的脑网络区别不大, 而在$\alpha$$\beta$两个高频节律中, 熟手的脑网络比生手的脑网络更加完整.高频部分生手的脑网络结构在前额脑区连接强度较高, 缺少前额与枕部的连接.

图 5 各频段熟手与生手脑网络对比 Figure 5 The comparison of brain network between old hands and new learners in different frequency band

通常, 在操作人员操作过程中, 为达到目标值会在操作前期频繁且大幅度调整三个控制参数, 以期快速达到目标值附近, 然后再进行微调, 因此图 4中的熟手与生手控制形成的粒度曲线都会表现出前期变化幅度大, 后期变化幅度小的规律, 所以很难在实验进行前期(如0 $\sim$ 50 s期间), 根据粒度曲线变化判断出操作人员对操作的熟练程度.而采用脑电分析方法可以在整个操作过程, 特别是实验开始50 s内判断操作人员的熟练程度. 图 6为熟手与生手在高频波段($\alpha$$\beta$)脑功能网络的三个图论参数随着时间的变化.在$\alpha$波段整个操作过程中, 熟手脑网络的平均聚类系数与平均度比生手高, 而平均最短路径要比生手短.而在$\beta$波段整个操作过程中, 熟手与生手在平均聚类系数和平均度这两个的图论参数上区别更加明显, 而平均最短路径差别不大, 在某些时段熟手与生手的平均最短路径混在一起.这说明在整个任务过程中, 高频部分熟手的脑网连接强度要比生手高, 结构要比生手高效.可以看出, 不同于粒度曲线, 这一区别在操作过程中一直出现包括开始的50 s之内.

图 6 操作员的脑功能网络图论参数随着时间变化(α频段、β频段) Figure 6 The changes of graphic theoretic parameters of functional brain networks of operators with time (α and β bands)

图 7为对各个频段熟手与生手在操作开始50 s内, 其脑网络的图论分析结果.三个参数分别为平均度、平均聚类系数、平均最短路径, 这三个参数从不同角度反映了脑网络的特征.比较图 7图 5, 在$\alpha$$\beta$波段的脑电信号, 熟手与生手对比明显, 即熟手的平均度与平均聚类系数要比生手高($p<0.01$), 同时熟手的平均最短路径要比生手短($p<0.01$).相对而言在整个波段和低频波段, 熟手与生手的对比较不明显.尤其是$\delta$波段, 熟手的平均度与平均聚类系数反而低于生手($p<0.01$), 平均最短路径比生手长($p<0.01$).但是这三个图论分析参数只能反应脑网络全局的结构和权值变化, 忽视了网络内部细节部分.而且三个测度之间具有较强的相关性, 会为后续分类造成系统冗余, 且对分类没有更多贡献.

图 7 实验开始50 s内各频段熟手与生手脑网络参数对比 Figure 7 The comparison of brain network parameters between old hands and new learners in different frequency band during the 50 s of experiment0s beginning

图 8所示为不同频率段中熟手与生手之间在实验开始50 s内各个脑区内部和互相之间平均连接强度的对比图, 其中和图 4相对应的, 熟手的脑功能网络在$\alpha$$\beta$波段中的各个脑区内部和互相之间的连接强度比生手更高($p<0.01$), 尤其是额叶部分的$c1$ (左前额)区, $c3$ (右前额)区, 以及三个脑区之间的连接强度对比也尤为明显, 这种现象在整个频段上反而不明显($p>0.01$).而在低频段($\delta$) $c1$区内部连接($p<0.05$)和$c1$$c2$$c3$三个脑区间的连接强度($p<0.01$)有相反的现象, 即生手连接强度略高于熟手.

图 8 实验开始50 s内熟手与生手各频段三个脑区内连接与脑区间连接强度对比 Figure 8 The comparison of the internal-and inter-connection strength of three brain regions between old hands and new learners during the 50 s of experiment0s beginning
2.3 特征子集

图 3所示, 图 3(a)为以主成分分析前与分类目标相关性最高的三个特征作为坐标的样本散点图, 可以看出三者具有很强的线性关系, 因此三者只需要一个参与分类即可.其余两个会造成分类器计算冗余.而图 3(b)为以主成分处理后三个与分类目标相关性最高的三个成分为坐标的样本散点图, 可见三者已没有线性关系.

表 1所示为各成分的可分性判据.由表 1中所示SVM交叉验证得到的平均准确率与方差贡献率有较强的线性关系, 同时第一个成分从各个参数和可分性判据来看无疑是分类最优成分.因此以第一个成分为起始特征子集, 利用次优搜索技术以顺序向前选择的方式进行特征选择.

随着特征逐渐添加的过程, 计算不同特征子集的平均分类准确率.如图 9所示, 当特征子集扩充到四维时已经达到了最好的分类结果.因为无法证明最优解一定包含成分1, 因此得出的特征子集(成分1、成分2、成分6、成分7)为次优特征子集.

图 9 次优搜索过程中特征子集的平均分类准确率 Figure 9 The average accuracy of feature vectors in searching for suboptimal feature vector
2.4 分类结果

特征向量维度高时的分类结果比特征向量维度低时好, 如表 2所示.相较于其他两种分类器, 带高斯核函数的支持向量机分类器的分类效果比线性支持向量机与神经网络分类器好.分类准确率最高的分类方式为带高斯核函数的SVM分类器与主成分分析得到的全部主要成分组成的特征向量结合的分类方式, 准确率达到了87.24%, 不过考虑到五倍交叉检验得到的标准差可以看出该方式并不具有绝对优势, 因此可以说明本文提出的特征提取和特征选择方法筛选得到的特征向量具有相当的可分性.由AUC值可以看出, 神经网络分类器的分类性能并不理想.这可能是由于本文使用的特征选择方法是基于SVM分类器, 因此不适用于神经网络分类器.

表 2 不同分类方式的性能评价 Table 2 The performance assessment of different classifiers and feature vectors
3 结论

本文研究了磨矿控制过程中操作员基于脑电信号的脑认知特征与操作控制效果之间的关系, 并建立磨矿控制操作水平的识别系统.磨矿控制中操作员的操作水平为隐性知识, 该系统将操作人员脑网络特征作为表征操作水平隐形知识的显性化描述.在高频区, 熟手的脑功能网络连接强度明显高于生手; 在低频部分则生手操作员的脑功能网络连接强度略高; 上述特征在整个操作过程中一直出现, 其特征分类准确率为87.24%.相对于磨矿操作过程中形成的溢流粒度曲线可以初略地反映操作人员的熟练程度这一情况, 操作员的脑网络特征可以更加全面地描述操作控制水平(特别在操作开始时间段), 采用脑网络特征识别操作控制水平的方法能够在时间上超前于溢流粒度曲线, 且识别结果更加客观.本研究对于将知识工作者的认知特征引入到流程工业控制中, 具有一定的借鉴意义.

参考文献
1
Wang Fei-Yue. Software-defined systems and knowledge automation:a parallel paradigm shift from Newton to Merton. Acta Automatica Sinica, 2015, 41(1): 1-8.
( 王飞跃. 软件定义的系统与知识自动化:从牛顿到默顿的平行升华. 自动化学报, 2015, 41(1): 1-8.)
2
Zhang Fang-Feng, Zheng Zhi-Gang. Complex brain networks:progresses and challenges. Journal of University of Shanghai for Science and Technology, 2012, 34(2): 138-153.
( 张方风, 郑志刚. 复杂脑网络研究:现状与挑战. 上海理工大学学报, 2012, 34(2): 138-153.)
3
Stam C J, de Haan W, Daffertshofer A, Jones B F, Manshanden I, van Cappellen van Walsum A M, Montez T, Verbunt J P A, de Munck J C, van Dijk B W, Berendse H W, Scheltens P. Graph theoretical analysis of magnetoencephalographic functional connectivity in Alzheimer's disease. Brain, 2008, 132(1): 213-224.
4
Wang Xing-Yu, Jin Jing, Zhang Yu, Wang Bei. Brain Control:human-computer integration control based on brain-computer interface. Acta Automatica Sinica, 2013, 39(3): 208-211.
( 王行愚, 金晶, 张宇, 王蓓. 脑控:基于脑——机接口的人机融合控制. 自动化学报, 2013, 39(3): 208-211.)
5
Lachaux J P, Rodriguez E, Martinerie J, Varela F J. Measuring phase synchrony in brain signals. Human Brain Mapping, 1999, 8(4): 194-208. DOI:10.1002/(ISSN)1097-0193
6
Sauseng P, Klimesch W. What does phase information of oscillatory brain activity tell us about cognitive processes?. Neuroscience and Biobehavioral Reviews, 2008, 32(5): 1001-1013. DOI:10.1016/j.neubiorev.2008.03.014
7
Celka P. Statistical analysis of the phase-locking value. IEEE Signal Processing Letters, 2007, 14(9): 577-580. DOI:10.1109/LSP.2007.896142
8
Sporns O. Structure and function of complex brain networks. Dialogues in Clinical Neuroscience, 2013, 15(3): 247-262.
9
Rubinov M, Sporns O. Complex network measures of brain connectivity:uses and interpretations. NeuroImage, 2010, 52(3): 1059-1069. DOI:10.1016/j.neuroimage.2009.10.003
10
Ahmadlou M, Adeli H. Functional community analysis of brain:a new approach for EEG-based investigation of the brain pathology. NeuroImage, 2011, 58(2): 401-408. DOI:10.1016/j.neuroimage.2011.04.070
11
Lu S W, Zhou P, Chai T Y, Dai W. Modeling and simulation of whole ball mill grinding plant for integrated control. IEEE Transactions on Automation Science and Engineering, 2014, 11(4): 1004-1019. DOI:10.1109/TASE.2013.2296309
12
Lu Shao-Wen. Research on Monte Carlo simulation of grinding breakage process. Journal of Northeastern University (Natural Science), 2014, 35(6): 770-773, 808.
( 卢绍文. 磨矿破裂过程的蒙特卡洛仿真方法研究. 东北大学学报(自然科学版), 2014, 35(6): 770-773, 808.)
13
Lu Shao-Wen, Yu Ce. A fast Monte Carlo algorithm for dynamic simulation of particle size distribution of grinding processes. Acta Automatica Sinica, 2014, 40(9): 1903-1911.
( 卢绍文, 余策. 磨矿粒度动态过程的一种快速Monte Carlo仿真方法. 自动化学报, 2014, 40(9): 1903-1911.)
14
Honey C J, Kötter R, Breakspear M, Sporns O. Network structure of cerebral cortex shapes functional connectivity on multiple time scales. Proceedings of the National Academy of Sciences of the United States of America, 2007, 104(24): 10240-10245. DOI:10.1073/pnas.0701519104
15
Stam C J, Van Dijk B W. Synchronization likelihood:an unbiased measure of generalized synchronization in multivariate data sets. Physica D:Nonlinear Phenomena, 2002, 163(3-4): 236-251. DOI:10.1016/S0167-2789(01)00386-4
16
Pereda E, Quiroga R Q, Bhattacharya J. Nonlinear multivariate analysis of neurophysiological signals. Progress in Neurobiology, 2005, 77(1-2): 1-37. DOI:10.1016/j.pneurobio.2005.10.003
17
Miller E K, Cohen J D. An integrative theory of prefrontal cortex function. Annual Review of Neuroscience, 2001, 24: 167-202. DOI:10.1146/annurev.neuro.24.1.167
18
Theodoridis S, Theodoridis K. Pattern Recognition (4th Edition). Burlington: Academic Press, 2008, 323-350.
19
Webb A R, Copsey K D. Statistical Pattern Recognition (3rd Edition). Chichester, UK: John Wiley & Sons, 2011, 435-455.
20
Sun Hui-Wen, Fu Yun-Fa, Xiong Xin, Yang Jun, Liu Chuan-Wei, Yu Zheng-Tao. Identification of EEG induced by motor imagery based on Hilbert-Huang transform. Acta Automatica Sinica, 2015, 41(9): 1686-1692.
( 孙会文, 伏云发, 熊馨, 杨俊, 刘传伟, 余正涛. 基于HHT运动想象脑电模式识别研究. 自动化学报, 2015, 41(9): 1686-1692.)
21
Basheer I A, Hajmeer M. Artificial neural networks:fundamentals, computing, design, and application. Journal of Microbiological Methods, 2000, 43(1): 3-31. DOI:10.1016/S0167-7012(00)00201-3
22
Yang Shu-Ying. Pattern Recognition and Intelligent Computing:Technical implement of Matlab (2nd Edition). Beijing: Publishing House of Electronics Industry Press, 2011, 134-140.
( 杨淑莹. 模式识别与智能计算:Matlab技术实现. 第2版. 北京: 电子工业出版社, 2011, 134-140.)