文章快速检索  
  高级检索
协同交互情境下双视图耦合的多用户身份识别
杨玉辉1, 王伟杰2, 万华根2    
1. 浙江大学 现代教育技术中心, 杭州 310027;
2. 浙江大学 计算机辅助设计与图形学国家重点实验室, 杭州 310058
摘要:针对目前协同交互情境下,因遮挡和接触等因素引发的多人协作身份识别错误问题,提出一种双视图耦合的多用户身份识别方法.借助深度相机,分别通过骨骼运动跟踪和卡尔曼滤波建立双视图运动跟踪.利用双视图的用户运动跟踪数据构建相互关联的耦合有限状态机,对耦合关系中的具体运动状态进行分析,建立规则算法;引入实时正误标记值进行多用户身份识别的实时监控与耦合矫正.所提方法与基于单视图的多用户身份识别方法进行对比实验,结果表明,在协同交互情境下所提方法对多用户身份识别更具有鲁棒性.
关键词协同交互     身份识别     卡尔曼滤波     运动跟踪     有限状态机(FSM)    
Multi-user identification based on double views coupling in cooperative interaction scenarios
YANG Yuhui1 , WANG Weijie2 , WAN Huagen2     
1. Modern Educational Technology Center, Zhejiang University, Hangzhou 310027, China;
2. State Key Laboratory of Computer Aided Design and Computer Graphics, Zhejiang University, Hangzhou 310058, China
Abstract:An approach of multi-user identification based on double views coupling was proposed for the problem of identification error in cooperative multiplayer caused by occlusion and contact, in cooperative interaction scenarios. Double views motion tracking was established by the method of skeletons motion tracking and Kalman filter, with the depth cameras. Correlative finite-state machine was build using the motion tracking data of double views, to analyze the specific user motion status of coupling relationship and set up algorithms, the value of true or false tag was introduced to monitor and coupling correct multi-user identity in real-time. The new approach was compared with that of multi-user identity based on single view by experimentation, it is indicated that, the approach of multi-user identification based on double views coupling in cooperative interaction scenarios is more robust.
Key words: cooperative interaction     identification     Kalman filter     motion tracking     finite-state machine (FSM)    

计算机支持协同工作(Computer Supported Cooperative Work,CSCW)是指在计算机支持的环境中,一个群体协同工作完成一项共同的任务.它改善了人们信息交流的方式,提高了群体工作的质量和效率[1].协同交互指在计算机支持协同工作中所使用的人机交互技术.当前多人协同交互情景普遍存在,如体感游戏中多人协同游戏交互、基于桌面的多人多点触摸系统等[2, 3].协同交互情景中都会遇到多用户的身份识别问题,如果身份识别不稳定将会导致多用户身份冲突、身份错误引发的分工混乱、授权重复,乃至整个协作任务失败的灾难性问题[4].如何在协同交互情景中健壮地识别用户身份是当前人机交互领域的重要研究方向之一.

当前人机交互中多用户的身份识别方法依其采用的装置主要可分为2大类.

1) 基于单一装置的多用户身份识别方法.这类方法依其具体技术路线主要可分为以下3个子类.

① 基于单视图骨骼运动跟踪的多用户身份识别方法:这类方法以Gall等提出的基于骨骼点跟踪和外表评估的运动扑捉方法[5]和Matt提出的基于骨骼跟踪的多用户身份管理方法[6]为代表.其优势在于可以解决多用户之间的部分接触问题,不足在于难以处理多用户之间因遮挡造成的身份识别错误.

② 基于单视图图像运动跟踪的多用户身份识别方法:Salvi等提出利用单相机跟踪目标的图像比例和运动速度,推导物体的运动轨迹,进行用户身份识别[7, 8].张彦超等提出遮挡目标的跟踪处理方法,用于解决运动跟踪中用户的部分遮挡问题[9, 10].其优势在于对未接触和未完全遮挡的多用户识别较好,不足在于无法辨别完全遮挡的用户身份和接触状态的多用户身份.

③ 基于单视图人体特征点匹配的多用户身份识别方法:Qin等提出利用移动深度相机采集用户脸部、外观、骨骼数据存储数据库,将当前用户的信息与数据库进行比对,根据可信度结合运动跟踪进行用户识别[11, 12, 13].其优势在于多用户身份特征明显的情况下识别准确率较高,不足之处在于信息匹配可信度低的情况下容易出现身份识别错误.

2) 基于多装置组合跟踪的多用户身份识别方法.Meng等提出了利用智能手机的陀螺仪、加速度计等,结合深度相机的运动跟踪进行身份识别[14, 15].此类方法的优势在于可以解决多用户遮挡后,身份的重新识别,但是不能解决遮挡过程中用户的身份识别和交互控制.

以上方法常常采用单相机视图,大多涉及到骨骼跟踪、人体特征点匹配、Camshift、卡尔曼滤波、粒子滤波等运动跟踪算法[16, 17],虽然在一定程度上实现了协同交互情境下多用户身份识别,但是针对多用户存在的不同干扰因素,如多用户完全遮挡、部分接触、特征点匹配失败、跟踪丢失等没有做出很好的处理,鲁棒性仍有待提高.

本文提出一种协同交互情景下的多用户身份识别方法,它是一种双视图运动跟踪的耦合方法,通过骨骼运动跟踪和卡尔曼滤波建立双视图身份耦合,对耦合关系中的具体运动建立有限状态机(Finite-State Machine,FSM)描述,设定规则算法并引入实时正误标记值,按照有限状态机的指导对各个视图中多用户身份识别进行实时监控与矫正,从而提高协同交互情境下多用户身份识别的鲁棒性.

1 基于单视图的多用户身份识别

该部分介绍了前视图和顶视图中本文采用的运动跟踪方法,对各个单视图的多用户身份识别优势和不足进行分析.

1.1 基于前视图的多用户身份识别

骨骼运动跟踪已经有了很多相关的研究,比较流行的如Gall和Shotton等[5, 18]的骨骼运动跟踪.本文在前视图中采用了Shotton的骨骼运动跟踪方法,利用人体识别和人体的骨骼特征匹配进行骨骼ID的分配,提取用户的头部骨骼点为跟踪点,对每个用户ID进行身份标记,从而实现对用户的身份运动跟踪.骨骼跟踪可以有效地解决多用户的部分接触问题,保证用户跟踪的正确性,但是无法解决用户遮挡引起的用户身份跟踪错误,造成多用户的跟踪丢失,使用户的身份识别出现错误.

1.2 基于顶视图的多用户身份识别

卡尔曼滤波运动跟踪是常用的运动跟踪方法,通常采用区域连通算法进行多跟踪目标的分割,Meanshift聚类算法或Camshift自适应漂移算法确定多目标的跟踪点,最后使用卡尔曼滤波进行多目标的运动跟踪[19].常规的区域连通算法,依据连通阈值形成一个连通决策树,排除重复连通点从而将跟踪目标分割开来[20].本文对区域连通算法进行了简单改进,增加深度阈值协助多目标分割.

通常区域连通算法采用种子点对相同或近似颜色的相邻像素点进行连通,排除重复像素点形成一个决策树,从而实现目标的分割.但是当跟踪目标之间发生遮挡时,算法视遮挡目标为一体,会出现分割错误(图 1(a)).本文采用深度相机增加深度阈值σ,计算相邻像素之间深度值的欧氏距离,如果相邻像素的欧氏距离小于σ,则视为连通,否则视为非连通区域.本文设定σ=30mm,D1和D2为相邻两像素的空间坐标.

本文在二维空间区域连通的基础上采用深度相机增加判定条件式(1),变量connected的值代表相邻点是否连通,若相邻两像素的深度距离小于σ,connected=1则认为相邻两像素在三维空间中连通,为0则不连通.由于遮挡目标之间深度距离限制,可有效地避免遮挡目标被视为一体的分割(图 1(b)),有助于后续运动跟踪的鲁棒性.

图 1 区域连通算法改进前后的人物分割Fig. 1 Character segmentation of original and improved regional connected algorithm

需要指出的是,虽然改进连通区域计算后结合卡尔曼滤波能够有效地对多目标进行运动跟踪,但是在解决多目标的部分接触问题时仍然会出现跟踪错误.

2 方法概述 2.1 双视图布局

单视图多用户识别方法在一定程度上实现了对多用户的身份识别,但是无法有效地解决多用户之间因遮挡、接触和跟踪错误,造成的多用户身份识别错误.本文认为,采用双视图合理布局,建立耦合,通过实时正误标记,实现双视图之间相互矫正,可以有效避免多用户之间因遮挡、交叉等因素造成的用户身份识别错误.具体双视图布局组合如图 2所示.

图 2 双视图的布局组合Fig. 2 Distribution and combination of double views

图 2(a)~图 2(c)所示的布局方式都会不可避免地出现多用户的遮挡问题,如黑色椭圆圈所示,容易引发因遮挡造成的多用户身份识别错误.因此,本文采用图 2(d)所示的前视图和顶视图的布局方式,因为相对于前3种双视图布局方式,这种双视图布局能更好地避免多用户之间的相互遮挡.

2.2 方法流程

图 3所示,所提出的方法主要分为3个部分:①骨骼运动跟踪视图.②卡尔曼滤波运动跟踪视图.③双视图耦合身份识别与矫正.

图 3 方法流程图Fig. 3 Approach procedure chart

运动跟踪部分:前视图和顶视图分别采用了骨骼运动跟踪和卡尔曼滤波运动跟踪的方法,根据用户骨骼跟踪和分割用户跟踪点建立各自的身份标记映射,进行基于身份识别的多用户运动跟踪.

双视图耦合部分:依据双视图的运动跟踪建立耦合有限状态机,依据多用户的运动情况进行状态切换.对多用户的有限运动状态进行分析,结合各自前后关键帧的运动跟踪状况,分别计算双视图运动跟踪的实时正误标记值.匹配当前双视图用户身份标记是否一致,并根据各自正误标记值的大小建立耦合指导矫正关系.如双视图的实时正误标记值符合有限状态机跟踪的正确条件,双视图中身份标记一致时,返回继续监测下一帧的运动跟踪.如果身份标记不一致,比较双视图的实时正误标记值的有效性和大小,实时正误标记值大的对实时正误标记值小的视图进行身份识别矫正.

3 基于双视图耦合多用户身份识别

本文提出的基于双视图耦合的多用户身份识别方法,首先在双视图的各个视图中分别进行用户身份识别,并进行正误判定,为耦合的有限状态机提供指导.然后,通过分析耦合前的有限状态机,建立双视图耦合的有限状态机模型.最后,借助耦合有限状态机模型,建立双视图耦合实时身份矫正的规则算法,实现对错误状态的多用户身份的实时矫正.

3.1 双视图中多用户身份识别正误判定

首先对双视图中各个视图的实时身份识别结果进行量化,计算各视图中多用户身份识别的实时正误判定指标.身份识别准确度研究主要针对连续采样的平均准确度,本文的方法主要分析当前身份识别状态多用户身份识别的实时正误标记值φ.用户跟踪正确设定φ=1,跟踪丢失、跟踪错误和跟踪无效设定φ=0.

3.1.1 前视图身份识别正误判定

前视图的骨骼运动跟踪中,针对每个用户的身份分配唯一的跟踪ID,当跟踪正常时每个用户对应的跟踪ID不变,用户跟踪出现大面积接触、丢失或者遮挡引发的跟踪错误会导致跟踪ID发生变化.依据跟踪状态的前后关系匹配,建立前视图的正误判断规则,跟踪正确的用户数为α,用户骨骼的实时正误标记值Wr=1;骨骼跟踪丢失或错误的用户数为β,实时正误标记值We=0,则前视图多用户身份识别正误判定为跟踪用户的平均实时正误标记值WF:

式中:WF的取值范围为0~1.0.式(2)的主要作用是对前视图的骨骼运动追踪正误程度进行评估,为顶视图耦合身份识别实时矫正提供指导.通过WF的值可以判断前视图中当前运动跟踪的准确程度,如视图中总人数α+β=5,WF=0.8,由此可知前视图中4名用户跟踪正确,1名用户跟踪丢失或错误,根据用户标记可以确定到跟踪错误的具体用户.

3.1.2顶视图身份识别正误判定

顶视图中卡尔曼滤波的多目标运动跟踪,采

用预测位置与实际位置的最小欧氏距离来评价运动跟踪的误差.假设当前帧T时刻,滤波预测空间坐标为HT(XH,YH,ZH),实际位置向量为OT(XO,YO,ZO),滤波的误差距离为

式(3)中AT越小运动跟踪的精度越高,针对当前状态T,根据多用户实际运动跟踪设定有效误差距离阈值为θ,设定跟踪的正误标记值为φ,进行跟踪结果正误量化.卡尔曼运动跟踪中,对当前状态T可能出现的各种常见形式进行分析,并给出跟踪正误标记的量化计算.假定OiHi分别为运动跟踪中的实际位置和预测位置,其中i用于区分跟踪用户,从而建立实际位置与预测位置的对应映射如(O1,H1)、(O2,H2)等,不同用户运动跟踪的误差距离分别为A1A2等,具体运动跟踪形式如图 4所示.

图 4 卡尔曼滤波跟踪状态分析图Fig. 4 Analysis diagram of Kalman filtering tracking status

图 4(a)状态T,卡尔曼运动跟踪预测位置H1和实际位置O1的跟踪误差为AT,AT则运动误差在有效距离之内,运动跟踪预测有效,实时正误标记值φ=1;图 4(b)状态T,卡尔曼运动跟踪预测的误差AT,如椭圆圈内所示,则运动跟踪预测无效,实时正误标记值φ=0;图 4(c)状态T,卡尔曼运动跟踪出现跟踪丢失,此时跟踪误差AT不存在,因此当前状态的运动跟踪错误,实时正误标记值φ=0;图 4(d)状态T,多用户的运动跟踪,虽然多用户的跟踪误差AT都在有效距离θ之内,但是根据前后运动预测状态可知,T1预测位置同T预测位置轨迹发生交叉.T1实际位置同T实际位置轨迹无交叉点,造成预测位置同实际位置的最小欧氏距离映射错误(O2,H1)、(O1,H2).图 4(d)椭圆圈内所示,错误跟踪用户的身份识别实时正误标记值φ=0.

依据跟踪状态的前后关系匹配,建立顶视图身份识别的正误判断规则,跟踪正确的用户数为α,实时正误标记值WTi=1;用户跟踪丢失或错误的用户数为β,实时正误标记值WTj=0,则顶视图卡尔曼滤波身份识别正误判定为跟踪用户的平均实时正误标记值WT:

式中:WT的取值范围为0~1.0.式(4)的主要作用是对顶视图卡尔曼滤波运动追踪的正误程度进行评估,为前视图耦合身份识别实时矫正提供指导.通过WT的值可以判断顶视图中实时运动跟踪的准确程度,根据用户标记可以具体到所有用户的跟踪正误,便于双视图的耦合.

3.2 双视图耦合有限状态机

针对两个视图中不同的用户识别方法,本文提出采用五元组M=(Q,Σ,δ,q0,F),建立双视图有限状态机模型.其中Q为非空有限状态集,Σ为接受状态集合,δ为转移函数,q0为初始状态,F为最终状态集合.

假设已知场景中用户数为N,WT和WF分别为顶视图和前视图的实时正误标记值,则双视图有限状态机的状态转移表如表 1所示.

表 1 双视图有限状态转移表 Table 1 Finite state conversion table based on double view
条件状态Q1:双视图跟踪正确状态Q2:前视图跟踪异常状态Q3:顶视图跟踪异常状态Q4:双视图跟踪异常
δ1(WF=1,WT=1)状态Q1状态Q1状态Q1状态Q1
δ2(WF<1,WT=1)状态Q2状态Q2状态Q2状态Q2
δ3(WF=1,WT<1)状态Q3状态Q3状态Q3状态Q3
δ4(WF<1,WT<1)状态Q4状态Q4状态Q4状态Q4

表 1中,Q1状态,双视图跟踪正确,通常体现为多用户之间非遮挡和非接触的运动跟踪;Q2状态,前视图正误标记值WF<1,顶视图正误标记值WT=1,通常体现为前视图因用户之间遮挡造成用户跟踪丢失,以及遮挡后引发的跟踪错误;Q3状态,前视图正误标记值WF=1,顶视图正误标记值WT<1,通常体现为顶视图因用户之间的部分接触造成用户跟踪丢失和接触结束后引发的跟踪错误;Q4状态,双视图的正误标记值都小于1,双视图都出现跟踪错误或丢失情况,通常体现为多用户之间出现既接触又遮挡的情况或大面积接触造成的多用户人数合并.

表 1是一个理论的状态转移表,由于Q4状态因为大面积接触、跟踪错误、跟踪丢失等因素造成的双视图异常.双视图的低正误标记值,难以推导出状态转移条件δ1、δ2和δ3对其状态转移进行指导,本文采用初始化算法进行状态转化.由双视图有限状态转移表,结合耦合前的有限状态机模型(图 5(a))分析,建立双视图耦合的有限状态机模型(图 5(b)),并指导双视图进行耦合的多用户身份识别.

图 5 双视图耦合有限状态机模型Fig. 5 Coupling finite-state machine model based on double views

图 5(a)是双视图耦合前的有限状态机模型,所有状态之间通过条件δ相互转化,异常状态Q2、Q3和Q4由于缺乏耦合的正确指导,身份识别的异常状态持续存在并能够相互转移;图 5(b)为双视图耦合后的有限状态机模型,通过耦合对异常状态Q2、Q3和Q4进行身份识别的矫正指导.Q2→Q1状态转移中,因Q2状态正误标记值WF<1,WT=1,所以δ′1为顶视图对前视图进行指导,指导后的效果等同于δ1(WF=1,WT=1),并趋向转化为Q1状态,然后由等同的Q1状态再转化为其他状态.同理Q3的转化过程也是一个耦合指导的过程,而Q4状态难以推导出δ1(WF=1,WT=1)指导条件,因此采取初始化算法重新跟踪进行身份识别.

从以上描述不难看出,所提出的双视图耦合有限状态机模型是一个指导、矫正和匹配的模型,是指导双视图中状态机的异常错误状态向正确状态推导转化的过程模型.

3.3 双视图耦合多用户身份识别矫正

通过对顶视图和前视图运动的跟踪正误量化,实现双视图的运动跟踪耦合.建立基于双视图跟踪正误标记值的耦合机制,依据双视图耦合的有限状态机模型,对单个视图中的用户身份标记进行矫正,从而提高协同交互情景下的用户身份识别能力.具体耦合机制为

式(5)中,当前视图正误标记值WF=1且顶视图正误标记值WT<1时,双视图耦合的正误标记值采用前视图,说明顶视图发生身份跟踪异常.根据有限状态机判断当前的运动状态,双视图用户标记不一致时,利用前视图对顶视图用户身份进行矫正.

当前视图正误标记值WF<1且顶视图正误标记值WT=1时,双视图耦合的正误标记值采用顶视图,说明前视图发生身份跟踪异常,根据有限状态机判断当前的运动状态,双视图用户标记不一致时,顶视图对前视图用户身份进行矫正.

当前视图正误标记值WF=1且顶视图正误标记值WT=1时,根据有限状态机判断当前的运动状态,通常WF=WT=1,双视图跟踪正确.

当前视图正误标记值WF<1且顶视图正误标记值WT<1时,双视图跟踪均出现异常,根据有限状态机判断当前的运动状态,此时重启算法,重新进行用户跟踪.

4 实验结果

实验硬件环境为CPU:Intel酷睿,i7-3770 3.4GHz,显卡:技嘉N660OC-2GD,显存2GB,内存:G.SKILL RipjawsX DDR3 1600,容量8GB;双Kinect相机;软件环境为Kinect SDK1.6,Microsoft Visual Studio 2010;空间环境为前视图Kinect相机高度1.5m,顶部Kinect相机高度3.7m.实验内容为:实验对有限状态机模型中状态Q1Q2Q3Q4对应的常见身份识别类型为无接触和遮挡多用户身份识别、多用户遮挡的身份识别、多用户部分接触的身份识别、多用户大面积接触和接触与遮挡并存的身份识别,进行状态间相互转化的身份识别实验.

4.1 无接触和遮挡的身份识别

采用双视图耦合的多用户身份识别方法,对双视图跟踪正常状态即多用户之间无遮挡和接触的运动跟踪进行实验,如图 6所示.

图 6 双视图耦合无接触和遮挡的身份识别效果Fig. 6 Identification effect of double views coupling without contact and occlusion

图 6(a)和图 6(b)为截取连续图像中608帧和617帧的跟踪结果,多用户之间无遮挡和接触的运动跟踪,双视图中用户身份标记A、B一致,且前后608帧和617帧的多用户身份也识别一致;图 6(c)和图 6(d)为截取连续图像中1222帧和1231帧的跟踪结果,虽然用户的身高发生变化,但双视图中用户身份标记A、B一致,且前后1222帧和1231帧的多用户身份识别也一致.608~617帧和1222~1231帧每帧对应的实时正误标记值均为1,前视图和顶视图连续每帧的正误标记值均为1,用户身份识别正确无需矫正,双视图耦合效果等同于单视图.

4.2 遮挡身份识别

在用户遮挡因素的干扰下,双视图耦合与单视图的多用户身份识别效果如图 7所示,左侧为遮挡干扰下的单相机前视图实验效果,右侧为耦合的双视图实验效果,耦合过程相关变量数据如表 2所示.

图 7 遮挡干扰下耦合双视图与单视图的多用户身份识别效果Fig. 7 Identification effect of coupling double views and single view by interfering with occlusion

图 7(a)~图 7(c)为单视图的前视图实验,RGB图像和深度图身份识别效果,因为用户间的遮挡容易发生识别错误.图 7(b)用户之间发生遮挡,导致被遮挡用户跟踪丢失.图 7(c)遮挡结束后引发身份ID发生变化,从而导致用户身份标记A/B发生错误;图 7(d)~图 7(f)为双视图耦合的用户身份识别效果,462~478帧前视图RGB图像中,用户ID虽然发生变化,但是用户身份标记仍然映射正确,同顶视图用户标记识别一致.表 2TF分别为顶视图和前视图实时监测场景中用户数,WTWF分别为顶视图和前视图的实时正误标记值,W为双视图耦合实时正误标记值.表 2中464~476帧前视图监测到场景中人数为1,顶视图为2可知前视图中出现遮挡情况,用户ID发生变化,引发跟踪丢失,实时准确度降低,而顶视图跟踪实时正误标记值均为1,WT>WF顶视图对前视图进行耦合矫正(图 8).

图 8 遮挡干扰下多用户身份识别的双视图 耦合矫正过程Fig. 8 Double views coupling corrections process of multi-user identification by interfering with occlusion
表 2 遮挡干扰下的双视图耦合过程变量数据 Table 2 Variable data of double views coupling process by interfering with occlusion
数据帧TF身份一致WFWTW
46222YES1.001.001.00
46322YES1.001.001.00
46421NO0.501.001.00
46521NO0.501.001.00
46621NO0.501.001.00
46721NO0.501.001.00
46821NO0.501.001.00
46921NO0.501.001.00
47021NO0.501.001.00
47121NO0.501.001.00
47221NO0.501.001.00
47321NO0.501.001.00
47421NO0.501.001.00
47521NO0.501.001.00
47621NO0.501.001.00
47722YES1.001.001.00
47822YES1.001.001.00

图 8(a)即耦合矫正前,前视图用户A对用户B发生遮挡,从而造成遮挡后用户A和用户B身份的跟踪错误.

图 8(b)顶视图中用户A和用户B运动轨迹可知,顶视图不受用户A和用户B前视图遮挡的影响.图 8(c)为顶视图依据表 2数据对前视图进行耦合矫正后的结果,从图 8(c)前视图用户AB的运动轨迹可知,耦合矫正后AB用户跟踪正确.

4.3 部分接触的身份识别

在用户部分接触因素的干扰下,双视图耦合与单视图的多用户身份识别效果如图 9所示,双视图身份识别的耦合过程相关变量数据见表 3.

图 9 部分接触干扰下耦合双视图与单视图的多用户身份识别效果 耦合矫正过程Fig. 9 Identification effect of coupling double views and single view by interfering with partial contactc

图 9(a)~图 9(c)为单视图的顶视图实验,RGB图像和深度图跟踪效果.图 9(b)发生用户之间的部分接触,导致顶视图用户难易分割,从而引发用户身份标记A或B出现丢失,接触结束后用户身份标记A或B发生跟踪错误(图 9(c));图 9(d)~图 9(f)为双视图耦合的用户身份识别效果,637~654帧顶视图深度图像中,虽然用户之间出现接触导致用户分割错误,但是接触结束后顶视图深度图像中用户身份标记仍然正确,同前视图RGB图像中用户标记识别一致.

表 3 部分接触干扰下的双视图耦合过程变量数据 Table 3 Variable data of double views coupling process by interfering with partial contact
数据帧TF身份一致WFWTW
63722YES1.001.001.00
63822YES1.001.001.00
63922YES1.001.001.00
64022YES1.001.001.00
64112NO1.000.501.00
64212NO1.000.501.00
64312NO1.000.501.00
64412NO1.000.501.00
64512NO1.000.501.00
64612NO1.000.501.00
64712NO1.000.501.00
64812NO1.000.501.00
64912NO1.000.501.00
65012NO1.000.501.00
65112NO1.000.501.00
65222YES1.001.001.00
65322YES1.001.001.00
65422YES1.001.001.00

表 3中641~651帧顶视图监测到场景中人数为1,前视图为2,可知用户之间出现部分接触情况,造成顶视图用户难以分割,引发跟踪错误,实时准确度降低,而前视图跟踪正误标记值均为1,WT<WF前视图对顶视图进行耦合矫正(图 10).

图 10 部分接触状态多用户身份识别的双视图耦合矫正过程 耦合矫正过程Fig. 10 Double views coupling corrections process of multi-user identification by interfering with partial contact

图 10(a)前视图中用户A和用户B运动轨迹可知,前视图不受用户A和用户B前视图部分接触的影响.图 10(b)即耦合矫正前,顶视图用户A和用户B发生部分接触,从而造成接触后用户A和用户B身份的跟踪错误.图 10(c)为前视图依据表 3数据对顶视图进行耦合矫正后的结果,从图 10(c)顶视图用户A和B的运动轨迹可知,耦合矫正后A和B用户跟踪正确.

4.4 大面积接触和遮挡并存的身份识别

当多用户大面积接触或接触与遮挡并存时,前视图骨骼运动跟踪将大面积接触的用户视为同体.大面积接触和遮挡容易引发用户跟踪丢失以及接触和遮挡结束后的跟踪错误,从而造成前视图的跟踪异常WF<1;顶视图卡尔曼滤波运动跟踪的前期很难将接触的用户分割开来,视大面积接触的用户为同体,出现跟踪丢失以及接触结束后的跟踪错误,从而造成顶视图WT<1.此时双视图很难建立耦合的指导关系,因此初始化算法便于重新开始身份识别.

4.5 双视图耦合多用户身份识别准确度

实验分别对有限状态机的Q1、Q2和Q3状态转化,以及3个状态连续转化的用户身份识别准确性进行测试.人数为3人,每组状态转化运行40次.由于人体运动速度的可变性,难以控制每次的运动速度相等,因此采用人体运动的正常速度,控制每个状态运行转化速度为100帧.双视图耦合的用户身份识别效果,与单视图的前视图(骨骼运动跟踪)和顶视图(卡尔曼滤波)进行对比,如图 11表 4所示,并利用SPSS卡方检验效果对比的显著性差异.图 11左侧和右侧分别为3个用户部分粘连前后和遮挡前后的跟踪效果.

表 4 各视图多用户身份识别效果 Table 4 Identification effect of various views for multi-user
视图人数状态正/误次数准确度
顶视图3Q1-Q140/01.00
顶视图3Q1-Q2-Q140/01.00
顶视图3Q1-Q3-Q118/220.53
顶视图3Q1-Q2-Q1-Q3-Q124/160.67
前视图3Q1-Q140/01.00
前视图3Q1-Q2-Q123/170.77
前视图3Q1-Q3-Q138/01.00
前视图3Q1-Q2-Q1-Q3-Q121/190.70
双视图3Q1-Q140/01.00
双视图3Q1-Q2-Q140/01.00
双视图3Q1-Q3-Q140/01.00
双视图3Q1-Q2-Q1-Q3-Q140/01.00
图 11 3个用户的双视图耦合识别效果 耦合矫正过程Fig. 11 Identification effect of coupling double views for three users

表 4所示,在Q1(用户无遮挡和粘连)自身转化状态中,双视图耦合的身份识别准确性与单视图的前视图和顶视图相比无明显差别;在Q1-Q2-Q1(用户遮挡)状态转化中,双视图耦合的身份识别准确性与单视图的顶视图相比无明显差别,但与单视图的前视图相比准确度大于前视图,卡方检验P(0.032)<0.05;在Q1-Q3-Q1(用户遮挡)状态转化中,双视图耦合的身份识别准确性与单视图的前视图相比无明显差别,但与单视图的顶视图相比准确度大于前视图,卡方检验P(0.004)<0.05;在Q1-Q2-Q1-Q3-Q1(用户遮挡)完整状态转化中,双视图耦合的身份识别准确性,与单视图的顶视图和前视图相比准确度大于单视图,且卡方检验P分别为0.046和0.015,均小于0.050.以上分析可以看出,双视图耦合与单视图骨骼跟踪和卡尔曼滤波相比多用户身份识别更具有鲁棒性.

5 结 论

通过实验分析表明,基于双视图耦合的多用户身份识别方法具有良好的稳定性,可以实现双视图的识别信息融合和相互纠错,有效地解决用户遮挡引发的多用户身份识别错误以及处理用户部分接触造成的多用户身份识别错误.实验数据表明,在3人数的40次无遮挡和粘连、遮挡、粘连的完整转化状态下,该方法的准确度为1.0,明显高于传统的单视图卡尔曼滤波方法0.67和骨骼运动跟踪方法0.7,具有很好的准确度,有效可行.

但是,该方法依赖正确数据的耦合和矫正,在解决用户之间大面积接触、多用户之间既遮挡又接触状态的身份识别方面,容易造成多个视图识别的数据错误,从而降低准确度.因此,在双视图异常情况下,如何提高协同交互情境中用户多重遮挡与接触并存的多用户身份识别鲁棒性问题是日后的工作重点和方向.

致谢 感谢程萌萌、张慕华、郑颖和杨进中博士为实验过程提供的大力帮助.

参考文献
[1] Grudin J,Poltrock S.Taxonomy and theory in computer supported cooperative work[M].Kozlowski S W J.The Oxford Handbook of Organizational Psychology.Oxford:Oxford University Press,2012:1323-1348.
[2] Navarro P,Johns M L,Lu T H,et al.Webz of war:a cooperative exergame driven by the heart[C]//2013 IEEE Intermational Games Innovation Conference.Vancouver,BC:IEEE,2013:187-190.
Click to display the text
[3] 迟健男,刘丛丛,朱博,等.多人多点触摸系统多用户协同交互触点归属问题研究[C]//第25届中国控制与决策会议论文集.沈阳:东北大学出版社,2013:3478-3485. Chi J N,Liu C C,Zhu B,et al.Research on the ownership of user touch points of multi-user cooperative interaction in multi-user multi-touch system[C]//Control and Decision Conference(CCDC),2013 25th Chinese.Shenyang:Northeastern University Press,2013:3478-3485.(in Chinese)
Click to display the text
[4] Hocking C G,Furnell S M,Clarke N L,et al.Co-operative user identity verification using an authentication aura[J].Computers & Security,2013,39(8):486-502.
Click to display the text
[5] Gall J,Stoll C,De Aguiar E,et al.Motion capture using joint skeleton tracking and surface estimation[C]//2009 IEEE Computer Society Conference of Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE,2009:1746-1753.
Click to display the text
[6] Matt. Managing multiple players with kinect in C#[EB/OL].Matt Crouch-WebDeveloper(2012-06-10)[2014-05-15].http://mattcrouch.net/blog/2012/06/managing-multiple-players-with-kinect-in-c/.
Click to display the text
[7] Salvi D,Waggoner J,Temlyakov A,et al.A graph-based algorithm for multi-target tracking with occlusion[C]//Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision.Washington,D.C.:IEEE,2013:489-496.
Click to display the text
[8] Choi W,Pantofaru C,Savarese S.Detecting and tracking people using an RGB-D camera via multiple detector fusion[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision Workshops.Piscataway,NJ:IEEE,2011:1076-1083.
Click to display the text
[9] 张彦超,许宏丽. 遮挡目标的分片跟踪处理[J].中国图象图形学报,2014,19(1):92-100. Zhang Y C,Xu H L.Fragments tracking under occluded target[J].Journal of Image and Grapgics,2014,19(1):92-100(in Chinese).
Cited By in Cnki (2)
[10] 赵龙,肖军波. 一种改进的运动目标抗遮挡跟踪算法[J].北京航空航天大学学报,2013,39(4):517-520. Zhao L,Xiao J B.Improved algorithm of tracking moving objects under occlusions[J].Journal of Beijing University of Aeronautics and Astronautics,2013,39(4):517-520(in Chinese).
Cited By in Cnki (8)
[11] Qin B,Wan N C.PANOPTICON:person recognition and tracking through occlusion using extended Kalman[EB/OL].New York:Cornell University,2011[2014-05-30].http://www.cs.cornell.edu/Courses/cs4758/2011sp/final_projects/spring_2011/Qin_Wan.pdf.
Click to display the text
[12] Harvey E R,Ouellet J N,Echevarria J,et al.Computer vision application using the Kinect sensor for the identification and tracking of users interacting with a surface computing platform[C]//Proceedings of the 2012 Applied Vision and Robotics Workshop.Montreal:[s.n.],2012:74-86.
[13] Barbosa I B,Cristani M,Del Bue A,et al.Re-identification with RGB-D sensors[C]//Proceedings of the 12th European Conference on Computer Vision.Heidelberg,Berlin:Springer,2012,7583:433-442.
[14] Meng R,Isenhower J,Qin C,et al.Can smartphone sensors enhance kinect experience[C]//Proceedings of the thirteenth ACM international symposium on Mobile Ad Hoc Networking and Computing.New York:ACM,2012:265-266.
Click to display the text
[15] Ackad C,Clayphan A,Maldonado R M,et al.Seamless and continuous user identifica-tion for interactive tabletops using personal device handshaking and body tracking[C]//Proceedings of CHI'12 Extended Abstracts on Human Factors in Computing Systems.New York:ACM:2012:1775-1780.
[16] 王炜,郭毓,俞信. 基于卡尔曼滤波的多区域关联运动目标跟踪[J].计算机应用,2012,32(11):3174-3177. Wang W,Guo Y,Yu X.Moving object tracking with related multi-regions based on Kalman filter[J].Journal of Computer Applications,2012,32(11):3174-3177(in Chinese).
Cited By in Cnki (9)
[17] 陈志敏,薄煜明,吴盘龙,等.基于自适应粒子群优化的新型粒子滤波在目标跟踪中的应用[J].控制与决策,2013,28(2):193-200. Chen Z M,Bo Y M,Wu P L,et al.Novel particle filter algorithm based on adaptive particle swarm optimization and its application to radar target tracking[J].Control and Decision,2013,28(2):193-200(in Chinese).
Cited By in Cnki (28)
[18] Shotton J,Fitzgibbon A,Cook M,et al.Real-time human pose recognition in parts from single depth images[C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Computer Society,2011:1297-1304.
[19] Salhi A,Jammoussi A Y.Object tracking system using camshift,meanshift and Kalman filter[J].World Academy of Science,Engineering and Technology,2012,64(6):674-679.
Click to display the text
[20] 史倩,吴开华. 区域生长的轮对图像分割[J].中国图象图形学报,2012,17(9):1122-1127. Shi Q,Wu K H.Image segmentation for wheel set measurement based on region growing[J].Journal of Image and Graphics,2012,17(9):1122-1127(in Chinese).
Cited By in Cnki (5)
http://dx.doi.org/10.13700/j.bh.1001-5965.2014.0454
北京航空航天大学主办。
0

文章信息

杨玉辉, 王伟杰, 万华根
YANG Yuhui, WANG Weijie, WAN Huagen
协同交互情境下双视图耦合的多用户身份识别
Multi-user identification based on double views coupling in cooperative interaction scenarios
北京航空航天大学学报, 2015, 41(5): 930-940
Journal of Beijing University of Aeronautics and Astronsutics, 2015, 41(5): 930-940.
http://dx.doi.org/10.13700/j.bh.1001-5965.2014.0454

文章历史

收稿日期:2014-4-28
录用日期:2014-07-31
网络出版日期:2014-12-11

相关文章

工作空间