近年来，随着社会复杂度的增大和人口密集度的增加，异常事件和突发事件也随之迅速增多，因此安防监控被提上了日程，成为人们关注的焦点。越来越多大规模的视频监控系统被建立，面对海量涌现的视频数据，加上工作人员精力有限，不可能时刻监控视频中发生的事件，因此如何去自动获取分析其中包含的内容成为一个亟待解决的问题。视频中大部分内容是人的行为活动，要让计算机理解视频中的人在什么场景做什么，并用自然语言表述出来，具有很重要的学术和应用价值。因此人体行为分析成为研究的热点。人体行为分析的一个关键点是从复杂的人体行为中提取重要的有区分力特征。目前已经有一些经典的特征分析方法，如主成分分析(PCA)、独立成分分析(ICA)等^{[1, 2, 3]}。但是这些方法都是线性的特征分析技术，对于非线性处理也许会导致错误的结果。为了处理非线性系统，提出了一些改进的方法，如基于核的主成分分析(KPCA)。基于核的主成分分析首先由B. Scholkopf等^[4]提出，在高维特征空间中使用核函数计算主成分，这个高维特征空间和输入空间是非线性相关的。

最近，一种新的数据特征分析方法，即慢特征分析(slow feature analysis,SFA)^[5]被提出。慢特征分析的主要目的是从输入信号中提取最佳的缓慢变化的特征作为信号的不变表示。随时间变化的信号的不变特征对于很多模式分类任务非常有用，并且慢特征分析已经被成功应用于姿势识别和图像特征提取等一些领域^{[6, 7, 8, 9, 10, 11, 12]}。Zhang等^[13]把慢特征分析应用于人体行为识别，并取得了很好的效果。基于慢特征分析能够提取输入信号的不变量信息，并且具有平移、旋转、缩放、光照等不变性，具有方向选择性和边缘方向选择性的特点，因此本文提出了视频中人体行为的慢特征提取方法。

慢特征是利用慢特征分析(SFA)方法从输入信号中获取的能够表征信号发生源某些固有属性的特征。慢特征能够表征输入信号的不变量信息，对于数据分析和模式识别都有非常重要的作用。慢特征的有效提取是后续行为分析的基础，起着关键性的作用。

慢特征分析算法的目标是从输入的时序信号x(t)=(x₁(t),x₂(t),…,x_I(t))^T中提取出变化比较缓慢的隐含成分，即最具有不变量性质的信息。其数学描述如下^[5]。

给定一个I维输入信号x(t)=(x₁(t),x₂(t),…,x_I(t))^T，其中t表示时间，变化范围[t₀,t₁]。找到一个J维的变换函数g(x)=(g₁(x),g₂(x),...,g_J(x))^T，从而产生J维的输出信号y(t)=(y₁(t),y₂(t),...,y_J(t))^T，其中y_j(t):=g_j(x(t))。优化问题框架如下：

对于每一个j∈{1,2,...,J}，

慢特征分析算法实质上是一个学习问题，也即变分法的最优化问题，一般来讲很难解决。然而对于输入输出函数元素g_j被限定为有限个非线性函数的线性组合，问题就大大简化了。在这个限定下，解决最优化问题的算法如下。

给定一个I维输入信号x(t)=(x₁(t),x₂(t),…,x_I(t))^T,一个J维变换函数g(x)=(g₁(x),g₂(x),...,g_J(x))^T。

1)如果变换是线性的，即g_j(x)=w_j^Tx，其中x是输入，w_j是权值。不失一般性，假设x均值为0，方差为1，即〈x〉_t=0，〈x²〉_t=1。因为y_j(t)=g_j(x(t))=w_j^Tx(t)，所以方程(2)中，

令B=〈xx^T〉_t,则〈y_i(t)y_j(t)〉=w_i^TBw_j，只要选择合适的权值，使得w_i^TBw_j=δ_ij，则式(4)中的限制条件被满足。

式(1)中的目标函数：

由线性代数可知，能够使上式取得最小值的权值向量w_j对应于式(5)一般特征值问题的特征向量，此时式(3)中的限制条件也被满足。

2)非线性变换可以视为非线性空间的线性变换^[5]。函数h(x)的非线性扩展定义为

慢特征函数通过以下步骤获得。

a)使用非线性函数h(x)对原始信号进行扩展，并把h(x)归一化，使其均值为0，即z:=h(x)－h₀,其中h₀=〈h(x)〉_t，归一化使条件(2)有效。本文使用二次扩展，即h(x)=(x₁,x₂,...,x_I,x₁x₁,x₁x₂,...,x_Ix_I)。

b)解决一般化的特征值问题AW=BWΛ，其中，，B:=〈zz^T〉_t。假设矩阵A和矩阵B的维数都是M，前K个特征向量w₁,w₂,...,w_K(K≪M)和最小的特征值相联系，即λ₁≤λ₂≤…≤λ_K，对应的非线性慢特征函数g₁(x),g₂(x),...,g_K(x)：

这些慢特征函数能够满足约束条件(2)~(4)，而且能使式(1)中的目标函数最小。

慢特征分析方法是一种非监督式学习策略，不能编码有监督的信息，为了把监督信息引入到学习中，提出了D-SFA(discriminative SFA)学习策略^[13],其数学描述为：已知输入信号x_c(t)=x_c1(t),x_c2(t),...,x_cI(t),c∈1,2,...,C,目标是找到一系列的J维输入输出函数g_c(x)=g_c1(x),g_c2(x),...,g_cJ(x)^T,使得Δ(g_cj(x_c))－γ×Δ(g_cj(x_c′))最小，即对于每一个j∈{1,2,...,J},使式(8)最小：

求解最小值问题可以转化为求解一般的特征值问题：AW=BWΛ，其中A=(〈x_cx_c^T〉_t－γ×〈x_c′x_c′^T〉_t),B=〈x_c∪c′x_c∪c′^T〉_t，Λ是特征值组成的对角矩阵，W是相应的特征向量。 2 视频中人体行为的慢特征提取

本文提出的视频中人体行为慢特征的提取主要包括3个部分：收集训练立方体、D-SFA算法提取慢特征和构建ASD特征表示。

收集训练立方体是由视频图像序列构建出原始输入信号x(t)的一种方法。首先对原始视频进行处理，得到帧差图像序列。以选定的某一帧图像作为初始帧，检测其特征点^[14]，然后使用光流法对特征点进行跟踪^{[15, 16]}，从而得到视频中所有特征点对应的轨迹集合。对于轨迹集合中的每条轨迹，提取其中各个轨迹点w×w邻域内的像素值，形成一系列的像素块，考虑到时间信息，通过Δt个相继帧对每个点的像素块序列进行整合，本文取Δt=3。进一步对所有的特征点进行整合后得到训练立方体，即构建出了输入向量x(t)。图 1给出了训练立方体的获取过程。

图 1 训练立方体的获取过程 Fig. 1 the process of obtaining training cuboids

图选项

慢特征分析方法是实现提取慢特征任务而提出的一种学习算法。SFA算法是一种非监督学习算法，它在人体行为视频中提取慢特征的思想是：不同种类的行为视频收集到的训练立方体混合在一起用于慢特征函数的机器学习，然后用学习出来的慢特征函数提取出慢特征。由于不能编码有监督信息，所以提取出来的慢特征在行为间没有很好的区分力。D-SFA算法在学习过程中引入了监督信息，其在人体行为视频中提取慢特征的思想是：对于每一类行为收集到的训练立方体分别用于慢特征函数的学习，这样学习出的慢特征函数具有行为类间的区分力，即对类内行为具有选择性。

由于慢特征分析能够使均方导数最小，所以1个立方体对相应慢特征函数的拟合度可以通过变换立方体的平方导数来衡量^[13]。如果值很小，则说明这个立方体和慢特征函数拟合得很好。对于第i个立方体C_i和第j个慢特征函数，定义平方导数：

然后把平方导数在所有的立方体上进行累加，从而形成ASD特征为

本文选用魏茨曼科学院行为识别数据库(Weizmann human action database)进行慢特征的提取实验，用于验证慢特征分析方法在人体行为视频中提取慢特征的有效性。该数据库包含10种单人行为，包括弯腰、奔跑、单脚跳、双脚跳、原地跳、挥手跳、侧行、行走、单臂挥舞和双臂挥舞。每种行为分别由9位不同的人完成。图 2给出了每类行为的图像样本。

图 2 Weizmann人体行为数据库样图 Fig. 2 Sample images of each type of action in the Weizmann database

图选项

为了验证慢特征分析方法在人体行为视频中提取慢特征的有效性，使用3.1介绍的数据库进行实验。实验分别从SFA和D-SFA对不同行为提取慢特征的效果对比和使用D-SFA计算出的ASD特征的模值对比2个方面，说明慢特征分析方法能够有效提取慢特征，且D-SFA较之SFA效果更好。图 3和4为2种算法提取的慢特征随时间的变化图对比，

图 3中使用SFA算法对不同的行为进行慢特征的提取。可以看出不同行为的慢特征随时间的变化具有相似性，区分力比较小。这是因为SFA算法是一种非监督式学习算法，不能编码任何监督信息，其慢特征函数是由所有行为混合在一起进行机器学习得到的，因此慢特征函数被不同行为所共有，降低了行为间的区分力。

图 3 SFA算法提取的慢特征随时间变化 Fig. 3 the diagram of slow features extracted by SFA vary with time

图选项

图 4中使用D-SFA算法进行慢特征的提取。图中包含10×10个子图，其中坐标为(i,j)的子图表示第j类行为经第i类行为的慢特征函数变换得到的慢特征随时间的变化图。可以看出对角线上的图随时间基本不变，这说明D-SFA算法具有行为类间的选择性，每种行为训练出的慢特征函数能使该行为变慢，而使其他行为变化相对较快。这是因为D-SFA算法是对每一类行为都进行机器学习，分别得到对应的慢特征函数，因此提取出的慢特征具有很好的区分力。

表 1是D-SFA算法计算出来的不同类行为的ASD特征的模值．该表是由10×10个单元构成，第(i,j)个单元表示第j类行为的立方体经第i类行为的慢特征函数变换后计算出来的ASD特征的模值。由表中数据可知，第j列中，第(j,j)个单元中的数据比该列其他数据都要小得多。这说明D-SFA算法学习出的慢特征函数只能使该类行为的ASD特征值变慢，因此行为类间具有很好的区分力。

图 4 D-SFA算法提取的慢特征随时间变化 Fig. 4 the diagram of slow features extracted by D-SFA vary with time

图选项

本文提出了视频中人体行为的慢特征提取方法，首先收集训练立方体，然后分别用SFA算法和D-SFA算法进行慢特征函数的机器学习，经慢特征函数变换后得到慢特征，并进一步构建ASD特征。实验结果表明D-SFA算法能更有效地提取出人体行为的慢特征。由于特征点跟踪的过程中，少量特征点在后续帧中会出现漂移现象，对后面的处理会产生一定的影响，今后将进一步研究以取得更好的效果。