目标的跟踪是计算机视觉中最重要的基本问题之一，准确的目标跟踪需要一些先验知识，很多方法都用了学习策略，如稀疏样本策略、支持向量机、随机森林、半监督学习和多实例学习等。近年来，很多不需要先验知识的在线学习方法在这个领域也表现得非常优秀。一般而言，当所要跟踪的目标在跟踪过程中外观保持不变时，基于模板的跟踪方法往往能取得较好的效果，但是这种基于非参数核函数的跟踪方法是需要数据驱动的。当然，可以使用空间变换来获取目标的位置信息和朝向信息，但如果选定的概率模型不正确，这种方法虽然避免了参数估计中收敛到局部最优的情况，但不能减少目标跟踪漂移，而且图像本身存在的噪声也让跟踪精度严重降低。此外，有的方法是把各种跟踪方法组合在一起，去跟踪同一个目标，给不同的方法一个不同的权重值和一个不同的包围盒，再把不同的包围盒映射到同一个目标，在这个过程中去掉2个最不好的结果，提出了融合跟踪方法。但是当前这些方法均面临着一个问题，对于目标的形状发生变化，场景光照变化，遮挡等情形下的，很多经典的方法的跟踪效果并不理想，这也是当前该研究领域急需解决的问题。

本文提出了频域空间、能量最小化的目标跟踪方法，提出了精准的稠密循环采样方法，解决计算过程中的精确输入问题；提出了循环矩阵的概念，极大的简化了方法的计算过程；提出了频域空间的能量最小化方法，解决对跟踪过程中目标特征的精确提取问题。

1 相关工作

目标跟踪是一个很早就确立了的计算机视觉问题^[1-2]，也是一个流行的视觉研究核心问题之一，其研究方法可以分为2类：判别式方法和生成性方法。判别式方法将跟踪问题归纳为一个分类问题，并且建立一个分类器从背景中分离目标。代表性的判别式方法是Ensemble跟踪、在线的boosting跟踪器^[3]、多实例学习^[4]和结构化的支持向量机^[5]。生成性方法主要是集中建模目标的外观，如基于直方图的跟踪器、子空间表达跟踪器^[6]、WSL外观跟踪器和稀疏表达跟踪器^[7]。

跟踪的关键问题之一是目标的表达，如颜色直方图、外观表达^[8-9]和判别模型^{[5, 10]}等。运动估计是另一个核心的视觉跟踪问题，运动估计的常用方法是粒子滤波器^[10]。该方法的特点是用一系列的粒子权重表达概率密度，通过重要的位置采样和贝叶斯推理来跟踪目标，为了获得更好的结果，大量的粒子需要采样，这样就带来了计算的负担。另一个运动估计方法是Mean shift方法，该方法只是估计目标的位置信息，并没有估计出目标的朝向和模式信息，这极大地限制了该方法的应用范围。

近年来基于形状和语法先验的稠密静态目标的跟踪方法^[11]得到了进一步的改进，比如PWP(Pixel-Wise Posteriors)^[12]方法，这个方法可以用于视频序列的实时目标的跟踪，但是在离线跟踪方面效果不理想。另外，Struck^[5]是综合测试后比较好的跟踪方法，但是当目标的视点发生偏移的时候，这种方法就会跟踪失败。文献[13-14]提出了基于目标关键点的跟踪方法，用SIFT或者SURF描述表达相关区域，但是这种定位方法也存在着目标的丢失问题。文献[15]提出的TLD(Tracking-Learning-Detection)方法将跟踪任务分成了几个同时实现的步骤来完成，如学习和检测，但是这种方法不能处理目标尺度的改变，当目标的尺度发生了严重变化的情况下，TLD会跟踪失败。

2 方法概述

在第1帧中就对目标进行检测并进行建模，这对目标的检测将起到至关重要的作用。随着视点的改变，本文方法检测目标的不同方面并对模型进行再次精确更新。如果没有发生遮挡，依旧更新模型。跟踪目标的同时需要知道目标是不是发生变形或者是被遮挡，如果只有40%在包围盒内部，那么判断目标发生了遮挡。针对视频跟踪目标的不稳定性和背景的复杂多变性，本文方法将用消除抖动、高级降噪、增强亮度和对比度、去除马赛克、增强细节、增加色调和饱和度等方面去解决问题。

很多方法都是基于目标运动轨迹是光滑的、运动是匀速的、外观是不再继续变化的这样一个假设。在这里会涉及到一个目标的表示问题，如文献[16]将目标表示为一个点，文献[17]将目标表示为一个椭圆。然而，跟踪的目标在跟踪过程中会发生外观、形状和光照明暗程度等变化，针对这种情况人们根据直方图等建立了代价函数，来表达目标和模板的相似程度。运动轨迹决定了检测器的搜索区域c，也决定了目标是不是发生旋转和偏移等信息。本文的方法流程如图 1所示。

3 精准采样 3.1 稠密的滑动窗口

本文方法进行的是以开始检测到的目标为主并且不断学习、精简目标的采样方式，而目前流行的方法进行的是关键帧的随机采样。本文方法从连续的10帧视频图像中，提取特征，检测目标的模型。本文及经典方法的采样方式如图 2所示。

3.2 相关区域和核心区域

本文方法首先根据目标在前一帧的估计位置，将目标搜索区域分为目标区域和背景区域，在目标区域再分为相关区域和核心区域；其次在区域划分的基础上定义了一种新的颜色和运动特征，这种特征能有效抑制相邻背景的混乱干扰，这种融合了颜色和运动特征的跟踪方法在跟踪过程中是互补的，从而提高了方法跟踪的准确性。本文方法的相关区域和核心区域如图 3所示，目标区域每一帧更新一次，由于方法的相关性约束，每一帧中只有少数的相关性区域是被收集的，以便减少计算的数据量。

3.3 循环矩阵

通过一个n×1的向量u，可以得到一个酉空间的循环矩阵C(u)，矩阵的第1行是向量u，第2行是第1行向左移动一个元素，依次类推。C(u)v为u和v的卷积，C(u)v=F^－1(F^*(u)·F(v))，其中F^*(u)·F(v)表示按元素的点积，F和F^－1分别为傅里叶变换和逆变换。图像是作为矩阵中的一个元素来存储的，对图像的一次遍历就是对矩阵的一次搜索。循环矩阵的特征使得它很适合用作目标跟踪的计算，因为循环矩阵的和矩阵、乘积矩阵、逆矩阵都是循环矩阵。其原理如图 4所示。

式中：X为测试数据的变换结果；U(x)为循环矩阵，x为像素；x_n为循环矩阵中的元素。

4 频域空间运算的定义

本文方法定义一套频率域的计算法则，将图像时空域内的时序信号转变为频域信号，在频率空间内定义线性核、多项式核和点积核的运算形式，如下：

式中：x、分别为像素x的时空域形式和频率域形式；K_i^x_ix_j为像素x_i和像素x_j的K_i阶乘；P^i－1为放大倍数；d为常数。

频域的计算结果如图 5所示。

5 精准跟踪

给定标签：(x₁, y₁), (x₂, y₂), …, (x_n, y_n)和分类器f(x)，其中f(x)=(w, x)+b，(w, x)表示w与x的点积，则这个最小化的问题变为

式中：Z为误差函数；f(x_i)为傅里叶域内的模型函数；y_i为回归目标；L(y_i, f(x_i))为损失函数；λ为控制过度拟合的正则化参数；θ为损失参数。要求式(3)的最小值，就要使每一项取得最小值，即和λ║θ║²分别取得最小值。式(3)等号右边第1项的求和表示相关框内像素经过频域变换后与目标像素y_i的差的累积和。通过x_i=F^Hdiag()F将图像x_i乘以一个对角阵并变换到频率空间。根据核函数的定义，可以把低维空间中的线性不可分投影转换到高维空间，在高维空间它是线性可分的。正向的傅里叶变换是把图像从图像空间变换到频率空间，逆向的傅里叶变换就是把计算结果从频率空间变换到图像空间，用ŷ=F^－1(F(k)·F(α))将频率空间转换到图像空间并输出结果，k为频域空间像素，α为变换系数。

6 实验

评价本文方法好坏的标准为中心位置错误率和平均包围盒覆盖率(AOR)，其中中心位置错误率定义为

式中：a为本文方法的跟踪结果；b为数据集标准结果。平均包围盒覆盖率定义为

式中：area为包围盒面积；R_T为计算的面积；R_GT为标准值的面积。

中心位置错误率和平均包围盒覆盖率如图 6所示，重叠面积C_t^G∩C_t⁰为数据集标准结果与本文计算结果的交集。

第1组实验：本文方法在最近发布的目标跟踪标准数据集^[2]上与目前常见的方法进行了比较，如IVT^[6]、SPLTT^[7]、ASLA^[16]、OAB^[15]、SMS^[17]、Frag^[18]、SSB^[18]、MIL^[19]、VTD^[20]、LIT^[21]、TLD^[22]、DF^[23]、MTT^[24]、Struck^[5]、ConT^[25]、MOS^[26]、CT^[27]、CST^[28]、LGT^[29]、L1APG^[30]。这组目标跟踪标准数据集被标注为12个不同的特征，即场景光照变化、目标尺度模式变化、目标部分遮挡、目标变形、运动模糊、快速运动、平面内旋转、平面外旋转、视点变化、复杂背景、目标朝向变化和低分辨率等情形。为了估计本文方法和其他方法的精度和效率，从不同挑战性的跟踪标准数据集中选取了12个代表性的序列如表 1所示。测试结果见表 2。

第2组实验:在另一组最新的目标跟踪标准数据集上进行了测试，并跟数据集标准结果进行了精度和成功率的比较。同时与一些在线的跟踪方法进行了比较，如IVT^[6]、Frag^[18]、TLD^[22]、MTT^[24]、Struck^[5]、L1APG^[30]、LSK^[31]、MIL^[32]、DFT^[33]、LSK^[34]。也与一些离线的跟踪方法如OMA^[35]和ASLA^[36]等进行了比较。其中中心位置错误率如表 3所示。本文方法的平均包围盒覆盖率测试结果见表 4。本文方法的精度、鲁棒性、平均重叠率测试结果如表 5所示。表中数值格式表征算法结果的好坏，加粗数值表示测试结果中最好的，加下划线的数值表示结果在测试结果中排名第二的。

7 结论

本文实现了对视频序列图像目标稳定精确跟踪，其方法具有如下的特点：

1) 使用频域变换将图像像素值从时空阈转换到频率域，并且这个过程中保证了图像的极值、最大值、最小值和单调性都不发生变化。在图像的频率空间实现目标的跟踪研究。通过大量的实验可以看出，在目标快速运动、运动目标姿态发生较大变化或目标部分被遮挡的情况下，本文方法也能获得更加精确的跟踪效果。

2) 提出了基于频域空间的精准的循环采样方法。

3) 实现了频域空间的能量最小化方法，用轻量级的方法解决大数据环境下的目标跟踪问题，实现了目标的精确稳定的跟踪。

4) 从大量的实验可以看出，本文方法速度可以达到186帧/s，精度也可以达到了81.90%。由于本文方法是在整个频率空间计算量小，而且又是在整个梯度空间直接计算，因此方法的速度比常用的方法快很多，精度也提高较多。