文章快速检索  
  高级检索
一种用于实时数字稳像的全分辨率运动补偿方法
翟博, 郑锦, 王越     
北京航空航天大学计算机学院, 北京 100083
摘要: 以室外视频监控中帧间平移运动为研究对象,提出一种基于平衡位置修正与自适应存储帧更新的实时全分辨率数字稳像方法。首先利用卡尔曼滤波在线估计镜头的主动运动,预先确定抖动图像补偿后的平衡位置;然后针对图像补偿后产生的空白区域,通过选择合适的参考帧及预存帧构成存储帧队列,根据存储帧队列的覆盖范围对平衡位置进行修正,实现修正后空白区域像素的全部拼接填补;最后以修正后的平衡位置为基准,根据同时满足左上、右上、左下和右下4个偏移方向的原则对参考帧队列进行自适应在线更新,用最新采集帧替换时间上较早、空间内容上冗余的参考帧,使得存储帧队列在有限长度内保证尽可能大的空间覆盖。本文提出的方法可以满足实时数字全分辨率稳像的要求,适用于集成式、嵌入式等各类视频监控系统。
关键词: 室外视频监控     实时数字稳像     卡尔曼滤波     全分辨率补偿     平衡位置    
A full-resolution motion compensation method used for real-time digital image stabilization
ZHAI Bo, ZHENG Jin , WANG Yue     
School of Computer Science and Engineering, Beijing University of Aeronautics and Astronautics, Beijing 100083, China
Abstract: With the foundation of inter-frame translation motion of the videos captured in outdoor video monitoring, a real-time video stabilization method was presented with equilibrium position modification and adaptive update of storage frames, which can realize the full-resolution video stabilization. Firstly, the Kalman filter was used to estimate the intentional motion of the camera, in which the equilibrium position of the currently stabilized frame was obtained. Secondly, the reference frames and subsequent frames were stored. Based on the spatial coverage of the storage frames, the equilibrium position was modified to reach the full-resolution in-painting of the compensated current frame. Finally, taking the modified equilibrium position as the standard, and guaranteeing the coexistence of the storage frames with deviation in upper left, upper right, lower left, and lower right directions, we substituted the newest captured frames online for the earliest and redundant reference frames, so the storage frames can achieve the greatest coverage and temporal-spatial correlation with limited storage resource. The presented video stabilization algorithm achieves the full-resolution stabilization and real-time processing, which can be applied to the integrated and embedded video surveillance systems.
Key words: outdoor video monitoring     real-time digital image stabilization     Kalman filter     full-resolution compensation     equilibrium position    

在室外视频监控中,摄像设备经常会因为强风、机械振动等非人为因素导致自身发生抖动,从而难以稳定地成像。这种不稳定的图像容易使观察者产生视觉疲劳,导致目标的误判和漏判,因此需要进行稳像处理以去除抖动干扰。数字稳像主要包括全局运动估计、运动滤波以及运动补偿3个部分[1, 2]。其中,全局运动估计通过图像匹配的方法获取视频相邻帧间的运动参数,然后以固定帧为基准,通过相邻帧间的运动累加获取镜头的全局运动。全局运动中既包含由人为意识控制使得镜头产生低频、平滑的主动运动,又包括非人为意识的外部干扰导致镜头出现的高频抖动。运动滤波通过低通滤波或者路径优化的方法从全局运动中提取出平滑的主动运动轨迹,确定图像变换至稳定位置的补偿量。运动补偿根据补偿量对原始图像进行变换,并填补图像的缺失区域,最终获取完整、稳定的视频。

在线数字稳像系统需要对采集的图像进行逐帧处理,本文将当前进行稳定处理的帧称作当前帧,镜头的全局运动轨迹在当前帧的坐标位置称作全局位置,主动运动轨迹在当前帧的坐标位置称作平衡位置。本文首先对抖动视频的运动特点进行分析,利用卡尔曼滤波方法对当前帧的平衡位置进行在线估计;进而通过各存储帧与当前帧平衡位置的空间关系判断空白区域的填补程度,并确定相应的拼接填补帧,当所有存储帧都无法对空白区域进行全部填补时,在最小的限度内反向修正平衡位置,使其位于存储帧的空间覆盖范围内;最后根据左上、右上、左下和右下4个偏移方向对存储帧队列进行自适应更新,使得存储帧队列在长度有限的条件下具有更大的空间覆盖范围以及时空相关性。

1 数字稳像的基本方法

视频的帧间运动主要分为二维以及三维2种模式。二维运动[3, 4]适用于拍摄场景距离镜头较远的情况,此时光束可以认为平行投射到成像平面上,场景的运动可视为平面上的平移、旋转和缩放等;三维运动[5, 6]除了平面上的运动之外,还包括垂直于成像平面的运动,虽然这种方式可以更加真实、细致地刻画帧间场景的运动,但是较大的计算复杂度使其难以应用于实时稳像系统。实际室外视频监控应用中,场景一般距离镜头较远,图像的运动可以看作是二维运动,此外,室外地面监控中镜头多安装在固定平台之上,以定点监控以及巡扫监控为主,视频场景以平面上的平移为主要运动方式。本文以地面远程视频监控为背景,以帧间二维平移运动为对象,对镜头在大时间尺度上的运动特点以及稳像方法的适应性进行研究。

用户操作意图的改变使得镜头的主动运动时常存在速度、方向的改变,造成全局运动轨迹产生比较明显的突变;与此同时,在外界因素干扰下,抖动在不同的时间段往往表现出不同的能量与频率特性。这些因素给运动滤波方法带来了非常大的挑战,提取的主动运动既要保证足够的平滑,又要对全局运动的基本趋势有良好的跟踪性能,同时还要适应高频分量在能量与频率方面的变化。总体来说,运动滤波方法可以分为离线处理与实时处理2类。凸优化是近几年发展起来的一种有效的离线运动滤波方法[7],其将镜头的主动运动看作静止、匀速以及匀加速3种状态的叠加,通过计算全局运动的1阶、2阶以及3阶导数构造目标函数,然后利用线性规划(L1)模型计算出一条最优的主动运动轨迹。文献[8]提出了L1-L2混合路径优化方法,在线性规划基础上将距离(L2)约束引入目标函数,保证主动运动轨迹与原始全局运动轨迹在基本趋势上的一致性。上述方法以整段视频的全局运动数据为基础,有利于提取镜头在大时间尺度上的低频运动,因此计算出的主动运动不会出现大幅度的偏移,然而这种方法对镜头在细节上的局部起伏缺乏有效的跟踪,且不能满足实际监控系统中实时处理的要求。一些传统的低通滤波方法可以在一定程度上实现实时稳像,例如高斯滤波[9]、模糊滤波[10]和最大能量熵平滑[11]等,这些方法通过在当前帧前后选取一定长度的全局运动序列,然后利用低通滤波达到抑制高频分量的目的。当选取的全局运动片段较短时,这种方法对运动趋势的提取不够准确,当全局运动片段较长时,因过多地存储时间上的滞后帧导致明显的时延。

作为一种经典的实时运动滤波方法,卡尔曼滤波[12, 13]建立在状态空间模型基础上,实现了最小方差意义上的最优滤波。其通过建立合理的主动运动模型与准确的噪声参数,先在前一帧对当前帧的平衡位置进行预测,然后在当前帧根据实际全局位置对平衡位置的预测值进行加权更新。这种在线递推算法可真正实现在线实时滤波,并且通过系统噪声参数以及观测噪声参数自适应控制观测更新的权重,既保证主动运动的跟踪灵敏度,又能有效去除高频抖动。

运动补偿过程中,原始图像补偿至平衡位置后会在边缘处出现空白区域,需要对其填补。空白区域的填补主要分为3种方式:插值法、固定帧填补以及多帧拼接填补。其中,插值法[5, 14]通过对补偿后图像的局部内容区域进行插值放大,以恢复原始分辨率,这种方法不依赖于帧间数据的关联,是近几年应用较多的方法。但是当图像抖动剧烈时,因丢失内容过多导致插值后的图像变得模糊,虽然物理分辨率得以恢复,但图像内容减少。固定帧填补方式[15]在视频中选取一帧图像作为所有后续帧的参考帧,通过计算后续每一帧与参考帧之间的偏移,直接使用此偏移量作为待稳定图像的补偿量,这种方法可以避免参考帧更新所引起的累积误差,但是只适合镜头固定的情况,当摄像机存在主动运动时,单帧参考帧无法保存足够的视频内容信息,导致空白区域大面积像素无法填补。

多帧拼接填补[16]方法根据视频在时间上的连续性,空白区域缺失的像素值可能在其邻近的帧中找到,因此事先存储若干参考帧作为候选拼接帧,通过计算当前帧平衡位置与各参考帧之间的变换关系,利用图像拼接的方法合成稳定之后的当前帧。文献[17]将镜头的运动分成有无主动运动2种情况,通过选取不同数量的参考帧以及预存帧作为存储帧,实现在最小存储与计算资源消耗下的拼接补偿,但其只考虑到在空白区域出现的方向上尽可能地满足拼接填补,对具体补偿程度考虑不足。

2 数字稳像运动特点分析

抖动具有高频、随机的特性,其运动具有明显的往复性与短周期性,因此理想的主动运动轨迹应当平滑地穿过全局运动轨迹,同时在有限长度的帧区间范围内,正反方向抖动的帧数大致相同(见图 1)。反映在单帧图像上即是其邻近帧在空间位置上应当均匀地分布在当前帧的平衡位置周围,这种条件下当前帧补偿后产生的空白区域可以在更大几率上得到全部填补。

图 1 不同类型的主动运动轨迹 Fig. 1 Different kinds of intentional motion paths

事实上,经常会由于人为控制导致镜头实际运动状态发生明显变化,而平滑的主动运动存在一个缓慢调整的过程,导致其轨迹在一定范围内持续位于全局运动轨迹的一侧(见图 1(b)中区间1与区间2)。如果这种连续偏移持续的帧数超过存储帧的帧数时,则会造成在该区间范围内图像帧的平衡位置持续位于存储帧的空间范围之外,导致其空白区域无法全部填补。理论上,这种情况可以通过增加存储帧的数量解决。另一方面,镜头运动状态的突变会造成主动运动跟踪性能的延迟,使得某一帧的平衡位置位于全局运动的极值(见图 1(c)),此时即便增加存储帧的数量,都不存在满足空白区域全部填补的存储帧。

因此,综合上述2种情况,理想的稳像方法不仅要控制主动运动轨迹在镜头实际运动发生明显变化时具备较强的跟踪灵敏度,同时也要保证各存储帧的全局位置分布尽可能地广泛。

现有的多帧拼接填补方法通过开辟N块大小相同的内存用于存储当前帧的邻近帧作为候选拼接帧。原则上,N越大,存储帧覆盖的空间范围越大,空白区域中丢失像素能被填补的可能性越大,但对内存资源以及计算复杂度的要求也就越高。当镜头的运动方向与抖动方向相反时,空白区域容易出现在沿着全局运动的最前方,此时仅仅依靠历史参考帧数据无法进行填补,还需要适当存储若干时间上比当前帧滞后的图像帧作为预存帧[17]。随着视频内容的更新,需要对存储帧队列进行实时更新,从而在时空尺度上与视频的实际运动同步。同时,由于邻近帧间存在较大面积的重合区域,若干存储帧的内容可以完全被其他存储帧所覆盖,则这些帧就是冗余帧,因此更新时应当尽量用最新采集的图像去更新时间上较早的冗余帧,以保证存储帧队列与待补偿帧之间较强的时空相关性。

3 全分辨率补偿的实时数字稳像 3.1 视频二维帧间运动滤波

视频二维帧间平移运动具备刚性特点,图像所有像素点按照相同的平移参数(Δxy)一致运动,因此图像间的变换关系可表示为

式中:f为参考帧;f′为待变换帧;(x,y)为像素点的位置。

基于图像像素点运动的一致性,可以用单点(图像的中心)的运动来表示整幅图像的几何运动。以初始帧图像的位置为坐标系的原点,则第i帧的全局位置Gi可通过帧间运动累加获得,即

式中:Δdk,k-1为摄像机由第k-1帧运动至第k帧的平移量。

本文采用文献[13]中的卡尔曼滤波方法对平衡位置进行在线估计。系统噪声方差与观测噪声方差是影响卡尔曼滤波性能的2个重要因素,前者决定了低频主动运动的变化强度,例如摄像机静止、巡扫或者人为造成的运动状态的改变;后者决定了全局运动中抖动成分的含量。二者的相对大小决定了主动运动对全局运动的跟踪性能以及自身平滑性之间的平衡。当比例过小时,部分主动运动会被误认为抖动量被去除,导致主动运动轨迹相比全局运动轨迹发生较大的偏移;当比例过大时,会因过分强调主动运动的变化而导致部分抖动分量保留。

3.2 空白区域定位以及拼接方向确定

由于运动补偿的目的是抵消某帧图像全局位置中的抖动分量,因此补偿量与抖动量的方向相反,可以看作当前帧c的平衡位置Bc相对全局位置Gc的偏移:

对于镜头的平移运动,空白区域位于当前帧在水平、垂直方向的边缘。根据存储帧相对当前帧平衡位置的分布,按照左上、右上、左下、右下4个方向对空白区域进行拼接填补。理论上,对于空白区域出现的任意一种位置情况,最多需要3帧拼接帧可实现全部填补。定义左方与上方为图像坐标系中的正方向,以当前帧水平、垂直2条空白边缘交叉方向为第1拼接方向,第1拼接方向在水平方向投影的反方向为第2拼接方向,第1拼接方向在垂直方向投影的反方向为第3拼接方向。图 2以空白区域位于左上边缘为例,给出了空白区域以及拼接填补示意图。图中:虚线框表示相应的拼接帧,通过当前帧与3个方向的拼接帧可以对出现的空白区域进行全部填补。具体可通过如下方法判断:

图 2 当前帧空白区域以及拼接填补示意图 Fig. 2 Schematic of blank area and stitching completion flow of current frame

1) 当满足Cc,x>0,Cc,y>0时,表示当前帧的左边缘与上边缘存在空白区域,则空白区域的左上方为第1拼接方向,右上方为第2拼接方向,左下方为第3拼接方向。

2) 当满足Cc,x>0,Cc,y<0时,表示当前帧的左边缘与下边缘存在空白区域,则空白区域的左下方为第1拼接方向,右下方为第2拼接方向,左上方为第3拼接方向。

3) 当满足Cc,x<0,Cc,y>0时,表示当前帧的右边缘与上边缘存在空白区域,则空白区域的右上方为第1拼接方向,左上方为第2拼接方向,右下方为第3拼接方向。

4) 当满足Cc,x<0,Cc,y<0时,表示当前帧的右边缘与下边缘存在空白区域,则空白区域的右下方为第1拼接方向,左下方为第2拼接方向,右上方为第3拼接方向。

根据与当前帧的位置关系,存储帧可以分为3类。图 3针对当前帧平衡位置与全局位置的2种位置关系,给出了一维水平(垂直)方向上的存储帧分布示意图。当某存储帧的全局位置在该拼接方向上超过当前帧的平衡位置时,则该存储帧可对该方向的空白区域进行全部填补(全部补偿区域);当某预存帧的全局位置在该拼接方向上位于当前帧的平衡位置与全局位置之间时,只能对部分空白区域进行填补(部分补偿区域);当某预存帧的全局位置位于当前帧的全局位置偏离平衡位置的反向时(不能补偿区域),不能对未定义区域填补。

图 3 存储帧分布示意图 Fig. 3 Schematic of distribution of storage frames

时间上距离当前帧最近的存储帧,在空间上有着较强的内容相关性,拼接时具备较小的累积误差以及变形,因此按照时间上与当前帧的距离由近及远的顺序,对存储帧队列进行遍历,遍历时计算第i存储帧的全局位置Gi相对当前帧全局位置Gc的偏移矢量Dci:

通过判断Dci以及Cc在水平与垂直方向上的相对关系,可以确定3个拼接方向上满足空白区域的全部填补的存储帧。

第1拼接方向满足全部填补的存储帧i_1:

第2拼接方向满足全部填补的存储帧i_2:

第3拼接方向满足全部填补的存储帧i_3:

3.3 基于平衡位置修正的全分辨率拼接填补

所有存储帧遍历完毕之后,如果缺失区域能够全部填补,则按照式(1)将当前帧空白区域的像素位置变换至相应的拼接帧中,用该拼接帧中对应位置像素的像素值替代;当空白区域在某个拼接方向上不能全部填补时,说明当前平衡位置在该方向上超出了存储帧队列的空间范围,本文采用对当前平衡位置进行修正的方法,使其位于存储帧的范围之内,从而实现补偿后图像的全分辨率拼接填补。

当前平衡位置是主动运动轨迹在当前帧位置处的一个节点,代表了主动运动的平滑性,平衡位置的修正会对当前主动运动的平滑性造成损害,因此要确保最小范围内的修正,使得对主动运动平滑性的影响降到最低。

运动补偿的目的是将当前帧从全局位置补偿至平衡位置,当平衡位置计算不准确或者主动运动过度平滑时,则容易出现过度补偿导致空白区域过大而无法全部填补,因此本文对平衡位置采用与补偿方向相反的修正。图 3中,当前平衡位置超出存储帧的空间范围时,表明所有的存储帧都位于图 3中不能补偿区域或者部分补偿区域,无任何存储帧位于全部补偿区域。为了保证平衡位置在最小程度修正的条件下,空白区域能够全部补偿,需要寻找某一帧存储帧位于部分补偿区域内,同时距离当前平衡位置最近,记为第imin帧,则修正后的平衡位置为该存储帧的全局位置:

修正时还存在另外一种情况,当没有存储帧位于图 3中全部补偿和部分补偿区域,而全部位于不能补偿区域时,则将平衡位置修正为当前帧的全局位置,此时意味着对当前帧不进行稳定处理。具体可通过判断所有存储帧i与当前帧c全局位置偏离平衡位置的距离比例来确定满足条件的第imin帧存储帧:

式中:d为水平或者垂直方向的分量。由式(9)可知,当平衡位置需要修正时,说明无存储帧位于图 3中全部补偿区域,并且当前平衡位置位于所有存储帧(包括当前帧)全局位置的最值,因此上述ri,cd具有非负性,且伴随着与当前平衡位置距离的增大,ri,cd的值也变大,总体说来第imin帧应当满足下述2个条件:

式中:第1个条件表示第imin帧存储帧必须位于图 3中部分补偿区域,当rdi_min,c=1时,表明第imin帧即为原始当前帧;第2个条件表示在第1个条件允许的范围内,寻找与当前平衡位置距离最近(修正程度最小)的存储帧。根据式(8),修正后的平衡位置与第imin帧存储帧的全局位置重合,因此,第imin帧存储帧可以覆盖当前帧补偿后的所有空白区域。

3.4 存储帧队列的自适应更新

伴随着视频图像的时空延伸,需要用新采集的图像对存储帧队列进行更新,更新策略包括3点:①在时间上使各存储帧与当前帧的距离尽可能近以保证较强时空相关性,减少累积误差;②在数量有限的条件下,最大限度地保证存储帧的空间范围,使得后续图像帧的缺失像素尽可能地填补;③预存帧代表最新的图像数据,并且是将要进行处理的当前帧,因此存储帧队列更新时只丢弃参考帧,预存帧保持不变。

图像采集帧率较大,一般为25~30帧/s,相邻帧间平衡位置的变化不明显,因此本文以当前帧的平衡位置为基准,根据存储帧对当前平衡位置的偏移方向对存储帧序列进行更新,具体更新步骤如下:

1) 选取参考帧序列中时间上距离当前帧最远的参考帧,按照左上、右上、左下、右下4个偏移方向,利用第3.2节的方法判断其基于当前帧平衡位置的偏移方向。

2) 继续对剩余参考帧的偏移方向进行判断,当存在某参考帧与步骤1)中所述参考帧的偏移方向一致时,则将最新采集帧替换掉步骤1)中的最远参考帧。

3) 如果遍历完所有剩余的参考帧之后没找到与步骤1)所述参考帧偏移方向一致的参考帧,则选取时间上与当前帧距离次远的参考帧,以该参考帧的偏移方向为基准,继续寻找偏移方向一致的参考帧。以此类推,当参考帧的数量大于4时,肯定存在相同偏移方向的2帧参考帧,则在这2帧中用最新采集的图像帧替换掉时间上距离当前帧位置较早的参考帧。

存储帧队列的更新策略如图 4所示。各存储帧按照时间尺度递增的顺序排列,最左侧斜线阴影的图像表示时间上最早的参考帧,但不存在与其具有相同偏移方向的参考帧,纯色阴影图像表示具有相同偏移方向的2帧参考帧,则将最新采集的图像替换掉时间上较早(左侧)的一帧。

图 4 存储帧队列更新示意图 Fig. 4 Schematic of update of storage frame quene
4 实验结果及分析

为了验证算法的实用性,本文采用图 5所示的灯塔与音乐厅2段视频作为验证数据,视频均采用远程可见光传感器录制。其中,灯塔视频的镜头是固定的,其所有运动来自海风的干扰。音乐厅视频的镜头在开始一段时间内也处于固定状态,在某一个时间点处开始由人为控制镜头朝固定的方向运动。

图 5 实验视频图像示意图 Fig. 5 Frame illustration of experiment videos

图 6给出了2段视频水平方向的运动滤波结果。灯塔视频全局运动是一条围绕水平线x=0上下波动的曲线,且运动位于一定范围之内;音乐厅视频的镜头一开始保持静止,因此其全局运动在90帧之前围绕水平线附近抖动,从第90帧之后开始朝着固定方向进行巡扫,因此其运动轨迹出现明显的趋势信息,同时抖动的方式发生变化,由巡扫之前的高频的小幅抖动,变成之后的大幅抖动,频率相对降低。

图 6 实验视频水平方向运动滤波结果对比 Fig. 6 Comparison of motion filtering results in horizontal direction for experiment videos
4.1 基于平衡位置修正的拼接填补验证

滤波方法不同,估计出的主动运动结果差异明显,本文分别采用卡尔曼滤波[13]方法以及L1-L2 路径优化[8]方法对主动运动进行估计,同时基于这2种主动运动计算运动补偿后产生的空白区域的补偿情况r。具体计算方法如下:

式中:Sipatched为每帧图像空白区域中可以得到填补的面积(像素点个数);Simax_blank为整段视频中出现的空白区域的最大面积,主要是为了对整段视频的空白区域整体补偿情况定一个统一的尺度标准;N为输入视频数据的总帧数。

虽然灯塔视频的摄像头固定,但图 6中全局运动并不是一条平稳随机序列,而是一条围绕着水平直线、呈现一定缓慢波动趋势的曲线。比较图 6中2种滤波方法得到的主动运动轨迹可以看出,由于卡尔曼滤波基于单步递推式估计,对局部波动反应比较灵敏,因此在较好地去除高频分量的同时,对全局运动中包含的低频起伏波动有较好的跟踪性能。L1-L2路径优化则基于整体规划,更加注重提取较大时间尺度上的趋势信息,对局部的运动不敏感。因此,卡尔曼滤波方法得到的主动运动为一条曲线,而L1-L2路径优化方法得到的主动运动为一条直线。

针对2种运动滤波方法得到的主动运动,表 1给出了采用文献[17]中方法的稳像结果未定义区域的填补情况。可以看出,总体上存储帧的数量越多,其空间覆盖范围就越广,因此对空白区域的填补程度也就越高,同时,适当地添加预存帧也可以增加未定义区域的填补比例。比较卡尔曼滤波方法与L1-L2路径优化方法,前者可以较好地对全局运动中的低频起伏运动进行跟踪,因此其主动运动可以更加均匀地穿过全局运动轨迹,而L1-L2路径优化方法过度强调大时间尺度上的趋势变化,对一些低频波动跟踪能力不强,因此短时间内会使得主动运动偏离全局运动,从而导致没有合适的存储帧能够完全填补空白区域,尤其是当存储帧的数量较少时。因此,L1-L2路径优化方法对应空白区域的填补程度整体低于卡尔曼滤波方法。

表 1 文献[17]中方法得到的补偿结果 Table 1 Compensation results with method in Ref.[17]
参考帧数 预存帧数 卡尔曼滤波补偿 L1-L2路径优化补偿
灯塔 音乐厅 灯塔 音乐厅
5 0 0.902 1 0.829 4 0.879 0 0.804 7
8 0 0.998 0 0.917 5 0.988 1 0.913 4
10 0 0.998 7 0.921 8 0.993 9 0.917 3
10 5 0.999 0 0.927 8 0.998 7 0.931 4

表 2给出了按照本文提出的平衡位置修正的方法对应的空白区域的填补情况。与表 1相比,在相同存储帧组成的条件下,本文提出的方法可以基本满足对空白区域全部填补。

表 2 基于平衡位置修正下的补偿结果 Table 2 Compensation results with equilibrium position modification
参考帧数 预存帧数 卡尔曼滤波补偿 L1-L2路径优化补偿
灯塔 音乐厅 灯塔 音乐厅
5 0 0.996 7 0.986 2 0.982 9 0.989 4
8 0 0.998 4 0.993 6 0.990 6 0.992 4
10 0 0.998 7 0.996 2 0.997 9 0.994 2
10 5 0.998 7 0.999 4 0.998 7 0.996 3
4.2 主动运动平滑性验证实验

音乐厅视频包含明显的主动运动,其帧间重叠区域小,场景跨度较大,因此在存储帧数量有限的条件下,空白区域很难进行全部填补,因此本节采用音乐厅视频对本文的稳像方法的性能进行验证。本文通过对平衡位置的修正,可以实现对空白区域的全部填补,但在一定程度上影响了主动运动的平滑性。为了评估对主动运动轨迹平滑性的影响,本文采用文献[18]中提出的利用加速度均方差的思想判断一条运动轨迹的平滑性。

式中:ai为主动运动在第i帧处的加速度;Bi为主动运动轨迹在第i帧的平衡位置。则主动运动轨迹的平滑性因子s

式中: a为加速度均值。主动运动越平滑,其对应的平滑性因子s就越小。本节统一采用卡尔曼滤波方法作为主动运动的估计方法,经计算音乐厅视频在水平以及垂直方向的原始主动运动(无平衡位置修正)的平滑性因子分别为1.528 2和0.474 5。

图 7图 8分别为按照水平、垂直2个方向,对比存储帧逐帧更新[16, 17]以及本文提出的自适应更新方法的稳像结果。可见,当存储帧数量较少时(只存储6帧或者8帧参考帧),平衡位置位于存储帧空间覆盖范围之外的几率较大,主动运动因强行修正出现了明显的跳变。而采用自适应存储帧队列更新方法时,跳变明显消失,同时各条曲线基本重合(与初始主动运动轨迹重合)。

图 7 音乐厅视频水平方向主动运动估计结果对比 Fig. 7 Intentional motion estimation comparison in horizontal direction for video odeum
图 8 音乐厅视频垂直方向主动运动估计结果对比 Fig. 8 Intentional motion estimation comparison in vertical direction for video odeum

表 3给出了图 7图 8中各条曲线对应的平滑性因子。可见在传统的逐帧更新方法下,当存储帧数量较少时,主动运动因跳变存在的平滑性因子较大,而采用自适应存储帧更新方法时,同样数量的存储帧条件下,主动运动的平滑性因子明显变小,且数值基本接近于未修正的主动运动轨迹。综上所述,本文提出的存储帧队列自适应更新策略可以在有限存储空间条件下,最大化地增加存储帧队列的空间覆盖范围,从而补偿后图像的空白区域可以以更大几率全部填补,不会因修正对主动运动的平滑性产生明显的影响。

表 3 主动运动轨迹平滑性验证 Table 3 Smoothness verification of intentional motion path
参考帧数 预存帧数 逐帧更新[16, 17] 自适应更新
水平 垂直 水平 垂直
5 0 55.811 4 8.943 6 4.006 5 0.770 4
8 0 5.605 2 2.356 0 1.528 2 0.474 5
10 0 1.528 2 0.474 5 1.528 2 0.474 5
10 5 1.528 2 0.474 5 1.528 2 0.474 5
4.3 稳像结果对比

图 9中将本文提出的方法与文献[16, 17]中经典多帧拼接填补方法和文献[5, 14]中插值法进行了对比。可以看出,图 9(a)中由于当前帧在平衡位置处找不到全部填补的拼接帧,因此在稳定后的图像下方遗留一部分空白区域无法补偿。由图 9(b)中可以明显看出,经过插值之后,虽然补偿后的图像在物理分辨率上得以恢复,但图像纹理明显变得模糊(可以从树叶的清晰程度看出),并且图像内容占比变大(由矩形区域内的窗户大小进行对比可以看出,插值之后的窗户明显被放大)。由于图 9(a)保持原始平衡位置,因此理论上其满足主动运动的平滑性。图 9(c)是本文方法中采用平衡位置修正以及存储帧逐帧更新方法的稳像结果,可以发现,虽然与图 9(a)相比实现了当前帧的全部填补,但是平衡位置有较大的变化,可以从图中圆圈标记区域看出。图 9(a)中最左上角的圆圈标记区域内看不到音乐厅大楼的顶角,图 9(c)中圆圈标记区域中出现了音乐厅大楼的顶角,表明图 9(c)虽然实现了空白区域的全部填补,但平衡位置的修正明显,因此对主动运动平滑性产生了显著影响。图 9(d)是采用本文提出的平衡位置修正加存储帧自适应更新方法的稳像结果,从圆圈中标记的内容可以看出。图 9(d)图 9(a)位置保持一致(均看不到音乐厅的顶角),同时无空白区域遗留。综合上述分析结果,本文方法可以在保证主动运动平滑性的同时,满足全分辨率的补偿效果。

图 9 不同运动补偿方法下的稳像结果 Fig. 9 Video stabilization results with different motion compensation methods
5 结 论

本文以实际室外地面视频监控领域为出发点,针对视频的二维平移运动,对镜头实际运动特点以及稳像方法的适应性进行了研究,主要包括:

1) 根据视频二维平移运动的原理,利用卡尔曼滤波方法对平衡位置进行计算,实现了数字稳像的在线处理,并且在充分去除高频抖动的条件下,对视频全局运动中包含的局部波动具有精确的跟踪效果。

2) 根据各存储帧全局位置与当前帧平衡位置的分布,将存储帧分为全部补偿帧、局部补偿帧以及不能补偿帧,当所有存储帧无法全部填补空白区域时,则在所有“部分补偿”的存储帧中,寻找距离当前平衡位置最小的存储帧,根据其全局位置对当前平衡位置进行修正,从而在对主动运动平滑性影响最小的前提下,保证了修正后空白区域的全分辨率补偿。

3) 按照存储帧同时存在左上、右上、左下以及右下4个偏移方向的原则,在参考帧队列中寻找时间尺度上距离当前帧最远的冗余帧,用新采集的图像进行替换,从而在保证存储帧最大覆盖范围的前提下,增加了与当前帧的时空相关性,进一步保证了全分辨率补偿下主动运动的平滑性。

本文设计的数字稳像方法已经成功应用于大型室外远程监控系统,取得了良好的效果。

参考文献
[1] 朱娟娟. 电子稳像理论及其应用研究[D].西安:西安电子科技大学,2009:6. ZHU J J.Research on theory and application of electronic image stabilization[D].Xi'an:Xidian University,2009:6(in Chinese).
Cited By in Cnki (1844)
[2] 邱家涛. 电子稳像算法和视觉跟踪算法研究[D].西安:西安电子科技大学,2013:16. QIU J T.A study of electronic image stabilization algorithms and visual tracking algorithms[D].Xi'an:Xidian University,2013:16(in Chinese).
Cited By in Cnki (838)
[3] KUMAR S, AZARTASH H,BISWAS M,et al.Real-time affine global motion estimation using phase correlation and its application for digital image stabilization[J].IEEE Transactions on Image Processing,2011,20(12):3046-3418.
Click to display the text
[4] 吴浩,邓宏彬. 一种基于分块灰度投影运动估计的视频稳像方法[J].兵工学报,2013,34(4):406-411. WU H,DENG H B.A video stabilization method based on sub-block gray projection[J].Acta Armamentarii,2013,34(4):406-411(in Chinese).
Cited By in Cnki (198)
[5] LIU F,GLEICHER M, JIN H,et al.Content-preserving warps for 3D video stabilization[J].ACM Transactions on Graphics,2009,28(3):1-9.
Click to display the text
[6] LEE T H, LEE Y G,SONG B C.Fast 3D video stabilization using ROI-based warping[J].Journal of Visual Communication and Image Representation,2014,25(5):943-950.
Click to display the text
[7] GRUNDMANN M, KWATRA V,ESSA I.Auto-directed video stabilization with robust L1 optimal camera paths[C]//2011 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2011:225-232.
Click to display the text
[8] QU H, SONG L.Video stabilization with L1-L2 optimization[C]//20th IEEE International Conference on Image Processing.Piscataway,NJ:IEEE Press,2013:29-33.
Click to display the text
[9] ZHOU Z H, JIN H L,MA Y.Plane-based content preserving warps for video stabilization[C]//26th IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2013:2299-2306.
Click to display the text
[10] TANAKIAN M J, REZAEI M,MOHANNA F.Real-time video stabilization by adaptive fuzzy filtering[C]//1st International Conference on Computer and Knowledge Engineering.Piscataway,NJ:IEEE Press,2011:126-131.
Click to display the text
[11] TSAI T H,FANG C L, CHUANG H M.Design and implementation of efficient video stabilization engine using maximum a posteriori estimation and motion energy smoothing approach[J].IEEE Transactions on Circuits and Systems for Video Technology,2012,22(6):817-830.
Click to display the text
[12] KWON O, SHIN J,PAIK J.Video stabilization using Kalman filter and phase correlation matching[J].Image Analysis and Recognition,2005,3656:141-148.
Click to display the text
[13] RYU Y G, CHUNG M J.Robust online digital image stabilization based on point-feature trajectory without accumulative global motion estimation[J].IEEE Signal Processing Letters,2012,19(4):223-226.
Click to display the text
[14] KIM Y G, JAYANTHI V R,KWEON I S.System-on-chip solution of video stabilization for CMOS image sensors in hand-held devices[J].IEEE Transactions on Circuits and Systems for Video Technology,2011,21(10):1401-1414.
Click to display the text
[15] 钟平,于前洋,金光. 基于特征点匹配技术的运动估计及补偿方法[J].光电子·激光,2004,15(1):457-462. ZHONG P,YU Q Y,JIN G.Motion estimation and motion compensation based on matching technology of feature point[J].Journal of Optoelectronics·Laser,2004,15(1):457-462(in Chinese).
Cited By in Cnki (680)
[16] MATSUSHITA Y, OFEK E,GE W N,et al.Full-frame video stabilization with motion inpainting[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(7):1150-1163.
Click to display the text
[17] LIU Y K,YANG Z B. Motion compensation based on mosaic with near compatible frames[C]//4th International Congress on Image and Signal Processing.Piscataway,NJ:IEEE Press,2011,1:548-551.
Click to display the text
[18] LIU Y K, LV C Z,LI C.Motion correction with adaptive Kalman filter[J].Advanced Materials Research,2011,268-270:1768-1772.
Click to display the text
http://dx.doi.org/10.13700/j.bh.1001-5965.2015.0293
北京航空航天大学主办。
0

文章信息

翟博, 郑锦, 王越
ZHAI Bo, ZHENG Jin, WANG Yue
一种用于实时数字稳像的全分辨率运动补偿方法
A full-resolution motion compensation method used for real-time digital image stabilization
北京航空航天大学学报, 2016, 42(4): 762-771
Journal of Beijing University of Aeronautics and Astronsutics, 2016, 42(4): 762-771.
http://dx.doi.org/10.13700/j.bh.1001-5965.2015.0293

文章历史

收稿日期: 2015-05-10
录用日期: 2015-06-12
网络出版时间: 2015-07-14 14:50

相关文章

工作空间