地面运动目标检测在计算机视觉和视频处理方面有着非常重要的应用.移动相机下的每个像素点本身都有二维运动，这会造成强烈的视差，这就是地面运动目标分割技术的主要虚警来源.文献[1]和文献[2]介绍了一些常见的检测方法，这些方法或多或少都存在不足.在此基础上，笔者提出一种新的三视图约束方法，在分割运动目标过程中克服了传统方法的固定诱导平面问题，并且将极线约束的“面退化”修改为“线退化”，可以更加稳定地分割强视差下的运动目标.

1 平面和视差框架

“平面和视差”框架^[3]是一种将二维的图像参数配准方法应用到三维场景中的方法. 图 1给出了平面和视差框架的几何解释. C₁和C₂分别是t₁和t₂时刻的相机中心位置，P是一个三维静态点，P¹和P²分别表示P点在t₁和t₂时刻视场下的坐标.用3×3的旋转矩阵R和3×1的平移矢量T来表示相机在2个时刻之间发生的旋转和平移，其中平移矢量T又可以写成 (T_x, T_y, T_z).令 (x¹, y¹) 和 (x², y²) 表示三维点P投影在两幅不同时刻视图中的坐标，可以通过P¹=AP²来描述对应关系，其中A表示两幅视图之间对应的单应变换.

这里也可以表示成J=J_Π+J¹，其中J_Π表示二维图像运动的平面部分，J表示剩余的二维运动平面视差.当T_Z≠0时，有

$ {J_\Pi } = \left( {{P^2} - P_\Pi ^1} \right) $

(1)

$ {J^1} = {\gamma ^1}\frac{{{T_Z}}}{{d_\Pi ^2}}\left( {{e^1} - P_\Pi ^1} \right) $

(2)

其中：P_Π¹为由视图 2中的对应点P²变换到视图 1中的图像点 (t₁时刻的视图设为参考视图)，d_Π²为第2个相机的中心到参考平面Π的垂直距离，e¹为极点，γ¹用来衡量点P的三维形状.

2 视差约束

静态背景中2个点的平面视差的位移矢量为J_j¹和J_r¹，它们的相关投影结构γ_j¹/γ_r¹可以表示为

$ \frac{{\gamma _j^1}}{{\gamma _{\rm{r}}^1}} = \frac{{{{\left( {\mathit{\boldsymbol{J}}_j^1} \right)}^{\rm{T}}}{{\left( {\Delta P_\Pi ^1} \right)}_ \bot }}}{{{{\left( {\mathit{\boldsymbol{J}}_{\rm{r}}^1} \right)}^{\rm{T}}}\left( {\Delta P_\Pi ^1} \right)_ \bot ^j}} $

(3)

P_j¹和P_r¹是静态背景中2个点的图像位置，ΔP_Π¹=P_{Π, j}¹-P_{Π, r}¹，这个矢量连接了视图 2中对应点歪曲的位置，v_⊥表示一个垂直于v的矢量.

极点是静止时，有

$ \frac{{\gamma _j^1}}{{\gamma _{\rm{r}}^1}} = \frac{{{{\left( {\mathit{\boldsymbol{J}}_j^1} \right)}^{\rm{T}}}{{\left( {\Delta P_\Pi ^1} \right)}_ \bot }}}{{{{\left( {\mathit{\boldsymbol{J}}_r^1} \right)}^{\rm{T}}}{{\left( {\Delta P_\Pi ^1} \right)}^j}}} = AB/AC $

(4)

当视差矢量几乎平行时，极点无法估计.但是，AB/AC这个相关结构仍旧可以计算得到.

上述方法称为“模型视差约束”，它直接把2个点的相对投影结构与它们各自的视差位移联系到一起，而不需要计算相机参数和极点^[4].

给定静态背景中2个点在3个不同时刻视图中的位移矢量，那么必须满足下面的刚性视差约束：

$ \frac{{{{\left( {\mathit{\boldsymbol{J}}_j^1} \right)}^{\rm{T}}}{{\left( {\Delta P_\Pi ^1} \right)}_ \bot }}}{{{{\left( {\mathit{\boldsymbol{J}}_{\rm{r}}^1} \right)}^{\rm{T}}}\left( {\Delta P_\Pi ^1} \right)_ \bot ^j}} - \frac{{{{\left( {\mathit{\boldsymbol{J}}_j^2} \right)}^{\rm{T}}}{{\left( {\Delta P_\Pi ^2} \right)}_ \bot }}}{{{{\left( {\mathit{\boldsymbol{J}}_{\rm{r}}^2} \right)}^{\rm{T}}}\left( {\Delta P_\Pi ^2} \right)_ \bot ^j}} = 0 $

(5)

刚性视差约束不需要估计相机参数，提高了动目标分割的精度，但是它假设了参考平面在3个视图中是一致的，而实际上这无法保证.所以刚性视差约束在实际的应用中是比较难成立的.

3 多平面视差约束

设P_j=(X_j, Y_j, Z_j) 是一个三维静态点，它在3个不同时刻的投影坐标分别为P_j¹=(X_j¹, Y_j¹, Z_j¹)，P_j²=(X_j², Y_j², Z_j²)，P_j³=(X_j³, Y_j³, Z_j³).另有一个三维静态点P_r=(X_r, Y_r, Z_r) 作为参考点，且在3个时刻的对应坐标分别为P_r¹=(X_r¹, Y_r¹, Z_r¹)，P_r²=(X_r², Y_r², Z_r²)，P_r³=(X_r³, Y_r³, Z_r³).根据第1节可以得到

$ \left. \begin{array}{l} \gamma _j^1 = \frac{{H_j^1}}{{Z_j^1}}\\ \gamma _{\rm{r}}^1 = \frac{{H_{\rm{r}}^1}}{{Z_{\rm{r}}^1}} \end{array} \right\} $

(6)

由于点P_r是参考点，γ_r¹是不变的.令γ_r¹=α₁，α₁对所有像素点来说都是一个常数.这样，式 (6) 可以改写为

$ \frac{{\gamma _j^1}}{{\gamma _{\rm{r}}^1}} = \frac{{H_j^1}}{{{\alpha _1}Z_j^1}} $

(7)

对于三维点P_j¹，有

$ H_j^1 = \mathit{\boldsymbol{v}}_1^{\rm{T}}P_j^1 - 1 $

(8)

根据式 (7) 和式 (8)，再结合相机模型得到

$ \frac{1}{{Z_j^1}} = \mathit{\boldsymbol{v}}_1^{\rm{T}}{K^{ - 1}}P_j^1{\alpha _1}\frac{{\gamma _j^1}}{{\gamma _{\rm{r}}^1}} $

(9)

其中K为相机的内参.令r_{2, 1}表示旋转矩阵R_{2, 1}的第3行，t_{2, 1}表示平移矢量T_{2, 1}的第3组.点P_j¹的三维深度可以通过P_j²=R_{2, 1}P_j¹+T_{2, 1}与P_j²联系到一起，即

$ Z_j^2 = {r_{2,1}}P_j^1{t_{2,1}} $

(10)

结合式 (9) 可以得到

$ \frac{1}{{Z_j^1}} = \frac{{{r_{2,1}}{K^{ - 1}}P_j^1}}{{Z_j^2}} + \frac{{{t_{2,1}}}}{{Z_j^1Z_j^2}} $

(11)

最后可以得到

$ \begin{array}{*{20}{c}} {\mathit{\boldsymbol{v}}_1^{\rm{T}}{K^{ - 1}}P_j^1 - {\alpha _1}\frac{{\gamma _j^1}}{{\gamma _{\rm{r}}^1}} = \left( {\mathit{\boldsymbol{v}}_2^{\rm{T}}{K^{ - 1}}P_j^2 - {\alpha _2}\frac{{\gamma _j^2}}{{\gamma _{\rm{r}}^2}}} \right) \times }\\ {\left( {\left( {{r_{2,1}} + {t_{2,1}}\mathit{\boldsymbol{v}}_1^{\rm{T}}} \right){K^{ - 1}}P_j^1 - {t_{2,1}}{\alpha _1}\frac{{\gamma _j^1}}{{\gamma _{\rm{r}}^1}}} \right)} \end{array} $

(12)

改写成矩阵形式并化简可以得到：

$ \left[ {\begin{array}{*{20}{c}} {P_j^2} & {\frac{{\gamma _j^2}}{{\gamma _{\rm{r}}^2}}} \end{array}} \right]{\mathit{\boldsymbol{N}}_{4 \times 4}}\left[ {\begin{array}{*{20}{c}} {P_j^1}\\ {\frac{{\gamma _j^1}}{{\gamma _{\rm{r}}^1}}} \end{array}} \right] = 0 $

(13)

其中：γ_j¹/γ_r¹为t₁时刻视图到t₂时刻视图的相对投影结构，γ_j²/γ_r²为t₂时刻视图到t₃时刻视图的相对投影结构，N为4×4的矩阵.多平面视差约束可以在不需要计算任何相机参数的情况下给出三视角视图的映射结构.

图 2所示为多平面视差约束条件下的面退化情况.

如图 2所示，P¹、P²和P³分别为某一空间点P在3个时刻的对应相机坐标系里面的坐标，C₁、C₂和C₃分别表示为对应的3个时刻的相机中心，且Z_j¹=Z_j²=Z_j³.根据前面的公式推导，可以得到

$ \mathit{\boldsymbol{v}}_2^{\rm{T}}{K^{ - 1}}P_j^2 - {\alpha _2}\frac{{\gamma _j^2}}{{\gamma _k^2}} = \mathit{\boldsymbol{v}}_1^{\rm{T}}{K^{ - 1}}P_j^1 - {\alpha _1}\frac{{\gamma _j^1}}{{\gamma _k^1}} $

(14)

再结合相机模型，可以得到

$ Z_j^1 = {r_{2,1}}P_j^1 + {t_{2,1}} $

(15)

由于Z_j¹=Z_j²=Z_j³，式 (15) 为恒等式，即此时无法检测出运动目标，发生线退化.但是发生线退化的条件非常苛刻，一般可以忽略.用线退化来代替面退化是多平面视差约束优越性的集中体现.

4 多平面视差约束的应用

相机移动状态下的地面运动目标分割主要步骤为：估计单应变换和多平面视差约束的参数；获得平面残差图像并图像分割出运动目标；通过目标跟踪算法跟踪兴趣目标.

特征点匹配采用的是KLT (Kanade-Lucas-Tomasi) 算法^[5].单应变换参数的估计采用Okade M^[1]等提出的方法.设图像序列为{I_t+i|i=-Δ, …, 0, …, Δ}，Δ是时间窗口的大小.通过单应性矩阵可以把I_t+i变换成I_t.然后通过背景更新算法获得平面残差图像，再通过阈值T_h获得平面残差的二值图像.从图像序列中以τ为时间间隔选取3幅图像，通过对应特征点估计多平面视差约束的参数. N由奇异值分解获得.残差图像二值化后的运动区域的像素可以由密集光流^[6]获得.这里定义一个代数误差函数：

$ {d_{{\rm{pa}}}} = \left[ {\begin{array}{*{20}{c}} {P_j^2} & {\frac{{\gamma _j^2}}{{\gamma _{\rm{r}}^2}}} \end{array}} \right]{\mathit{\boldsymbol{N}}_{4 \times 4}}\left[ {\begin{array}{*{20}{c}} {P_j^1}\\ {\frac{{\gamma _j^1}}{{\gamma _{\rm{r}}^1}}} \end{array}} \right] $

(16)

设th_pa是一个视差阈值.当d_pa>th_pa时，该像素就属于运动目标区域，反之就是在背景区域.

5 实验结果分析 5.1 定性分析

图 3来自于一段航拍视频，这段视频命名为“视频1”.参数Δ=30，τ=5，T_h=0.2，th_pa=0.8. 图 3(a)为第70、75、80帧原始图像；图 3(b)为多平面视差约束分割结果.由结果可以看出，多平面视差约束可以有效分割出运动目标.

图 4来自于实验室自行拍摄的一段视频，命名为“视频2”.参数Δ=40，τ=4，T_h=0.2，th_pa=0.8. 图 4(a)为第386、390、394帧原始图像；图 4(b)为多平面视差约束分割结果.由结果可以看出，在有强烈视差的条件下多平面视差约束也可以有效分割出运动目标.

5.2 定量分析

为了定量地说明多平面视差约束方法的优越性，引入探测率R(t) 和准确率P(t).手动标定视频中目标真实的像素集合，如图 5所示，采用与目标轮廓相似的多边形作为目标真实像素集合.

设Φ_g^t为目标真实像素的集合，Φ_d^t为分割后的目标像素集合.探测率和准确率的定义分别为

$ R\left( t \right) = \frac{{N\left( {\mathit{\Phi }_{\rm{g}}^t \cap \mathit{\Phi }_{\rm{d}}^t} \right)}}{{N\left( {\mathit{\Phi }_{\rm{g}}^t} \right)}} $

(17)

$ P\left( t \right) = 1 - \frac{{N\left( {\mathit{\bar \Phi }_{\rm{d}}^t \cap \mathit{\Phi }_{\rm{g}}^t} \right)}}{{N\left( {\mathit{\Phi }_{\rm{d}}^t} \right)}} $

(18)

R(t) 和P(t) 都在0~1之间，且这2个参数越大，运动分割方法越好.

笔者选取了极线约束和刚性视差约束来与多平面视差约束进行比较. 图 6为“视频2”的探测率和准确率曲线.

由图 6(a)可以看出，极线约束的探测率明显低于另外2种方法.由于刚性视差约束和多平面视差约束都考虑到了视差问题，所以探测率较高.但从平均值来看，多平面视差约束方法还是要略高于刚性视差约束方法的，所以，所提出的多平面视差约束方法在探测率方面优于另外2种方法.

由图 6(b)可以看出，3种方法的准确率是比较接近的.但是从平均值以及峰值来看，多平面视差约束的准确率明显优于另外2种方法.

6 结束语

笔者在“平面和视差”框架的基础上提出了一种新的多平面视差约束地面运动目标分割方法，它可以有效地去除视差的影响，并且将面退化情况简化为线退化.实验结果表明，多平面视差约束可以有效地检测出移动背景下的运动目标，而且相比现有的方法，可以部分提高相机移动状态下运动目标检测的探测率和准确率.