双目视觉测距技术是计算机视觉技术的一种应用。它具有通过对人类双眼处理景物方式的模拟感知周围环境空间深度的功能^[1]。在一些领域，机器视觉正在代替人眼成为有效的新工具。双目视觉在机器人导航与避障、机械臂的引导、三维成像、汽车导航等诸多领域都极具应用价值^[2-3]。与目前其他测距方法相比，双目测距具有成本低、精度高、方便快捷等优点^[4-5]。作为计算机视觉的分支，双目视觉技术在近些年来得到了长足的发展^[6]。

双目视觉测距技术的基本原理是基于物体在左右相机像平面成像的相差，利用相似三角形的几何关系，得到物体距相机的距离^[7]。其中的关键部分则是对左右视图进行匹配得到特征点的相差。而surf算法的特征点匹配具有稳定性高，实时性高的特点^[8]。本文在对视图进行显著性检测的基础上，用surf算子对提取出的目标区域进行特征点匹配。准确地得到了目标的距离，并提高了测距过程的实时性。

1 双目视觉测距系统

本文设计的双目视觉测距系统旨在为旋翼飞行器机械臂系统提供目标物体的距离信息，如图1所示，双目相机安装在旋翼飞行器机械臂系统的机械臂末端，通过双目相机对目标物体的实时测距并反馈距离信息，来控制旋翼飞行器机械臂系统操作实现抓取功能。双目视觉系统的原理图如图2所示。

假设左右相机的焦距和其他相关参数均相等，且平行放置。镜头基线均垂直于成像平面，左右相机满足 $x$ 轴重合， $y$ 轴平行，左右相机像平面重合。左右相机的成像像差只在 $x$ 轴存在。目标 $P$ 为物体上一点，在摄像机坐标系下坐标为( $X,Y,Z$ )，点 $P$ 在左右像平面的成像坐标分别为 ${P_l}$ ( ${x_l}$ , ${y_l}$ )和 ${P_r}$ ( ${x_r}$ , ${y_r}$ ), ${P_l}$ 与 ${P_r}$ 为点 $P$ 的一组匹配点对。图2为该模型在X-Z平面的投影成像图。左右相机光心 ${O_l}$ 、 ${O_r}$ 平行放置相距为基线距离T。相机焦距为 ${F_x}$ ，点 $P$ 距离相机平面的距离为 $Z$ ，则由相似三角形几何关系^[9-10]可得:

$\left\{ \begin{array}{c}{x_l} =\displaystyle\frac{{{F_x}}}{Z}X\\ y =\displaystyle \frac{{{F_x}}}{Z}Y\\ {x_r} = -\displaystyle \frac{{{F_x}}}{Z}(T - X)\\ \displaystyle\frac{Z}{T} = \displaystyle\frac{{Z - {F_x}}}{{T - ({x_l} - {x_r})}}\end{array} \right.$

(1)

推导可得：

$\left\{ \begin{array}{c}X = \displaystyle\frac{{{x_l}}}{{{x_l} - {x_r}}}T\\ Y = \displaystyle\frac{y}{{{x_l} - {x_r}}}T\\ Z = \displaystyle\frac{{{F_x}}}{{{x_l} - {x_r}}}T\end{array} \right.$

(2)

式中 $({x_l} - {x_r})$ 为左右视差图匹配点的视差。可见目标点距离相机平面的距离Z的求取精度与相差直接相关，所以图像特征点匹配的成功与否直接决定距离测量的精度，X-Z平面成像图如图3所示。

2 本文方法

为了提高双目测距过程的实时性，本文设计了一种双目视觉成像测距模型，并重点研究了目标检测识别与左右视图特征匹配的问题，提出了一种基于显著性检测的双目视觉测距方法。根据目标物体在视图中颜色对比度比较明显的特征，采用基于直方图对比度(histogram contrast, HC)的显著性值检测方法^[11]提取检测目标区域。针对相机焦距会随距离变化产生误差的特点，提出了一种用多组实验数据拟合相机焦距的方法，随后对检测到的目标物体应用surf算子^[8]进行匹配，得到目标物体的距离信息，算法流程如图4所示。

2.1 相机畸变校正

在本文模型中主要考虑相机的径向畸变问题^[12]。由图5可以看出，由于径向畸变的存在，在远离图像中心的区域a与区域b，现实当中的直线已经出现明显的弯曲。设不考虑畸变的图像坐标为 $(\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{x} ,\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{y} )$ ，畸变之后的图像坐标为 $(\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{x} ,\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{y} )$ ，则两者的对应关系满足:

$\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{x} = x + x({k_1}({x^2} + {y^2}) + {k_2}{({x^2} + {y^2})^2})$

(3)

$\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{y} = y + y({k_1}({x^2} + {y^2}) + {k_2}{({x^2} + {y^2})^2})$

(4)

式中 ${k_1}$ 与 ${k_2}$ 为径向畸变系数。

假设在图像像素坐标系下，不考虑畸变的坐标为 $(u,v)$ ，考虑畸变后的坐标值为 $(\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{u} ,\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{v} )$ ，则式(3)与式(4)等价于：

$\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{u} = u + (u - {u_0})({k_1}({x^2} + {y^2}) + {k_2}{({x^2} + {y^2})^2})$

(5)

$\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{v} = v + (v - {v_0})({k_1}({x^2} + {y^2}) + {k_2}{({x^2} + {y^2})^2})$

(6)

式中 $({u_0},{v_0})$ 表示图像平面的主点，对式(5)与式(6)继续整理可得：

$\left[ {\begin{array}{*{20}{c}} {(u - {u_0})({x^2} + {y^2})}&{(u - {u_0}){{({x^2} + {y^2})}^2}} \\ {(v - {v_0})({x^2} + {y^2})}&{(v - {v_0}){{({x^2} + {y^2})}^2}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{k_1}} \\ {{k_2}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{u} - u} \\ {\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{v} - v} \end{array}} \right]$

假设有 $n$ 幅图片，每幅图片有 $m$ 个点，则可以得到 $2 m n$ 个等式，运用最小二乘法对结果进行优化，可以解得：

${{k}} = {({{{D}}^{\rm{T}}}{{D}})^{ - 1}}{{{D}}^{\rm{T}}}{{d}}$

(7)

在考虑到畸变参数之后把世界坐标系下的点反投影到图像坐标系下，并与理想无畸变的参数进行最大似然估计，得到式(8)，可以采用LM算法进行计算求取最优解。

$\sum\limits_{i = 1}^n {\sum\limits_{j = 1}^m {{{\left\| {{u_{ij}} - f(M,{R_i},{t_i},{k_1},{k_2},{U_{ij}})} \right\|}^2}} } $

(8)

然后由式(9)与式(10)，

$u = \overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{u} + (\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{u} - {u_0})[{k_1}({x^2} + {y^2}) + {k_2}{({x^2} + {y^2})^2}]$

(9)

$v = \overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{v} + (\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{v} - {v_0})[{k_1}({x^2} + {y^2}) + {k_2}{({x^2} + {y^2})^2}]$

(10)

即完成了相机畸变校正的过程，其中 $(u,v)$ 表示畸变矫正后的像素坐标， $(\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{u} ,\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{v} )$ 代表畸变矫正前，实际径向畸变下的像素坐标。由图6可以看出，与畸变校正前的图5相比，在畸变影响下变弯曲的直线得到了很明显的修正。

2.2 双目测距模型焦距的拟合

在双目视觉的测距过程中，由于误差存在的原因，随着距离的变大，测量的焦距逐渐增大^[13]，焦距与距离近似满足线性关系如式(11)。于是本文采用测量多组数据进行线性回归拟合以得到焦距的方法。其中，求取焦距与实际距离的拟合公式为

${F_x} = G\left( D \right)$

(11)

测量的焦距 ${F_x}$ 与实际距离 $D$ 成线性关系，即可以近似写成：

${F_x}T = kD + b$

(12)

式中 $k$ 、 $b$ 为常数。

由方程组

${F_x}T = kD + b$

(13)

$D = {F_x}T/\left( {{x_l} - {x_r}} \right)$

(14)

可以得到实际距离 $D$ 与相差 ${x_l} - {x_r}$ 的关系：

$D({x_l} - {x_r} - k) + b = 0$

(15)

得到D与 $({x_l} - {x_r})$ 的数据后，为了求得最准确的 $k$ 与 $b$ 值，由最小二乘法求出线性回归拟合方程组。为方便表达，设D的值为 $x$ , ${F_x}$ $T$ 的值为 $y$ , 为使 $k$ 与 $b$ 的值误差最小，即要求误差平方和

$Q = \sum\limits_{i = 1}^n {{{(k{x_i} + b - {y_i})}^2}} $

(16)

最小，先求出 $x$ 与 $y$ 的平均值 $\bar x$ 与 $\bar y$ ，将式(16)变形得

$Q = \sum\limits_{i = 1}^n {{{\left[ {\left( {b + k\bar x - \bar y} \right) - \left( {{y_i} - \bar y} \right) + k\left( {{x_i} - \bar x} \right)} \right]}^2}} $

(17)

将平方开出，并整理得

$\begin{split} Q =& {k^2}\sum\limits_{i = 1}^n {{{\left( {{x_i} - \bar x} \right)}^2} - 2k\sum\limits_{i = 1}^n {\left( {{x_i} - \bar x} \right)\left( {{y_i} - \bar y} \right)} } + \\ & n{\left( {b + k \cdot \bar x - \bar y} \right)^2} + \sum\limits_{i = 1}^n {{{\left( {{y_i} - \bar y} \right)}^2}} \end{split}$

(18)

此为关于 $k$ 的一元二次方程，所以当且仅当

$\left\{ \begin{array}{c}k =\displaystyle\frac{{\displaystyle\sum\limits_{i = 1}^n {({x_i} - \bar x\bar y)({y_i} - \bar y)} }}{{\displaystyle\sum\limits_{i = 1}^n {{{({x_i} - \bar x)}^2}} }} = \frac{{\displaystyle\sum\limits_{i = 1}^n {{x_i}{y_i} - n\bar x\bar y} }}{{\displaystyle\sum\limits_{i = 1}^n {x_i^2 - n{{\bar x}^2}} }}\\b = \bar y - k \cdot \bar x\end{array} \right.$

(19)

时，误差 $Q$ 取最小值，式(19)即为 $k$ 与 $b$ 的线性回归拟合方程组。将测量的数据代入式(19)中，得到 $b = 37\;474.28$ , $k = 22.077\;8$ 其中测量得到的数据(已知基线距离 $T$ =62 mm)如表1所示。

实验所得线性回归方程拟合所得图像如图7所示。

2.3 图像的显著性检测

图像的显著性区域检测是近年来计算机视觉和图像预处理领域的研究热点之一，其本质是模拟人眼观察自然界图像时的视觉选择性注意机制，是一种视觉注意模型^[14]。显著区域检测在图像检索、图像分割、目标识别^[15-17]等诸多领域有广泛的应用。

本文采用CHENG的基于直方图对比度(histogram contrast, HC)的图像像素显著性值检测方法^[11]。该方法利用人的视觉系统对高对比度的视觉信号比较敏感的特点，首先定义一个像素的显著性值 $S({I_k})$ ，根据该方法的原理，一个像素的显著性值与它和图像中其他像素颜色的对比度相关，所以在图像 $I$ 中像素 ${I_k}$ 的显著性定义为

$S({I_k}) = \sum\limits_{\forall {I_i} \in I} {D({I_k},{I_i})} $

(20)

式中 $D({I_k},{I_i})$ 为像素 ${I_k}$ 与像素 ${I_i}$ 在 $L\times a\times b$ 空间的颜色距离度量。

将式(20)按照像素顺序展开得到：

$S({I_k}) = D({I_k},{I_1}) + D({I_k},{I_2}) + \cdots +D({I_k},{I_n})$

(21)

可以看出，由于没有考虑空间的关系，在这种定义下，具有相同颜色值的像素会具有相同的显著性值，因此把具有相同颜色值 ${c_j}$ 的像素归在一起，可以得到每个颜色的显著性值

$S({I_k}) = S({c_l}) = \sum\limits_{j = 1}^n {{f_j}D({c_l},{c_j})} $

(22)

式中：为 ${c_l}$ 像素 ${I_k}$ 的颜色值， $n$ 为图像中所含有的颜色总数， ${f_j}$ 为在图像I中颜色 ${c_j}$ 出现的概率。

图8与图9为显著性检测的实验效果图。

2.4 目标区域的提取

在得到目标物体的显著图后，首先对显著图进行腐蚀与膨胀操作，去除显著图中的噪点干扰，如图10所示。随后根据显著图中得到的目标区域信息对原图做与运算，则目标区域内像素值不变，目标区域外像素值置零，将目标区域从原图中提取出来，如图11所示。在此基础在上，对所得到的图像信息进行判断，只对像素不为零的值进行特征点匹配，处理流程如图12所示。

2.5 surf算法特征点检测

由于SIFT算子在检测的过程中存在计算数据大，耗时长的问题，Bay等^[8]提出了一种对尺度和旋转具有鲁棒性的快速鲁棒的特征描述方法(speed up robust features，surf)。surf检测算子与sift检测算子类似，首先构建尺度空间，初步检测极值点，在确定特征点主方向后确定特征点描述子。与sift对图像构造金字塔图不同，surf是通过改变滤波器的大小构造金字塔图层构建尺度空间，在此基础之上采用Hessian矩阵检测极值点，对检测的速度有很大提高。

2.5.1 Hessian矩阵确定特征点

在surf算子检测特征点的过程中Hessian矩阵判别式尤为关键，在构建尺度空间后，当Hessian矩阵判别式的局部值最大时所检测出的即为待选的特征点。在图像I中，点 $(x,y)$ 处尺度为 $\sigma $ ，则其Hessian矩阵为

${ H}(x,y,\sigma ) = \left[ {\begin{array}{*{20}{c}} {{L_{xx}}(x,y,\sigma )}&{{L_{xy}}(x,y,\sigma )} \\ {{L_{xy}}(x,y,\sigma )}&{{L_{yy}}(x,y,\sigma )} \end{array}} \right]$

式中： ${L_{xx}}(x,y,\sigma )$ 表示高斯二阶偏导数在点 $(x,y)$ 处与图像I的卷积， ${L_{xy}}(x,y,\sigma )$ 与 ${L_{yy}}(x,y,\sigma )$ 与此相同。为了方便计算且不影响效果，直接用框状滤波模板代替高斯的二阶偏导，如图13所示。

在模板中用 ${D_{xx}}$ 、 ${D_{xy}}$ 、和 ${D_{yy}}$ 分别取代原矩阵中的 ${L_{xx}}$ 、 ${L_{xy}}$ 与 ${L_{yy}}$ 。所以得到近似Hessian矩阵的表示：

$\det {{H}} = {D_{xx}}{D_{yy}} - {(\omega {D_{xy}})^2}$

(23)

由于高斯滤波与近似高斯滤波的差异性，用滤波响应的相对权重系数 $\omega $ 来平衡Hessian矩阵行列式，一般取0.9。

2.5.2 surf描述子

为了保证surf特征点的描述子具有旋转不变的特性，需要确定特征点的主方向。以某个特征点为圆心，在半径为6 $\sigma $ 的( $\sigma $ 为尺度因子)邻域内用边长为4 $\sigma $ 的Harr小波模板在X、Y方向上求取Harr小波响应。用一个圆心角为π/3的扇形窗口，以特征点为圆心旋转遍历一个完整的圆形区域，计算每个扇形窗口包括的图像点的Harr小波响应总和，其中最大的响应即为该特征点的主方向。

在此基础之上，构造一个带方向(前面计算的主方向)的正方形区域，边长设定为20 $\sigma $ ，首先把区域划分成16(4×4)个子域，对每个子域计算其主方向与垂直方向上的Harr小波响应，并计算 $\sum {{d_x}} $ 、 $\sum {{d_y}} $ 、 $\sum {\left| {{d_x}} \right|} $ 、 $\sum {\left| {{d_y}} \right|} $ 。这样每个子区域可以用一个矢量 ${ v} = (\sum {{d_x},\sum {{d_{y,}}\sum {\left| {{d_x}} \right|,\sum {\left| {{d_y}} \right|} } } } )$ 来表示。将区域内得到的64个值组合起来，就得到了此特征点的surf特征描述子。

2.5.3 surf算法特征点匹配

双目立体视觉系统中最关键且最重要的一步是立体特征匹配^[18]。在双目立体视觉系统中的立体匹配通常是通过寻找两幅图像中能够检测到的具有明显特征的元素如角点，边缘或者区域进行匹配。由双目立体视觉测距原理可知图像匹配的准确度决定了测量距离的精度^[19]。

surf特征匹配采用近邻欧氏距离比例法，通过对图像中特征向量属性进行判断，来达到两幅图像匹配成功的目的^[20]。在本文算法过程中，首先计算左图中局部特征点的特征向量 $(x_1^l,x_2^l, \cdots ,x_n^l)$ 与右图中待匹配特征点特征向量 $(x_1^r,x_2^r, \cdots ,x_n^r)$ 的欧氏距离，即式(24)，通过比较最近邻欧式距离和次近邻欧式距离之比 $\eta $ 来剔除因为噪声干扰而引起的匹配错误的特征点，即式(25)。如果 $\eta $ 大于某个阈值，则认为对应的最近邻欧氏距离匹配点与次近邻欧氏距离匹配点和其他待匹配特征点都很接近，将这一配对剔除^[18]。

$D = \sqrt {\sum\limits_{i = 1}^n {{{(x_i^l - x_i^r)}^2}} } $

(24)

$\eta = \frac{{{D_{{\rm near}}}}}{{{D_{{\rm sub\_near}}}}}$

(25)

3 算法效果与结果对比实验 3.1 显著性检测前后对比实验

为了降低双目视觉测距的误差，降低特征匹配的错误率，本文首先对使用的相机进行了单目标定，用标定后的参数对原始图像进行了畸变校正。在此基础之上本文采取了10组目标与角度不同的图片，图为应用显著性检测方法前后surf算子匹配时间对比，可以看出在应用本文算法之后，匹配时间缩短，实时性提高，如表2所示。

3.2 拟合焦距前后对比实验

为了测量距离更加准确，本文对相机的焦距进行了焦距拟合。并与未进行焦距拟合的实验结果进行对比。表中拟合前的测量值为将目标1与目标2实验数据计算所得焦距代入测距模型所得到的实验结果。拟合后测量值为进行线性拟合后所得焦距代入测距模型中，所得到的实验结果，如表3、表4所示。

可以看出，在该测距模型中，与拟合实验中目标1、目标2比较接近的距离误差较小，随着测量距离与目标1、目标2的距离的差距的增大，测量误差增大较快。使用进行线性拟合后的焦距测量的实验结果，相对于未进行线性拟合算出的焦距测量的实验结果，随着距离的增加误差增大较慢，测量的距离准确性增高明显。

4 结束语

本文主要提出了一种在双目视觉测距系统中通过显著性检测方法识别出目标物体，在应用特征点来进行双目视觉中左右视图的匹配，来准确获得物体距离信息的方法。本文在对相机畸变校正后，对相机进行了焦距拟合，与相机拟合前的实验结果进行对比，得到了误差更小的实验结果。本文方法旨在为旋翼飞行器中机械臂系统提供待抓取物体的深度信息。通过实验可得，本文方法得到的目标物体的深度信息准确可靠，为旋翼飞行器机载机械臂的任务抓取提供了可靠准确的数据支持。