立体匹配是通过寻找同一场景在不同视角下的2幅或多副图像的像素点，逐像素点获取像素点间的二维视差，从而恢复场景深度。匹配的过程，是摄影测量和计算机视觉领域的重要研究课题，在机器人导航、无人驾驶、虚拟现实和三维重建等领域有着广泛的应用^[1]。Scharstein等^[2]对典型的立体匹配算法进行了研究和总结，形成了立体匹配算法的理论框架，根据优化方法的不同，将现有的立体匹配算法分为全局算法和局部算法这2类。全局立体匹配算法通过构建全局能量函数，进行最小化来求取视差值，该算法精度高但是计算复杂，常见的全局算法有置信度传播匹配算法(belief propagation, BP)^[3]、图割算法(graph cut, GC)^[4]和动态规划算法(dynamic programming, DP)^[5]等。局部算法计算局部窗口像素的最优值，通过聚合代价进行误差值计算，具有复杂度低、效率高的特点，在实际过程中易于实现。

常见的局部立体匹配方法，主要包括自适应支持窗口法(variable support window，VSW)和自适应支持权重法(adaptive support weight，ASW)。基于VSW的方法通过图像特征来寻找最佳的支持窗口。Zhang等^[6]提出了一种局域十字交叉的自适应窗口，利用相邻像素的颜色差异和空间距离的关系，在水平和垂直方向上进行像素扩展，形成一个十字交叉区域。Mei等^[7]在此基础上提出了双距离阈值和双色彩阈值准则的方法来构建聚合区域，提高了匹配精度。基于ASW的方法是通过利用对固定窗口内的像素分配不同的权重来进行代价聚合。He^[8]提出引导滤波的概念，Hosni等^[9]将其作为代价聚合方法，引导滤波器具有计算复杂度和窗口大小无关的优点，因此在实时系统中得到广泛应用。

在实际应用过程中，边界区域部分属于容易出现深度值不连续的特殊区域，此时，所构建的区域延伸方向容易在不同深度值区域进行延伸，导致视差值不连续现象。对此，本文提出了一种基于边缘约束的自适应引导滤波的立体匹配算法解决该问题。在代价聚合过程中，将自适应区域和引导滤波算法相结合，但此时的引导滤波窗口不是固定大小的窗口，会导致边界点的交叉区域过度延伸，对此，引入边缘约束条件，使得边界点的交叉区域包含更多的有效像素点，从而提高边界区域的匹配精度，使得视差图能够更好地保持边界特征。

1 局部立体匹配算法框架

局部匹配代价计算可以分为4步：1)匹配代价计算；2)代价聚合；3)视差计算；4)视差精细化。图1为基于边缘约束的自适应引导滤波立体匹配算法流程。

常见的局部代价计算方法有绝对误差和（sum of absolute differences, SAD）、误差平法和算法（sum of squared differences, SSD）、归一化积相关算法（normalization cross-correlation, NCC）和自适应窗口等。代价聚合是局部立体匹配算法过程中最重要的一步，利用支持窗口内的初始匹配代价进行求和或者取平均值来提高匹配可靠性，最终，采用胜者为王策略取代价最低值作为该点视差值。但左右视图会由于成像视角和光照等因素影响，左右图像中均会出现无法匹配区域，在左右视差图中也会存在同一位置其视差值较大的位置，这就需要对视差图进行精细化后处理，判断寻找错误视差点，然后进行重新计算，视差图中也存在空白区域，需要进行填充操作。

2 本文立体匹配算法 2.1 匹配代价计算

匹配代价是衡量左右2幅图像视差相似性的指标，通过构建一个大小为 $H \times W \times D$ 的三维矩阵，其中H、W和D分别表示图像的高、宽和视差搜索范围^[10]。基于梯度变化的代价函数可以更好地表达视差特异性信息，本文采用常用的颜色强度和梯度信息相结合的代价计算方法，视差为 $d$ 时点 $i$ 的代价表示为

$\begin{array}{*{20}{c}} {C(i,d) = \alpha \min \left( {\left\| {{I_l}(i) - {I_r}\left( {{i_d}} \right),{T_1}} \right\|} \right)}+\\ {\left. { (1 - \alpha ) \min \left( {\left\| {{\nabla _x}{I_l}(i) - {\nabla _x}{I_r}\left( {{i_d}} \right),{T_2}} \right\|} \right)} \right)} \end{array}$

式中： ${I_l}(i)$ 和 ${I_r}({i_d})$ 分别表示左图像素 $i$ 的值和视差为 $d$ 时该像素在右图对应像素的值； ${\nabla _x}{I_l}(p)$ 和 ${\nabla _x}{I_r} (p - d)$ 分别表示沿 $x$ 轴方向的左图像素 $i$ 的梯度值和视差为 $d$ 时该像素在右图对应像素的梯度值；为了减少外在点对图像匹配的影响，采用截断值的计算方式，将灰度值和梯度值差异较大的值进行剔除。 ${T_1}$ 和 ${T_2}$ 分别表示颜色灰度和梯度值的截断值； $\alpha $ 表示衡量灰度值和梯度值的影响因子。

2.2 代价聚合 2.2.1 自适应区域构建

聚合窗口算法的前提条件是假设支持窗口内部的像素点具有同时视差值。基于像素点建立十字交叉的窗口进行窗口内像素聚合。核心思想是利用待匹配点的颜色信息和空间信息进行扩散约束，以此来构建符合每个像素点周围的交叉区域^[11]。该算法的关键步骤是构建参考图像与目标图像中待匹配点的十字交叉结构，通过一定的判断准则分别计算得到每个待匹配像素点在水平和垂直方向上的臂长。

如图2所示，定义水平方向上臂长的最左位置为 $h_p^ - $ ，最右位置为 $h_p^ + $ ，垂直方向上臂长的上下顶点位置分别为 $v_p^ + $ 、 $v_p^ - $ ，每个方向最长臂长的判断依据是视图中像素点之间的颜色差异性，同时也与设置的最长臂长阈值有关。以水平方向上的最左点 $h_p^ - $ 的计算为例，定义臂长的伸展依据进行计算，最左点与像素点 $p$ 之间的所有距离，即该点在左方的臂长，基本的判断准则如式(1)、(2)所示。

$\delta ({p_1},{p_2}) = \left\{ {\begin{array}{*{20}{l}} {1,}\;\;{\left( {{{\max }_{i = R,G,B}}\left| {{I_i}({P_1}) - {I_i}(P)} \right|} \right) \leqslant \tau } \\ {0,\;\;{\text{其他}}} \end{array}} \right.$

(1)

${r^*} = {\max\limits_{r \in [1,L]}}\left( {1,r\prod\limits_{i \in [1,r]} \sigma \left( {p,{p_i}} \right)} \right) $

(2)

式中： $\tau $ 表示像素点颜色差值阈值； ${I_i}$ 表示图像像素点的颜色值； $L$ 表示在该点的臂长； ${r^*}$ 为最后在该点在某一方向上的臂长。

最后计算出像素点 $p$ 各个方向上的臂长 $\left\{ {h_p^ + ,} \right. \left. {h_p^ - ,v_p^ - ,v_p^ + } \right\}$ ，则可以确定出各臂上的延伸区域。其中，水平方向和垂直方向的所有线段的集合分别为 $H(p)$ 、 $V(p)$ 。将上述运行结果进行联合得到像素点 $p$ 所构成的支持区域 $U(p)$ ，因此，在进行代价聚合的过程中，只需要计算此时不规则支持窗口内部的像素即可^[12]。

$V(p) = \{ (x,y)|x \in [{x_p} - v_p^ - ,{x_p} + v_p^ + ],y = {y_p}\} $

$ U(P) = \mathop \cup \limits_{q \in V(p)} H(q) $

2.2.2 自适应引导图滤波

引导图滤波是常用的代价聚合计算方法，引导图滤波由于是基于盒滤波的方式实现的，整个算法的实现原理基于线性的方式，运算时间复杂度跟滤波器的大小无关，只与图像中的像素数目有关，其代价聚合为

${C^\prime }(p,d) = \sum\limits_q {{W_{p,q}}} (I)C(q,d)$

式中： $q$ 为像素点 $p$ 的支持窗口中的某一像素点； ${W_{p,q}}$ 表示 $q$ 对 $p$ 的支持权重，其计算结果受引导图像的影响。引导滤波器的核心思想是滤波器运算后的输出结果 ${Q_i}$ 和输入的引导图像 ${I_i}$ 满足局部线性模型，其模型结构为^[13]

${Q_i} = {a_k}{I_i} + {b_k},\forall i \in {w_k}$

式中 ${b_k}$ 是一个值。

通过构建损失函数来计算 ${a_k}$ 、 ${b_k}$ ，利用岭回归的计算方法进行求解：

$E\left( {{a_k},{b_k}} \right) = \sum\limits_{i \in {w_k}} {\left( {{{\left( {{a_k}{I_i} + {b_k} - {p_i}} \right)}^2} + \varepsilon a_k^2} \right)} $

${a_k} = \frac{1}{{|{w_k}|}}\frac{{\displaystyle\sum\nolimits_{i \in {w_k}} {{I_i}{p_i}} - {\mu _k}{{\bar p}_k}}}{{\sigma _k^2 + \varepsilon }}$

${b_k} = {\bar p_k} - {a_k}{\mu _k}$

以灰度图像的计算为例， $q$ 对 $p$ 的支持权重为

${W_{p,q}} = \frac{1}{{{{\left| w \right|}^2}}}\sum\limits_{k:(p,q) \in {w_k}} {\left( {1 + \frac{{({I_p} - {\mu _k})({I_q} - {\mu _k})}}{{\sigma _k^2 + \varepsilon }}} \right)} $

(3)

式中： ${\mu _k}$ 与 $\sigma _k^{}$ 表示以像素点 $k$ 为中心的窗口内的均值和均方差； $\left| w \right|$ 表示固定大小为 $r \times r$ 的支持窗口 $w$ 内的像素个数； $\varepsilon $ 是一个正则化参数。

由于传统的引导图滤波算法是基于固定窗口进行代价聚合的，匹配窗口的大小会对最终的匹配精度造成直接影响。若选用窗口过小，则会在弱纹理区域有较大的误差；若选用窗口较大，则在深度不连续区域误差较大，整个过程中没有充分考虑到窗口内部像素的差异性^[14]。可以将自适应区域算法和引导滤波相结合，构建可变窗口的自适应引导滤波，充分利用各像素点的位置差异性。通过更改内核大小来对权重内核进行计算，核窗口将根据像素点的自适应区域进行调整，则式(3)的支持权重的计算方式可以变换为

${W_{p,q}} = \frac{1}{{\left| {{w_q}} \right|}}\sum\limits_{k \in {w_p}} {\left( {\frac{1}{{\left| {{w_k}} \right|}}\sum\limits_{q \in {w_k}} {\left( {1 + \frac{{({I_p} - {\mu _k})({I_q} - {\mu _k})}}{{\sigma _k^2 + \varepsilon }}} \right)} } \right)} $

式中 $\left| {{w_k}} \right|$ 、 $\left| {{w_p}} \right|$ 分别代表窗口 ${w_k}$ 和 ${w_p}$ 窗口内的像素点总数。利用积分图思想，将不规则的窗口分解成一维窗口，并计算出水平和垂直方向积分图进行累加计算，提高代价聚合的运行效率。

2.2.3 基于边缘约束的自适应引导滤波

基于自适应区域的代价聚合方法依赖像素点之间的差异构建支持窗口，然而，在图像中，边界区域部分属于容易出现深度值不连续的特殊区域^[15]。当引入了自适应区域引导滤波时，在边界上的边界点依据颜色阈值延伸臂长进行扩展，此时边界区域会沿着4个方向进行延伸，会导致部分区域的边界在进行滤波过程中分布不均衡，对于边缘区域的滤波操作会造成不同程度的影响，会产生边界不平滑现象，导致后续代价计算的匹配精度下降。因此，考虑在边缘点处添加约束条件，使得边缘处的窗口保持较小的范围，减少过多无关像素点的干扰。利用Canny^[16]算法对图像处理获得其边缘图像， ${{I}}$ 表示为原图像的边缘图像， ${{I}}(p) = 1$ 表示该点为边缘点，其计算判决为

$\tau ({l_{pq}}) = - {\tau _{\max }}/{L_{\max }} \times {l_{pq}} + {\tau _{\max }}$

${D_s}(p,q) < {L_{\max }},{D_c}(p,q) < \tau \left( {{l_{pq}}} \right)$

${D_s}(p,q) = \left\{ {\begin{array}{*{20}{l}} {\min (r,{l_{pq}}),{{I}}(q) = 1} \\ {\max (r,{l_{pq}}),{\text{其他}}} \end{array}} \right.$

式中： $\tau ({l_{pq}})$ 表示2点之间的颜色阈值； ${D_s}(p,q)$ 表示2点间的空间距离； ${L_{\max }}$ 为最大臂长； ${D_c}(p,q)$ 为2点之间的颜色差值。

通过线性阈值进行操作，离像素点越近的位置，阈值越大；当距离像素点越远的时候，阈值变得越小。同时，在边缘点处，将该点的延伸臂长限制到一定的范围内，保证自适应区域不会包含太多的无关区域。

图3中是采用不同判断依据处理后得到的自适应区域，从图3(a)中看出，经过线性阈值的操作，该阈值变化受空间距离的影响，但交叉区域依然会包含过多无关像素。如图3(b)所示，经过边缘抑制，其构建的支持窗口区域明显缩小，原有的臂长延伸方向不变，但是会减小无关区域的大小，使得该区域包含了更多的有效像素，并且再也不会影响非边界区域的臂长延伸。

图4是进行自适应引导滤波代价聚合视差图，在图4(a)中可以看出，只考虑将颜色阈值作为判断依据，由于其在边界区域的自适应区域范围过大，导致在代价聚合计算后的视差图中存在边缘过于平滑的现象。如图4(b)中的椭圆区域，将边缘约束引入之后，避免了边缘点处自适应区域的过度延伸，使得自适应区域能够包含更多的有效像素，在代价聚合过程中视差图中图像的边界区域能够更好地保持着原图的细节特征。

2.3 视差计算与精细化后处理

经过代价聚合之后，重新计算得到的匹配代价的计算值为 $\widehat C(p,d)$ ，采用胜者为王策略对视差值进行处理，得到初始视差值：

${d_p} = \arg \mathop {\min }\limits_{d \in D} [\widehat C(p,d)]$

式中 $D$ 表示视差搜索范围，即经过代价聚合的代价计算图选取代价最小的值作为最终的视差图。常用的后处理方法有：左右一致性检测，即经过代价聚合后可以分别获得参考图像和目标图像的视差图，通过判断左图某一点的视差值和右图某一点的视差值的差值进行判断，其判断标准为

$|{d_L}(i) - {d_R}[{\rm{i}} - {d_L}(i)]| < {\delta _0}$

式中： ${d_L}(i)$ 表示 $i$ 点在左视差图的视差值； ${d_R}[i - {d_L}(i)]$ 代表点 $i$ 右视差图中与之对应的点； ${\delta _0}$ 表示2点的阈值，一般设置为1。若不满足该条件，则认为该点为异常点，对该点利用加权中值滤波进行后处理计算填补。

3 实验验证

本文实验在Matlab2016a平台下进行编程实现。为验证代价计算和代价聚合的算法有效性，采用Middlebury^[17]立体匹配评估测试平台提供的数据集进行实验。按照统一评价标准，设误差阈值参数为1。实验中所涉及的参数如表1所示。

3.1 代价聚合算法验证

为验证边缘约束的自适应代价聚合算法的有效性，将固定窗口大小的引导滤波器立体匹配算法和改进后的代价聚合对Middlebury测试平台的标准图像进行实验。图5为Middleburry2006数据集的5组图像Baby1、Baby2、Baby3、Flowerpots和Bowling2的实验结果。

从图5中可以看出，相较于固定尺度支持窗口的引导滤波器代价聚合算法，改进算法在图像边界纹理区域的误匹配现象明显得到改善，匹配精度有所提升。这是由于在自适应引导滤波的过程中，考虑到边界像素点的特殊性，添加了阈值因子，使得原边界点按照原有的延伸方向进行伸展的过程中，包含更多的有效区域，减小了无关区域的干扰，有效减少了边界的不连续区域的产生，提高了算法的匹配精度。表2为2种聚合算法的误匹配率。

3.2 算法有效性验证

为验证本文的算法有效性能，将本文算法在Middlebury提供的4组标准测试图上进行实验，并与其它局部立体算法进行对比。其中Tsukuba、Venus、Teddy和Cones的视差搜索范围分别为[0,15]、[0,19]、[0,59]、[0,59]，缩放倍数为[16,8,4,4]。本文算法分别与多种经典立体匹配算法进行对比分析，所采用的算法分别为LCVB-DEM^[18]、CostFilter^[9]、SMPF^[19]和AdaptAggrDP^[20]，其中CostFilter和AdaptAggrDP均为局部立体匹配算法，比较各个算法在不同区域的误匹配率，其中误匹配视差结果如图6~11所示，红色部分表示误匹配的视差值。

在以上算法处理的结果图6~11中，红色部分均表示误匹配区域。由结果可以明显看出相较于AdaptAggrDP、SMPF算法，本文算法在各个图像中的红色区域明显减小，并且本文算法产生的深度图在边缘细节方面表现较好。在Tsukuba图像中，本文算法在台灯和人物雕塑部位有较少的误匹配点出现，而其他算法在该区域部分的误匹配点较为连续和稠密。在Vensus图像中，LCVB-DEM算法处理后的图像，在边缘处的红色误匹配点明显较多，而本文所提出的算法，在深度不连续的边缘处的误匹配点明显较少，这是由于充分利用自适应引导滤波的优势，充分利用各个像素点的交叉区域的特异性，并限制了边缘处的过度延伸，使得边缘处的细节得到更好的还原。在Cones图像中，本文算法在图像中的左区域误匹配点相较于其他算法有明显减少，其中，在深度不连续区域依然保持良好。进一步对比各算法在不同区域的误匹配率，来比较各个算法之间的差异性。表3为各个立体匹配算法的误匹配率。

表中：N-occ表示非遮挡区域的误匹配率； ${\rm{Disc}}$ 表示不连续区域的误匹配率； ${\rm{All}}$ 表示整张图像的误匹配率。与局部立体匹配AdaptAggrDP算法相比，本文算法误匹配率有大幅度降低，尤其是在Cones图像上误匹配率大幅度降低。本文算法与局部立体匹配CostFilter算法均采用引导图滤波的代价聚合方式，可以看出在引入边缘自适应引导滤波后，在以上数据集图像上的非连续区域，本文算法误匹配率均低于CostFilter算法，表明自适应区域可以有效避免代价聚合过程中的无关区域滤波，减小误匹配率，边界保护性能有所提高。本文所提出的算法，在该数据集上的平均误匹配率降低到5.22%。

4 结论

本文以局部立体匹配算法为基础，通过将自适应支持窗口算法和自适应权重算法相结合，并引入了边缘约束思想，提出了一种基于自适应边缘约束的自适应引导滤波的局部立体匹配算法。

1)与固定窗口大小的引导滤波算法相比，本文的自适应引导滤波算法可以根据各个像素点所构建的交叉区域进行滤波操作，充分利用各个像素点的差异性，并且考虑边缘点的特殊部分，使得本文算法在最终视差图中能够较好地保留边界结果。

2)自适应引导滤波由于在代价聚合过程中需要计算每个像素点的交叉区域，所以在算法的整体运算时间上会有所增加，要使立体匹配算法能够真正满足实时性的要求，可以考虑使用并行运算实现加速。