前视声呐图像融合是前视声呐图像配准的进一步处理，是目标分割、目标识别及跟踪等应用的前提。前视成像声呐是探测浑浊水域的有效设备。然而，前视声呐探测过程中，声呐载体与目标相对运动导致的视角变化和水体不规则时变扰动等环境因素同时影响，导致前视声呐图像不同区域，以及序列图像之间清晰度不同。具体表现为：对同一帧声呐图像，局部区域较清晰，图像对比度较高，而其他区域较模糊；对同一探测区域，在某帧声呐图像A中表现较清晰，对比度较高，而在相邻某帧图像B中较模糊；而其他区域在图像B中较清晰，在图像A中较模糊^[1-3]。因此，有必要对前视声呐序列图像进行融合处理。融合的目的是充分利用序列声图像互补信息，强化图像各目标信息，使同一场景中各目标均比较清晰。

图像融合主要分为空间域图像融合和变换域图像融合^[4]。空间域图像融合直接操作源图像像素灰度实现融合操作。根据源图像灰度空间上的分布，将图像分割为若干子图像，通过一定规则选择子图像作为融合图像相应位置区域，实现图像融合。然而，由于分割方式不易确定，融合图像容易产生“块效应”，即不同子图像区域结合处的视觉差异，严重影响融合图像质量^[5]。

近年来，基于多尺度变换图像融合方法逐渐为研究者开发，应用拉普拉斯金字塔(laplacian pyramid, LP)分解和重建图像，并且以指定的融合规则获得图像^[6]。同样地，文献[7]使用梯度金字塔(gradient pyramid, GP)实现图像融合，并证明其有效性。随后，二维离散小波变换(discrete wavelet transform, DWT)作为图像多尺度分解和重建工具，应用于图像融合算法^[8-10]。与空间域图像融合方法相比，多尺度变换融合方法能够有效地避免“块效应”，这是由于源图像信息可以通过多尺度分解系数体现，从而避免在空间域分割源图像。

传统多尺度变换(multi-scale transform, MST)过程中的采样操作导致源图像分解和重建过程在图像强边缘处产生“伪吉布斯”现象^[11]。此外，塔式变换无法有效表示图像方向信息，而DWT只能产生3个固定方向高频子带，不足以充分地表达图像边缘和轮廓中奇异点多方向信息^[12]。因此，塔式变换和DWT不足以反映图像细节信息。文献[13]提出轮廓波变换(contourlet transform, CT), CT首先利用LP捕捉图像中奇异点，然后通过方向滤波器组处理，体现多方向信息。于是，CT不仅继承了多尺度分析的特点，并且具有各向异性。然而和传统MST一样，由于采样操作，图像在分解和重建过程中在目标边缘处易产生“伪吉布斯”现象，严重影响融合图像质量。

文献[11]提出非下采样轮廓波变换(non-subsampled contourlet transform, NSCT)，该变换继承了传统多尺度变换的优点，同时避免图像分解和重建过程中的采样操作，有效地抑制了“伪吉布斯”现象。因此，NSCT更适用于图像融合。本文基于多尺度变换图像融合框架，利用NSCT进行图像多尺度分解和重建，针对前视声呐图像特点提出融合规则，实现前视声呐图像融合。

1 基于NSCT的图像融合算法

NSCT由非下采样金字塔滤波器组(non-subsampled pyramid filter banks, NSPFB)和非下采样方向滤波器组(non-subsampled directional filter banks, NSDFB)组成。图像的NSCT多尺度分解过程如图 1所示。首先，图像被NSPFB分解为1个低频子带和1个高频子带；然后，重复将每次分解后的低频成分通过NSPFB分解k次，得到k+1个子带图像，包括1个低频子带和k个高频子带；最后，分别将每个高频子带图像经过l级NSDFB处理，在每个高频子带上产生2^l个方向子带。NSCT通过NSPFB保证其多尺度分析的特性，利用NSDFB充分地表达图像各向异性信息。由于NSCT在分解过程中避免对图像进行采样操作，能够有效地抑制“伪吉布斯”现象产生。此外，非下采样分解产生的子带图像大小与源图像相同，保证子带图像信息与源图像信息空间位置一致，方便制定图像融合规则^[14]。

与其他MST图像融合方法类似，对于两幅源图像A和B，基于NSCT的图像融合算法步骤如下所述：

1) 应用NSCT分别对源图像A和B均进行K尺度和L方向分解，得到多尺度子带分解系数{L^A, H_kl^A}和{L^B, H_kl^B}。其中，L^A和L^B是源图像低频子带，H_kl^A和H_kl^B是源图像在k∈[1, K]尺度和l∈[1, L]方向上的高频子带；

2) 采用不同的融合规则，分别融合源图像的低频子带和高频子带，得到融合图像F的多尺度子带分解系数{L^F, H_kl^F}；

3) 对融合图像分解系数{L^F, H_kl^F}进行NSCT逆变换，得到融合图像F。

综上所述，基于NSCT的图像融合算法框架如图 2所示。

2 基于NSCT的前视声呐图像融合算法

在基于NSCT多尺度分析的图像融合算法中，图像首先被分解为低频子带和高频子带，再分别建立合适的融合规则，获得融合系数。融合规则是图像融合算法的核心步骤，合理地制定融合规则可以提高融合质量，改善视觉感受。

一般地，融合系数通过“选择”或“平均”获得^[15]。当源图像在同一像素位置存在显著差异时，融合过程直接选择源图像分解系数中突出信息，作为融合图像相应位置的分解系数，并放弃非突出信息。当同一像素位置信息相似时，融合过程通过平均或加权平均确定该位置的融合系数。这样，“选择”有效地保留图像间互补信息，“平均”保证图像内容均匀稳定。综上，多尺度分析图像融合算法根据源图像差异性信息，选择或平均源图像分解系数确定融合规则，获得融合图像。

对于光学图像，其图像灰度均匀，细节特征丰富，噪声干扰小，往往衡量图像局部区域活跃程度，如梯度、空间频率和局部方差等参数作为差异信息，指导融合规则。然而，由于声呐图像亮度非均匀，细节特征不突出且噪声污染严重，导致局部活跃信息受这些因素影响较大，不能准确地体现声呐图像间的差异。因此，应该重点根据声呐图像的特殊性，合理确定图像间差异信息，以此建立适用于声呐图像的融合规则。

2.1 低频子带系数融合规则

由于前视声呐图像本质是目标反射声波能量在空间上的分布，反射能量越大，目标越清晰。而低频子带保留了源图像绝大部分信息，体现图像的能量分布。因此，应该以能量强弱体现前视声呐图像差异性。在此，选择Gabor能量作为衡量源图像差异的参数，建立前视声呐图像低频子带系数融合规则。

Gabor能量可以有效地反映图像中能量分布，良好的抗噪性和相似不变性使其在前视声呐图像处理方面也有较好的效果^[16-17]。低频子带系数与Gabor滤波器二维卷积生成不同尺度和方向上的Gabor系数。m尺度n方向的Gabor滤波器g_mn(x, y)定义如下：

$\left\{ \begin{array}{*{35}{l}} {{g}_{mn}}\left( x,\text{ }y \right)={{a}^{-m}}g\left( x\prime ,\text{ }y\prime \right),\text{ }a>1, \\ \left[ \begin{array}{*{35}{l}} x\prime \\ y\prime \\ \end{array} \right]={{a}^{-m}}\left[ \begin{matrix} \text{cos}\ {{\theta }_{n}} & \text{sin}\ {{\theta }_{n}} \\ -\text{sin}\ {{\theta }_{n}} & \text{cos}\ {{\theta }_{n}} \\ \end{matrix} \right]\left[ \begin{matrix} x \\ y \\ \end{matrix} \right] \\ \end{array} \right.\text{ }$

(1)

式中:a为尺度系数；m=1, 2, …, m₀；n=1, 2, …, n₀；${{\theta }_{n}}=\frac{n\rm{ }\!\!\pi\!\!\rm{ }}{{{n}_{0}}}$；m₀、n₀分别为不同尺度和方向个数；g(x, y)为二维高斯核函数。那么，m尺度n方向Gabor系数C_g(x, y, m, n)计算如下：

${{C}_{g}}\left( x,\rm{ }y,\rm{ }m,\rm{ }n \right)=\iint{\mathit{\boldsymbol{L}}\left( x\prime ,\rm{ }y\prime \right){{g}_{mn}}\left( x-x\prime ,\rm{ }y-y\prime \right)\text{d}x\prime \text{d}y\prime }$

(2)

式中:L(x, y)为输入矩阵，此处为图像低频子带。计算(x, y)所有尺度和方向上Gabor系数平方和作为(x, y)点Gabor能量E_g(x, y)：

${E_g}\left( {x,{\rm{ }}y} \right) = \sum\limits_{m = 1}^{{m_0}} {\sum\limits_{n = 1}^{{n_0}} {{{\left| {C\left( {x,{\rm{ }}y,{\rm{ }}m,{\rm{ }}n} \right)} \right|}^2}} } $

(3)

构建基于Gabor能量的低频子带融合规则如下：

$\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{L}}^F}\left( {x,{\rm{ }}y} \right) = }\\ {\left\{ {\begin{array}{*{20}{l}} {{\mathit{\boldsymbol{L}}^A}\left( {x,{\rm{ }}y} \right),\quad \quad \quad \quad E_g^A\left( {x,{\rm{ }}y} \right) - E_g^B\left( {x,{\rm{ }}y} \right) > T}\\ \begin{array}{l} {\mathit{\boldsymbol{L}}^A}\left( {x,{\rm{ }}y} \right) \times {w^A} + {\mathit{\boldsymbol{L}}^B}\left( {x,{\rm{ }}y} \right) \times {w^B},\\ \quad \quad \quad \quad \quad \quad \quad \quad \left| {E_g^A\left( {x,{\rm{ }}y} \right) - E_g^B\left( {x,{\rm{ }}y} \right)} \right| \le T \end{array}\\ {{\mathit{\boldsymbol{L}}^B}\left( {x,{\rm{ }}y} \right),\quad \quad \quad \quad E_g^A\left( {x,{\rm{ }}y} \right) - E_g^B\left( {x,{\rm{ }}y} \right) ＜ T} \end{array}} \right.} \end{array}$

(4)

式中:w^A=E_g^A/(E_g^A+E_g^B)、w^B=E_g^B/(E_g^A+E_g^B)为加权系数，E_g^A和E_g^B是源图像A、B低频子带的Gabor能量，L^A、L^B和L^F分别为源图像A，B的低频子带系数，T为门限。当源图像A、B之间的低频子带系数存在明显差异，即Gabor能量差值大于门限T时，融合系数L^F选择Gabor能量较大的系数；当源图像低频子带系数相似，即Gabor能量差值小于门限T时，融合系数L^F由源图像系数加权平均确定。这样既有助于源图像间信息互补，又保证了融合图像视觉稳定。

2.2 高频子带系数融合规则

高频子带系数表示图像中的尖锐特征，比如物体的角点，边缘和轮廓等特征。因此，为了保证融合图像细节，高频子带系数融合规则一般采用绝对值最大准则。然而，前视声呐图像受噪声污染严重，绝对值最大准则容易将噪声误认为有用信息，引入融合图像。此外，绝对值最大准则没有考虑高频子带和低频子带系数之间的关系，根据人类视觉系统(human visual system, HVS)特点，观察者对物体的对比度而不是物体本身的尖锐程度更敏感，对比度强的像素点往往包含有用的视觉信息^[18]。因此，通过对比度衡量声呐图像高频子带的差异信息，建立融合规则。

图像的对比度R定义如下^[19]

$R = \frac{{L - {L_B}}}{{{L_B}}} = \frac{{\Delta L}}{{{L_B}}}$

(5)

式中:L为局部区域灰度级，L_B为图像背景亮度，即低频子带系数，那么ΔL代表高频子带系数。除了对比度强弱，HVS同时对对比度频率和方向变化敏感^[20]。那么(x, y)处k尺度l方向上的对比度R_kl(x, y)定义如下^[20]

${R_{kl}}\left( {x,{\rm{ }}y} \right) = \left\{ {\begin{array}{*{20}{l}} {\frac{{\left| {{H_{kl}}\left( {x,{\rm{ }}y} \right)} \right|}}{{\bar L\left( {x,{\rm{ }}y} \right)}},\quad \bar L\left( {x,{\rm{ }}y} \right) \ne 0}\\ {\left| {{H_{kl}}\left( {x,{\rm{ }}y} \right)} \right|,\quad \bar L\left( {x,{\rm{ }}y} \right) = 0} \end{array}} \right.$

(6)

式中：H_kl(x, y)是源图像(x, y)处k尺度l方向上的高频分解系数，L(x, y)是低频子带图像以(x, y)为中心的局部均值：

$\bar L\left( {x,{\rm{ }}y} \right) = \frac{1}{{M \times N}}\sum\limits_{p = - \left( {M - 1} \right)/2}^{\left( {M - 1} \right)/2} {\sum\limits_{q = - \left( {N - 1} \right)/2}^{\left( {N - 1} \right)/2} {L\left( {x + p,{\rm{ }}y + q} \right)} } $

(7)

一般地，邻域大小M×N取3×3或5×5。那么融合图像高频子带系数H_kl^F(x, y)可根据源图像A、B对比度关系确定：

$H_{kl}^F\left( {x,{\rm{ }}y} \right) = \left\{ {\begin{array}{*{20}{l}} {H_{kl}^A\left( {x,{\rm{ }}y} \right),\quad R_{kl}^A\left( {x,{\rm{ }}y} \right) \ge R_{kl}^B\left( {x,{\rm{ }}y} \right)}\\ {H_{kl}^B\left( {x,{\rm{ }}y} \right),\quad R_{kl}^A\left( {x,{\rm{ }}y} \right) ＜ R_{kl}^B\left( {x,{\rm{ }}y} \right)} \end{array}} \right.$

(8)

将局部对比度较大的系数作为图像有利信息，选择其为融合系数。

2.3 区域一致性校验准则

基于局部对比度的高频子带融合规则虽然保证视觉信息，但是不能有效地抑制噪声。图像噪声通常是一些随机离散的、孤立的像素点，与它们相邻的像素明显不同。区域一致性校验目的是检验中心像素信息与其邻域信息是否一致。在高频子带系数融合过程中，如果某点的高频系数来自源图像A，而该点邻域(一般取8邻域)系数多数来自源图像B，那么将该点系数替换为源图像B系数；反之亦然。通过一致性校验准则，融合过程可有效抑制来自源图像的噪声。

3 声呐图像融合实验与分析 3.1 评价标准

评价融合效果分为主观评价和客观评价^[21]。主观评价通过观察者观察图像评价融合效果，客观评价通过定义指标判断融合性能。由于主、客观评价标准不完全一致，有时主观效果较好的融合结果未必达到较高的客观指标^[21]。因此，判定融合效果应该综合主观观察和客观指标。

优秀的融合算法应该充分提取源图像间互补信息，传递到融合图像中，且不产生任何与源图像内容不一致信息^[14]。因此，选择以下客观评价标准：

1) 互信息(mutual information, MI) ^[22]，表示源图像传递到融合图像的信息量，MI越大，融合效果越好。

2) 基于边缘相似性度量(edge based similarity measure, Q^AB/F) ^[23]，通过边缘信息，衡量融合图像与源图像之间相似程度，Q^AB/F越大，融合效果越好。

3) 峰值信噪比(peak signal to noise ratio, PSNR) ^[24]，衡量融合图像和源图像内容差异程度，PSNR越大，差异越小，融合效果越好。

3.2 前视声呐图像融合实验

将提出算法分别与3种基于MST融合算法和1种基于空间域融合算法比较，分别为基于LP图像融合算法，融合策略采用绝对值最大准则；基于DWT图像融合算法，融合策略应用均值规则；基于SCBG的图像融合算法^[26]，该算法是一种基于空间域的融合算法；基于NSCT图像融合算法，融合策略采用SML^[25]规则，该规则通过计算图像局部区域的二阶差分反映图像活跃程度，在光学图像融合应用中表现出优异的性能^[14]。基于变换域的融合算法均进行4层分解, NSCT方法方向取4或8方向。

图 3(a)和3(b)分别是原始声呐图像第38帧和68帧，采用极坐标变换方法^[27]配准两帧原始图像。图 3(c)和3(d)是原始图像配准后的重合部分，作为融合源图像A和B。源图像A中左侧目标较清晰，右侧目标较模糊，不能区分目标阴影和背景。源图像B左侧目标模糊，右侧目标清晰，目标阴影与背景分明。于是，为了使源图像有利信息互补，对源图像A，B进行图像融合处理，以获得一幅左右目标均清晰的融合图像。

图 4是LP、DWT、SCBG、SML和本文提出方法的融合结果，5种方法均在不同程度上实现了源图像有利信息互补。为了主观上更加直观地对比融合方法性能，分别将融合结果与源图像A和B相减，得到对应方法差值图像，如图 5所示。结合融合图像和差值图像，即剩余信息，综合评价融合效果。图 4(a)和4(b)中，基于LP和DWT的融合方法在目标某些边缘位置和前视声呐图像扇形边界处产生大量额外信息，即“伪吉布斯”现象，在差值图像5(a)~(d)中体现更加明显；在图 4(c)中，SCBG融合结果产生明显的“块效应”，严重影响了主观视觉效果；图 4(d)和4(e)是基于NSCT多尺度分析的融合结果，既有效地抑制“伪吉布斯”现象，又避免了“块效应”产生，说明NSCT更适合作为图像的多尺度分解工具。进一步对比SML方法和提出方法，图 4(e)提出方法较图 4(d)中基于SML准则的融合结果背景和目标表面灰度更加均匀，在差值图像中体现更为明显：图 5(g)和(h)中，剩余信息较多，表明SML方法不能充分吸收源图像有利信息，导致融合结果背景强度不均匀。这说明局部活跃信息不能有效反映前视声呐图像间的差异性，以此建立的融合规则不适用于前视声呐图像融合。而提出方法的差值图像，图 5(i)右侧剩余信息较多，左侧剩余信息几乎为0，图 5(j)左侧剩余信息较多，右侧剩余几乎为0。这刚好与源图像A左侧区域清晰，右侧区域模糊，源图像B左侧区域模糊，右侧区域清晰相对应，说明提出的融合规则能够更充分地提取源图像中有利信息，产生良好的视觉效果，更适用于前视声呐图像融合。

表 1列出5种方法的客观评价指标。SCBG方法产生了最大的MI指标。这是因为MI是统计图像灰度概率分布相似程度的指标，SCBG方法融合过程直接选取源图像像素灰度，而基于MST方法在图像多尺度分解和重建过程中，不可避免地破坏原始图像灰度，所以基于空间的图像融合方法往往产生高于基于MST图像融合方法的MI指标^[28]。但是SCBG方法融合结果主观效果差，并且Q^AB/F和PSNR指标较低。与LP和DWT融合方法相比，两种基于NSCT多尺度分析的融合结果显著地提高了客观指标。其中，本文提出的方法产生了最大的Q^AB/F和PSNR指标，并且MI指标仅略小于SCBG方法。客观地说明提出方法的优越性。因此，综合主、客观评价结果，本文提出的融合算法更适合于前视声呐图像融合处理。

图 6是原始声呐图像第100帧和130帧重合部分配准结果，作为融合处理的源图像A和B。图 6(c)~(g)分别是LP、DWT、SCBG、SML和本文方法的融合结果。表 2是融合结果客观指标。综合主观视觉和客观指标，本文提出的融合方法效果优于其他融合方法。

4 结论

1) 与传统方法相比，该方法能充分地融合源图像有利信息，避免产生伪像，并在一定程度上抑制图像噪声。

2) 考虑到人类视觉系统特点，结合对比度大小及方向融合图像，融合结果清晰可靠，有利于人眼观察判决和计算机处理。

由于图像多尺度分解和重建过程不可避免地损失源图像信息，影响融合结果互信息指标，而基于空间域的图像融合方法能产生较大的互信息，今后的工作可以在这方面进行深入研究，有机地结合变换域和空间域图像融合方法优点，以便提出更好的前视声呐图像融合算法。