0 引　言

2023年，智能船舶规范^[1]指出智能船舶应利用传感器、通信、物联网、互联网等技术手段，自动感知和获取与航行相关的船舶自身与环境等信息，综合具备感知、记忆、学习和行为决策能力，为船舶航行、管理等海上作业或运输活动提供智能系统。布置多个机位摄像机的分离式摆设虽可满足规范中对监控区域范围的基本要求，但存在多个视频数据源、监控画面显示分散的问题，不利于统筹协调各画面信息，拼接生成宽视场图像可解决因存在多个视频数据源、监控画面显示分散引起的问题^[2]。

李晓明等^[3]针对海底视觉图像采用光波衰减最小的蓝色通道进行预处理，利用采集器额外提供的特征点主方向信息和特征点深度信息等先验信息提高描述子准确性提高劣势环境下图像拼接效果，但采用先验信息的方式通用性较差，场景难以迁移。代家印等^[4]在APAP^[5]方法上根据网格点位置构建能量函数约束，计算局部变换阵参数，获得结构保持抗扭曲效果，但针对大视差图像效果很差，易拼接失败。丛一之^[6]加入特征增强步骤，利用线段检测器提取图像中的线段，将线段两端点作为新特征与提取的其他特征点一同使用，提供了新的结构信息和更多的待匹配数据，有利于弱纹理图像的配准融合，但未引入多层次视野，对高分辨率含噪图像效果不佳。

针对上述问题，本文提出一种适用于大视差下的海空背景图像拼接算法，算法首先使用通过中值滤波与侧窗滤波^[7]对图像进行预处理后，使用待拼接图像的灰度图像构建4层图像金字塔，使用FAST 结合Harris特征点提取特征点位置，对不同层的金字塔图像分别使用ORB和SIFT特征描述方式对所有特征点进行描述并分层匹配，然后使用RANSAC方式计算全局单应矩阵进行配准变换。最后结合动态规划思想，以图像信息熵最大点作为拼接缝搜索起点进行图像融合。该算法可提高特征点匹配数量，最终拼接计算量与其他方法接近，在减少鬼影前提下，保证了关键前景区域的拼接质量。

1 海空背景图像拼接算法 1.1 算法框架

本文提出的拼接算法流程如图1所示。预处理步骤中，通过中值滤波去除成像噪点，通过侧窗滤波进行色块平滑及边缘保持滤波。图像配准中，为待匹配图像构建4层灰度金字塔，为每层图像提取特征点并描述，特征匹配后使用RANSAC算法精筛特征点对提高全局单应阵精度，剔除误匹配点影响。融合阶段，结合信息熵的使用动态搜索思想的拼接缝搜索算法。最后根据最佳拼接缝对2张图像的像素信息进行图像融合拼接。

本文所提拼接算法包含中值滤波与侧窗滤波的预处理步骤，其中中值滤波用于去除高分辨率图像中常见的噪点，侧窗滤波用于降低过于细碎的高频信息。

1.2 复合特征提取

本文算法将图像通过预处理步骤后，利用图像金字塔提供多尺度下多种视野层次，结合速度与精度需求为不同层图像设计不同的提取算法。

令预处理后的待拼接图像中参考图像为R与变换图像为T，为R、T构建图像金字塔，金字塔首层为R、T原图尺寸，令为$ {R_{100\% }} $、$ {T_{100\% }} $。本文设计构建4层金字塔其余依次为$ {R_{50\% }} $、$ {R_{25\% }} $、$ {R_{12.5\% }} $，$ {T_{50\% }} $、$ {T_{25\% }} $、$ {T_{12.5\% }} $。为提高特征点数量，综合使用2种快速的特征点提取算法，对各层图像提取其FAST特征点与Harris角点位置，对$ {R_{100\% }} $与$ {T_{100\% }} $，因其在多层图像中尺寸最大细节最多，特征点检出数量也最多，为兼顾速度与一定准确性，对该层特征点使用BRIEF描述子进行描述匹配。对$ {R_{50\% }} $、$ {R_{25\% }} $、$ {R_{12.5\% }} $，$ {T_{50\% }} $、$ {T_{25\% }} $、$ {T_{12.5\% }} $，因视野层次较高提供了良好的结构层次信息，误匹配影响较大，为降低误匹配数量、提高精度，因检出特征点较少，为当前层次检出的特征点使用SIFT描述子进行描述匹配。

1.3 基于信息熵的双向拼接缝搜索

常规拼接缝搜索方法是根据设计的质量评价指标计算获取一条连贯的使指标累计值最小化的最佳拼接缝。常见的拼接缝质量评价指标是拼接缝上像素的颜色信息、局部纹理信息等，常用的搜索算法主要思路是使用图割法通过最大流最小割定理，构建差异有向图，通过迭代搜索出所用能量函数累计值最优的拼接缝，能量函数定义如下：

$ E = \sum {{E_d}} + \alpha \sum {{E_s}}。$

(1)

式中：$ {E_d} $为数据项，对重叠区域像素$ {E_d} = 0 $，反之$ {E_d} = 1 $，其用于区分是否为重叠区域；$ \alpha $为调节能量函数性能的系数，根据应用场景调整；$ {E_s} $为平滑项，在有向图中为相邻像素间差异值，一般使用颜色汉明距离等，平滑项是搜索拼接缝的主要影响部分。根据图割理论，搜索使能量函数E最小的拼接缝即为所求。

海空背景下的视差图像特点是前景目标有效信息少且一般集中在海天线附近、海空背景纹理弱且空旷，若根据图割思想构建差异有向图，重叠区域无效计算较多，且海空背景处有向图所计算平滑项$ {E_s} $累计占比较大，又因其信息量不足，将该部分差异与关键前景部分以相同权重累计考虑，则所得拼接缝将受到较大影响。针对以上问题，本文算法提出结合图像重叠区域信息熵，基于动态规划思想进行拼接缝搜索。

1.3.1 改进能量函数

本文算法提出一种针对图像重叠区域搜索拼接缝的多指标归一化融合能量函数E，公式如下：

$ E = {\beta _1}{E_c} + {\beta _2}{E_e} + {\beta _3}{E_{hg}} + {\beta _4}{E_{vg}} ，$

(2)

$ {E_c} = \varepsilon \sum\limits_{i,j \in W} {{{({I_{R,i,j}} - {I_{T,i,j}})}^2}}，$

(3)

$ {E_e} = 2 - ({e_1} + {e_2})/{e_{\max }}，$

(4)

$\begin{array}{*{20}{c}} H = {\left[ {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 1& {...} &1 \\ \vdots &{}& \vdots \\ 1& {...} &1 \end{array}} \\ {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 0&0&0 \end{array}} \\ {\begin{array}{*{20}{c}} { - 1} &{...} &{ - 1} \\ \vdots &{}& \vdots \\ { - 1} &{...} &{ - 1} \end{array}} \end{array}} \end{array}} \right]_{N \times N}} ，V = {\left[ {\begin{array}{*{20}{c}} 1 &{...} &1 &0 &{ - 1} &{...} &{ - 1} \\ \vdots &{}& \vdots & \vdots & \vdots &{}& \vdots \\ 1 &{...} &1 &0 &{ - 1} &{...} &{ - 1} \end{array}} \right]_{N \times N}}，\end{array}$

(5)

$ {E_{hg}} = \delta \left| {\frac{{\displaystyle\sum {H * {D_R}} - \displaystyle\sum {H * {D_T}} }}{{\displaystyle\sum {H * {D_R}} + \displaystyle\sum {H * {D_T}} }}} \right|，$

(6)

$ {E_{vg}} = \delta \left| {\frac{{\displaystyle\sum {V * {D_R}} - \displaystyle\sum {V * {D_T}} }}{{\displaystyle\sum {V * {D_R}} + \displaystyle\sum {V * {D_T}} }}} \right|。$

(7)

式中：$ {\beta _1} $+$ {\beta _2} $+$ {\beta _3} $+$ {\beta _4} $ =1均为归一化系数；$ {E_c} $为颜色差异值；$ \varepsilon $为由视野框尺寸影响的归一化系数；i、j为在当前像素点方形邻域W内像素坐标，$ {I_{R,i,j}} $与$ {I_{T,i,j}} $为当前像素点方形邻域范围W内的R与T上$ (i,j) $位置上的颜色值；$ {E_e} $为灰度信息熵差异值；$ {e_1} $与$ {e_2} $分别为当前像素点出方形邻域内图像R与T计算得到得灰度信息熵，$ {e_{\max }} $为 $ {e_1} $与$ {e_2} $中较大值；$ {E_{hg}} $与 $ {E_{vg}} $分别为水平梯度差异和垂直梯度差异值；$ \delta $为归一化系数；H与V分别为两方向的灰度梯度计算模板矩阵；$ {D_R} $与$ {D_T} $为当前像素点方形邻域内参考图像和变换图像的灰度图像素值构成的矩阵；符号“*”为2个矩阵进行哈达马积。

上述能量函数综合考虑了搜索路径上像素点的颜色、灰度信息熵、水平梯度及垂直梯度差异，并通过计算局部邻域内所有像素的信息提高了该像素点能量函数值的表达效果。

1.3.2 搜索起点的确定

算法首先在重叠区域内逐行计算行内像素点I邻域范围内的局部图像块f的信息熵H(f)，单行所有像素的累计信息熵加和值H_m：

$ {H_m} = \sum\limits_{k \in L} {H({f_k})} ，$

(8)

$ H(f) = - \sum {\sum {{P_i}{{\log }_2}{P_i}} }。$

(9)

式中：$ {P_i} $为图像块f范围内像素值i出现频数；L为重叠区域行内所有像素集合；f_k为像素k邻域范围内局部图像块；m为重叠区域行坐标。

将算法中搜索拼接缝的起点所在行m，计算m内所有重叠区域像素点的能量函数值，挑选函数值最小的像素点坐标(m, N_s)作为拼接缝搜索起点。

$ {N_s} = \mathop {\arg \max {H_m}}\limits_m 。$

(10)

该点的选出可将海天背景下重叠区域中前景像素最密集的关键位置作为起点，包含此点的拼接缝从视觉上保证了重要前景密集区域的拼接准确性。

1.3.3 拼接缝搜索

本文算法确定起点后，由最大信息熵处向上下双向搜索拼接缝。如图2所示，以向上搜索为例，为降低计算量，搜索算法设计为“搜索-补全”方式，每一步均搜索间隔一行的列相邻5个像素点能量值，获取能量值最小的点作为本步的搜索结果，接着根据搜索结果的5种不同位置，由图3可知，反向补全计算中间像素点位置。

该方式相较于单像素点推进搜索方式在本步结果为两侧边点时，可直接补全中间点，非边点情况下也可以降低计算量，图3为补全中间点的全部情况，经定量计算，计算量期望值可降低76.67%.

2 实验结果与分析

本文使用采集的自制数据集与公开真实场景图像拼接数据集UDIS-D^[8]进行仿真验证，自制数据集包含3840×2160的真实海天背景图像10组，UDIS-D数据集包含512×512的生活场景图像10440组。使用有监督的UDIS-D数据集进行了算法的定量评价指标结果比较，使用自制数据集进行了视觉效果比较。

本文首先设计了一种复合特征的提取算法，增强了潜在匹配点数量，将本文算法与其他常见特征提取算法所获取的特征点及匹配成功数量进行比较，结果如表1所示。

图4为在弱纹理海空背景图像下与单一SIFT、ORB算法比较本文算法复合特征提取特征点的结果。实验表明，本文算法在自制海空背景数据集及公开数据集UDIS-D下效果好于对比算法，其中ORB算法表现虽接近本文算法，但单一层次特征易产生误匹配，且特征点未能良好地涵盖前景目标的轮廓信息。图4所示结果分析SURF算法误匹配较多、SIFT算法所能提供的特征点极少，而本文在多层次上进行精准匹配，在保证匹配点对数量的前提下，误匹配较少，可更好地保证后续拼接效果。

以PSNR和SSIM指标使用数据集进行仿真评价。PSNR（峰值信噪比）指标通过计算其峰值信噪比衡量图像质量，本文算法仿真中以接缝两侧邻域范围内结果图像作为噪声图像$ K(i,j) $，范围内参考图像为$ {I_R} $，范围内变换图像为 $ {I_T} $ ，设计无监督评价方式，本文PSNR的MSE（均方误差）定义为：

$ MS{E_R} = \frac{1}{M}\sum\limits_{i,j}^M {{{[{I_R}(i,j) - K(i,j)]}^2}}，$

(11)

$ MS{E_T} = \frac{1}{M}\sum\limits_{i,j}^M {{{[{I_T}(i,j) - K(i,j)]}^2}} 。$

(12)

式中：M为拼接缝邻域范围内所有像素点的集合；$ (i,j) $为像素坐标。

继而定义本文所用PSNR为：

$ PSNR = 5 \cdot {\log _{10}}\left(\frac{{MAX_{{I_R}}^2}}{{MS{E_R}}}\right) + 5 \cdot {\log _{10}}\left(\frac{{MAX_{{I_T}}^2}}{{MS{E_T}}}\right)。$

(13)

SSIM指标通过比较原始图像与待评价图像之间的亮度、对比度和结构相似度以量化失真程度，本文利用拼接结果与待拼接图像改进SSIM指标设无监督评价方式，其计算公式为：

$ S({I_{R,}}_T,{I_f}) = l({I_{R,}}_T,{I_f}) \cdot c({I_{R,}}_T,{I_f}) \cdot s({I_{R,}}_T,{I_f})，$

(14)

$ l({I_{R,}}_T,{I_f}) = \frac{{{\mu _R}{\mu _f}}}{{\mu _R^2 + \mu _f^2}} + \frac{{{\mu _T}{\mu _f}}}{{\mu _T^2 + \mu _f^2}} ，$

(15)

$ c({I_{R,}}_T,{I_f}) = \frac{{{\sigma _R}{\sigma _f}}}{{\sigma _R^2 + \sigma _f^2}} + \frac{{{\sigma _T}{\sigma _f}}}{{\sigma _T^2 + \sigma _f^2}}，$

(16)

$ s({I_{R,}}_T,{I_f}) = \frac{{{\sigma _{Rf}}}}{{{\sigma _R}{\sigma _f}}} + \frac{{{\sigma _{Tf}}}}{{{\sigma _T}{\sigma _f}}}。$

(17)

式中：$ {I_{R,T}} $为拼接缝邻域$ {I_R} $与$ {I_T} $两图像像素集合；$ {I_f} $为拼接缝邻域拼接结果像素集合；$ {\mu _R} $、$ {\mu _T} $、$ {\mu _f} $为对应角标的亮度均值；$ {\sigma _R} $、$ {\sigma _T} $、$ {\sigma _f} $为对应角标的标准差；$ {\sigma _{Rf}} $、$ {\sigma _{Tf}} $为对应角标的协方差，拼接缝邻域指以每个像素为中心计算尺寸为N_7×7的滑动窗，最后将各像素计算所得结果加和作为指标数值。

为验证本文算法有效性，选择2种算法进行验证，算法1为文献[9]其与本文同样使用动态规划思想及全局单应阵进行拼接缝搜索与拼接。算法2为文献[10]算法，其结合了近年APAP等典型使用网格划分计算分块变换阵的优点，同时减少了结构扭曲，并应用常见最大流最小割算法进行拼接缝搜索，本文对上述二种算法进行复现并比较，如图5～图7所示。

分析表2可知，在自制数据集上本文提出的拼接算法相较于算法1在PSNR和SSIM指标上分别提升34.367%和3.618%，相较于算法2在PSNR和SSIM指标上分别提升196.280%和138.035%，在自制海空背景图像数据集中本文算法略好于算法1，远好于算法2。可见在大视差图像下，由于特征点分布不均匀，特征提取结果存在分布集中、数量稀少等劣势，算法2等划分网格计算分布单应阵方法存在局限性，无法完成拼接，算法1考虑了视差图像特点，故表现上接近本文算法。在公开数据集UDIS-D上，本文提出的拼接算法相较于算法1在PSNR指标上略降低1.524%，在SSIM指标上提升5.537%，分析可知由于算法1能量函数主要考虑颜色差异，与PSNR指标计算方式接近，故该项PSNR值较高。本文算法相较于算法2在PSNR和SSIM指标上分别提升9.011%和8.914%，UDIS-D数据集内图像特点为重叠区域较大，部分数据为待匹配图像的数据增强结果，特征点分布情况较好、数量较多，以算法2为代表的网格分块变换算法效果与本文接近，但由于特征提取算法单一，特征表达视野层次较低，在性能上略逊于本文算法，算法1在框架上与本文相似，拼接通用性较好，分析判断由于拼接缝搜索中能量函数指标较单一，故在PSNR和SSIM指标上本文算法优于算法1。

3 结　语

机器视觉技术是船舶获取环境信息的有效方式，在存在较大视差的海空背景图像拼接中，需克服特征点数量少、重叠区域窄等困难的同时保证有效信息完整、无失真，最终达成良好的拼接效果。本文提出一种针对以上问题的拼接算法，为高分辨率弱纹理图像实现了增强的特征匹配。对大视差下重叠区域窄的问题，使用本文设计的能量函数基于动态规划思想搜索拼接缝可较好地保证海天背景下重要前景图像的拼接完整性，且无须构建差异有向图，使保证了算法运行时间与同类算法近似。本文所提算法在智能船舶等海上相关研究中针对前述环境视觉信息获取问题提供了有一定实际应用价值的解决方案。