0 引　言

舰船图像三维重构时，过于依赖舰船表面的纹理信息^[1]，当舰船表面过于光滑时，目标重构结果^{[2 − 3]}容易存在数据空洞。目前已有众多研究学者，针对目标三维重构进行研究^[4]。庄苏锋等^[5]采用水下双目立体视觉相机采集舰船目标，在匹配采集图像目标特征的基础上实现了目标三维重构。石磊等^[6]依据图像中目标的几何信息和光度信息，选取稀疏度自适应方法，对图像像素点分类，利用变分模型对图像去噪，选取稀疏度正交匹配算法实现三维重构。以上方法虽然可以实现目标三维重构，重构时间较短，但是舰船航行环境背景复杂，采集舰船图像时，极易成为弱、暗目标，无法获取舰船目标的深度信息。存在三维重构结果丢失过多细节的情况，重构结果分辨率不理想。

为了获取最佳的舰船图像三维重构结果，结合双目视觉相机采集的舰船可见光图像与舰船红外遥感图像，设计舰船图像三维重构方法。

1 红外遥感舰船图像三维重构 1.1 可见光图像与红外遥感图像的点云融合

根据上述过程获取的可见光图像提供了丰富的颜色和纹理信息，能够帮助识别和分类目标。而红外遥感图像^[7]则能够探测舰船的热量辐射，提供了舰船的热红外特征，可帮助识别隐蔽或遮挡的目标。因此，将双目视觉相机采集的舰船可见光图像与舰船红外遥感图像的点云信息融合处理，即将点云融合问题，视为将红外遥感图像的点云数据，通过像素坐标系和世界坐标系的相关转换实现点云数据融合。

用 $ {P_1} $ 与 $ {P_2} $ 分别表示双目特征点的稀疏点云以及红外遥感图像的点云信息，二者分别位于世界坐标系以及图像像素坐标系。相同像素点在不同坐标系内，其坐标值不同。用 $ \left( {{x^i},{y^i},{z^i}} \right) $ 与 $ \left( {{X^i},{Y^i},{Z^i}} \right) $ 分别表示舰船特征点在像素坐标系 $ {O_1} - xyz $ 以及世界坐标系 $ {O_w} - XYZ $ 的坐标值，转换像素坐标系与世界坐标系的表达式如下：

$ \left[ {\begin{array}{*{20}{c}} {{X^i}} \\ {{Y^i}} \\ {{Z^i}} \end{array}} \right] = k\left[ {\begin{array}{*{20}{c}} {{x^i}} \\ {{y^i}} \\ {{z^i}} \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} {\Delta x} \\ {\Delta y} \\ {\Delta z} \end{array}} \right] + RT\left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \end{array}} \right] \text{。}$

(1)

式中， $ k $ 为尺度缩放因子， $ R $ 为旋转矩阵， $ T $ 为平移系数，(X,Y,Z)表示双目视觉空间中舰船的一点在世界坐标下的齐次坐标。

红外遥感舰船图像的像素坐标系与双目视觉摄像机坐标系内，不存在旋转关系，取 $ R $ 值为0。转换如下：

$ \left[ {\begin{array}{*{20}{c}} {{X^i}} \\ {{Y^i}} \\ {{Z^i}} \end{array}} \right] = k\left[ {\begin{array}{*{20}{c}} {{x^i}} \\ {{y^i}} \\ {{z^i}} \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} {\Delta x} \\ {\Delta y} \\ {\Delta z} \end{array}} \right]\text{。} $

(2)

平移变换红外遥感像素坐标下的舰船点云数据^[8]，移动至坐标原点坐标系。利用最小二乘法，求解舰船 $ Z $ 方向的尺度转换参数。

双目视觉相机在舰船图像采集过程中，主像素点位置与理论位置存在一定差异，因此设置平移参数纠正误差。舰船红外遥感图像坐标系与双目视觉坐标系，在 $ X $ 轴与 $ Y $ 轴的平移参数表达式如下：

$ \left\{ {\begin{array}{*{20}{c}} {\Delta x = {{u'}_0} \cdot {d_x}}\text{，} \\ {\Delta y = {{v'}_0} \cdot {d_y}} \text{。} \end{array}} \right. $

(3)

式中， $ \left( {{{u'}_0},{{v'}_0}} \right) $ 表示通过立体标定获取舰船的真实值， $ {d_x} $ 与 $ {d_y} $ 分别表示双目相机像元在 $ X $ 轴与 $ Y $ 轴的尺寸。

通过相机标定获取 $ X $ 轴与 $ Y $ 轴的焦距值 $ {f_x} $ 与 $ {f_y} $ 。舰船像素点在 $ Z $ 轴的平移参数表达式如下：

$ \Delta z = \left( {{f_x} \cdot {d_x} + {f_y} \cdot {d_y}} \right)/2\text{。} $

(4)

综合式（3）与式（4），获取红外遥感图像的像素坐标系与双目视觉相机坐标系之间的平移参数 $ T $ 。

选取最小二乘法，获取满足转化误差最小目标的不同坐标下的尺度转换因子 $ k $ ，得到最终的可见光图像与红外遥感图像的点云融合表达式如下：

$ {e_1} = \sum\limits_{i = 1}^N {{{\left( {{{\left[ {\begin{array}{*{20}{c}} {{X^i}} \\ {{Y^i}} \\ {{Z^i}} \end{array}} \right]}^{\text{T}}} - k\left( {\Delta x\Delta y\Delta z} \right)} \right)}^2}}\text{。} $

(5)

式中， $ N $ 为特征点数量。

1.2 舰船图像特征点提取与匹配

为获取舰船图像三维重构的最佳匹配效果，结合舰船目标的点状特征与区域特征，选取舰船目标的质心、质心区域灰度以及舰船区域面积，作为舰船图像的特征基元。通过舰船图像中的连通域集合中心，获取舰船目标质心的几何中心坐标：

$ \left( {{x_o},{y_o}} \right) = \sum\limits_{i = 1}^N {\left( {{x_i},{y_i}} \right)/{e_1}}\text{。} $

(6)

式中， $ \left( {{x_i},{y_i}} \right) $ 与 $ \left( {{x_o},{y_o}} \right) $ 分别表示相同连通域的像素点坐标以及几何中心坐标。

计算各连通域内元素灰度之差，获取舰船质心区域的平均灰度表达式如下：

$ D = \sum\limits_{i = 1}^N {d\left( {\sum\limits_{i = 1}^N {\left( {{x_i},{y_i}} \right)/{e_1}} } \right)/N} \text{。}$

(7)

式中， $ d\left( {} \right) $ 表示相同连通域内的像素点灰度值。舰船质心区域的平均灰度 $ D $ 可反映舰船的整体亮度和颜色特征。舰船通常具有明显的亮度差异与背景相比，因此利用舰船质心区域的平均灰度可将其作为一个代表性特征点。

利用半全局匹配算法，对所提取的舰船图像特征点 $ D $ 进行匹配。舰船图像灰度值的绝对偏差容易受环境影响，半全局匹配算法利用改进的匹配代价函数进行匹配，并计算两幅图像的互信息值，令匹配结果更加精准。

舰船图像互信息的计算公式如下:

$ M = {E_L} + {E_R} + {E_L}_R\text{。} $

(8)

式中， $ {E_L} $ 与 $ {E_R} $ 分别为左图像与右图像直方图的熵， $ {E_L}_R $ 为联合分布直方图的熵。

舰船特征点匹配时，对不同方向设置顺序性约束，得到舰船图像特征点匹配结果为：

$ G = \frac{{M \times l}}{{{e_2}\left( {x,y,z} \right)}} + \min D\text{。} $

(9)

式中， $ G $ 表示舰船图像特征点匹配结果， $ e\left( {x,y,z} \right) $ 表示舰船图像的像素点匹配误差， $ l $ 表示像素点距离。

1.3 基于三角化曲面的舰船图像三维重构

在特征点匹配过程中，由于舰船图像本身的特性、遮挡等因素导致部分特征点缺失或重复。使用三角化曲面算法在缺失或重复特征点的区域进行插值或去除操作，优化舰船图像三维重构质量。因此，依据舰船图像特征点匹配结果，采用三角化曲面算法，通过像素点的延伸，连接网格中满足拓扑正确性和几何正确性的点，实现舰船图像三维重构。具体重构过程如下：

1）对于舰船图像像素点 $ p{\text{ = }}1 - G $ ，设置固定的半径，利用KD树算法，搜索该像素点在图像空间内的k邻域。

2）将该像素点领域内的点，投影至像素点 $ p $ 的曲面切平面。

3）将所获取的投影点，利用可见性修剪方法修剪处理，将投影结果连接至 $ p $ 点至相邻点内，组成1个三角形。

重复以上过程，直至完成舰船点云内全部点的遍历。完成遍历后，连接不同点之间的线，所获取的三角化结果，即最终的舰船三维重构的网格化模型。以所构建的网格化模型为基础，依据可见光图像，为网格化模型进行纹理信息的贴图处理。完成网格化模型的纹理贴图后，即可获取最终舰船三维重构结果。

2 实验分析

为验证所研究的舰船三维重构方法的重构性能，选取某舰船作为研究对象。

2.1 实验设置

以目标舰船为测试对象进行实验，实验步骤如下：

1）相机标定。使用标定板和角度测量仪标定Stereolab公司的ZED双目立体视觉相机和FLIR船载热像仪M400XR，获取其内外参数。

2）图像采集。分别利用Stereolab公司的ZED双目立体视觉相机和FLIR船载热像仪M400XR，采集目标舰船的可见光图像与红外遥感图像。其中，选取ZED双目立体相机采集舰船的可见光图像。舰船可见光图像采集结果如图1所示。

采用FLIR船载热像仪M400XR采集舰船的红外遥感图像，采集结果如图2所示。

通过图1、图2实验结果可看出，采用双目视觉相机采集的舰船可见光图像，与舰船红外遥感图像，分别可体现舰船目标的不同细节。依据不同类型图像中包含的丰富图像细节，令舰船三维重构结果更加丰富，避免舰船三维重构结果出现空洞情况。

3）图像预处理。使用OpenCV图像处理软件进行图像去噪、校正和对齐等预处理操作。

4）特征点提取和匹配。在预处理后的图像上提取特征点，并通过半全局匹配算法匹配舰船图像特征点。

5）三维重建。基于三角化曲面方法实现舰船图像三维重构。

6）重建结果分析和可视化。使用Matlab软件对重建结果进行分析和可视化，评估重建效果和准确性。

2.2 结果分析

采用本文方法从舰船图像中提取特征点，统计舰船特征点匹配结果的三维坐标，验证本文方法的特征匹配性能，统计结果如表1所示。

可看出，采用本文方法可实现所提取特征点的精准匹配。本文方法从舰船可见光图像与舰船红外遥感图像的融合结果中，提取舰船目标特征，并进行特征点的匹配，2幅图像的特征点吻合度极高，验证本文方法的匹配性能。

采用本文方法对舰船三维网格化结果进行贴图处理，获取最终的舰船三维重构结果，如图3所示。

由图3可看出，采用本文方法有效利用双目视觉相机采集的可见光图像，与红外遥感图像结合，实现舰船的三维重构。进一步分析图3的舰船三维重构结果可知，重构结果未出现细节丢失或空洞情况，丰富度较高，分辨率高，基本可体现舰船图像中的全部内容。

3 结　语

结合双目视觉相机采集的舰船可见光图像与红外遥感舰船图像，进行舰船图像的三维重构。通过可见光图像与红外遥感图像的融合，在舰船目标纹理信息较少时，仍可获取理想的三维重构结果。实验结果验证，该方法有效改善缺少目标纹理，导致重构结果中存在大量空洞的问题，获取高分辨率的舰船三维重构结果。