舰船科学技术  2023, Vol. 45 Issue (10): 172-175    DOI: 10.3404/j.issn.1672-7649.2023.10.035   PDF    
基于虚拟现实的船舶三维图像重建方法
何余海, 陈小燕     
江西科技学院,江西 南昌 330098
摘要: 通过对船舶三维图像重建处理,提高船舶动态检测识别能力,提出基于虚拟现实的船舶三维图像重建方法。根据船舶图像的空间位置概率分布,构建船舶三维图像的分类子网特征图模型,采用虚拟现实的三维重组技术实现对船舶三维图像重建过程中的纹理渲染和实体建模。在船舶三维图模型的Face Tools中选择虚拟现实重构的面类型,通过颜色、透明度和光照效果的动态渲染实现对船舶三维图像重建。实验表明该方法对船舶三维图像重建的视觉表达能力较好,重建的精密度水平较高。
关键词: 虚拟现实     三维重建     视觉表达     纹理渲染    
Design of ship 3D image reconstruction method based on virtual reality
HE Yu-hai, CHEN Xiao-yan     
Jiangxi University of Technology, Nanchang 330098, China
Abstract: By reconstructing and processing ship 3D images to improve the ability of ship dynamic detection and recognition, a virtual reality based ship 3D image reconstruction method is proposed. Based on the probability distribution of the spatial position of ship images, a subnet for ship 3D images is constructed in the feature map model is constructed. Virtual reality 3D reconstruction technology is used to achieve texture rendering and solid modeling in the process of ship 3D image reconstruction. Select the type of virtual reality reconstructed face in the Face Tools of the ship 3D image model, and achieve the reconstruction of the ship 3D image through dynamic rendering of color, transparency, and lighting effects. The experiment shows that this method has good visual expression ability and high precision level for ship 3D image reconstruction.
Key words: virtual reality     3D reconstruction     visual expression     texture rendering    
0 引 言

虚拟现实技术是通过三维图像和视觉灵境技术实现对目标图像的三维视景仿真与重建[1],在视景模拟和系统仿真等领域具有很好的应用前景。通过对船舶的三维重建和虚拟现实仿真设计,模拟海上船舶调度和推演[2]

对船舶三维图像重建中,通过视觉图像处理和三维实体模型重组,建立船舶三维图像重建的图像分析模型,采用纹理映射和实体渲染技术,实现对船舶三维图像重建处理。张颢等[3]中提出基于局部窗口K分布的快速船舶检测和三维检测算法,通过最优特征融合的纹理空间映射,采用Android系统建模下的三维视景跟踪渲染方法,实现对船舶目标三维重建,但该方法的计算复杂度较大。王培元等[4]提出基于多尺度自适应显著区域检测的舰船三维重建方法,通过特征点和动态匹配和噪点及外点消除技术,提高重建精度,降低船舶三维重建的噪点干扰性,但该方法对船舶三维重建的动态特征点匹配性不好。针对当前方法存在的弊端,本文提出基于虚拟现实的船舶三维图像重建方法。首先构建船舶三维重建的体模型结构,然后进行三维图像渲染和实体模型构建,通过颜色、透明度和光照效果的动态渲染等技术,实现对船舶三维图像重建优化处理。最后采用视景仿真技术进行船舶三维重建实验测试,展示了本文方法的优越性能。

1 船舶三维图模型分析和参数解析 1.1 船舶三维图像建模

为了实现基于虚拟现实的船舶三维图像重建,采用特征图模型参数分析方法,构建船舶三维图像的分类子网特征图模型。通过对船舶表面物体的边缘轮廓信息分析,结合轮廓跟踪法进行轮廓提取和网格模型分析,通过构建船舶三维虚拟现实重建的OpenFlight数据结构库,进行多层次细节(LOD)模型参数分析[5],在图形硬件(如SGI工作站)中实现对图像三维视景仿真和渲染,实现流程如图1所示。

图 1 船舶三维图像重建实现结构图 Fig. 1 Implementation structure of ship 3D image reconstruction

根据图1所示的船舶三维图像重建实现结构图,采用邻域跟踪法方法,得到初始船舶图像,用 $ {F_m}(x,y) $ 表示;得到第 $ m $ $ (x,y) $ 处船舶图像的像素灰度值; $ {B_m}(x,y) $ 代表从前一帧计算的相同属性值的数据点的集合,增强图像输出为:

$ {B_m}(x,y) = \frac{1}{m}\sum\limits_{i = 0}^{m - 1} {{F_i}(x,y)}。$ (1)

式中: $ m $ 为当前帧的船舶目标断层序列图像上的外部轮廓; $ {F_i}(x,y) $ 为动态帧序列的梯度序列。当 $ m $ 逐渐变大时,根据断层序列船舶图像上的外部真实像素,采用信息素增强技术,得到增强处理后的视觉样本序列为:

$ {E_{ext}}\left( \varphi \right) = \lambda {L_g}\left( \varphi \right) + v\left( I \right){A_g}\left( \varphi \right)。$ (2)

式中: $ \lambda $ 为外部轮廓进行船舶重建的视觉均衡度; $ {L_g}\left( \varphi \right) $ 为船舶SAR图像光照强度; $ v\left( I \right) $ 为模糊匹配系数; $ {A_g}\left( \varphi \right) $ 为船舶图像检测实体的外部表面信息,图像梯度权系数 $ \lambda ,\nu $ 均为常数,且 $ \lambda > 0 $ ,各层图像轮廓线之间相互收敛。

根据对图像模型参数采集结果,结合坐标点储存和动态参数识别,实现图像三维重建。

1.2 船舶三维纹理特征分析

在对船舶三维图像建模的基础上,采用虚拟现实的三维重组技术实现对船舶三维图像重建过程中的纹理渲染和实体建模.采用轮廓线搜索的方法,得到船舶图像的三维纹理提取公式如下:

$ y = \overline y + {{\boldsymbol{R}}_t}d,$ (3)
$ z = \overline z + {{\boldsymbol{R}}_h}d。$ (4)

式中: $ {{\rm{R}}_t} $ 为轮廓提取之后的图像边缘分布矩阵; $ {{\boldsymbol{R}}_h} $ 为船舶轮廓表面细小的多余像素点; $ \overline y $ 为轮廓点在Y方向位置信息偏移信息; $ \overline z $ 为轮廓点在Z方向位置信息偏移信息。

以图像清晰度表达水平为约束对象,采用边界纹理信息特征点检测方法,提取轮廓点的位置信息,其公式如下:

$ \begin{aligned} H = & \sqrt {{h_y}^2 + {h_z}^2 + {h_a}^2} = \\ & \sqrt {{{(g(y,z,y) \times {T_y})}^2} + {{(g(y,z,y) \times {T_z})}^2} + {{(g(y,z,y) \times {T_a})}^2}} 。\\ \end{aligned} $ (5)

式中: $ {h_j} $ 为能够用来描述相邻断层上的轮廓灰度变化率; $ g(y,z,a) $ 为船舶三维重建分支处理的拼接特征函数; $ {T_j} $ 为对应的灰度矩阵。

$ y_q^2 = im_q^2j $ 代入到邻域特征点匹配函数中,基于Hausdorff 距离参数估计的方法,得到船舶三维重建的最大相似度:

$ \mu (z,a,v)={\displaystyle \sum _{q=1}^{\infty }{c}_{q}}\mathrm{cos}\left[{y}_{q}v-\sqrt{\frac{{y}_{q}^{2}}{ij}}(z\mathrm{cos}{\rho }_{q})+{\phi }_{q}\right]。$ (6)

式中: $ {c_q} $ 为图像的相关特性和结构特征; $ {y_q} $ 为亚像元; $ z $ 为全局特征与局部特征; $ j $ 为特征点之间的欧氏距离; $ {\rho _q} $ 为像素间距; $ {\varphi _q} $ 为纹理边界特征信息; $ v $ 为复杂图像的特征融合分量。

根据船舶三维重建长度、角度、曲率,特征关系,基于空间距离和几何特征检测方法,得到三维纹理重构输出。根据上述分析,建立船舶三维纹理特征分析模型,结合纹理参数识别,采用虚拟现实技术进行三维图像重建。

2 船舶三维图像重建 2.1 船舶三维特征虚拟现实重组

在构建船舶三维图像模型的基础上,基于模型参数识别,采用跨尺度连接的特征参数分析方法,进行船舶三维重构的特征点提取,得到特征点空间位置关系:

$ \bar z = {{ \bar z_0}} - \left(\frac{{ \bar m}}{m}\right)C\sin ( \bar m \cdot \bar z - yv),$ (7)
$ a = C\cos ( \bar m\cdot {{ \bar z_0}} - yv)。$ (8)

式中: $ {{ \bar z_0}} $ 为特征分辨率; $ m $ 为舰船目标特性参数; $ \bar m $ 为舰船目标特性参数的逆变矩; $ y $ 为Sigmoid激活子网信息; $ v $ 位移动速度; $ a $ 为船舶空间位置分布的加速度。

选择损失最小的特征层分析方法,Q1Q2表示成型点,点Q是2个成像点与原点之间连线相交的位置。基于实例本身特征图模型参数分析,得到船舶动态重构的输出稳态特征值与 $ Y $ 轴平行。三维重建的空间分配成像点Q1Q2在对应的图像重建的空间位置分别是 $ (v_1,w_1) $ $ (v_2,w_2) $ ,得到虚拟现实重构的坐标的转换关系:

$ \left\{ {\begin{aligned} & {v_1 = \displaystyle\frac{M}{{E - Y}}Z} ,\\ & {w_1 = \displaystyle\frac{M}{{E - Y}}A} ,\\ & {v_2 = \displaystyle\frac{M}{{E - (Y\cos \vartheta + Z\sin \vartheta )}}(Z\cos \vartheta - Y\sin \vartheta )} ,\\ & {v_2 = \displaystyle\frac{L}{{D - (X\cos \theta + Y\sin \theta )}}Z}。\end{aligned}} \right. $ (9)

式中: $ M $ 为三维重建细节损失最小的特征层; $ E $ 为多尺度舰船目标的适应性参数; $ Y $ $ Z $ 为最小闭包区域的坐标轴; $ A $ 为最小闭包区域面积; $ \vartheta $ 为图像中目标区域的偏离信息; $ D $ 为实例的特征提取层。

根据上述分析,结合船舶原型的几何特性,通过图像类型化参数分析,实现对船舶三维图像重构。

2.2 船舶三维图像动态重建实现

在船舶三维图模型的Face Tools中选择虚拟现实重构的面类型,采用MPI的视景仿真渲染工具进行纹理映射,通过颜色、透明度和光照效果的动态渲染实现对船舶三维图像重建,对船舶环境的旋涡、浮标、等长线、悬挂线进行动态赋值,基于LOD(Level of Detail)技术,得到船舶的三维重构的尾流长度由下式计算:

$ {l_w} = \displaystyle\frac{{{l_s} + {l_f} + {v_f} \cdot {v^2}}}{{20}}。$ (10)

式中:lw为船首到船首圆心点位移;ls为船舶长度(船的吃水线长度);lf为水平方向的角度与长度的关联因素;vf为速度系数;v为船舶速度。

由此构建船舶三维重建参数关系如图2所示。根据图2的参数关系,进行船舶三维重建设计。

图 2 船舶三维重建参数关系 Fig. 2 Relationship between ship 3D reconstruction parameters
3 仿真测试

仿真实验中,在Lynx Prime面板定义一个海上航行船舶的MarineShip实例集,设定船首偏移70,最大旋转速率参数5.5,浪长度系数18,Stern Parameter中的船尾偏移−50。

根据参数配置,使用Multigen Creator软件建立3D模型,进行船舶的体绘制,如图3所示。

图 3 船舶三维体绘制 Fig. 3 3D drawing of ships

根据图3对船舶的实体绘制结果,采用Map Texture Tools选择贴图方法,使用本文的三维图像重建算法,生成一个Open Flight格式的文件,并在图形视图区输出船舶三维重建结果,如图4所示。

图 4 船舶三维重建结果 Fig. 4 3D reconstruction results of ships

分析图4可知,本文方法能有效实现对船舶三维图像重建,图像重建的视觉表达能力较好,对比重建精度,如图5所示。分析可知,本文方法进行三维重建误差的较小,重建的精度水平较高。

图 5 重建性能对比 Fig. 5 Comparison of reconstruction performance
4 结 语

本文提出基于虚拟现实的船舶三维图像重建方法,构建船舶三维图像的分类子网特征图模型,结合轮廓跟踪法进行轮廓提取和网格模型分析,构建船舶三维虚拟现实重建的OpenFlight数据结构库,建立船舶三维纹理特征分析模型,采用跨尺度连接的特征参数分析方法,进行船舶三维重构的特征点提取,得到特征点空间位置关系,结合纹理参数识别进行船舶三维重建的参数赋值。分析可知,本文方法能有效实现对船舶三维图像重建,图像重建的视觉表达能力较好,误差较低。

参考文献
[1]
李松卿, 丁刚毅. 基于成像逼真度的视觉仿真方法[J]. 中国电子科学研究院学报, 2021, 16(1): 14-20.
LI Song-qing, DING Gang-yi. Visual simulation method based on imaging fidelity[J]. Journal of China Academy of Electronic Sciences, 2021, 16(1): 14-20. DOI:10.3969/j.issn.1673-5692.2021.01.003
[2]
陈瑶, 陈思. 基于自适应多普勒及动态邻域的改进BA算法[J]. 计算机工程与应用, 2021, 57(22): 166-176.
CHEN Yao, CHEN Si. Improved BA algorithm based on adaptive Doppler and dynamic neighborhood[J]. Computer Engineering and Applications, 2021, 57(22): 166-176.
[3]
张颢, 孟祥伟, 李德胜, 等. 基于局部窗口K分布的快速舰船检测算法[J]. 计算机应用, 2016, 36(3): 859-863.
ZHANG Hao, MENG Xiang-wei, LI De-sheng, et al. A fast ship detection algorithm based on local window K distribution[J]. Computer Applications, 2016, 36(3): 859-863.
[4]
王培元, 周建军, 王日胜, 等. 基于多尺度自适应显著区域检测的舰船三维重建外点消除[J]. 河北师范大学学报(自然科学版), 2017, 41(6): 477-483.
WANG Pei-yuan, ZHOU Jian-jun, WANG Ri-sheng, et al. External point elimination in ship 3D reconstruction based on multi-scale adaptive salient region detection[J]. Journal of Hebei Normal University (Natural Science Edition), 2017, 41(6): 477-483. DOI:10.13763/j.cnki.jhebnu.nse.2017.06.004
[5]
汤子麟, 刘翔, 张星. 光照不均匀图像的自适应增强算法[J]. 计算机工程与应用, 2021, 57(21): 216-223.
TANG Zi-lin, LIU Xiang, ZHANG Xing. Adaptive enhancement algorithm for uneven illumination images[J]. Computer Engineering and Applications, 2021, 57(21): 216-223.