舰船科学技术  2023, Vol. 45 Issue (13): 150-153    DOI: 10.3404/j.issn.1672-7649.2023.13.030   PDF    
基于图像处理技术的船舶航行环境可视化研究
殷庆飞     
桂林航天工业学院,广西 桂林 541004
摘要: 以规避船舶航行风险为目的,研究基于图像处理技术的船舶航行环境可视化方法。该方法利用激光雷达和摄像机捕捉船舶和其航行环境激光点云图像后,使用Kd-Tree算法对图像实施预处理,以预处理后的云图像为基础,利用图像处理技术中的虚拟现实技术建立船舶三维模型,以及航行数学模型,获得航行参数。同时绘制海面并建立海浪模型和建立航行环境,再依据船舶航行参数以及海浪参数,通过虚拟现实软件基于船舶三维模型,实现航行环境可视化。实验结果表明,该种方法具备较好的船舶激光点云图像预处理能力,构建船舶三维模型较为逼真,可有效实现航行环境可视化。
关键词: 图像处理技术     虚拟现实技术     激光点云     船舶模型    
Research on visualization of ship navigation environment based on image processing technology
YIN Qing-fei     
Guilin University of Aerospace Technology, Guilin 541004, China
Abstract: In order to avoid the risk of ship navigation, the visualization method of ship navigation environment based on image processing technology is studied. After the laser point cloud image of the ship and its sailing environment is captured by lidar and camera, the image is preprocessed by Kd-Tree algorithm. Based on the preprocessed laser point cloud image of the ship and its sailing environment, the 3D model of the ship and the mathematical model of the ship sailing are established by using virtual reality technology in the image processing technology. The ship navigation parameters are obtained by using the ship navigation mathematical model, and the ship navigation environment is established by drawing the sea surface and building the wave model. Then, based on the ship navigation parameters and wave parameters, the ship navigation environment is visualized by virtual reality software based on the ship three-dimensional model. The experimental results show that this method has a good ability of ship laser point cloud image preprocessing, the construction of ship three-dimensional model is more realistic, and can effectively realize the visualization of ship sailing environment.
Key words: image processing technology     virtual reality technology     laser point cloud     ship model    
0 引 言

船舶在海上航行过程中,受到复杂多变的海况影响,航行风险较大。为保障船舶在海上的航行安全,对其航行环境进行可视化呈现是一种有效手段[1-2]。可通过可视化的航行环境,及时规避船舶航行中存在的风险。目前有较多学者研究船舶航行环境可视化方法,梁云涛等[3]提出船舶航行数据可视化方法,该方法建立船舶航行三维场景,以数据标注方式回放船舶航行环境场景。但该方法仅适用于船舶场景回放,无法对未来航行场景进行可视化,其应用存在片面性。黄凡[4]提出竖向航体可视化仿真方法,该方法通过建立船舶航行数学模型和航行环境三维模型,利用三维可视化软件展示航行环境可视化画面。但该方法在应用过程中未建立海浪模型,导致其呈现的航行环境可视化效果不佳。图像处理技术是依赖图像增强、图像编码、渲染、分割以及图像识别等技术手段实现画面重建、目标识别、缺陷诊断的总称,图像处理技术较多,利用图像处理技术可提升图像的质量,其在场景模拟、识别等多个领域应用较为广泛[5]。本文以图像处理技术为基础,研究基于图像处理技术的船舶航行环境可视化方法,为规避航行风险提供一种有效的手段。

1 船舶航行环境可视化 1.1 基于图像处理技术的船舶三维模型构建 1.1.1 激光点云图像预处理

虚拟现实技术是图像处理技术的一种,该技术可将平面物质转换成立体化图像,使平面物质视觉效果更加逼真[6]。使用图像处理技术中的虚拟现实技术建立航行环境可视化画面内的船舶三维模型。利用激光雷达和摄像机捕捉船舶和其航行环境激光点云图像,对于激光点云图像受位置、光线等原因存在的干扰噪声,使用Kd-Tree算法(二叉树算法)对船舶和航行环境激光点云图像进行预处理,其详细步骤如下:

1)利用Kd-Tree算法建立船舶和其航行环境激光点云的拓扑关系图。

2)在船舶和其航行环境激光点云的拓扑关系图内选择任意点 pi,以该点为中心进行k近邻查询获取点pi周围邻域N(pi)。

3)计算任意点pi与邻域N(pi)内任一点pj的距离d,表达公式如下:

$ d = \frac{{\displaystyle\sum\limits_{{p_j} \in N({p_i})} {\left\| {{p_i} - {p_j}} \right\|} }}{k} \text{。}$ (1)

4)利用式(1)计算任意点pi与邻域N(pi)内所有点距离后,计算所有距离均值并建立该均值高斯分布,并依据该均值高斯分布的平均值和标准方差确定船舶和其航行环境激光点云阈值范围。

5)判断船舶和其航行环境激光点云是否满足阈值条件,将不满足阈值条件的点云删除。

经过上述步骤,完成船舶和其航行环境激光点云降噪预处理。

1.1.2 虚拟船舶三维模型生成

以经过预处理后的船舶和其航行环境激光点云图像为基础,结合船舶基础参数,利用虚拟现实技术图像处理软件AUTOCAD建立船舶不同系统的三维实体模型后,将不同系统三维实体模型组合,得到初始虚拟船舶三维模型。以初始虚拟船舶三维模型为基础,生成DWG格式文件,该文件是虚拟船舶三维可视化呈现的基础,但该DWG格式文件无法被HOOPOS虚拟可视化组件调取,需将其转换成HSF格式。但由于船舶内组件较多,生成的模型DWG格式文件较多,不利于船舶航行环境可视化呈现和交互,需对初始虚拟船舶三维模型进行优化处理,其具体过程如下:

1)在AUTOCAD中优化船舶不同系统的三维实体模型

由于船舶是由若干个小系统三维实体模型组成的,小系统的标注信息对于整个船舶三维模型来说不够重要,可将其删除。将单独的小集合三维实体模型组合,生成大的三维实体模型,同时将三维实体模型内部不可见的实体进行删除,完成船舶小三维实体模型的优化。

2)DWG格式文件优化

使用虚拟现实技术中的3ddwfpublish命令将船舶三维模型DWG格式文件转换成DWF格式文件,然后按照图层对船舶三维模型文件进行类型编组,同时将实体对象和其他对象进行分组后,去除其他对象分组,完成DWF格式文件优化。

3)HSF格式优化

船舶三维模型DWF格式文件优化完成后,利用虚拟现实技术中DWF Viewer功能观察船舶三维模型内对象类型线段、面域、实体等,再通过HOOPS 3D Part Viewer读取船舶三维模型DWF格式文件,设置段节点与船舶三维模型DWF格式文件内对象类型节点一一对应,然后对于不在视觉观察范围内的实体三维模型队形的段节点,输出HFS格式文件,该文件是船舶场景模型的来源,利用虚拟现实技术软件驱动HFS格式文件即可生成船舶三维模型。

1.2 船舶航行数学模型构建

船舶三维模型构建完成后,建立船舶航行数学模型,利用该数学模型获得船舶航行参数。船舶航行时与海水之间会形成阻力,其阻力分为摩擦阻力、旋涡阻力和兴波阻力,以上3种阻力与航速和载重相关。R表示船舶阻力,即

$ R = rV_s^Z \text{。}$ (2)

式中:r为船舶阻力系数;Vs为船舶航速;Z为调节参数,取值为1.5~3之间。

在标准状况下,舰船阻力曲线Rs可通过其船体的有效功率来计算:

$ {R_s} = 1000{P_e}/{V_s} \text{,}$ (3)

式中,Pe为船舶船体有效功率。

以式(3)结果为基础,得到船舶综合船体阻力计算公式为:

$ R' = {g_1}{g_d}{g_w}{R_s} + {R_t} \text{。}$ (4)

式中: $ R' $ 为综合船体阻力; $ {g_1} $ $ {g_d} $ $ {g_w} $ 分别为载重系数、污低阻力系数和风浪阻力系数;W为正向风级;Rt为拖带阻力。

以式(4)结果为基础,船舶动态仿真时的速度计算公式如下:

$ {k_w}m\frac{{{\rm d}{V_s}}}{{{\rm d}t}} = \upsilon P - R' \text{。}$ (5)

式中:m为船舶总质量; $ \upsilon $ 为同时工作螺旋桨个数;P为螺旋桨有效推力;kw为附水系数; $ dt $ 为求导,其中t表示自变量。

1.3 基于图像处理技术的船舶航行环境生成

以船舶航行环境激光点云图像作为输入,使用图像处理技术中的VV-Ocean三维渲染引擎绘制船舶航行水面。水面顶点位置依据不同相位和不同频率正弦波的幂函数叠加计算得来,当不同频率正弦波数量足够多即可形成复杂的水面。使用5个叠加的正弦波,绘制航行环境水面,则水面高度场计算公式如下:

$ {S_i} = \frac{{{D_i} \times P \times 2{\text{π}} + t \times {V_i} \times 2{\text{π}} }}{{{L_i}}} \text{。}$ (6)

式中:Si为第i个正弦波的水面高度场;t为时间;Li为正弦波波长;Vi为第i个正弦波速度;DiP分别为正弦波方向和投影坐标。

计算船舶航行环境水面高度法向量H(x, z, t),其计算公式如下:

$ H(x,z,t) = \sum\limits_{i = 1}^5 {{Q_i}{{(\sin ({S_i})/2 + 0.5)}^{{K_i}}}} \text{。} $ (7)

式中:xz分别为水平方向和垂直方向坐标;QiKi分别为正弦波振幅和波形陡峭指数。

依据航行环境水面高度法向量,通过VV-Ocean三维渲染引擎生成航行水面,将折射与反射效果叠加后,得到航行水面颜色,完成船舶航行水面绘制。

完成航行水面绘制后,构建海浪模型生成航行水面海浪,使用Gerstner波浪模拟器建立海浪模型。

X0=(x0, y0)表示海浪水平位置坐标,海浪高度初始值由z0表示,海浪质点经过一段时间运动后,其位置表达式如下:

$ \left\{ \begin{gathered} x = {x_0} + Q\sin (k{x_0} - \psi t) \text{,} \\ z = {z_0} + Q\cos (k{x_0} - \psi t) \text{。} \\ \end{gathered} \right. $ (8)

式中:t为海浪质点运动时间;xz为海浪经过时间运动后的水平和高度位置坐标;k为海浪波数;Q $ \omega $ 分别为海浪正弦波振幅和角频率。

将多个海浪叠加扩展到二维表面即可得到海浪,其表达式如下:

$ \left\{ \begin{gathered} x = {x_0} + \sum\limits_{i = 1}^n {{Q_i}\cos {\theta _i}\sin \left[ \begin{gathered} {k_i}({x_0}\cos {\psi _i} + {y_0}{\sin _i}) - \\ {\psi _i}t - {\varphi _i} \\ \end{gathered} \right]} \text{,} \\ y = {y_0} + \sum\limits_{i = 1}^n {{Q_i}\sin {\theta _i}\sin \left[ \begin{gathered} {k_i}({x_0}\cos {\psi _i} + {y_0}\sin {\psi _i}) - \\ {\psi _i}t - {\varphi _i} \\ \end{gathered} \right]} \text{,} \\ z = {z_0} - \sum\limits_{i = 1}^n {{Q_i}\cos \left[ \begin{gathered} {k_i}({x_0}\cos {\psi _i} + {y_0}\sin {\psi _i}) - \\ {\psi _i}t - {\varphi _i} \\ \end{gathered} \right]} \text{。} \end{gathered} \right. $ (9)

式中:n为海浪个数,且 $ i = 1,2, \cdots ,n $ $ {\varphi _i} $ 为海浪角频率周期。

经过上述步骤,生成航行环境,在该环境内依据航行数学模型得到的参数驱动船舶三维模型运行,实现航行环境可视化。

2 结果与分析

以某型作为实验对象,使用本文方法对其航行环境进行可视化,分析本文方法实际应用效果。利用型号为CWX-30的激光雷达和型号为SP504S摄像机采集不同类型船舶激光点云图像。

以一幅船舶区域激光点云图像作为实验对象,使用本文方法对其进行预处理,测试结果如图1所示。分析可知,使用激光雷达和摄像机采集的船舶区域激光点云图像内存在较多黑色干扰噪声点,干扰噪声点导致区域激光点云轮廓模糊。而使用本文方法对区域激光点云图像进行预处理后,区域激光点云图像内黑色噪声点全部被去除,激光点云图像轮廓呈现清晰状态。上述结果说明本文方法具备较强的激光点云图像预处理能力。

图 1 激光点云预处理结果 Fig. 1 Laser point cloud preprocessing results

使用本文方法建立三维模型,结果如图2所示。分析可知,利用本文方法可有效构建船舶三维模型,且建立的三维模型较为立体和逼真,说明本文方法建立船舶三维模型效果较好。

图 2 船舶三维模型 Fig. 2 3D Model of Ship

以船舶航行环境激光点云图像作为实验对象,建立航行海面环境,结果如图3所示。分析可知,使用本文可有效建立海面航行环境,海水颜色由远到近颜色层次明显,且颜色之间衔接过渡自然。海面波涛汹涌,海面立体效果较好,本文方法构建海面航行环境效果较佳。

图 3 海面航行环境构建效果 Fig. 3 Construction effect of sea navigation environment

利用本文方法建立其航行环境可视化界面,结果如图4所示。分析可知,利用本文方法可建立该船在海面上的航行环境,从平视角可呈现该船三维模型以及船舶波浪前行画面,从俯视角可呈现该船航行方向和航行环境,且从该视角内可为用户呈现当前航行区域内岛礁分布情况,为船舶导航提供依据。

图 4 船舶航行环境可视化界面 Fig. 4 Visualization Interface for Ship Navigation Environment
3 结 语

本文研究基于图像处理技术的船舶航行环境可视化方法,利用图像处理技术对船舶激光点云图像进行预处理和建立船舶三维模型。对本文方法验证得知,其具备较好的船舶航行环境可视化能力,应用效果较为显著。

参考文献
[1]
陈诚, 李寿千, 王新, 等. 河道安全巡检中的船舶可视化监测方法[J]. 水利水电科技进展, 2020, 40(6): 66-70.
CHEN Cheng, LI Shouqian, WANG Xin, et al. Visual monitoring method for ships in safety inspection of rivers[J]. Advances in Science and Technology of Water Resources, 2020, 40(6): 66-70.
[2]
王式耀, 侯岳, 王康勃, 等. 基于抗沉干预行为的舰艇进水过程建模与仿真[J]. 中国舰船研究, 2022, 17(6): 174-181.
WANG Shiyao, HOU Yue, WANG Kangbo, et al. Time domain modeling and simulation of warship flooding process based on counter-flooding activities[J]. Chinese Journal of Ship Research, 2022, 17(6): 174-181.
[3]
梁云涛, 莫剑飞, 戴鹏睿. 水下航行体航行数据可视化回放技术研究[J]. 舰船电子工程, 2022, 17(6): 174-181.
LIANG Yuntao, MO Jianfei, DAI Pengrui. Research on visualization and playback technology of underwater vehicle navigation data[J]. Ship Electronic Engineerin, 2022, 17(6): 174-181.
[4]
黄凡. 可视化水下航行体控制系统数学仿真软件设计[J]. 数字海洋与水下攻防, 2020, 3(4): 355-362.
HUANG Fan. Design of visual mathematical simulation software for underwater vehicle control system[J]. Digital Ocean & Underwater Warfare, 2020, 3(4): 355-362.
[5]
李树兵, 黄永军, 段晶, 等. 船舶航行安全信息可视化关键技术研究[J]. 海洋测绘, 2020, 40(5): 73–77.
LI Shubing, HUANG Yongjun, DUAN Jing, et al. Research on key technologies of visualization of navigation safety information [J]. Hydrographic Surveying and Charting , 2 020, 40(5): 73–77.
[6]
吴敏, 陈曦, 杨凯迪, 等. 基于图像拼接技术的大视场流体可视化纹影系统[J]. 中国工程机械学报, 2022, 20(5): 412-417.
WU Min, CHEN Xi, YANG Kaidi, et al. Large field fluid visualization schlieren system based on image mosaic technology[J]. Chinese Journal of Construction Machinery, 2022, 20(5): 412-417.