舰船科学技术  2023, Vol. 45 Issue (20): 206-209    DOI: 10.3404/j.issn.1672-7649.2023.20.040   PDF    
基于虚拟现实技术的低质量船舶三维图像重建
周雷     
河南工程学院,河南 郑州 451191
摘要: 图像重建是图像处理领域中的重要组成部分,为提升图像重建质量,提出基于虚拟现实技术的低质量船舶三维图像重建方法。针对外部环境与采集设备等因素导致图像质量低的问题,采用虚拟现实技术的形态学滤波技术预处理初始船舶图像,通过膨胀、腐蚀与开启、闭合运算实现船舶图像增强处理;利用指数权重系数描述船舶图像特征;通过虚拟现实设备获取船舶三维图像最小识别距离,在船舶图像特征基础上,确定理论图像投影值与实际投影值间的偏差,利用偏差值校准船舶图像重建像素值,实现高精度船舶三维图像重建。实验结果显示,该方法增强后图像峰值信噪比提升14%以上,重建后图像结构相似性达到95%以上,清晰度显著提升。
关键词: 虚拟现实技术     低质量     三维图像重建     图像增强     特征提取     最小识别距离    
Research on low quality ship 3D image reconstruction based on virtual reality technology
ZHOU Lei     
Henan University of Engineering, Zhengzhou 451191, China
Abstract: Image reconstruction is an important component in the field of image processing. To improve the quality of image reconstruction, a low-quality ship 3D image reconstruction method based on virtual reality technology is studied. In response to the problem of low image quality caused by external environment and collection equipment, the morphological filtering technology of virtual reality technology is used to preprocess the initial ship image. The ship image enhancement processing is achieved through dilation, corrosion, opening, and closing operations; Using exponential weight coefficients to describe ship image features; Obtain the minimum recognition distance of ship 3D images through virtual reality devices, determine the deviation between the theoretical image projection value and the actual projection value based on ship image features, and use the deviation value to calibrate the pixel values of ship image reconstruction to achieve high-precision ship 3D image reconstruction. The experimental results show that the method enhances the peak signal-to-noise ratio of the image by more than 14%, and the structural similarity of the reconstructed image reaches more than 95%, significantly improving the clarity.
Key words: virtual reality technology     low quality     3D image reconstruction     image enhancement     feature extraction     minimum recognition distance    
0 引 言

船舶图像在成像后,三维信息转换为二维信息[1],将导致部分船舶目标三维数据丢失[2],对船舶图像应用产生消极影响。为获取船舶目标的三维数据,提升图像应用性能,需对船舶图像实施三维重建。

石磊等[3]研究图像三维重构问题过程中,对图像实施奇异值分解字典训练,通过稀疏度自适应正则化校正匹配算法重建图像。该方法匹配过程消耗大量时间,不能保障图像重建的实时性要求。姚程等[4]针对图像三维重构问题,构建基于八叉树的卷积神经网络,将平面补丁发现与位移作为输入,输出重构结果。该方法实际应用过程中有较大概率出现图像信息丢失问题。针对上述问题,提出基于虚拟现实技术的低质量船舶三维图像重建方法,从而获取高质量重建结果。

1 低质量船舶三维图像重建方法 1.1 基于虚拟现实技术的低质量船舶图像预处理

由于船舶三维图像在采集过程中受外界环境因素与采集设备因素等影响,导致所采集的船舶图像质量较低,因此在进行三维图像重建前,需采用虚拟现实技术中的形态学滤波技术对所采集的船舶三维图像实施增强处理,提升最终图像重建精度。f(i,j)和g(i,j)分别表示大小为 $ m \times n $ 的船舶图像和其结构元素,采用虚拟现实技术中的形态学滤波技术对f(i,j)实施处理。

利用式(1)进行膨胀运算:

$ f\left( {i,j} \right) \oplus g\left( {i,j} \right) = \max \left\{ {f\left( {i - 1,j - 1} \right) + g\left( {i,j} \right)} \right\}。$ (1)

式中, $ \oplus $ 表示膨胀运算。

利用式(2)进行腐蚀运算:

$ f\left( {i,j} \right)\Theta g\left( {i,j} \right) = \max \left\{ {f\left( {i - x,j - y} \right) - g\left( {i,j} \right)} \right\}。$ (2)

式中, $ \Theta $ 表示腐蚀运算, $ x \in \left( {0,m} \right] $ $ y \in \left( {0,n} \right] $

利用式(3)进行开启与闭合运算:

$ \left\{ \begin{gathered} f\left( {i,j} \right) \circ g\left( {i,j} \right) = \left[ {f\left( {i,j} \right)\Theta g\left( {i,j} \right)} \right] \oplus g\left( {i,j} \right),\\ f\left( {i,j} \right) \cdot g\left( {i,j} \right) = \left[ {f\left( {i,j} \right) \oplus g\left( {i,j} \right)} \right]\Theta g\left( {i,j} \right) 。\\ \end{gathered} \right. $ (3)

通过开启处理过程能够滤除船舶图像内孤立的毛刺[5],能够显著抑制比结构元素小的正峰值噪声。由宏观角度分析可知,通过开启运算可在保障船舶图像尺寸固定的条件下对其进行平滑处理,但在船舶图像邻域像素灰度值噪声点分布较为密集,同时结构元素尺寸与噪声点距离相比显著提升的条件下,开启运算对于船舶图像增强的效果显著降低。而闭合运算能够有效填充船舶图像目标间狭小裂缝,实现临近目标物的连接[6],但在噪声点灰度值高于邻域像素、同时密度值较大的条件下,闭合运算的滤波处理效果也有所下降。针对这些问题,可对开启与闭合处理过程实施串联,构建数学形态学开启—闭合滤波器,其结构如图1所示。数学形态学开启—闭合滤波器内的图像融合是为了最大限度结合开启与闭合运算的优势,经由两类滤波结果最大限度融合的过程能够提升船舶图像滤波效果,实现低质量船舶图像的增强处理。

图 1 数学形态学开启—闭合滤波器结构图 Fig. 1 Mathematical morphology opening closing filter structure diagram
1.2 基于指数权重系数的船舶图像特征提取

在完成低质量船舶图像增强处理后,对其实施三维图像重建。船舶三维图像重建过程中,需确定重构前后船舶图像的对应关系。将增强处理后的船舶图像内特征点作为不变信息,通过特征描述保障重构过程中的信息完整性[7]。根据增强处理后船舶图像的点云信息构建包含全部点云的元网格,确定不同网格中点云数据的均值 $ {\bar h_i} $ 。汇集全部 $ {\bar h_i} $ 组成的集合以 $ H $ 表示,也就是增强处理后的船舶三维点云图像。针对 $ H $ ,可利用式(4)描述特征描述点 $ {A_f} $ 算子:

$ \Delta \left( {{A_f},H} \right) = \left\{ {{x_1},{x_2}, \cdots ,{x_n}} \right\}。$ (4)

式中: $ n $ xn分别表示描述船舶图像特征算子维度与特征描述信息,xn中主要包含船舶图像中的几何、纹理与亮度等信息。对待实施特征描述的船舶图像点云数据区域实施加权求和处理,即可获取此区域的特征矢量描述符。

1.3 基于虚拟现实技术的船舶图像三维重建

采用虚拟现实技术获取船舶图像最小识别距离,基于所确定的船舶图像特征,实现各三维点云的高精度匹配,在此基础上达到船舶三维图像重建。设定通过虚拟现实设备获取的三维虚拟船舶均为点光源,不同点光源将形成艾里斑,若任意艾里斑边缘零点与其与艾里斑的中心产生重叠,则可通过虚拟现实设备能分辨的最远距离表示不同艾里斑的间距,公式为:

$ \phi = l\frac{{1.22\partial }}{D} \text{。} $ (5)

式中: $ l $ $ D $ 分别表示三维船舶与虚拟现实设备的间距和光通直径, $ \partial $ 表示光摄入虚拟现实设备的波长。

通过式(5)得到,光波同虚拟现实设备内光学部分可识别的最大距离呈正比例相关。

利用式(6)能够描述虚拟现实技术下三维船舶图像重建过程:

$ {f^{\left( {o + 1} \right)}} = {f^{\left( o \right)}} + {\sigma _o}{V^{ - 1}}{A_f} \cdot W\left( {p - {A_f}{f^{\left( o \right)}}} \right) 。$ (6)

式中: $ {f^{\left( {o + 1} \right)}} $ $ {f^{\left( o \right)}} $ 分别表示重建后和重建前的船舶三维图像, $ {\sigma _o} $ $ V $ 分别表示重建过程中的松弛因子和N阶船舶图像的正定矩阵,W $ p $ 分别表示M阶船舶图像的正定矩阵和船舶图像特征提取迭代过程。

图2为船舶三维图像重建过程,具体步骤如下:

图 2 船舶三维图像重建过程流程图 Fig. 2 Flow chart of ship 3D image reconstruction process

步骤1 确定某个投影角度下的投射射线i,利用带重建船舶图像的初始值得到第i条投影射线的投影值 $ \sum\limits_{n = 1}^N {{a_{in}}f_n^{\left( o \right)}} $

步骤2 获取船舶三维图像投影值与实际测量的投影值的差值,确定理论船舶图像投影值与实际投影值间的差值,公式为:

$ \Delta i = {p_i} - \sum\limits_{n = 1}^N {{a_{in}}f_n^{\left( o \right)}}。$ (7)

步骤3 保存所获取的 $ \Delta i $ 值。

步骤4 估算任意投影角度下第 $ i + 1 $ 条射线投影值,循环步骤1~步骤3,直到完全纠正所有射线偏差为止。

步骤5 通过步骤4获取的偏差值修改重建后船舶图像像素值。

针对其余投影角度,循环进行上述操作过程,直到所有角度下的船舶重建图像校准完成为止,通过船舶重建图像的Q次迭代实现高质量的船舶三维图像重建。

2 实验结果与分析

选取某大型船舶图像构建图像集,采用本文方法对船舶图像进行三维图像重建实验。

2.1 图像处理性能测试

为验证本文方法的图像增强效果,在图像集内随机选取2幅图像作为研究对象,在研究对象中加入20%的随机噪声,采用本文方法对其进行增强处理,结果如图3所示。分析可知,采用本文方法能够有效实现研究对象的增强处理,通过增强处理后的图像能够准确识别船舶目标的轮廓信息,令船舶目标完全由噪声中恢复出来,整体上提升了图像的清晰度,最大程度接近初始图像。

图 3 本文方法图像增强效果 Fig. 3 Image enhancement effect of the method in this article

为客观分析本文方法的图像增强效果,以峰值信噪比为增强效果的评价指标,峰值信噪比值越大说明本文方法图像增强效果越好。表1为本文方法增强处理后的图像峰值信噪比。分析可知,采用本文方法对研究对象进行增强处理,在不同噪声密度条件下,峰值信噪比均呈现不同程度的提升,提升幅度在14%以上,由此说明采用本文方法的图像增强效果较好。

表 1 本文方法增强后的峰值信噪比 Tab.1 Peak signal-to-noise ratio after the method enhancement in this article
2.2 三维图像重建性能分析

在图像集内选取不同结构复杂度的图像,采用本文方法对其进行重构,以均方误差与结构相似性2个指标为评估指标,验证本文方法的图像重建性能,结果如表2所示。分析可知,随着目标结构复杂度的提升,本文方法重构结果的均方误差整体表现出逐渐提升的趋势,而结构相似性表现为逐渐下降的趋势。但在目标结构复杂度达到0.80时,本文方法重建结果的均方误差低于0.27,而结构相似度达到95%,由此说明本文方法重建性能较好,更接近理想状态。

表 2 本文方法重建图像的均方误差与结构相似性 Tab.2 Mean square error and structural similarity of reconstructed images using this method

在图像集内选取6幅分辨率为1025×769的船舶图像,采用本文方法对其进行三维重建,对比重建前后的图像分辨率,由此验证本文方法的重建性能,结果如表3所示。分析可知,采用本文方法对所选图像实施重建后,图像的分辨率提升至1280×960,由此说明本文方法能够在准确提取图像特征的基础上提升图像清晰度。

表 3 图像重建前后的分辨率对比结果 Tab.3 Resolution comparison results before and after image reconstruction
3 结 语

本文提出了基于虚拟现实技术的低质量船舶三维图像重建方法,采用虚拟现实技术中的滤波技术与虚拟现实设备实现三维图像重建的目的。实验结果表明,本文方法能够有效实现图像增强目的,达到高精度图像重建的目的。

参考文献
[1]
许少秋, 余扬帆, 郭俊林, 等. 基于大场景三维点云的集装箱船关键绑扎特征识别与重建[J]. 船舶工程, 2022, 44(6): 127-133.
XU Shao-qiu, YU Yang-fan, GUO Jun-lin, et al. Identification and reconstruction of Key lashing features of container ships based on large scene 3D point cloud[J]. Ship Engineering, 2022, 44(6): 127-133.
[2]
毕军涛. 基于虚拟现实技术的3D图像重建方法[J]. 信息记录材料, 2022, 23(4): 133-135.
BI Jun-tao. 3D image reconstruction method based on virtual reality technology[J]. Information Recording Materials, 2022, 23(4): 133-135.
[3]
石磊, 马丽茵. 基于稀疏度自适应的视觉图像三维清晰重构[J]. 计算机仿真, 2021, 38(3): 139-142.
SHI Lei, MA Li-yan. Three-dimensional clear reconstruction of visual images based on adaptive sparsity[J]. Computer Simulation, 2021, 38(3): 139-142.
[4]
姚程, 马彩文. 基于平面补丁的自适应八叉树三维图像重建[J]. 光学精密工程, 2022, 30(9): 1113-1122.
YAO Cheng, MA Cai-wen. Adaptive octree 3D image reconstruction based on plane patch[J]. Optics and Precision Engineering, 2022, 30(9): 1113-1122. DOI:10.37188/OPE.20223009.1113
[5]
杨晓, 任鸿翔, 廉静静, 等. VR交互式三维虚拟船舶建模与仿真[J]. 中国航海, 2022, 45(1): 37-49.
YANG Xiao, REN Hong-xiang, LIAN Jing-jing, et al. 3D virtual ship construction and simulation through vr interactive technology[J]. Navigation of China, 2022, 45(1): 37-49. DOI:10.3969/j.issn.1000-4653.2022.01.007
[6]
王震, 盖孟, 许恒硕. 基于虚拟现实技术的三维场景图像表面重建算法[J]. 吉林大学学报(工学版), 2022, 52(7): 1620-1625.
WANG Zhen, GAI Meng, XU Heng-shuo. A surface reconstruction algorithm for 3D scene images based on virtual reality technology[J]. Journal of Jilin University (Engineering Edition), 2022, 52(7): 1620-1625.
[7]
时光志, 周毅, 李萌, 等. 基于虚拟现实技术的LNG船舶仿真系统[J]. 船海工程, 2021, 50(3): 25-28+33.
SHI Guang-zhi, ZHOU Yi, LI Meng, et al. LNG ship navigation simulation system based on virtual reality technology[J]. Ship & Ocean Engineering, 2021, 50(3): 25-28+33. DOI:10.3963/j.issn.1671-7953.2021.03.007