船舶图像在成像后,三维信息转换为二维信息[1],将导致部分船舶目标三维数据丢失[2],对船舶图像应用产生消极影响。为获取船舶目标的三维数据,提升图像应用性能,需对船舶图像实施三维重建。
石磊等[3]研究图像三维重构问题过程中,对图像实施奇异值分解字典训练,通过稀疏度自适应正则化校正匹配算法重建图像。该方法匹配过程消耗大量时间,不能保障图像重建的实时性要求。姚程等[4]针对图像三维重构问题,构建基于八叉树的卷积神经网络,将平面补丁发现与位移作为输入,输出重构结果。该方法实际应用过程中有较大概率出现图像信息丢失问题。针对上述问题,提出基于虚拟现实技术的低质量船舶三维图像重建方法,从而获取高质量重建结果。
1 低质量船舶三维图像重建方法 1.1 基于虚拟现实技术的低质量船舶图像预处理由于船舶三维图像在采集过程中受外界环境因素与采集设备因素等影响,导致所采集的船舶图像质量较低,因此在进行三维图像重建前,需采用虚拟现实技术中的形态学滤波技术对所采集的船舶三维图像实施增强处理,提升最终图像重建精度。f(i,j)和g(i,j)分别表示大小为
利用式(1)进行膨胀运算:
$ f\left( {i,j} \right) \oplus g\left( {i,j} \right) = \max \left\{ {f\left( {i - 1,j - 1} \right) + g\left( {i,j} \right)} \right\}。$ | (1) |
式中,
利用式(2)进行腐蚀运算:
$ f\left( {i,j} \right)\Theta g\left( {i,j} \right) = \max \left\{ {f\left( {i - x,j - y} \right) - g\left( {i,j} \right)} \right\}。$ | (2) |
式中,
利用式(3)进行开启与闭合运算:
$ \left\{ \begin{gathered} f\left( {i,j} \right) \circ g\left( {i,j} \right) = \left[ {f\left( {i,j} \right)\Theta g\left( {i,j} \right)} \right] \oplus g\left( {i,j} \right),\\ f\left( {i,j} \right) \cdot g\left( {i,j} \right) = \left[ {f\left( {i,j} \right) \oplus g\left( {i,j} \right)} \right]\Theta g\left( {i,j} \right) 。\\ \end{gathered} \right. $ | (3) |
通过开启处理过程能够滤除船舶图像内孤立的毛刺[5],能够显著抑制比结构元素小的正峰值噪声。由宏观角度分析可知,通过开启运算可在保障船舶图像尺寸固定的条件下对其进行平滑处理,但在船舶图像邻域像素灰度值噪声点分布较为密集,同时结构元素尺寸与噪声点距离相比显著提升的条件下,开启运算对于船舶图像增强的效果显著降低。而闭合运算能够有效填充船舶图像目标间狭小裂缝,实现临近目标物的连接[6],但在噪声点灰度值高于邻域像素、同时密度值较大的条件下,闭合运算的滤波处理效果也有所下降。针对这些问题,可对开启与闭合处理过程实施串联,构建数学形态学开启—闭合滤波器,其结构如图1所示。数学形态学开启—闭合滤波器内的图像融合是为了最大限度结合开启与闭合运算的优势,经由两类滤波结果最大限度融合的过程能够提升船舶图像滤波效果,实现低质量船舶图像的增强处理。
在完成低质量船舶图像增强处理后,对其实施三维图像重建。船舶三维图像重建过程中,需确定重构前后船舶图像的对应关系。将增强处理后的船舶图像内特征点作为不变信息,通过特征描述保障重构过程中的信息完整性[7]。根据增强处理后船舶图像的点云信息构建包含全部点云的元网格,确定不同网格中点云数据的均值
$ \Delta \left( {{A_f},H} \right) = \left\{ {{x_1},{x_2}, \cdots ,{x_n}} \right\}。$ | (4) |
式中:
采用虚拟现实技术获取船舶图像最小识别距离,基于所确定的船舶图像特征,实现各三维点云的高精度匹配,在此基础上达到船舶三维图像重建。设定通过虚拟现实设备获取的三维虚拟船舶均为点光源,不同点光源将形成艾里斑,若任意艾里斑边缘零点与其与艾里斑的中心产生重叠,则可通过虚拟现实设备能分辨的最远距离表示不同艾里斑的间距,公式为:
$ \phi = l\frac{{1.22\partial }}{D} \text{。} $ | (5) |
式中:
通过式(5)得到,光波同虚拟现实设备内光学部分可识别的最大距离呈正比例相关。
利用式(6)能够描述虚拟现实技术下三维船舶图像重建过程:
$ {f^{\left( {o + 1} \right)}} = {f^{\left( o \right)}} + {\sigma _o}{V^{ - 1}}{A_f} \cdot W\left( {p - {A_f}{f^{\left( o \right)}}} \right) 。$ | (6) |
式中:
图2为船舶三维图像重建过程,具体步骤如下:
步骤1 确定某个投影角度下的投射射线i,利用带重建船舶图像的初始值得到第i条投影射线的投影值
步骤2 获取船舶三维图像投影值与实际测量的投影值的差值,确定理论船舶图像投影值与实际投影值间的差值,公式为:
$ \Delta i = {p_i} - \sum\limits_{n = 1}^N {{a_{in}}f_n^{\left( o \right)}}。$ | (7) |
步骤3 保存所获取的
步骤4 估算任意投影角度下第
步骤5 通过步骤4获取的偏差值修改重建后船舶图像像素值。
针对其余投影角度,循环进行上述操作过程,直到所有角度下的船舶重建图像校准完成为止,通过船舶重建图像的Q次迭代实现高质量的船舶三维图像重建。
2 实验结果与分析选取某大型船舶图像构建图像集,采用本文方法对船舶图像进行三维图像重建实验。
2.1 图像处理性能测试为验证本文方法的图像增强效果,在图像集内随机选取2幅图像作为研究对象,在研究对象中加入20%的随机噪声,采用本文方法对其进行增强处理,结果如图3所示。分析可知,采用本文方法能够有效实现研究对象的增强处理,通过增强处理后的图像能够准确识别船舶目标的轮廓信息,令船舶目标完全由噪声中恢复出来,整体上提升了图像的清晰度,最大程度接近初始图像。
为客观分析本文方法的图像增强效果,以峰值信噪比为增强效果的评价指标,峰值信噪比值越大说明本文方法图像增强效果越好。表1为本文方法增强处理后的图像峰值信噪比。分析可知,采用本文方法对研究对象进行增强处理,在不同噪声密度条件下,峰值信噪比均呈现不同程度的提升,提升幅度在14%以上,由此说明采用本文方法的图像增强效果较好。
在图像集内选取不同结构复杂度的图像,采用本文方法对其进行重构,以均方误差与结构相似性2个指标为评估指标,验证本文方法的图像重建性能,结果如表2所示。分析可知,随着目标结构复杂度的提升,本文方法重构结果的均方误差整体表现出逐渐提升的趋势,而结构相似性表现为逐渐下降的趋势。但在目标结构复杂度达到0.80时,本文方法重建结果的均方误差低于0.27,而结构相似度达到95%,由此说明本文方法重建性能较好,更接近理想状态。
在图像集内选取6幅分辨率为1025×769的船舶图像,采用本文方法对其进行三维重建,对比重建前后的图像分辨率,由此验证本文方法的重建性能,结果如表3所示。分析可知,采用本文方法对所选图像实施重建后,图像的分辨率提升至1280×960,由此说明本文方法能够在准确提取图像特征的基础上提升图像清晰度。
本文提出了基于虚拟现实技术的低质量船舶三维图像重建方法,采用虚拟现实技术中的滤波技术与虚拟现实设备实现三维图像重建的目的。实验结果表明,本文方法能够有效实现图像增强目的,达到高精度图像重建的目的。
[1] |
许少秋, 余扬帆, 郭俊林, 等. 基于大场景三维点云的集装箱船关键绑扎特征识别与重建[J]. 船舶工程, 2022, 44(6): 127-133. XU Shao-qiu, YU Yang-fan, GUO Jun-lin, et al. Identification and reconstruction of Key lashing features of container ships based on large scene 3D point cloud[J]. Ship Engineering, 2022, 44(6): 127-133. |
[2] |
毕军涛. 基于虚拟现实技术的3D图像重建方法[J]. 信息记录材料, 2022, 23(4): 133-135. BI Jun-tao. 3D image reconstruction method based on virtual reality technology[J]. Information Recording Materials, 2022, 23(4): 133-135. |
[3] |
石磊, 马丽茵. 基于稀疏度自适应的视觉图像三维清晰重构[J]. 计算机仿真, 2021, 38(3): 139-142. SHI Lei, MA Li-yan. Three-dimensional clear reconstruction of visual images based on adaptive sparsity[J]. Computer Simulation, 2021, 38(3): 139-142. |
[4] |
姚程, 马彩文. 基于平面补丁的自适应八叉树三维图像重建[J]. 光学精密工程, 2022, 30(9): 1113-1122. YAO Cheng, MA Cai-wen. Adaptive octree 3D image reconstruction based on plane patch[J]. Optics and Precision Engineering, 2022, 30(9): 1113-1122. DOI:10.37188/OPE.20223009.1113 |
[5] |
杨晓, 任鸿翔, 廉静静, 等. VR交互式三维虚拟船舶建模与仿真[J]. 中国航海, 2022, 45(1): 37-49. YANG Xiao, REN Hong-xiang, LIAN Jing-jing, et al. 3D virtual ship construction and simulation through vr interactive technology[J]. Navigation of China, 2022, 45(1): 37-49. DOI:10.3969/j.issn.1000-4653.2022.01.007 |
[6] |
王震, 盖孟, 许恒硕. 基于虚拟现实技术的三维场景图像表面重建算法[J]. 吉林大学学报(工学版), 2022, 52(7): 1620-1625. WANG Zhen, GAI Meng, XU Heng-shuo. A surface reconstruction algorithm for 3D scene images based on virtual reality technology[J]. Journal of Jilin University (Engineering Edition), 2022, 52(7): 1620-1625. |
[7] |
时光志, 周毅, 李萌, 等. 基于虚拟现实技术的LNG船舶仿真系统[J]. 船海工程, 2021, 50(3): 25-28+33. SHI Guang-zhi, ZHOU Yi, LI Meng, et al. LNG ship navigation simulation system based on virtual reality technology[J]. Ship & Ocean Engineering, 2021, 50(3): 25-28+33. DOI:10.3963/j.issn.1671-7953.2021.03.007 |