舰船科学技术  2022, Vol. 44 Issue (8): 161-164    DOI: 10.3404/j.issn.1672-7649.2022.08.034   PDF    
视觉传达技术的舰船图像三维重构研究
邬星波     
赣南师范大学 科技学院,江西 赣州 341000
摘要: 针对当前三维重构技术受到光照干扰而导致重构效果不佳的问题,提出视觉传达技术的舰船图像三维重构研究方法。采用阈值分割法,提取舰船图像轮廓特征。结合模糊处理法进行纹理特征梯度分解,构建三维图像视觉传达模型。采用视觉特征提取技术重组空间信息特征,构造网络分布重组模型,匹配图像特征点。结合三维图像视觉传达动态交互机制,对三维图像的空间信息进行重构,获取纹理特征的分布集合。结合平滑滤波方法进行图像降噪处理,获取三维图像重建结果。使用视觉传达技术,实现图像增强,避免光照干扰。由实验结果可知,该方法三维点坐标与理想情况基本一致,能够得到高清晰的图像重构结果,最高信噪比为34 dB,说明使用该方法重构效果较好。
关键词: 视觉传达     舰船图像     三维重构     图像增强    
Research on 3D reconstruction of ship image based on visual communication technology
WU Xing-bo     
Science and Technology College, Gannan Normal University, Ganzhou 341000, China
Abstract: Aiming at the problem that the current 3D reconstruction technology is affected by illumination, a research method of 3D reconstruction of ship image based on visual communication technology is proposed. Threshold segmentation method is used to extract contour features of ship image. Combined with fuzzy processing method, texture feature gradient decomposition is used to construct 3D image visual communication model. Using visual feature extraction technology to obtain spatial information features, a network distribution recombination model is constructed to match image feature points. Combined with the dynamic interaction mechanism of 3D image visual communication, the spatial information of 3D image is reconstructed to obtain the distribution set of texture features. The image denoising process is combined with smooth filtering method to obtain 3D image reconstruction results. Use visual communication technology to realize image enhancement and avoid light interference. The experimental results show that the 3D point coordinates of this method are basically consistent with the ideal situation, and the high-resolution image reconstruction results can be obtained with the highest SNR of 34dB, indicating that the reconstruction effect of this method is good.
Key words: visual communication     ship image     three-dimensional reconstruction     image enhancement    
0 引 言

随着图像信息处理技术的不断发展,对图像的成像和表现提出了越来越高的要求。将细节特征辨识与最优检测相结合,实现了图像的三维重构。宋燕飞等[1]提出的基于双目视觉与图像识别的重构方法,结合双目视觉技术捕获舰船基本结构特征,通过双目相机位置确定舰船关键点坐标,以此为依据进行三维重构;尹燕立等[2]基于虚拟现实技术的重构方法,通过灰度相关约束条件,实现各个焦点的初始匹配,并剔除误匹配结果。结合虚拟现实技术,对舰船结构特征进行分层处理,实现分层后的舰船图像重构。然而,上述2种方法存在人机交互效率低的问题,为此,提出视觉传达技术的舰船图像三维重构研究。

1 基于视觉传达技术的舰船图像三维重构 1.1 舰船图像轮廓特征提取与数据处理

针对舰船轮廓线中存在的多个独立向度点和虚假边界问题,提出一种基于阈值分割的方法来实现对舰船轮廓的精确定位[3]。首先确定1个阈值 $ U $ ,计算滤波处理后的像素值,公式为:

$ g(x,y) = \left\{ \begin{aligned} &0,\quad &f(x,y) < U,\\ &f(x,y) ,&f(x,y) \geqslant U。\end{aligned} \right. $ (1)

式中:(x,y)表示像素坐标;图像中每个像素灰度值如果大于阈值 $ U $ ,则该像素点为舰船图像轮廓点,反之,则为背景点。

为了使重构的完整性,在提取出舰船轮廓后,必须对包含在舰船轮廓图中的大量信息进行处理,并将结果存储在对应的视图中[4]。提取特征信息并将侧视图元与顶视图图元进行匹配,如果匹配成功,则将相关文档保存到DXF文档中,如果匹配失败,则进入下一步[5]。根据单视图的特点,判断提取的特征信息是否为单视图的特征条件,如果是,则按单视图的方式存储于 DXF文档中,若不是,则不予处理。

1.2 舰船图像视觉传达模型构建

将符合上述条件的数据作为舰船图像视觉传达模型构建的依据,使用群算法对区域三维影像进行自适应重建。通过对区域内三维影像的视觉信息进行重构,得到了模糊区域的边缘轮廓,并对其进行纹理梯度分解,得到相应的纹理分布集:

$ I(x,y) = \frac{1}{{\delta (x)}}\exp \left( { - \frac{{d(x,y)}}{{{z^2}}}} \right) 。$ (2)

式中:δ(x)表示纹理分布算子;(xyz)为三维坐标[6]

通过动态提取轮廓特征,集合了三维模糊纹理分布集。之后使用高分辨率的区域信息融合技术,能够获取模糊区域的三维影像,其虚拟视觉传达的迭代公式如下:

$ \varepsilon = \vartheta \cdot \frac{J}{{{A^ * }}} + (1 - \vartheta ) 。$ (3)

式中: $ \vartheta $ 表示边缘信息拟合参数; $ J $ 表示视觉传达系数;A*表示三维图像多维卷积特征量[7]

通过对三维图像轮廓的迭代处理,可获取精细数据,以此为依据,构建三维图像视觉传达模型,为三维图像虚拟重构输出提供数据支持[4]

1.3 基于三维图像网格分布重组的图像特征点匹配

在重构舰船图像前,需要构建网络分布重组模型,再结合图像特征抽取技术实现空间信息的分布重组[8]。在整个重组过程中,通过正态分布结果分析图像的视觉特性,并以此为依据,提取图像边缘轮廓,由此构造的图像水平方向特征集合为:

$ q = \partial S + L(\phi ) + P(\phi ) 。$ (4)

式中: $ \partial $ 表示三维图像像素灰度特征量; $ S $ 表示特征分布集的特征矢量; $ L(\phi ) $ 表示边缘轮廓曲线长度约束项; $ P(\phi ) $ 表示三维图像边缘分布正则项[1]

在进行三维图像融合处理过程中,根据三维图像纹理进行三维重建,得到的网络分布重组模型,如图1所示。

图 1 网络分布重组模型 Fig. 1 Network distribution recombination model

可知,在重构模型中,根据舰船外形的特点,提取出舰船外形的真实形态。该方案采用了零平均规整算法,对其进行粗略匹配。由于正规化均值和标准偏差对光照和反差的影响较小,所以在算法中要找出与图像间存在较高的拐角,并求出正规化平均数,其结果如下:

$ similar\left( {{I_1},{I_2}} \right) = \frac{{\left[ {{I_1}p(o,v) - \overline {{I_1}((o,v))} } \right]}}{{\varsigma \sqrt {{\phi _I}_1 \times {\phi _I}_2} }} 。$ (5)

式中: $ p(o,v) $ 表示图像灰度值; $ {\phi _I}_1 $ $ {\phi _I}_2 $ 分别表示图像I1I2的角点; $ \varsigma $ 表示标准偏差。

经过上述计算步骤能够精准确定需要重构的图像位置,当计算结果接近于1时,说明选择的2个特征角点均是待匹配特征点,否则不是,基于上述内容完成舰船图像特征点的匹配。

1.4 三维图像虚拟重构输出

根据特征点匹配结果,结合视觉传达的动态交互机制进行三维图像动态交互,如图2所示。可知,在三维动画优化中,传统的静态三维虚拟模拟场景不能很好地满足用户的真实互动要求。为了更好地满足用户的互动要求,提出三维图像视觉传达动态交互机制。在三维虚拟场景中,利用节点构造事件邻近节点,以达到三维图像视觉传达的动态互动。三维图像视觉传达动态交互机理是传感器节点能够感受到图像重构的关键节点,并且能够根据图像重构的要求,改变其属性和参数,将转换的内容通过不同的节点,传送给外界。

图 2 三维图像视觉传达动态交互 Fig. 2 Dynamic interaction of 3D image visual communication

在重构图像前,还需对特征信息进行处理,结合三维图像视觉传达动态交互机制,建立基于特征树的船体结构特征实体。在特征树中,每一片枝叶都是一种特性,将特征树与其相对应的根结点来描述,也就是将叶片结点作为特征体,将非叶片结点作为集合算子,特征信息具体处理过程为:首先根据本体建模的基本原则,构建符合舰船实际运行环境的特征实体;然后在这个特征实体上对特征信息进行模型化处理,并通过规则集操作来构造复合体。最后反复进行以上步骤,直到获取全部信息后才能结束信息处理步骤,为三维图像重构提供信息支持。

由于三维图像重构得到的三维空间坐标顶点保持不变,所以在构建舰船图像视觉传达模型后,需要使用像素点作为灰度值,并用视觉传达方法获取舰船轮廓的三维点坐标。设空间任意一点在投影点a1a2上,分别提取2个投影点的相对点,则投影矩阵可表示为:

$ {z_1}\left[ {\begin{array}{*{20}{l}} {{d_1}} \\ {{h_1}} \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {s_{11}^1,s_{12}^1,s_{13}^1,s_{14}^1} \\ {s_{21}^1,s_{22}^1,s_{23}^1,s_{24}^1} \\ {s_{31}^1,s_{32}^1,s_{33}^1,s_{34}^1} \end{array}} \right]\left[ {\begin{array}{*{20}{l}} {{x_w}} \\ {{y_w}} \\ {{z_w}} \\ 1 \end{array}} \right]。$ (6)

式中: $ \left({d}_{1},{h}_{1},1\right) $ 表示2个投影点的齐次坐标; $ S_{ij}^1 $ 表示第 $ i $ 行第 $ j $ 列的元素; $ {x_w},{y_w},{z_w} $ 表示投影的三维坐标参量。

利用视觉特征抽取技术,对区域三维图像进行空间分布重构,并将其与边缘轮廓特征提取相结合,实现三维图像的边缘区域检测。将其与三维建模相结合,得到了三维图像的纹理特征分布集合:

$ f=\underset{\text{Δ}x\to 0}{\mathrm{lim}}\left[\frac{\alpha -\text{Δ}\alpha }{\text{Δ}x}\right] 。$ (7)

式中: $ \alpha $ 表示理想图像区域边缘重建特征分量; $ {{\Delta }}\alpha $ 表示实际三维图像区域边缘重建特征分量; $ {{\Delta }}x $ 表示图像特征变量。

根据三维图像纹理分布特征进行重构,并使用平滑滤波方法进行图像降噪处理,该滤波模型可表示为:

$ g = \left\langle {i,{j_0}} \right\rangle {j_0} 。$ (8)

式中,〈ij0〉表示三维图像像素特征点在j0上的特征分布集合。

通过稀疏性特征表示方法进行三维图像视觉传达,构建三维图像的信息分布模型,获取三维图像重构结果。

2 基于视觉传达技术的图像增强处理

为实现对光照干扰的图像进行强化,必须先收集到光照扰动的影像,对某些光线变化的情况进行仿真,并对其进行干预,如下雨、大雾天气等。由于所获取的光线扰动图像往往含有一定的噪声,所以利用视觉传达技术对被摄动的图像进行处理,去除部分无用的噪声。基于此,设计基于视觉传达技术的图像增强过程,如图3所示。

图 3 基于视觉传达技术的图像增强过程 Fig. 3 Image enhancement process based on visual communication technology

可知,为了增强三维图像重构效果,需要对其进行去噪处理。为此采用小波变换技术对干扰图像进行噪声处理,得到

$ W(r,u) = \frac{1}{{\sqrt r }}\delta \left( {\frac{{t - u}}{r}} \right){\rm{d}}t 。$ (9)

式中:δ(t)表示母小波; $ r $ 表示平移参数; $ u $ 表示尺度参数。

对上述2个参数进行离散化处理后,可以得到离散小波变换结果:

$ W'(r,u) = \displaystyle\int\nolimits f(t)\delta '(t){\text{d}}t 。$ (10)

式中:f(t)表示平方可积函数; $ \delta '(t) $ 表示处理后的母小波。

利用小波变换技术处理图像噪声时,能够得到多个子图像,均代表不同的频率区域,而主要能量集中在低频的子图像上,为此,只需处理这部分区域噪声即可。

3 实验结果与分析

采用Visual C++与3D MAX作为实验平台,对舰船三维图像进行可视化展示,以此验证视觉传达技术的舰船图像三维重构研究方法研究的合理性。使用Matlab软件舰船实际运行环境,并在80×80均匀分布模板上设置视觉传递空间,空间被噪声干扰的强度为12 dB。

使用基于双目视觉与图像识别的重构方法、基于虚拟现实技术的重构方法和视觉传达技术的舰船图像三维重构方法进行对比实验,分析三维坐标点是否与理想中重构后的图像三维坐标点一致,结果如表1所示。可知,对比方法三维点坐标与理想情况不一致,相差大,本文方法三维点坐标与理想情况基本一致。

表 1 3种方法三维点坐标对比分析 Tab.1 Comparative analysis of three-dimensional point coordinates of the three methods

使用这3种方法对比分析舰船图像三维重构效果,如图4所示。可知,使用基于双目视觉与图像识别的重构方法和基于虚拟现实技术的重构方法,三维点坐标与理想情况相差较大,导致重构效果较差;而使用视觉传达技术的舰船图像三维重构方法,三维点坐标与理想情况基本一致,重构效果较好。

图 4 3种方法舰船图像三维重构效果对比分析 Fig. 4 Comparative analysis of 3D reconstruction effects of ship images by three methods

为了证明良好抗干扰效果,将这3种方法的干扰图像信噪比进行对比分析,对比结果如图5所示。

图 5 3种方法信噪比对比分析 Fig. 5 Comparative analysis of SNR of the three methods
4 结 语

本文提出的基于视觉传达技术的舰船图像三维重构研究方法,充分考虑视觉传达设计中以视觉交互为主的研究理念,将视觉传达技术与三维图像重构相结合,提升三维图像交互效果。同时,使用该技术还能增强图像,避免光照干扰。通过实验结果表明,该方法重构图像增强性更优。

参考文献
[1]
宋燕飞, 罗尧治, 沈雁彬, 等. 基于双目视觉与图像识别的网架结构三维重建[J]. 空间结构, 2020, 26(4): 28-35+74.
[2]
尹燕运, 师影. 计算机视觉技术在交通工程测量中的应用[J]. 工程技术研究, 2020, 61(5): 96-97. DOI:10.3969/j.issn.1671-3818.2020.05.048
[3]
林平, 李琦, 申作春. 连续场景太赫兹数字全息三维重建图像的参数影响[J]. 激光与光电子学进展, 2020, 57(22): 49-57.
[4]
孙克强, 缪君, 江瑞祥, 等. 基于空洞卷积与多尺度特征融合的室内场景单图像分段平面三维重建[J]. 传感技术学报, 2021, 34(3): 370-378. DOI:10.3969/j.issn.1004-1699.2021.03.012
[5]
冯维, 汤少靖, 赵晓冬, 等. 基于自适应条纹的高反光表面三维面形测量方法[J]. 光学学报, 2020, 40(5): 119-127.
[6]
邢志勇, 肖儿良, 简献忠. 双判别生成对抗网络的红外图像超分辨重建[J]. 小型微型计算机系统, 2020, 41(03): 662-667. DOI:10.3969/j.issn.1000-1220.2020.03.036
[7]
万书亭, 张伯麟, 尹涛, 等. X射线无损检测图像三维重建软件设计[J]. 中国工程机械学报, 2020, 18(5): 425-429+435.
[8]
张豪, 张强, 邵思羽, 等. 深度学习在单图像三维模型重建的应用[J]. 计算机应用, 2020, 40(8): 2351-2357.