随着图像信息处理技术的不断发展,对图像的成像和表现提出了越来越高的要求。将细节特征辨识与最优检测相结合,实现了图像的三维重构。宋燕飞等[1]提出的基于双目视觉与图像识别的重构方法,结合双目视觉技术捕获舰船基本结构特征,通过双目相机位置确定舰船关键点坐标,以此为依据进行三维重构;尹燕立等[2]基于虚拟现实技术的重构方法,通过灰度相关约束条件,实现各个焦点的初始匹配,并剔除误匹配结果。结合虚拟现实技术,对舰船结构特征进行分层处理,实现分层后的舰船图像重构。然而,上述2种方法存在人机交互效率低的问题,为此,提出视觉传达技术的舰船图像三维重构研究。
1 基于视觉传达技术的舰船图像三维重构 1.1 舰船图像轮廓特征提取与数据处理针对舰船轮廓线中存在的多个独立向度点和虚假边界问题,提出一种基于阈值分割的方法来实现对舰船轮廓的精确定位[3]。首先确定1个阈值
$ g(x,y) = \left\{ \begin{aligned} &0,\quad &f(x,y) < U,\\ &f(x,y) ,&f(x,y) \geqslant U。\end{aligned} \right. $ | (1) |
式中:(x,y)表示像素坐标;图像中每个像素灰度值如果大于阈值
为了使重构的完整性,在提取出舰船轮廓后,必须对包含在舰船轮廓图中的大量信息进行处理,并将结果存储在对应的视图中[4]。提取特征信息并将侧视图元与顶视图图元进行匹配,如果匹配成功,则将相关文档保存到DXF文档中,如果匹配失败,则进入下一步[5]。根据单视图的特点,判断提取的特征信息是否为单视图的特征条件,如果是,则按单视图的方式存储于 DXF文档中,若不是,则不予处理。
1.2 舰船图像视觉传达模型构建将符合上述条件的数据作为舰船图像视觉传达模型构建的依据,使用群算法对区域三维影像进行自适应重建。通过对区域内三维影像的视觉信息进行重构,得到了模糊区域的边缘轮廓,并对其进行纹理梯度分解,得到相应的纹理分布集:
$ I(x,y) = \frac{1}{{\delta (x)}}\exp \left( { - \frac{{d(x,y)}}{{{z^2}}}} \right) 。$ | (2) |
式中:δ(x)表示纹理分布算子;(x,y,z)为三维坐标[6]。
通过动态提取轮廓特征,集合了三维模糊纹理分布集。之后使用高分辨率的区域信息融合技术,能够获取模糊区域的三维影像,其虚拟视觉传达的迭代公式如下:
$ \varepsilon = \vartheta \cdot \frac{J}{{{A^ * }}} + (1 - \vartheta ) 。$ | (3) |
式中:
通过对三维图像轮廓的迭代处理,可获取精细数据,以此为依据,构建三维图像视觉传达模型,为三维图像虚拟重构输出提供数据支持[4]。
1.3 基于三维图像网格分布重组的图像特征点匹配在重构舰船图像前,需要构建网络分布重组模型,再结合图像特征抽取技术实现空间信息的分布重组[8]。在整个重组过程中,通过正态分布结果分析图像的视觉特性,并以此为依据,提取图像边缘轮廓,由此构造的图像水平方向特征集合为:
$ q = \partial S + L(\phi ) + P(\phi ) 。$ | (4) |
式中:
在进行三维图像融合处理过程中,根据三维图像纹理进行三维重建,得到的网络分布重组模型,如图1所示。
可知,在重构模型中,根据舰船外形的特点,提取出舰船外形的真实形态。该方案采用了零平均规整算法,对其进行粗略匹配。由于正规化均值和标准偏差对光照和反差的影响较小,所以在算法中要找出与图像间存在较高的拐角,并求出正规化平均数,其结果如下:
$ similar\left( {{I_1},{I_2}} \right) = \frac{{\left[ {{I_1}p(o,v) - \overline {{I_1}((o,v))} } \right]}}{{\varsigma \sqrt {{\phi _I}_1 \times {\phi _I}_2} }} 。$ | (5) |
式中:
经过上述计算步骤能够精准确定需要重构的图像位置,当计算结果接近于1时,说明选择的2个特征角点均是待匹配特征点,否则不是,基于上述内容完成舰船图像特征点的匹配。
1.4 三维图像虚拟重构输出根据特征点匹配结果,结合视觉传达的动态交互机制进行三维图像动态交互,如图2所示。可知,在三维动画优化中,传统的静态三维虚拟模拟场景不能很好地满足用户的真实互动要求。为了更好地满足用户的互动要求,提出三维图像视觉传达动态交互机制。在三维虚拟场景中,利用节点构造事件邻近节点,以达到三维图像视觉传达的动态互动。三维图像视觉传达动态交互机理是传感器节点能够感受到图像重构的关键节点,并且能够根据图像重构的要求,改变其属性和参数,将转换的内容通过不同的节点,传送给外界。
在重构图像前,还需对特征信息进行处理,结合三维图像视觉传达动态交互机制,建立基于特征树的船体结构特征实体。在特征树中,每一片枝叶都是一种特性,将特征树与其相对应的根结点来描述,也就是将叶片结点作为特征体,将非叶片结点作为集合算子,特征信息具体处理过程为:首先根据本体建模的基本原则,构建符合舰船实际运行环境的特征实体;然后在这个特征实体上对特征信息进行模型化处理,并通过规则集操作来构造复合体。最后反复进行以上步骤,直到获取全部信息后才能结束信息处理步骤,为三维图像重构提供信息支持。
由于三维图像重构得到的三维空间坐标顶点保持不变,所以在构建舰船图像视觉传达模型后,需要使用像素点作为灰度值,并用视觉传达方法获取舰船轮廓的三维点坐标。设空间任意一点在投影点a1和a2上,分别提取2个投影点的相对点,则投影矩阵可表示为:
$ {z_1}\left[ {\begin{array}{*{20}{l}} {{d_1}} \\ {{h_1}} \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {s_{11}^1,s_{12}^1,s_{13}^1,s_{14}^1} \\ {s_{21}^1,s_{22}^1,s_{23}^1,s_{24}^1} \\ {s_{31}^1,s_{32}^1,s_{33}^1,s_{34}^1} \end{array}} \right]\left[ {\begin{array}{*{20}{l}} {{x_w}} \\ {{y_w}} \\ {{z_w}} \\ 1 \end{array}} \right]。$ | (6) |
式中:
利用视觉特征抽取技术,对区域三维图像进行空间分布重构,并将其与边缘轮廓特征提取相结合,实现三维图像的边缘区域检测。将其与三维建模相结合,得到了三维图像的纹理特征分布集合:
$ f=\underset{\text{Δ}x\to 0}{\mathrm{lim}}\left[\frac{\alpha -\text{Δ}\alpha }{\text{Δ}x}\right] 。$ | (7) |
式中:
根据三维图像纹理分布特征进行重构,并使用平滑滤波方法进行图像降噪处理,该滤波模型可表示为:
$ g = \left\langle {i,{j_0}} \right\rangle {j_0} 。$ | (8) |
式中,〈i,j0〉表示三维图像像素特征点在j0上的特征分布集合。
通过稀疏性特征表示方法进行三维图像视觉传达,构建三维图像的信息分布模型,获取三维图像重构结果。
2 基于视觉传达技术的图像增强处理为实现对光照干扰的图像进行强化,必须先收集到光照扰动的影像,对某些光线变化的情况进行仿真,并对其进行干预,如下雨、大雾天气等。由于所获取的光线扰动图像往往含有一定的噪声,所以利用视觉传达技术对被摄动的图像进行处理,去除部分无用的噪声。基于此,设计基于视觉传达技术的图像增强过程,如图3所示。
可知,为了增强三维图像重构效果,需要对其进行去噪处理。为此采用小波变换技术对干扰图像进行噪声处理,得到
$ W(r,u) = \frac{1}{{\sqrt r }}\delta \left( {\frac{{t - u}}{r}} \right){\rm{d}}t 。$ | (9) |
式中:δ(t)表示母小波;
对上述2个参数进行离散化处理后,可以得到离散小波变换结果:
$ W'(r,u) = \displaystyle\int\nolimits f(t)\delta '(t){\text{d}}t 。$ | (10) |
式中:f(t)表示平方可积函数;
利用小波变换技术处理图像噪声时,能够得到多个子图像,均代表不同的频率区域,而主要能量集中在低频的子图像上,为此,只需处理这部分区域噪声即可。
3 实验结果与分析采用Visual C++与3D MAX作为实验平台,对舰船三维图像进行可视化展示,以此验证视觉传达技术的舰船图像三维重构研究方法研究的合理性。使用Matlab软件舰船实际运行环境,并在80×80均匀分布模板上设置视觉传递空间,空间被噪声干扰的强度为12 dB。
使用基于双目视觉与图像识别的重构方法、基于虚拟现实技术的重构方法和视觉传达技术的舰船图像三维重构方法进行对比实验,分析三维坐标点是否与理想中重构后的图像三维坐标点一致,结果如表1所示。可知,对比方法三维点坐标与理想情况不一致,相差大,本文方法三维点坐标与理想情况基本一致。
使用这3种方法对比分析舰船图像三维重构效果,如图4所示。可知,使用基于双目视觉与图像识别的重构方法和基于虚拟现实技术的重构方法,三维点坐标与理想情况相差较大,导致重构效果较差;而使用视觉传达技术的舰船图像三维重构方法,三维点坐标与理想情况基本一致,重构效果较好。
为了证明良好抗干扰效果,将这3种方法的干扰图像信噪比进行对比分析,对比结果如图5所示。
本文提出的基于视觉传达技术的舰船图像三维重构研究方法,充分考虑视觉传达设计中以视觉交互为主的研究理念,将视觉传达技术与三维图像重构相结合,提升三维图像交互效果。同时,使用该技术还能增强图像,避免光照干扰。通过实验结果表明,该方法重构图像增强性更优。
[1] |
宋燕飞, 罗尧治, 沈雁彬, 等. 基于双目视觉与图像识别的网架结构三维重建[J]. 空间结构, 2020, 26(4): 28-35+74. |
[2] |
尹燕运, 师影. 计算机视觉技术在交通工程测量中的应用[J]. 工程技术研究, 2020, 61(5): 96-97. DOI:10.3969/j.issn.1671-3818.2020.05.048 |
[3] |
林平, 李琦, 申作春. 连续场景太赫兹数字全息三维重建图像的参数影响[J]. 激光与光电子学进展, 2020, 57(22): 49-57. |
[4] |
孙克强, 缪君, 江瑞祥, 等. 基于空洞卷积与多尺度特征融合的室内场景单图像分段平面三维重建[J]. 传感技术学报, 2021, 34(3): 370-378. DOI:10.3969/j.issn.1004-1699.2021.03.012 |
[5] |
冯维, 汤少靖, 赵晓冬, 等. 基于自适应条纹的高反光表面三维面形测量方法[J]. 光学学报, 2020, 40(5): 119-127. |
[6] |
邢志勇, 肖儿良, 简献忠. 双判别生成对抗网络的红外图像超分辨重建[J]. 小型微型计算机系统, 2020, 41(03): 662-667. DOI:10.3969/j.issn.1000-1220.2020.03.036 |
[7] |
万书亭, 张伯麟, 尹涛, 等. X射线无损检测图像三维重建软件设计[J]. 中国工程机械学报, 2020, 18(5): 425-429+435. |
[8] |
张豪, 张强, 邵思羽, 等. 深度学习在单图像三维模型重建的应用[J]. 计算机应用, 2020, 40(8): 2351-2357. |