2. 仲恺农业工程学院,广东 广州 510220
2. Zhongkai University of Agriculture and Engineering, Guangzhou 510220, China
三维图像相较二维图像,图像中所表达的信息更加丰富、全面,也更加准确、清晰,因此三维图像重构在很多领域都得到了广泛应用[1]。三维图像重构是一种基于二维数据来生成三维图像的一种技术。为获得舰船在水上的运动状态信息,对其进行有效监测具有重要的现实意义[2]。在以往的监测中,主要以二维图像的形式显示,视觉传达效果并不理想。针对这种现象,三维图像重构技术在该领域得到了广泛应用。
基于上述背景,关于三维图像重构的研究有很多。王彩云等[3]提出了一种基于稀疏卷积神经网络研究了一种重构算法,首先拍摄二维目标图像并处理,提取二维图像中的显著性区域,以此为输入,利用稀疏卷积神经网络实现三维重构。丁玉祥等[4]提出了一种改进邻域回归的重构算法,该研究中对图像进行分解,得到两部分,即低秩子图像和稀疏子图像,然后针对这2个部分分别采用稀疏表示和邻域嵌入方法构建对应的特征字典对,最后以此为输入,通过邻域回归方法进行融合,实现高分辨率图像重构。虽然以上研究都达到了三维重构的目的,但是重构的三维图像与实际目标仍存在一定的误差,且三维图像质量普遍不高。另外,由于需要处理的数据量较大,效率较低。针对上述问题,结合视觉传达技术设计一种舰船三维图像自动重构系统,通过该系统设计以期为舰船状态监测提供可靠的手段。
1 系统结构组成设计三维重构依赖于获取的相关基础数据。基于基础数据,借助重构算法生成三维数据。基础数据通过现场视觉设备获取,三维数据通过后台计算机算法和程序自动重构[5]。基于此,在结合B/S 三层架构的基础上,设计系统框架结构,系统主要由两部分组成,前端硬件采集层,后台软件运行层,二者之间通过无线通信系统连接,在前者完成数据采集之后传输到后者,完成舰船三维图像重构工作。
2 舰船视觉图像采集传输单元设计三维重构以基础数据为基础,因此基础数据的采集是整个系统的重要组成部分。数据采集主要依靠2种视觉设备实现,即激光雷达和CCD相机[6]。
1)激光雷达
激光雷达系统主要由激光发射器,接收器、棱镜、控制器、通信系统以及电源等组成。采集过程如下:
步骤1 确定舰船目标。
步骤2 设置激光雷达工作参数。
步骤3 利用激光发射器向目标舰船发射激光脉冲信号。
步骤4 激光脉冲信号接触舰船表面并产生反射效应。
步骤5 接收器采集反射信号。
步骤6 结合时间差,计算舰船与激光雷达系统之间距离。计算公式如下:
$ \xi = \frac{1}{2}v \cdot \Delta t ,$ | (1) |
式中:
步骤7 以激光发射器为原点,建立一个扫描坐标系。
步骤8 基于扫描坐标系计算点云三维坐标,计算公式如下:
$ \left\{ \begin{gathered} X = D\cos \phi \cos \varphi,\\ Y = D\cos \phi \sin \varphi,\\ Z = D\cos \phi。\\ \end{gathered} \right. $ | (2) |
式中:
步骤9 以不同的角度扫描舰船,重复上述过程,完成点云数据采集。
2)CCD相机
CCD相机的作用是获取舰船表面的纹理图像,以用于最后三维图形的纹理映射,提高三维图像的真实感[7]。
将激光雷达和CCD相机采集到的舰船相关数据传输到后台,通信采用ZigBee无线通信方式,从而完成舰船数据硬件采集传输单元设计。
3 基于视觉传达的后台软件处理单元设计后台软件处理单元主要依据视觉传达技术而设计。视觉传达技术中包括各种图像处理算法。在后台软件处理单元就应用视觉传达技术中各种算法来设计三维重构子程序[8]。
3.1 离群噪声点检测与处理子程序受到现场采集环境的影响,点云数据中难以避免地会存在离群噪声点,对真实点云数据造成干扰。离群噪声点检测与处理基本流程如下;首先随机选取一个点云数据,记为
$ \bar L = \frac{{\displaystyle\sum\limits_{i = 1}^n {\left( {{L_i} - {x_o}} \right)} }}{n} 。$ | (3) |
式中,
重复上述过程,计算所有点云数据集中每个点的平均距离,记为
$ f\left( {{x_i}} \right) = \dfrac{{{e^{\frac{{{{\left( {{x_i} - \alpha } \right)}^2}}}{{2{\beta ^2}}}}}}}{{\sqrt {2\text{π} {\beta ^2}} }} 。$ | (4) |
式中:
式中:f(xi)代表高斯分布函数处理后的点云数据;
判断f(xi)是否在设定的筛选范围内。若在,则保留;否则,认为xi为离群噪声点,进行删除处理。
3.2 关键点云提取子程序关键点云提取,也被称为点云特征提取。提取过程如图1所示。平均法向矢量夹角为:
$ {\vartheta _{ij}} = \arccos \frac{{{{\vec c}_i}\cdot{{\vec g}_j}}}{{\left| {{{\vec c}_i}} \right|\left| {{{\vec g}_j}} \right|}},{\vartheta _{ij}} \in [0,\text{π} ],$ | (5) |
$ \bar \vartheta = \frac{{\displaystyle\sum\limits_{j = 1}^M {{\vartheta _{ij}}} }}{M}。$ | (6) |
式中:
点云配准是指将多站扫描点云拼接到同一个坐标系上,以方便建模。基于上述提取的关键点云,进行匹配。具体过程如下:
步骤1 选择2个站点的关键点云数据,分别记为
步骤2 借助单位四元数法对
步骤3 计算
步骤4 将
步骤5 从
步骤6 构建能量函数
$ Y = \arg \min {\sum\limits_{i = 1}^N {\left( {{q_{{\text{nearest}}}} - b{{\tilde p}_i} - T} \right)} ^2} 。$ | (7) |
式中:
步骤7 利用利用最小二乘法求取
步骤8 判断是否满足迭代结束条件?若满足,输出配准结果,否则回到步骤2,继续进行配准。
3.4 三维视觉传达模型构建子程序三维视觉传达模型构建,即重构舰船三维图像。基于配准后的完整点云数据,采用逐点插入法进行三角化,形成三维模型的骨架,如图2所示。
具体过程如下:
步骤1 从点云数据中选出最大的4个点,将其中最大的一个作为顶点,组成三角体最大包围圈,即Voronoi图,见图2(b)。
步骤2 引入一个新的点云
步骤3 点
步骤4 将
步骤5 更新Voronoi图的数据结构。
步骤6 是否所有的点云数据都遍历完毕?若是,输出舰船三维模型的骨架结构,如图2(c);否则,回到步骤3,继续引入下一个点云数据,直至所有点云数据都加入到骨架模型当中。
将CCD相机采集到的舰船纹理图像映射到骨架模型上,完成了三维视觉传达模型的构建。
4 系统实现与测试 4.1 点云数据集合以某船为例,利用激光雷达采集点云数据,如图3所示。
在点云数据处理基础上,利用本文系统程序进行三维视觉传达模型构建,结果如图4和图5所示。
针对建立的三维视觉传达模型,选择峰值信噪比和三维平均误差作为评价指标。对于相同舰船对象,让系统运行基于稀疏卷积神经网络的重构算法以及基于改进邻域回归的重构算法。为方便对比和区别,这里简称改进邻域回归重构系统和稀疏卷积神经网络重构系统。同样进行舰船三维图像自动重构。针对重构的图像,计算峰值信噪比和三维平均误差,结果如表1所示。
可以看出,与改进邻域回归重构系统和稀疏卷积神经网络重构系统相比,本文系统应用下,重构的舰船三维图像信噪比更大,X,Y,Z 三个方向上的平均误差值更小,由此说明本文系统构建的图像更加清晰,图像准确度更高。
5 结 语三维图像与二维图像更加立体、真实,因此获得的舰船监测结果更加准确、有效。为此,基于视觉传达技术设计一款舰船三维图像自动重构系统。该系统通过激光雷达以及CCD相机获得三维重构所需要的基础信息,然后结合视觉传达技术中的各种处理算法设计相关程序。最后通过实例对系统的应用效果进行测试,通过峰值信噪比和三维平均误差2个指标证明了本系统重构的舰船三维图像更加清晰,准确度更高。
[1] |
史玥婷, 任仕伟, 王晓华. 具有噪声鲁棒性的三维磁性纳米粒子成像快速重构方法[J]. 北京理工大学学报, 2022, 42(5): 543-550. DOI:10.15918/j.tbit1001-0645.2021.308 |
[2] |
李玉卓, 李新荣, 冯文倩, 等. 面向服装行业的人体三维重构建模研究现状[J]. 毛纺科技, 2022, 50(2): 116-123. DOI:10.19333/j.mfkj.20210406108 |
[3] |
王彩云, 李阳雨, 李晓飞, 等. 基于稀疏性深度学习的航拍图像超分辨重构[J]. 系统工程与电子技术, 2021, 43(8): 2045-2050. DOI:10.12305/j.issn.1001-506X.2021.08.04 |
[4] |
丁玉祥, 卞维新, 接标, 等. 融合邻域回归和稀疏表示的图像超分辨率重构[J]. 计算机工程与应用, 2021, 57(2): 230-236. DOI:10.3778/j.issn.1002-8331.1911-0227 |
[5] |
刘爱林, 张敬金, 李思宁, 等. 条纹管激光成像雷达目标三维重构快速算法[J]. 中国激光, 2020, 47(1): 289-296. |
[6] |
李宜鹏, 解永春. 基于点云位姿平均的非合作目标三维重构[J]. 空间控制技术与应用, 2020, 46(1): 1-7. DOI:10.3969/j.issn.1674-1579.2020.01.001 |
[7] |
马乐, 陆威, 姜鹏, 等. 基于匹配滤波的Gm-APD激光雷达三维重构算法研究[J]. 红外与激光工程, 2020, 49(2): 153-160. |
[8] |
覃亚丽, 梅济才, 任宏亮, 等. 基于高斯平滑压缩感知分数阶全变分算法的图像重构[J]. 电子与信息学报, 2021, 43(7): 2105-2112. DOI:10.11999/JEIT200376 |