舰船科学技术  2022, Vol. 44 Issue (20): 161-164    DOI: 10.3404/j.issn.1672-7649.2022.20.033   PDF    
基于视觉传达技术的舰船三维图像自动重构系统
高阳1, 吴维2, 苏静怡2     
1. 澳门科技大学,澳门 999078;
2. 仲恺农业工程学院,广东 广州 510220
摘要: 为提高舰船监测质量,获取更多的监测信息,进行舰船三维图像重构是必要的。基于该背景,设计视觉传达技术的舰船三维图像自动重构系统。在结合B/S 三层架构的基础上,设计系统框架结构,包括前端硬件采集层,后台软件运行层,二者之间通过无线通信系统连接,在前者完成数据采集之后传输到后者。利用激光雷达采集舰船点云数据,利用CCD相机采集舰船纹理数据,完成舰船视觉图像采集传输单元设计。基于视觉传达设计后台软件处理单元,包括点云数据处理子程序、关键点云提取子程序、点云配准子程序以及三维视觉传达模型构建子程序。结果表明:本文系统应用下,重构的舰船三维图像信噪比达到最大值(26.32 dB),XYZ三个方向上的平均误差值达到最小值(0.021 m、0.018 m、0.017 m),由此说明本文系统重构的三维图像更加清晰,准确度更高。
关键词: 视觉传达技术     舰船     激光雷达     点云数据     三维图像重构系统    
Automatic reconstruction system of ship 3d image based on visual communication technology
GAO Yang1, WU WEi2, SU Jing-yi2     
1. Macau University of Science and Technology, Macau 999078, China;
2. Zhongkai University of Agriculture and Engineering, Guangzhou 510220, China
Abstract: In order to improve the ship monitoring quality and obtain more monitoring information, it is necessary to reconstruct the ship 3D image. Based on this background, an automatic reconstruction system of ship 3D image using visual communication technology is designed. On the basis of combining the B/S three-tier architecture, the system framework is designed, including the front-end hardware acquisition layer and the background software operation layer. The two are connected through the wireless communication system. After the former completes the data acquisition, it is transmitted to the latter. The laser radar is used to collect the ship point cloud data, and the CCD camera is used to collect the ship texture data to complete the design of the ship visual image acquisition and transmission unit. The background software processing unit is designed based on visual communication, including point cloud data processing subprogram, key point cloud extraction subprogram, point cloud registration subprogram and 3D visual communication model building subprogram. The results show that the designed system should be as follows: the signal to noise ratio of the reconstructed ship 3D image reaches the maximum (26.32 dB), and the average error value in X, Y, Z directions reaches the minimum (0.021 m, 0.018 m, 0.017 m), which shows that the reconstructed 3D image of the designed system is clearer and more accurate.
Key words: visual communication technology     warship     lidar     point cloud data     3D image reconstruction system    
0 引 言

三维图像相较二维图像,图像中所表达的信息更加丰富、全面,也更加准确、清晰,因此三维图像重构在很多领域都得到了广泛应用[1]。三维图像重构是一种基于二维数据来生成三维图像的一种技术。为获得舰船在水上的运动状态信息,对其进行有效监测具有重要的现实意义[2]。在以往的监测中,主要以二维图像的形式显示,视觉传达效果并不理想。针对这种现象,三维图像重构技术在该领域得到了广泛应用。

基于上述背景,关于三维图像重构的研究有很多。王彩云等[3]提出了一种基于稀疏卷积神经网络研究了一种重构算法,首先拍摄二维目标图像并处理,提取二维图像中的显著性区域,以此为输入,利用稀疏卷积神经网络实现三维重构。丁玉祥等[4]提出了一种改进邻域回归的重构算法,该研究中对图像进行分解,得到两部分,即低秩子图像和稀疏子图像,然后针对这2个部分分别采用稀疏表示和邻域嵌入方法构建对应的特征字典对,最后以此为输入,通过邻域回归方法进行融合,实现高分辨率图像重构。虽然以上研究都达到了三维重构的目的,但是重构的三维图像与实际目标仍存在一定的误差,且三维图像质量普遍不高。另外,由于需要处理的数据量较大,效率较低。针对上述问题,结合视觉传达技术设计一种舰船三维图像自动重构系统,通过该系统设计以期为舰船状态监测提供可靠的手段。

1 系统结构组成设计

三维重构依赖于获取的相关基础数据。基于基础数据,借助重构算法生成三维数据。基础数据通过现场视觉设备获取,三维数据通过后台计算机算法和程序自动重构[5]。基于此,在结合B/S 三层架构的基础上,设计系统框架结构,系统主要由两部分组成,前端硬件采集层,后台软件运行层,二者之间通过无线通信系统连接,在前者完成数据采集之后传输到后者,完成舰船三维图像重构工作。

2 舰船视觉图像采集传输单元设计

三维重构以基础数据为基础,因此基础数据的采集是整个系统的重要组成部分。数据采集主要依靠2种视觉设备实现,即激光雷达和CCD相机[6]

1)激光雷达

激光雷达系统主要由激光发射器,接收器、棱镜、控制器、通信系统以及电源等组成。采集过程如下:

步骤1 确定舰船目标。

步骤2 设置激光雷达工作参数。

步骤3 利用激光发射器向目标舰船发射激光脉冲信号。

步骤4 激光脉冲信号接触舰船表面并产生反射效应。

步骤5 接收器采集反射信号。

步骤6 结合时间差,计算舰船与激光雷达系统之间距离。计算公式如下:

$ \xi = \frac{1}{2}v \cdot \Delta t ,$ (1)

式中: $ \xi $ 为舰船与激光雷达系统之间距离; $ v $ 为脉冲信号在空气中的传播速度; $ \Delta t $ 为激光脉冲信号的往返时间差。

步骤7 以激光发射器为原点,建立一个扫描坐标系。

步骤8 基于扫描坐标系计算点云三维坐标,计算公式如下:

$ \left\{ \begin{gathered} X = D\cos \phi \cos \varphi,\\ Y = D\cos \phi \sin \varphi,\\ Z = D\cos \phi。\\ \end{gathered} \right. $ (2)

式中: $ X $ $ Y $ $ Z $ 为点云数据的三维坐标; $ \phi $ 为激光雷达系统的纵向扫描角度; $ \varphi $ 为激光雷达系统的横向扫描角度。

步骤9 以不同的角度扫描舰船,重复上述过程,完成点云数据采集。

2)CCD相机

CCD相机的作用是获取舰船表面的纹理图像,以用于最后三维图形的纹理映射,提高三维图像的真实感[7]

将激光雷达和CCD相机采集到的舰船相关数据传输到后台,通信采用ZigBee无线通信方式,从而完成舰船数据硬件采集传输单元设计。

3 基于视觉传达的后台软件处理单元设计

后台软件处理单元主要依据视觉传达技术而设计。视觉传达技术中包括各种图像处理算法。在后台软件处理单元就应用视觉传达技术中各种算法来设计三维重构子程序[8]

3.1 离群噪声点检测与处理子程序

受到现场采集环境的影响,点云数据中难以避免地会存在离群噪声点,对真实点云数据造成干扰。离群噪声点检测与处理基本流程如下;首先随机选取一个点云数据,记为 $ {x_o} $ ,利用欧式距离计算法,计算该点与其领域点 $ {x_i}\left( {i = 1,2,...,n} \right) $ 之间的距离 $ {L_i},i = 1,2,...,n $ ,然后计算平均距离L,计算公式为:

$ \bar L = \frac{{\displaystyle\sum\limits_{i = 1}^n {\left( {{L_i} - {x_o}} \right)} }}{n} 。$ (3)

式中, $ n $ 代表领域点数量。

重复上述过程,计算所有点云数据集中每个点的平均距离,记为 $ {\bar L_i},i = 1,2,...,N $ $ N $ 代表点云数据总量。对每个点云数据进行高斯分布函数计算,如下:

$ f\left( {{x_i}} \right) = \dfrac{{{e^{\frac{{{{\left( {{x_i} - \alpha } \right)}^2}}}{{2{\beta ^2}}}}}}}{{\sqrt {2\text{π} {\beta ^2}} }} 。$ (4)

式中: $\alpha = \dfrac{{\displaystyle\sum\limits_{i = 1}^N {{{\bar L}_i}} }}{N}$ $\beta = \sqrt {\dfrac{{\displaystyle\sum\limits_{i = 1}^N {{{\left( {{{\bar L}_i} - \alpha } \right)}^2}} }}{N}}$

式中:f(xi)代表高斯分布函数处理后的点云数据; $ \alpha $ $ \beta $ 代表所有点云数据距离的均值和标准差。

判断f(xi)是否在设定的筛选范围内。若在,则保留;否则,认为xi为离群噪声点,进行删除处理。

3.2 关键点云提取子程序

关键点云提取,也被称为点云特征提取。提取过程如图1所示。平均法向矢量夹角为:

图 1 关键点云提取流程 Fig. 1 Key point cloud extraction process
$ {\vartheta _{ij}} = \arccos \frac{{{{\vec c}_i}\cdot{{\vec g}_j}}}{{\left| {{{\vec c}_i}} \right|\left| {{{\vec g}_j}} \right|}},{\vartheta _{ij}} \in [0,\text{π} ],$ (5)
$ \bar \vartheta = \frac{{\displaystyle\sum\limits_{j = 1}^M {{\vartheta _{ij}}} }}{M}。$ (6)

式中: $ {\vartheta _{ij}} $ 为第 $ i $ 个点云数据法向矢量与其邻域内第 $ j $ 个点云数据法向矢量之间的法向矢量夹角; $ \bar \vartheta $ 为平均法向矢量夹角; $ {\vec c_i} $ 为第 $ i $ 个点云数据法向矢量; $ {\vec g_j} $ 为邻域内第 $ j $ 个点云数据法向矢量; $ M $ 为邻域内点云数据法向矢量数量。

3.3 点云数据配准子程序

点云配准是指将多站扫描点云拼接到同一个坐标系上,以方便建模。基于上述提取的关键点云,进行匹配。具体过程如下:

步骤1 选择2个站点的关键点云数据,分别记为 $ P = \left\{ {{p_1},{p_2},...,{p_N}} \right\} $ $ Q = \left\{ {{q_1},{q_2},...,{q_N}} \right\} $

步骤2 借助单位四元数法对 $ P $ 中每个点云数据 $ {p_i} $ 进行初始变换,记为 $ {\tilde p_i} $

步骤3 计算 $ {\tilde p_i} $ $ Q = \left\{ {{q_1},{q_2},...,{q_N}} \right\} $ 之间的距离,记为 $ {l_i},i = 1,2,...,N $

步骤4 将 $ {l_i},i = 1,2,...,N $ 从小到大排序,从 $ Q = \left\{ {{q_1},{q_2},..., {q_N}} \right\} $ 中选出距离最近的点,记为 $ {q_{{\text{nearest}}}} $

步骤5 从 $ P = \left\{ {{p_1},{p_2},...,{p_N}} \right\} $ $ Q = \left\{ {{q_1},{q_2},...,{q_N}} \right\} $ 找到了点云对,即 $ {\tilde p_i} $ $ {q_{{\text{nearest}}}} $

步骤6 构建能量函数 $ Y $ ,函数表达式如下:

$ Y = \arg \min {\sum\limits_{i = 1}^N {\left( {{q_{{\text{nearest}}}} - b{{\tilde p}_i} - T} \right)} ^2} 。$ (7)

式中: $ b $ 为旋转变换矩阵; $ T $ 为平移变换矩阵。

步骤7 利用利用最小二乘法求取 $ Y $ 的最小值。

步骤8 判断是否满足迭代结束条件?若满足,输出配准结果,否则回到步骤2,继续进行配准。

3.4 三维视觉传达模型构建子程序

三维视觉传达模型构建,即重构舰船三维图像。基于配准后的完整点云数据,采用逐点插入法进行三角化,形成三维模型的骨架,如图2所示。

图 2 建模示意图 Fig. 2 Modeling diagram

具体过程如下:

步骤1 从点云数据中选出最大的4个点,将其中最大的一个作为顶点,组成三角体最大包围圈,即Voronoi图,见图2(b)。

步骤2 引入一个新的点云 $ S $ ,根据 $ S $ 所处位置确定将要被剔除的顶点。

步骤3 点 $ S $ 落在最大包围圈内,形成了Delaunay空腔。

步骤4 将 $ S $ 和Delaunay空腔内全部顶点相连接,形成新的顶点和三角形。

步骤5 更新Voronoi图的数据结构。

步骤6 是否所有的点云数据都遍历完毕?若是,输出舰船三维模型的骨架结构,如图2(c);否则,回到步骤3,继续引入下一个点云数据,直至所有点云数据都加入到骨架模型当中。

将CCD相机采集到的舰船纹理图像映射到骨架模型上,完成了三维视觉传达模型的构建。

4 系统实现与测试 4.1 点云数据集合

以某船为例,利用激光雷达采集点云数据,如图3所示。

图 3 点云数据示例 Fig. 3 Example of point cloud data
4.2 三维视觉传达模型

在点云数据处理基础上,利用本文系统程序进行三维视觉传达模型构建,结果如图4图5所示。

图 4 三维视觉传达骨架示意图 Fig. 4 Schematic diagram of 3D visual communication framework

图 5 三维视觉传达模型示意图 Fig. 5 Schematic diagram of 3D visual communication model
4.3 测试结果

针对建立的三维视觉传达模型,选择峰值信噪比和三维平均误差作为评价指标。对于相同舰船对象,让系统运行基于稀疏卷积神经网络的重构算法以及基于改进邻域回归的重构算法。为方便对比和区别,这里简称改进邻域回归重构系统和稀疏卷积神经网络重构系统。同样进行舰船三维图像自动重构。针对重构的图像,计算峰值信噪比和三维平均误差,结果如表1所示。

表 1 系统性能测试结果 Tab.1 System performance test results

可以看出,与改进邻域回归重构系统和稀疏卷积神经网络重构系统相比,本文系统应用下,重构的舰船三维图像信噪比更大,XYZ 三个方向上的平均误差值更小,由此说明本文系统构建的图像更加清晰,图像准确度更高。

5 结 语

三维图像与二维图像更加立体、真实,因此获得的舰船监测结果更加准确、有效。为此,基于视觉传达技术设计一款舰船三维图像自动重构系统。该系统通过激光雷达以及CCD相机获得三维重构所需要的基础信息,然后结合视觉传达技术中的各种处理算法设计相关程序。最后通过实例对系统的应用效果进行测试,通过峰值信噪比和三维平均误差2个指标证明了本系统重构的舰船三维图像更加清晰,准确度更高。

参考文献
[1]
史玥婷, 任仕伟, 王晓华. 具有噪声鲁棒性的三维磁性纳米粒子成像快速重构方法[J]. 北京理工大学学报, 2022, 42(5): 543-550. DOI:10.15918/j.tbit1001-0645.2021.308
[2]
李玉卓, 李新荣, 冯文倩, 等. 面向服装行业的人体三维重构建模研究现状[J]. 毛纺科技, 2022, 50(2): 116-123. DOI:10.19333/j.mfkj.20210406108
[3]
王彩云, 李阳雨, 李晓飞, 等. 基于稀疏性深度学习的航拍图像超分辨重构[J]. 系统工程与电子技术, 2021, 43(8): 2045-2050. DOI:10.12305/j.issn.1001-506X.2021.08.04
[4]
丁玉祥, 卞维新, 接标, 等. 融合邻域回归和稀疏表示的图像超分辨率重构[J]. 计算机工程与应用, 2021, 57(2): 230-236. DOI:10.3778/j.issn.1002-8331.1911-0227
[5]
刘爱林, 张敬金, 李思宁, 等. 条纹管激光成像雷达目标三维重构快速算法[J]. 中国激光, 2020, 47(1): 289-296.
[6]
李宜鹏, 解永春. 基于点云位姿平均的非合作目标三维重构[J]. 空间控制技术与应用, 2020, 46(1): 1-7. DOI:10.3969/j.issn.1674-1579.2020.01.001
[7]
马乐, 陆威, 姜鹏, 等. 基于匹配滤波的Gm-APD激光雷达三维重构算法研究[J]. 红外与激光工程, 2020, 49(2): 153-160.
[8]
覃亚丽, 梅济才, 任宏亮, 等. 基于高斯平滑压缩感知分数阶全变分算法的图像重构[J]. 电子与信息学报, 2021, 43(7): 2105-2112. DOI:10.11999/JEIT200376