舰船科学技术  2023, Vol. 45 Issue (9): 164-167    DOI: 10.3404/j.issn.1672-7649.2023.09.036   PDF    
基于虚拟现实的舰船电子沙盘交互系统
朱铁樱1,2     
1. 金华市现代制造与材料高新技术研发中心,浙江 东阳 322100;
2. 浙江广厦建设职业技术大学,浙江 东阳 322100
摘要: 为了实现对舰船电子沙盘交互设计,提出基于虚拟现实的舰船电子沙盘交互系统设计方法。采用Vega Prime构建舰船电子沙盘交互系统的底层数据处理平台,系统分为图像处理模块、数据交互模块、Lynx Prime图形界面控制模块,通过接口访问控制的方法实现对舰船电子沙盘交互视景渲染控制。采用多线程调度和场景融合控制方法实现对舰船电子沙盘交互的图像融合处理,基于虚拟现实的视景仿真技术实现对舰船电子沙盘交互。测试可知,该系统的视景交互能力较好,视景展示能力较强,交互的信号检测和参数估计能力较强。
关键词: 虚拟现实     舰船     电子沙盘     交互系统    
Design of interactive system of ship electronic sand table based on virtual reality
ZHU Tie-ying1,2     
1. Jinhua Modern Manufacturing and Material High-tech RESEARCH and development Center, Dongyang 322100, China;
2. Zhejiang Guangsha Construction Vocational and Technical University, Dongyang 322100, China
Abstract: In order to realize the interactive design of warship electronic sand table, a design method of warship electronic sand table interactive system based on virtual reality is proposed. Vega Prime is used to build the bottom data processing platform of the interactive system of ship electronic sand table. The system is divided into image processing module, data interaction module and Lynx Prime graphic interface control module. The interactive visual rendering control of ship electronic sand table is realized by interface access control method, the image fusion processing of ship electronic sand table interaction is realized by multi-thread scheduling and scene fusion control method, and the interaction of ship electronic sand table is realized by virtual reality visual simulation technology. The test shows that the visual interaction ability of the system is good, and the visual display ability of the ship electronic sand table is strong.
Key words: virtual reality     ships     electronic sand table     interactive system    
0 引 言

在现代海战背景下,通过虚拟现实的视景仿真技术进行舰船电子沙盘交互设计,结合计算机视觉图像处理技术,构建舰船电子沙盘交互平台,提高在虚拟视景环境下的海战演练控制能力。舰船电子沙盘交互系统设计建立在对舰船电子沙盘交互的图像信息处理基础上,通过对作战环境的图像信息交互处理,构建舰船电子沙盘交互信息处理平台[1],在分布式虚拟战场环境DVENET(Distributed Virtual Environment NETwork)下实现舰船电子沙盘的信息交互控制,研究舰船电子沙盘交互系统优化设计方案,结合数据融合技术、数字压缩等技术提高战场信息交互能力,通过分布式计算机网络控制,实现对作战效果评估[2]。本文提出基于虚拟现实的舰船电子沙盘交互系统设计方法,首先进行系统的总体构建,然后进行舰船电子沙盘交互系统的图像处理算法设计。最后进行虚拟现实的视景仿真测试,得出有效性结论。

1 系统总体构架和功能组件分析 1.1 系统总体构架

在电子3D虚拟现实视景仿真环境下构建舰船电子沙盘交互系统。首先构建舰船电子沙盘交互系统的总体结构模型,利用专业建模软件Multigen-Creator建立舰船三维模型[3],进行开发环境搭建;利用虚拟仿真技术来仿真舰船的水面航行状态,结合体系结构模型分析和图模型参数分析的方法,进行舰船电子沙盘交互的过程控制。通过地形建模与几何建模的方法,建立视景仿真平台,在Mutigen Creator和嵌入式开发环境下进行Lynx Prime图形界面设计,对舰船电子沙盘交互系统的顶层设计,通过编程将这些模型载入到三维虚拟环境中。采用多线程调度和场景渲染方法,在静态视景模型库中建立三维虚拟海洋(海底、海面)环境,通过模型库构造[4],得到三维视景仿真平台,舰船电子沙盘交互系统的模型设计构架如图1所示、

图 1 舰船电子沙盘交互系统的模型设计构架 Fig. 1 Model design architecture of ship electronic sandbox interaction system

根据图1所示的模型构架,采用MAYA,3DStudio MAX、SoftImage进行系统的软件建模,得到在3D虚拟现实环境下的三维视景仿真平台。舰船电子沙盘交互系统分为3层体系结构,分别为感知控制层、网络传输层和应用服务层。野外实测(如全站仪及GPS等)直接获取DEM数据,结合海底数据流和地形数据分析[5],构建用户信息处理模块,得到系统结构体系如图2所示。

图 2 舰船电子沙盘系统结构体系 Fig. 2 Structure system of ship electronic sand table system
1.2 系统功能结构分析

舰船电子沙盘交互系统的网络传输层建立在异构网的基础上,通过3D虚拟现实系统开发设计,建立网络传输终端控制模块,通过视景仿真模型参数分析,定义.acf模型分析库,初始化内存分配(memory allocator)模型,配置.acf实现地形模型分析,构建电子沙盘交互的地形LOD演变模型,如图3所示。

图 3 电子沙盘交互的地形LOD演变模型 Fig. 3 Terrain LOD evolution model of electronic sandtable interaction

根据图3所示的电子沙盘交互的地形LOD演变模型,结合三维数据库结构特性分析,通过Vega Prime视景开发软件建立电子沙盘交互系统可视化模块,结合帧同步分析方法,采用3层中间件结构设计的方法实现对舰船电子沙盘交互的语音动态转换和场景适应性控制,交互控制过程如图4所示。

图 4 电子沙盘交互控制过程 Fig. 4 Interactive control process of electronic sandtable

在此基础上,采用Multigen Creator3.2建模的方法进行虚拟场景中的虚拟三维实体设计,得到系统仿真过程如图5所示。

图 5 舰船电子沙盘交互仿真过程 Fig. 5 Interactive simulation process of ship electronic sandbox
2 舰船电子沙盘视景图像处理算法 2.1 舰船电子沙盘视景图像采样

设计舰船电子沙盘视景图像处理模型,计算目标图像的特征分量,结合点模型分析方法,在图像成像分布域中,得到外观属性参数S。采用传感信息帧点采样方法,构建舰船沙盘的图像合成网络模型;采用最近邻插值与卷积分析方法,得到图像视觉特征参量为:

$ ikl\left( z \right) = bml\left( {{g^{kl}}.z + {f^{kl}}} \right) 。$ (1)

式中: $l = 1,2,\cdots ,R$ $ k \ne l $ ,表示舰船电子沙盘视景图像采样样本长度;gkl为生成的数据与真实数据的差异度; $ z $ 为图像边缘轮廓分量;fkl为沙盘棋盘状伪影,采用相似度特征分析,得到2个特征块连接的相似度:

$ sim\left( {xc,xd} \right) = \frac{{\displaystyle\sum\limits_{m = 1}^p {y_{cm} \times\displaystyle \sum\limits_{m = 1}^p {y_{dm}} } }}{{\sqrt {\displaystyle\sum\limits_{m = 1}^p {y_{cm}^2 \times\displaystyle \sum\limits_{m = 1}^p {y_{dm}^2} } } }} 。$ (2)

式中: $y_{cm}$ 为舰船视景三维重构的高度; $y_{dm}$ 为舰船视景三维重构的宽度。

采用最近邻插值分析和主成分特征分解的方法,得到全息成像下舰船电子沙盘交互的视觉融合动态输出特征值:

$ \Omega = \left\{ \begin{gathered} \vec x \in s|{g_j}(\vec x) \leqslant 0,j = 1, \cdots ,l \\ {h_j}(\vec x) = 0,j = l + 1, \cdots ,p \\ \end{gathered} \right\} 。$ (3)

式中, $ {h_j}(\vec x) $ 为相邻像素坐标的图像样本特征值, $ {g_j}(\vec x) $ 为待测舰船电子沙盘的从源属性特征值。

2.2 图像特征提取和电子沙盘交互重建

采用空间变换和三维视景重构的方法,通过特征值之间空间位置的坐标偏移量,得到 $ {\varPsi _q}'' $ 的位置关系,以 $ F $ 为旋转不变矩,得到每一个特征点进行偏移的模型参数为 $\sigma \approx \dfrac{\text{π} }{F}$ $F \approx \dfrac{\text{π} }{\sigma }$ ,交互的虚拟像素分布序列为:

$ {\phi _n} = \frac{{{\text{π}} k}}{N},k = \{ {\kern 1pt} {\kern 1pt} {\kern 1pt} 0,1,2,...,N - 1{\kern 1pt} {\kern 1pt} {\kern 1pt} \} 。$ (4)

式中: $ N $ 为像素点个数; $ k $ 为新的空间变换动态参数。采用变分自动编码控制,得到图像边缘轮廓检测的时间窗口为 $Wt = \sqrt 2 \sigma \approx \sqrt 2 \dfrac{{\text{π} } }{F}$ ,空间位置坐标偏移量的动态调整公式为:

$ \left[ {\begin{array}{*{20}{c}} {{x'}} \\ {{y'}} \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\cos ( - {\theta _1})}&{ - \sin ( - {\theta _1})}&0 \\ {\sin ( - {\theta _1})}&{\cos ( - {\theta _1})}&0 \\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} x \\ y \\ 1 \end{array}} \right] 。$ (5)

式中:x,y分别为输入外观属性编码特征值, $ {\theta _1} $ 为空间位置的坐标偏移量。使用级联的姿态控制方法,得到生成目标图像为:

$ {G_j}(\vec x) = \left\{ \begin{array}{ll} \max \left\{ {0,{g_j}(\vec x)} \right\},& 1 \leqslant j \leqslant l ,\\ \max \left\{ {0,|{h_j}(\vec x)| - \delta } \right\},& l + 1 \leqslant j \leqslant p 。\end{array} \right. $ (6)

式中, $ {g_j}(\vec x) $ 为全局特征相同的变换参数; $ \delta $ 为定位在物体的刚性位置。

通过改变源图像中像素点的空间参数信息,结合全局转换参数动态分析,得到光强分配的特征量为 $ umn = \dfrac{{Lmn}}{{L - 1}} $ $ L = \max (lmn) $ 。由此建立图像特征提取和电子沙盘交互模型,实现过程如图6所示。

图 6 图像特征提取和电子沙盘交互模型 Fig. 6 Image feature extraction and electronic sandbox interaction model
3 系统软件实现和实验测试

在Visual C++和Matlab仿真场景中进行舰船电子沙盘交互系统的仿真测试。

根据参数配置,进行舰船电子沙盘的虚拟视景仿真,构建舰船电子沙盘的静态视点图和动态视点图如图7所示。

图 7 舰船电子沙盘的静态和动态视点图 Fig. 7 Static and dynamic viewpoint maps of ship electronic sandbox

根据舰船电子沙盘交互的视点图模型设计,采用PlaySound函数进行声音交互,测试电子沙盘交互性能,得到舰船频谱信号检测结果如图8所示。

图 8 舰船频谱信号检测 Fig. 8 Results of ship spectrum signal detection

分析仿真结果可知,本文设计的舰船电子沙盘的视景交互能力较好,交互的信号检测性能较强。

4 结 语

本文提出基于虚拟现实的舰船电子沙盘交互系统设计方法。建立视景仿真平台,在Mutigen Creator和嵌入式开发环境下进行Lynx Prime图形界面设计。采用多线程调度和场景渲染方法,在静态视景模型库中建立三维虚拟海洋环境,通过模型库构造,得到三维视景仿真平台,并实现对舰船频谱信号检测。分析可知,本文设计的舰船电子沙盘的视景交互能力较好,信号检测性能较强。

参考文献
[1]
甘丽霞. 基于增强现实技术的船舶智能导航系统[J]. 舰船科学技术, 2021, 43(6): 118-120.
GAN Lixia. Ship intelligent navigation system based on augmented reality technology[J]. Ship Science and Technology, 2021, 43(6): 118-120.
[2]
任东彦, 刘文宝, 王浩能. 基于投影法的兰彻斯特平方律在海战中的应用研究[J]. 舰船电子工程, 2021, 41(2): 110-112+131.
REN Dongyan, LIU Wenbao, WANG Haoneng. Research on the application of lanchester square law based on projection method in naval warfare[J]. Ship Electronic Engineering, 2021, 41(2): 110-112+131.
[3]
张迅, 李建胜, 王安成, 等. 无人平台视觉导航算法验证仿真系统的设计与实现[J]. 测绘科学技术学报, 2021, 38(1): 9-14+20.
ZHANG Xun, LI Jiansheng, WANG Ancheng, et al. Design and implementation of an unmanned platform visual navigation algorithm verification simulation system[J]. Journal of Surveying and Mapping Science and Technology, 2021, 38(1): 9-14+20.
[4]
李松卿, 丁刚毅. 基于成像逼真度的视觉仿真方法[J]. 中国电子科学研究院学报, 2021, 16(1): 14-20.
LI Song-qing, DING Gang-yi. Visual simulation method based on imaging fidelity[J]. Journal of China Academy of Electronic Sciences, 2021, 16(1): 14-20.
[5]
龙腾, 刘震宇, 史人赫, 等. 基于神经网络的防空武器目标智能分配方法[J]. 空天防御, 2021, 4(1): 1-7.
LONG Teng, LIU Zhenyu, SHI Renhe, et al. Neural network-based intelligent allocation method for air defense weapon targets[J]. Aerospace Defense, 2021, 4(1): 1-7.