舰船科学技术  2024, Vol. 46 Issue (19): 176-179    DOI: 10.3404/j.issn.1672-7649.2024.19.032   PDF    
基于混合现实技术的舰炮装备智能保障系统设计
蔡杰, 刘涛, 李华     
中国船舶集团有限公司第七一三研究所,河南 郑州 450015
摘要: 随着数字化、信息化、人工智能等技术的不断发展和应用,未来战争对武器装备保障的时效性要求越来越高。针对目前武器装备保障中存在的痛点和难点,本文以舰炮装备为对象,以装备保障为出发点,基于混合现实技术开展智能保障系统设计,为提高装备的保障效率和促进保障人员能力提升打下一定的基础。
关键词: 混合现实     智能化     装备保障     系统设计    
Design of intelligence support system for naval gun equipment based on mixed reality technology
CAI Jie, LIU Tao, LI Hua     
The 713 Research Institute of CSSC, Zhengzhou 450015, China
Abstract: With the continuous development and application of digital, information, and artificial intelligence, the timeliness requirements for weapon equipment support in future wars are becoming increasingly high. In response to the pain points and difficulties in current weapon equipment support, this article took naval gun as the object, equipment support as the starting point, and designed an intelligent support system based on mixed reality technology, laying a certain foundation for improving equipment support efficiency and promoting the improvement of support personnel capabilities.
Key words: mixed reality     intelligentization     equipment support     system design    
0 引 言

未来作战形态和装备发展趋势,使得装备保障的重要性越来越突出。在一定程度上,战争是装备与装备之间的对抗,装备状态的好坏成为制约战斗力的关键因素。在激烈的对抗中,装备的使用强度、损坏率和战损率将成指数上升[1]。随着信息化、体系化战争的深入推进,装备保障工作正朝着信息化、网络化、智能化方向发展,对保障时效需求更为迫切。通过装备的智能化保障技术研究,使主战装备保持战备完好性从而保持战斗力,将对战争的胜负起着关键的作用[2]

目前,舰炮装备的保障主要凭借丰富的经验,但由于保障人员培训时长、实操经验和动手能力的不同,保障效率和保障效果差异较大[3]。此外,在舰船出海执行训练、演习或作战任务时,如遇到装备突发故障,缺少专业保障人员且舰员不具备相应保障能力时,则会出现束手无策影响装备作战效能的问题。因此,提高装备的保障效率和促进保障人员能力提升在战时显得尤为重要。装备保障质量和效率不仅关乎装备保障成本和人员安全,还会影响装备战斗力甚至战役结果。

装备的智能化保障相结合,及时高效地排查舰炮装备故障问题并完成故障修复,从而提升保障效率和战时保障能力,同时节约装备保障成本,降低装备保障风险,保障装备战斗力[4]

1 总体方案设计 1.1 功能模块

以某型舰炮装备的故障为对象,采用混合现实技术、网络通讯技术、自然语言处理技术、知识图谱构建技术,开展三维跟踪注册技术、维修辅助引导技术、远程协助交互技术、智能问答技术研究,以HoloLens2头戴式增强现实眼镜为平台,实现对装备保障中的基础培训、资料查询、保障引导和远程协助的功能。舰炮智能保障系统(见图1)基本功能为:

图 1 舰炮智能保障系统基本功能 Fig. 1 Basic functions of intelligence support system for naval gun

1)结构组成模块

使用该系统能通过三维模型显示的方式,实现对某型舰炮装置在结构组成方面的教学功能,满足基础培训需要。

2)技术资料模块

将某型舰炮装置的说明书等数据文档融入该系统中,保障人员可通过语音或手势的交互方式进行资料的查询。

3)保障引导模块

保障人员使用语音交互的方式和HoloLens2头戴式增强现实眼镜进行人机对话,通过描述现场装备的故障现象并在HoloLens2头戴式增强现实眼镜的引导下进行故障逐步排查从而确定故障原因。在故障数据库中调取故障保障引导作业流程,保障人员在语音、虚拟动画指引和三维识别定位指引的辅助下进行故障保障,边引导边保障的作业方式可极大地提高装备保障的效率。

4)远程协助模块

保障人员当遇到非常规故障时,可通过远程连线的方式与技术专家进行实时通信,在技术专家的辅助下进行故障定位和排除。

1.2 系统组成

1)HoloLens2头戴式增强现实眼镜

采用HoloLens2头戴式增强现实眼镜进行虚实叠加和语音交互。

2)图形工作站

采用高性能图形工作站作为专家远程指导的平台,与HoloLens2头戴式增强现实眼镜进行远程通信并发送指导数据。

3)服务器

采用大容量计算机作为系统的服务器,进行终端服务处理、数据资源存储和网络连接。

2 系统总体架构

系统整体分为数据层、支撑层、功能层及应用层。系统的层级架构如图2所示。

图 2 系统层级架构 Fig. 2 System hierarchy

1)数据层

该层主要为故障检索、辅助保障过程提供数据支撑,主要包括:

①故障数据。包括故障现象、故障原因、故障类型、故障程度、故障解决方法等。

②工具数据。包括通用工具、专用工装、专用保障工具等。

③其他数据。包括动画、文本、语音、流程等。

2)支撑层

该层主要为舰炮典型故障辅助保障系统提供技术环境支撑,主要包括:

①硬件。主要有高性能工作站、HoloLens2头戴显示设备、图数据库服务器、舰炮实物样机等。

②软件。主要有Unity 3D、Creo、3D Max、Pixyz Studio、Visual Studio、Protégé、Neo4j等。

③API层。主要有Vuforia、HoloToolKit、MRTK等。

3)功能层

功能层在数据层技术上通过支撑层的硬件基础进行算法的应用,包括特征配准、图像渲染及实时交互,支撑层对这3个部分的算法进行封装并提供给功能层级进行调用。功能层包括保障培训、保障指导、信息总览、人机交互、远程交互、智能问答等用于实现设备辅助保障。

4)应用层

应用层是本系统的最终应用背景,根据设备保障的应用场景,结合调用各层级的组件和算法。

3 关键技术 3.1 舰炮故障知识图谱构建技术

开展舰炮故障知识图谱构建技术研究,梳理用户需求,确定知识领域,通过对结构化、半结构化、非结构化舰炮故障知识数据的抽取、解析完成数据收集、分析、清洗,结合业务实际需求开展故障知识图谱的实体、属性和关系的结构设计,构建舰炮故障知识图谱构定义模式,通过对文本理解、意图识别、文本匹配等技术的研究,实现装备故障知识智能问答,舰炮故障知识图谱构建技术的框架如图3所示。

图 3 舰炮故障知识图谱构建技技术构架图 Fig. 3 Technical framework of knowledge graph for naval gun fault
3.1.1 梳理业务需求

通过对舰炮装备过程中可能存在的问题类型进行梳理,比如:出现XXX现象是什么故障?XXX故障怎么保障?保障XXX需要注意什么?XXX故障的保障步骤是什么?保障XXX需要什么器材?为什么会有XXX故障现象……

通过对上述类似问题的梳理,确定业务需求和领域知识。

3.1.2 构建知识图谱

根据业务需求,确定舰炮故障知识图谱本体,完成实体、属性、关系数据结构关系定义。通过对舰炮装备使用手册、保障手册的数据信息知识抽取、映射、融合和消歧等步骤,构建某型装备保障知识图谱[5]。舰炮装备故障知识图谱的数据结构关系定义如图4所示。

图 4 舰炮故障知识图谱数据结构关系图 Fig. 4 Data structure diagram of knowledge graph for naval gun fault
3.1.3 构建应用软件

依据舰炮故障知识图谱的设计方案,确定应用软件技术架构,对软件工作流程进行规划,依据软件工作流程,开展问句分类、意图识别、查询结果等软件模块的设计。

3.2 舰炮装备复杂场景目标识别技术

采用基于深度学习的目标检测技术和无标志物的跟踪注册方法进行目标识别。目标检测是指从图像中排除干扰因素找到待保障零件在图片中的位置,是定位物体空间位置的第一步。本项目采用YOLO物体识别算法进行目标检测,对目标对象进行多尺度预测目标区域坐标和类别信息划分,减少轮廓边缘信息提取的范围。然后通过提取图片特征点进行匹配,本项目采用基于边缘模型提取算法进行图像特征点提取和比对,结合多角度的模型样本进行模板匹配,从而实现复杂场景下的目标识别[68],技术路径如图5所示。

图 5 复杂场景目标识别技术 Fig. 5 Technology of target recognition for complex scene
4 系统验证 4.1 基本功能验证

在实验室搭建了系统验证环境,主要包括某型舰炮实物样机、服务器、HoloLens2头戴式增强现实眼镜、专家远程指导平台等。

在实验室状态下,对该系统的4个功能模块分别进行了功能验证:

1)结构组成模块:实现了对某型舰炮装置在结构组成方面的教学功能;

2)技术资料模块:通过将技术资料增强叠加显示实现了对舰炮资料查询的功能;

3)保障引导模块:实现了在装备保障过程中的边引导边保障的功能;

4)远程协助模块:实现了技术专家远程指导现场保障人员进行故障排查、资料推送等功能。

通过对该系统进行基本功能验证,结果表明能够满足系统的功能要求。

4.2 三维识别准确率验证

针对某型舰炮装备的1个典型故障和2种寿命件更换的保障维保过程,本项目对以下零件进行识别并在实际物体上叠加虚拟辅助指导信息,具体测试结果如表1所示。

表 1 三维识别验证表 Tab.1 Three-dimensional identification validation tale

通过保障维保的指导验证,实现了对表1中所列零件的识别,分别进行了20次的验证测试,零件识别准确率达到90%以上。在零件识别的基础上,实现了对保障过程的步骤指导,大大提升了故障保障、寿命件更换的效率。

5 结 语

基于混合现实技术的舰炮装备智能保障系统在提升保障效率,促进战时保障能力提升的同时,避免了保障安全风险,为装备持久保持战斗力打下坚实的基础。

参考文献
[1]
姚恺, 黄少罗, 王晋生,等. 军事装备虚拟维修训练系统设计[J]. 舰船电子工程, 2021(12): 84-87+104. DOI:10.3969/j.issn.1672-9730.2021.12.021
[2]
王崴, 雷松贵, 刘海平, 等. 混合现实军事装备维修系统综述[J]. 空军工程大学学报, 2020(5): 49-54.
[3]
余芬, 车佳, 何振鹏, 等. 基于混合现实的航空发动机数字维修系统研究[J]. 实验技术与管理, 2022(11): 91-98.
[4]
刘敏洋, 李博功. 基于混合现实技术的工业智能运维系统设计[J]. 设计与研究, 2022(9): 80-82.
[5]
马瑞新, 李泽阳, 陈志奎, 等. 知识图谱推理研究综述[J]. 计算机科学, 2022(S1): 74-85.
[6]
许少秋, 余杨帆, 郭俊林, 等. 基于大场景三维点云的集装箱船关键绑扎特征识别与重建[J]. 船舶工程, 2022(6): 127-133.
[7]
刘洋, 张治发, 谢寅博. 基于混合现实技术的钻井现场巡检系统设计[J]. 信息系统工程, 2023(8): 4-7. DOI:10.3969/j.issn.1001-2362.2023.08.003
[8]
张笑宇. 混合现实的目标识别技术和YOLO算法的对比[J]. 微处理机, 2019(5): 53-59.