2. 中国船级社,北京 100027
2. China Classification Society, Beijing 100027, China
在数字化浪潮的推动下,增强现实技术(AR)以其独特的交互模式,打破了传统巡检模式的桎梏,将数字世界与真实世界无缝融合。在成本控制、效率提升和用户体验增强等方面,AR技术展现出了传统巡检模式无法比拟的优势。因此,为了提高远洋船舶机舱管理的智能化水平,有必要针对船舶机舱巡检任务展开研究。
孙冬等[1]提出基于增强现实技术的变电站设备运维系统,该系统充分利用增强现实技术在图像识别、信息叠加、实时通信等方面的显著优势,结合AR智能眼镜等终端设备,实现了设备异常的自动检测、作业指引的实时提供、巡检数据的即时保存与管理等功能。陶杰等[2]基于AR技术设计了一套隧道人工巡检辅助系统,通过对比评估AR隧道虚拟巡检系统和传统人工巡检的效果,验证了AR巡检辅助系统在提升巡检质量和效率方面的优势。侯越等[3]运用个人数字助理(PDA)技术,设计了一套舰艇生命力电子巡检系统,该系统不仅能够及时发现舰艇潜在的事故灾害隐患,还能够归纳事故灾害规律。杨万勇等[4]以船舶机舱巡检任务为研究对象,提出一种基于增强现实的船舶机舱智能巡检技术,实现了对机舱仪表的高精度识别和定位、机舱导航与任务指引功能,有效提升了轮机员的巡检能力和效率。然而,当前AR应用的发展尚处于初级阶段,仍面临着功能单一、方案碎片化、通讯复杂以及融入度低等问题。
针对船舶机舱巡检的特殊性,本文提出一种新的解决方案。通过引入边缘服务器,将AR技术深度集成到机舱监控系统中,并结合最新的智能化技术,提出了人机融合的巡检系统。这一系统充分发挥了人的快速决策能力和机器的快速处理能力,既保留了各自的优势,又有效克服了彼此的缺点。为了全面评估这一方案,本文采用层次分析法,通过构建层次结构模型,对影响系统实施的各种因素进行定性和定量分析,确保了系统的科学性和可行性。
1 基于AR的船舶机舱智能巡检系统设计 1.1 基于AR的人机融合巡检模式传统的人机协同方式,如手持移动终端的巡检系统,虽已广泛应用于工业领域,但其在船舶等复杂环境中的应用仍有局限性。这些系统主要依赖于二维数据的查询,对轮机员而言,其辅助效果有限。随着人工智能与增强现实技术的发展,网络系统正逐步从二维数据连接迈向三维空间计算网络,这为更高效的应用提供了广阔的研究空间。
随着增强现实和人工智能技术的飞速发展,人与机器之间的关系正经历着深刻的变革。传统的“协作”概念已经无法满足新时代的需求,人机共融成为了一种新的合作模式。这种共融模式不仅要求人与机器能在同一自然空间中和谐共处,而且要求他们紧密配合、相互提升技能、自然交流,同时确保安全。
增强现实技术的出现,标志着人机共融在信息交互层面完成了最后的闭环,攻克了“最后一公里”的难题。基于AR的人机共融,其核心在于将传感器捕捉的海量数据通过人工智能技术进行预处理,随后利用数字孪生技术对这些数据进行时间和空间上的精细分类。最终,这些数据通过增强现实技术以直观、生动的形式呈现在巡检员眼前,为轮机员提供决策支持。
1.2 船舶机舱智能巡检系统架构人机融合智能巡检系统赋予了轮机员前所未有的便利。如图1所示,即便不身处集控室,轮机员也能全面获取船舶机舱的整体信息。而AR眼镜的引入,更是实现了数字孪生系统的可视化,使得轮机员能够迅速查询所需数据,做出准确的决策与判断。
![]() |
图 1 人机融合智能巡检系统拓扑图 Fig. 1 Topology of man-machine integration intelligent inspection system |
AR眼镜作为巡检工作的移动终端,其便捷性至关重要。目前,市面上的AR眼镜普遍采用无线网络作为数据传输的主要方式。然而,在船舶这一特殊环境中,无线网络的数据传递却面临着诸多挑战。由于舱室之间的信号隔绝效应,无线信号的稳定性和连续性难以保证。
为了解决这一问题,本文提出一种基于边缘服务器的船舶网络通讯架构。在这种架构中,每个舱室内部都安装有一台边缘服务器,这些服务器负责接收当前舱室内的无线信号[5]。随后,这些信号通过有线传输的方式被送至集控室,从而有效避免了信号在传输过程中可能出现的丢失现象。巡检系统网络连结拓扑图如图2所示。
![]() |
图 2 巡检系统网络连结拓扑图 Fig. 2 Network connection topology of inspection system |
在人机融合巡检模式中,通过佩戴AR眼镜,巡检人员不仅能够看到真实的船舶机舱设备实体,还能观察到与之对应的虚拟数字孪生体,以及由人工智能系统提供的辅助决策信息。这种虚实结合的呈现方式,使得巡检工作更加直观和高效。
如图3所示,巡检人员可以选择在实际环境中直接操作和维护船舶设备。同时,他们还可以借助AR眼镜的手势识别功能,与虚拟数字孪生体进行交互,调整虚拟信息。
![]() |
图 3 巡检端工作原理 Fig. 3 Working principle of inspection end |
此外,人机融合巡检模式还支持巡检人员实时上报巡检结果或寻求远程支持。当遇到复杂问题或需要专业指导时,巡检人员可以通过AR眼镜与远程专家进行实时沟通,共同解决问题[6]。
在深入分析人机融合巡检系统的空间布局、网络架构以及终端设计的基础上,进一步开展了机舱智能化方案的详尽分析,提出了船舶机舱智能巡检系统的总体架构,如图4所示。
![]() |
图 4 船舶机舱智能巡检系统总体架构 Fig. 4 Overall structure of Intelligent Inspection system for marine engine room |
总体架构被划分为中心层、节点层以及现场层,每一层都承载着特定的功能与角色。
中心层作为整个架构的核心,主要以机舱决策服务器和岸基机务控制站的形式呈现,它们部署在全船的计算决策中心集控室。机舱监控系统通过广泛收集机舱内各类设备的运行数据,并借助人工智能计算服务器对这些实时数据进行多模态融合分析。智能机舱决策服务器则负责实现船舶机舱态势的智能感知,而数字孪生渲染服务器则致力于构建机舱整体的数字孪生系统。按照轮机员的指令,中心层能够高效地实现机舱级的任务规划与自主决策。
节点层则扮演着连接中心层与现场层的关键角色。它主要由面向实体对象的智能感知通用设备组成,这些设备负责收集并预处理机舱设备的运行数据,确保机舱各系统按照中心层的任务规划与决策指令可靠运行。此外,节点层还包括面向增强现实移动终端的边缘计算网络服务器,它们负责收集无线信息,并传输数字孪生服务器的三维数据和二维智能决策信息。
现场层则直接关联到各类传感器、执行器、控制箱以及增强现实移动终端等,它们负责对机舱系统和设备进行实时的综合监测、管控执行以及巡检运维等任务。中心层与节点层之间通过以太网实现高效的互联互通,而节点层与现场层之间则通过现场总线实现设备间的实时数据交互。边缘计算与人员头戴的AR眼镜通过5G无线通信进行连接,而本船与远程站则通过卫星等方式实现无线通信[7]。集控室内的计算控制中心负责统筹构建船域和跨域通信网络,确保机舱内部以及机舱与机务控制站之间的数据实时共享和通信安全。
为了实现机舱智能感知与智能巡检功能的相对独立,本文进一步提出将智能机舱细分为智能感知功能域和智能巡检功能域。智能感知功能域专注于主机舱、发电机舱、锅炉舱等的运行信息收集与状态感知,为中心层提供数据支持,是智能机舱的实体部分。而智能巡检功能域则主要负责主机舱、发电机舱、锅炉舱等重要设备的巡回检查,将集控室内的信息传递给轮机员以辅助其检查工作,是智能机舱的虚拟部分。这种划分方式使得智能感知功能域和智能巡检功能域的节点层相互隔离,而中心层则保持联通,既确保了各自功能的独立性和安全性,又促进了跨功能域之间的信息共享和任务协同。
1.3 基于智能巡检的分油机检查将AR智能巡检与机舱监控系统进行深度集成是一项复杂而艰巨的任务,它涉及大量的技术细节和协调工作。特别是考虑到机舱内部设备种类繁多,缺乏针对这些设备的三维虚拟模型,这使得AR智能巡检的优势难以得到充分体现。
船用分油机作为主机燃油分油单元的核心设备,其高速运转的特性以及内部零件运行的复杂性,使得从外部观察其运行状态变得困难。若借助三维虚拟模型,直观地展示分油机内部的运行情况,那么轮机员在做出决策时将更加迅速和准确,检查效率也将得到提升。
为了解决这一问题,刘泰等[8]专门针对船用分油机开发了一款高逼真度的三维动态仿真模型。这一模型不仅真实还原了分油机的外观和内部结构,还设计了一系列实用的功能,如通过滑动按钮控制透视程度、查看管路透视等。这些功能的加入,使得轮机员能够更加深入地了解分油机的运行状况。
基于上述原因,本文选择船用分油机作为巡回检查的对象,以验证AR智能巡检的实际效果。当轮机员到达分油机所在位置时,系统会自动弹出会话界面,如图5(a)所示。点击分油机三维动态模型按钮后,分油机的三维模型将在界面左上角弹出。通过控制滑动按钮,轮机员可以透视模型,观察到分油机内部的运行情况,从而更加准确地判断其工作状态,如图5(b)所示。
![]() |
图 5 船用分油机检查效果 Fig. 5 Inspection effect of marine oil separator |
由于本文所使用的是教学用分油机,因此所有参数均设置为静态参数。
2 基于层次分析法的综合评估 2.1 递阶层次模型基于AR的船舶机舱巡检系统中的评价因素可以从软件因素、硬件因素、人为因素和管理因素4个方面进行分析。
软件因素是指由于软件设计的复杂性以及可能存在的缺陷,系统可能面临功能失效、运行不稳定或数据错误等问题。其主要包括模型算法因素、网络通信因素、数据管理因素和运行维护因素。
硬件因素是指由于硬件设备的老化、故障或性能不足都可能影响系统的正常运行。其主要包括设备安全因素和地理环境因素。
人为因素是指由于操作人员的技能水平、安全意识以及操作习惯都可能对系统的运行产生影响。其主要包括使用错误因素和操作不熟因素。
管理因素是指由于船舶巡检系统的管理制度的不完善、执行不力或监督缺失导致系统风险增加。其主要包括制度标准因素、规范流程因素、监督管理因素和沟通交流因素。船舶巡检系统评价因素递阶层次模型见图6。
![]() |
图 6 船舶巡检系统评价因素递阶层次模型 Fig. 6 Risk hierarchical model for ship inspection system |
为了对船舶巡检系统管理过程中的因素进行定量分析和评价,本文采用了层次分析法[9](Analytic Hierarchy Process,AHP)作为综合评估的方法。层次分析法是一种系统化、结构化的多准则决策分析方法,它能够将复杂的问题拆解为若干个层次和因素,通过构建层次结构模型来清晰地展现各因素之间的关系。
在确定船舶巡检系统综合评估的目标和构建层次结构时,首先要明确评估的总目标,即评估船舶巡检系统所面临的风险。随后,将这个复杂的问题分解为不同的层次和因素。在层次结构模型中,设置了多个层次。其中,目标层代表了整个评估的总目标,即船舶巡检系统的综合评估;准则层包含了影响总目标的主要因素,根据前文的评价因素分析,将这些因素划分为软件因素、硬件因素、人为因素和管理因素4个方面;方案层是对各准则层评价因素的进一步细化,提供了具体的综合评估方案或措施。
在构建层次结构的基础上,需要构造判断矩阵。这一步涉及到对每一层次的因素进行两两比较,以反映它们之间的相对重要性。这一过程需要依据专家的经验和判断,本文使用1~9的刻度进行打分,从而量化各因素之间的相对关系。判断的标度与含义如表1所示。目标层相对准则层的打分结果如表2所示。
![]() |
表 1 判断标度及含义 Tab.1 Judgment matrix scale and meaning |
![]() |
表 2 目标层相对准则层的打分结果 Tab.2 The scoring results of the target layer relative to the criterion layer |
构造判断矩阵。根据打分结果,构造判断矩阵,如下式:
$ {\boldsymbol{F}} = \left[ {\begin{array}{*{20}{c}} 1&{{f_{12}}}& \cdots &{{f_{1n}}} \\ {\dfrac{1}{{{f_{12}}}}}&1& \cdots &{{f_{2n}}} \\ \vdots & \vdots & \ddots & \vdots \\ {\dfrac{1}{{{f_{1n}}}}}&{\dfrac{1}{{{f_{2n}}}}}& \cdots &1 \end{array}} \right] 。$ | (1) |
式中:
本文依据业内专家的专业打分,构建了目标层与准则层之间的判断矩阵,以及准则层与子准则层之间的判断矩阵。
在计算权重向量时,针对每一个判断矩阵,采用了特征值法。首先,计算出判断矩阵的最大特征值;接着,找出与该特征值对应的特征向量W。为确保权重向量的准确性和有效性,对特征向量进行了归一化处理,从而得到了权重向量w,如下式:
$ w = \frac{W}{{\sum\limits_{i = 1}^n {{W_i}} }} 。$ | (2) |
式中:
为确保判断矩阵的准确性和可靠性,需要对其进行一致性检验。在一致性检验中,使用了2个关键指标:一致性指标(Consistency Index,CI)和一致性比例(Consistency Ratio,CR)[10]。
一致性指标的计算式为:
$ CI = \frac{{{\lambda _{\max }} - n}}{{n - 1}}。$ | (3) |
式中:
一致性比例的计算式为:
$ CR = \frac{{CI}}{{RI}}。$ | (4) |
式中:CI为判断矩阵的一致性指标;RI为随机一致性指标(Random Index),其值与判断矩阵的阶次n有关,一般而言,RI的具体数值可以根据判断矩阵的阶次n查阅文献[11]模拟
![]() |
表 3 随机一致性指标 Tab.3 Random consistency index |
通过Matlab工具计算出各判断矩阵的一致性指标(CI)和一致性比例(CR)。这些计算结果汇总于表4。可以看出,各判断矩阵的一致性比例均小于0.1,说明各判断矩阵的一致性可以接受,判断矩阵中的各元素符合逻辑和常识。
![]() |
表 4 各判断矩阵的一致性检验 Tab.4 Consistency test for each judgment matrix |
依据前文所述的综合评价方法,本文对船舶巡检系统中的各个评价因素进行了权重计算,如表5所示。
![]() |
表 5 船舶巡检系统中的综合评估的权重 Tab.5 Weights for comprehensive assessment in ship inspection system |
可知,在船舶巡检系统的综合评价准则层中,软件因素以55.8%的权重高居榜首;人为因素紧随其后,占总权重的26.3%;硬件因素和管理因素的权重相对较低,分别为12.2%和5.7%。在子准则层,模型算法因素以33.6%的权重成为船舶巡检系统中最关键的因素点;使用错误因素和网络通信因素分别以19.8%和13.6%的权重紧随其后;其余子准则层的评价因素权重较低。
通过以上分析可知,基于AR的船舶智能巡检系统可以从模型算法和网络通信这2个主要方向改进。
针对模型算法,除了追求更高的精度和更低的算力需求,还应关注算法的鲁棒性和适应性。面对复杂多变的船舶环境,算法需要能够在各种极端条件下稳定运行,不受外界干扰;针对机舱内的设备,应建立更多高精度、高保真的三维模型,以丰富AR内容生态,提高呈现效果;AR技术的核心在于为用户提供沉浸式的交互体验。因此,在改进巡检系统的过程中,应注重提升用户体验和交互设计。优化AR界面的布局和交互方式,使其更加符合操作人员的习惯和需求。
针对网络通信,除了加强安全防护和优化通信协议,应注重提升网络的覆盖范围和稳定性。通过建设更加完善的船舶通信网络,确保巡检系统能够在船舶的各个角落实现稳定的数据传输和实时通信。
3 结 语基于AR的智能巡检系统不仅突破了传统二维信息世界的局限,还实现了机舱人—信息—物理系统(HCPS)在三维空间的深度融合。本文将AR智能巡检技术与机舱监控系统相结合,结合人工智能和数字孪生等前沿技术,利用边缘服务器优化机舱网络通讯,设计了基于AR的智能巡检系统基本架构,并详细阐述了巡检系统的整体架构。然后利用层次分析法对系统进行了全面的综合评估。结果发现,算法和数学模型的完善程度对AR巡检系统的最终效果影响最大,其次是网络通信的稳定性和人员使用的熟练程度。机舱巡检任务只是机舱运维任务的重要组成环节之一,后续研究可以进一步拓展至机舱运维的更多环节,尝试将AR技术应用于更广泛的场景,以发掘其更大的潜力。
[1] |
孙冬, 吉炫颖, 王洪香. 增强现实技术在变电站设备运检中的应用[J]. 电力信息与通信技术, 2021, 19(6): 44-49. |
[2] |
陶杰, 朱熙豪, 郑于海. 基于AR技术的隧道人工巡检辅助系统[J]. 隧道建设(中英文), 2022, 42(6): 1091-1101. |
[3] |
侯岳, 苗海. 基于PDA的舰艇生命力电子巡检系统设计[J]. 造船技术, 2022, 50(3): 1-6+57. DOI:10.12225/j.issn.1000-3878.2022.03.20220301 |
[4] |
杨万勇, 甘辉兵, 刘泰, 等. 基于增强现实的船舶机舱智能巡检技术研究[J]. 中国造船, 2023, 64(5): 171-184. DOI:10.3969/j.issn.1000-4882.2023.05.015 |
[5] |
HOA N T, HUY L V, SON B D, et al. Dynamic offloading for edge computing-assisted metaverse systems[J]. IEEE Communications Letters, 2023, 27(7): 1749-1753. DOI:10.1109/LCOMM.2023.3274649 |
[6] |
陈星宇. 基于AR智能眼镜的远程巡检系统[D]. 天津: 天津大学, 2019.
|
[7] |
候倍倍. 智能配网运维5G+VR/AR的融合创新研究[J]. 无线互联科技, 2021, 18(24): 7−8.
|
[8] |
LIU T, JIANG R, CUI Y, et al. Modeling and simulation of marine oil separator based on Matlab [C] //Proceedings of the 4th International Conference on Computer Engineering (ICCEIC 2023), Guangzhou: IEEE, 2023.
|
[9] |
谢元文, 贺传龙, 吴习文. 基于层次分析法的油船消防安全评价[J]. 江苏船舶, 2013, 30(4): 26-29. DOI:10.3969/j.issn.1001-5388.2013.04.009 |
[10] |
刘勇, 祝艳波, 余宏明, 等. 多层次模糊综合决策优选软基处理方案[J]. 地质科技情报, 2011, 30(3): 123-126. |
[11] |
L T S. Relative measurement and its generalization in decision making why pairwise comparisons are central in mathematics for the measurement of intangible factors the analytic hierarchy/network process[J]. Revista de la Real Academia de Ciencias Exactas, Fisicas y Naturales. Serie A. Matematicas, 2008, 102(2): 251-318. DOI:10.1007/BF03191825 |