舰船科学技术  2024, Vol. 46 Issue (4): 162-165    DOI: 10.3404/j.issn.1672-7649.2024.04.030   PDF    
基于虚拟现实的船用甲板机器人工作状态智能监测系统
姜辽     
闽南科技学院,福建 泉州 362300
摘要: 船舶甲板机器人可帮助船舶高效率除锈,并降低船员工作强度,减少安全事故发生。传统的船舶机器人监控系统只能查看机器人的所有工作状态参数,无法形象地展示机器人工作状态。本文在对虚拟现实技术充分研究的基础上,设计甲板机器人状态监测系统,并设计系统传感信息采集的硬件结构。构建基于虚拟现实技术的机器人工作状态智能监控系统,对系统中的碰撞检测技术以及虚拟交互实现方法进行分析。通过将机器人的状态实时反馈到虚拟场景中,有效实现操作者和机器人之间的实时交互,实现在线操控监测和离线教学的功能。
关键词: 虚拟现实     甲板机器人     状态监测     实时交互     传感信息    
Virtual reality-based intelligent monitoring system for the working status of marine deck robots
JIANG Liao     
Minnan Science and Technology University, Quanzhou 362300, China
Abstract: Ship deck robots can help ships remove rust efficiently, reduce the work intensity of crews, and reduce safety accidents. The traditional ship robot monitoring system can only view all the working status parameters of the robot, and cannot vividly display the working status of the robot. In this paper, on the basis of the full research on virtual reality technology, a condition monitoring system for deck robots is designed, and the hardware structure of the system sensing information collection is designed. An intelligent monitoring system for the working state of the robot based on virtual reality technology was constructed, and the collision detection technology and virtual interaction implementation method in the system were analyzed. By feeding back the status of the robot to the virtual scene in real time, the real-time interaction between the operator and the robot is effectively realized, and the functions of online control monitoring and offline teaching are realized.
Key words: Virtual reality     deck robots     condition monitoring     real-time interaction     sensing information    
0 引 言

船舶在运输货物时经常会发生液体泄漏等情况,因而甲板会出现锈蚀,如果不加以处理,这些锈蚀会很大程度上影响船体的寿命。船用甲板机器人可有效解决这个问题,这样不仅有效提升了甲板除锈的效率,减少了船员工作量,同时也降低了安全事故发生的概率。在采用船舶甲板机器人后会带来一些问题,从船舶管理的角度来看更希望能够对甲板机器人实现远程监控,获取甲板机器人在工作过程中的状态,如甲板机器人在工作时的电压、电流、是否待机、机械臂工作状态、高压水枪的水压是否正常等。对这些参数的采集并将状态汇总到船舶控制中心,船员就可对当前甲板机器人的工作状态有一个准确的了解。

国内有较多学者对船舶除锈机器人以及相关的监控技术进行了研究,王祺[1]提出了一种船舶除锈机器人的远程监控系统。孙天圣[2]设计了一种能够实现船体喷漆的爬壁机器人,提升对船体制造的喷漆效率,彭博[3]对船舶海上作业机器人的远程遥控技术进行了研究,并结合虚拟现实技术实现海上作业机器人的远程操作,实现机器人现实和虚拟的动作同步。通过对这些研究进行总结可发现,虽然通过传感器采集甲板机器人的相关参数可实现远程监控,但对于船员而言过于生硬,无法准确形象地对甲板机器人进行操作,并且了解当前甲板机器人的状态。虚拟现实技术是通过图像技术、传感技术、网络技术等来实现对现实环境的模拟,将机器人的相关数据、甲板的环境、位置等和三维建模结合起来,使得船员能够更加快速地实现对船舶甲板机器人工作状态的监控[45]。本文在对虚拟现实技术和船舶甲板机器人远程监控技术充分研究的基础上,提出一种虚拟现实的船舶甲板机器人智能监控系统。

1 甲板机器人工作状态监控系统设计 1.1 系统整体设计

基于虚拟现实技术的甲板机器人工作状态智能监控是基于环境数据、机器人传感器数据基础上,再通过网络通信技术、3D建模技术等来实现,因而首先需构建甲板机器人工作状态监控系统。一般的甲板机器人包含运动控制机构以及清洗模块,其中运动机构又包含了平面运动机构、爬墙机构等。甲板机器人工作状态监控通过在机器人上设置各类传感器,对这些运动机构和清洗机构进行监控,从而达到对甲板机器人工作状态监控的目的[6]

图1为设计的甲板机器人工作状态智能监控系统结构,这个系统包括3个部分,分别是甲板机器人、监控量以及船舶监控中心。

图 1 甲板机器人工作状态智能监控系统结构 Fig. 1 The structure of the intelligent monitoring system for the working status of the deck robot

1)甲板机器人:甲板机器人包括运动控制、清洗模块以及安全机构,运动控制主要对机器人在甲板上的运动轨迹进行控制,当收到控制命令后,机器人会将控制命令转换为控制脉冲,让机器人按照既定轨迹行进。甲板机器人的运动包括甲板上的平面运动以及爬墙运动。清洗模块是实现甲板机器人的关键模块之一,包括舵机、高压水枪以及液压机构,液压机构用于调整高压水枪的高度,舵机可实现360°转向,高压水枪实现对甲板、集装箱等需除锈部位的清洗。安全机构帮助机器人在爬墙时防止其掉落,在甲板机器人的腿部布置有若干个强力电磁铁,在通电后会形成强大的磁力,因而甲板机器人在爬墙的过程中不会因为重心的变化而发生掉落。

2)监控量:对甲板机器人的监控需获取底层各个部分的模拟量和数字量,图1中已对各部分需监控的量进行了详细说明,如对平面运动机构监控的量包括电机电压、电流、碰撞传感器、位置感知等,对舵机监控的量包括角度、电压、相位、电流等。

3)船舶监控中心:船舶监控中心和甲板机器人之间通过有线网络和无线网络实现数据传输和交换,在监控中心可以发送各类控制指令,如让甲板机器人待机、规划船舶甲板清洗路线、按既定路线爬墙、执行墙面或地面清洗等。甲板机器人和船舶监控中心通过以太网实现数据交换,可保证较好的实时性,这是由于甲板机器人的监控量大部分属于模拟量,且数据量较小,而以太网具有较大的带宽,因而几乎可实现实时传输。以太网传输的稳定性和实时性为后续搭建基于虚拟现实的船舶甲板机器人智能监控系统提供了良好基础,即当在虚拟场景中发出指令时甲板机器人能立刻作出反应,并且机器人的反应能实时传输到船舶监控中心,真正实现如指臂使,有效提升船舶甲板机器人的操控性,并降低了操控难度。

1.2 传感信息采集硬件设计

传感信息采集硬件结构如图2所示。甲板机器人工作状态智能监控非常依赖于各类传感器信息的采集,包括电机电压、电流、舵机角度、继电器、阀门的开关状态等[7]。甲板机器人工作状态信息的反馈包括了模拟量和数字量,电压、电流、角度等都是模拟量,数字量则是阀门、开关、继电器的状态等,数字量采集较为简单,直接通过光耦隔离即可将这些数字量传输到嵌入式系统,而模拟量的采集首先经过滤波电路和信号放大电路,去除掉环境噪声并将获取的传感信号进行放大,最后经过A/D转换芯片后传输到嵌入式处理器。在嵌入式处理器中,对获取的不同种类传感信息信号进行标定,将数字信号转换为实际电压值,而电压值则对应着电机的电压、电流、角度等。

图 2 传感信息采集硬件结构 Fig. 2 Hardware structure of sensor information acquisition

整个甲板机器人工作状态的监控模拟量和数字量较多,因而本文设计采用ARM嵌入式处理器,并且在扩展后能同时实现64个数字I/O输入,32个模拟信号输入,因而完全满足船用甲板机器人对监控的基本需求。同时,在ARM嵌入式处理中设置有各类铜芯线接口,包括JTAG仿真接口、以太网通信接口、RS232接口等,这些接口满足了系统的调试和通信需求。

2 虚拟现实系统构建及关键技术分析 2.1 系统构建

图3为基于虚拟现实的船舶甲板机器人智能监控系统基本构架,系统实现的过程主要包括以下步骤:

图 3 基于虚拟现实的智能监控系统 Fig. 3 Intelligent monitoring system based on virtual reality

步骤1 根据船舶甲板机器人的机械图纸生成3D模型,并在不影响效果的情况下对现有3D模型进行简化,对甲板机器人中的平面运动、爬墙运动机构进行缩减,在虚拟场景中进行操作时,需从不同视角来观察机器人当前所处的位置、运动状态、舵机状态、液压装置的位置等,同时,根据船舶图纸来建立船舶甲板环境3D模型。图4为使用3dsMAX构建的船舶甲板虚拟现实环境,而为了真实展现机器人在甲板上的操控状态,需构建不同视角下甲板的环境模型,从而保证甲板机器人在运动过程中周围环境的变化能始终跟随船员的视角,增强虚拟现实的逼真程度。

图 4 船舶甲板虚拟现实环境构建 Fig. 4 Ship deck virtual reality environment construction

步骤2 根据建立的船舶甲板3D模型和机器人3D模型制作3D动画模型,并使用Unity3D软件对建立的虚拟场景进行渲染,此时可根据当前的天气情况来模拟甲板光线情况,并设置不同的天空盒,使得模拟船舶甲板场景更加逼真。

步骤3 将甲板机器人监控数据通过网络传输后加以处理反馈到建立的虚拟场景中,使得在虚拟场景中使用VR手柄发出的动作指令能够发送到甲板机器人;同时机器人在动作后其状态也能够返回到虚拟场景中,手柄的指令能和虚拟现实中机器人的动作完全对应,且几乎没有时间延迟,实现对甲板机器人的实时控制,并能完成对机器人的实时监控。在搭建的船舶甲板虚拟场景中,不仅可实现对机器人的在线操控,同时还可基于历史数据完成离线教学,和在线操作的唯一区别在于,此时机器人的动作完全基于历史数据,通过这样的方式可完成对船员的训练工作,从而使得船员对甲板机器人的操作更加熟练。

2.2 虚拟场景搭建关键技术分析

甲板机器人传感信息收集完成后,需综合汇总到虚拟场景中,并且要和船员实现实时交互,只有这样才能达到良好的机器人智能监控效果。而为了达到这一要求,就须按照一定比例复原机器人在甲板工作时的环境,并且能完整复现出机器人在甲板工作的真实状态。本文使用Unity3D对船舶甲板及机器人的虚拟场景进行开发,具体实现的功能及技术要点如下:

1)不同模型的碰撞检测

甲板机器人在工作时是按照一定的路线行进,路线有可能是沿着甲板平面,也有可能沿着某一墙面;同时在甲板上还有若干障碍物,因而甲板机器人在行进时就有可能会和这些障碍物或其他甲板上的物体模型产生穿模现象,即实际的碰撞没有发生,但机器人和其他模型之间产生了重叠。虽然在Unity3D软件中有很多碰撞检测算法,如层次包围盒法以及射线法等,其主要实现方法是通过主动发射射线来判断机器人和其他模型之间的距离,从而实现不同模型之间的碰撞检测。由于发射射线检测机器人和其他模型之间的距离存在一定误差,算法虽然应用非常广泛,但这种检测的效果在实际应用中欠佳。

本文通过在甲板上布置4个超宽带定位(UWB)基站,布局图如图5所示,通过计算4个基站和机器人之间的距离就可实现对甲板机器人的精确定位,定位精度在5 cm以内,因而可实现对机器人和其他模型之间的高效碰撞检测。

图 5 甲板机器人基站定位布局简图 Fig. 5 Schematic diagram of the positioning layout of the base station of the deck robot

2)虚拟交互实现方法

在构建的虚拟场景中船员需借助一系列的硬件设备来实现交互,目前使用最为广泛的为VR一体机,VR一体机包含了头戴显示器和手柄,头戴显示器可用于接收虚拟场景的基本视频信息,手柄可输入基本操作;同时为了防止机器人走出甲板边界而出现误操作或安全事故,在VR一体机中可设置虚拟场景的安全边界,即超出设置安全边界时VR一体机的头戴显示器会直接报警。

甲板机器人的运动实现不是简单的传感反馈,而是需要在建立的虚拟场景中建立坐标系,将现实坐标系和虚拟坐标系对应起来,同时对需要除锈的路径进行规划,并对规划的路径进行提取,得到其运动路径上的所有关键点,并将其经过坐标变化后反馈到虚拟坐标系中,船员在虚拟场景中就能看到一条预定的虚拟规划路线。当机器人开始沿着预定路线前进时,会不断经过这些事先提取的关键点,证明甲板机器人正在按既定路线行进,一旦机器人偏离路线,虚拟场景中会显示警告信息,从而实现对甲板机器人兴建路线的实时监控。图6为设计的3条甲板机器人行进路线,路线1和路线2相似,但是第一条路线更为平滑,第三条路线模拟由直线突然变向,通过提取每一条路线的关键点,并在达到关键点后检测机器人的位姿,从而将机器人在甲板上的状态(位置、朝向等)真实反馈到虚拟场景中。

图 6 甲板机器人路径规划及关键点提取 Fig. 6 Deck robot path planning and key point extraction
3 结 语

船舶除锈机器人可大幅度提升船舶除锈效率,同时也降低了安全事故发生的概率,对船舶甲板机器人的实时监控可有效帮助船员获取当前甲板机器人的工作状态。本文对甲板机器人工作状态监控系统进行了研究,并详细设计了传感信息采集的硬件系统,在传统机器人工作状态监控系统基础上搭建了基于虚拟现实技术的机器人智能监控系统,通过搭建虚拟场景,将船舶甲板机器人的状态实时反馈到虚拟场景中,从而提升船员对机器人的操作效率及操作水平。对构建虚拟场景以及实现虚拟交互中的关键技术进行了分析,包括碰撞检测以及虚拟交互实现方法,在传统碰撞检测方法基础上结合UWB定位,实现对虚拟场景中不同模型之间的高效碰撞检测,在虚拟交互实现方法中研究了甲板机器人不同路径规划以及关键点的提取方法。

参考文献
[1]
王祺. 基于模糊信息融合的船舶除锈机器人远程监控系统[J]. 舰船科学技术, 2021, 43(24): 217-219.
WANG Qi. Remote monitoring system of ship derusting robot based on fuzzy information fusion[J]. Ship Science and Technology, 2021, 43(24): 217-219. DOI:10.3404/j.issn.16727649.2021.12A.073
[2]
孙天圣. 船体喷漆爬壁机器人设计及关键技术研究[D].镇江: 江苏科技大学, 2023.
[3]
彭博. 基于虚拟现实的船载海上作业机器人遥操作系统研究[D]. 镇江: 江苏科技大学, 2023.
[4]
时光志, 周毅, 李萌, 等. 基于虚拟现实技术的LNG船舶仿真系统[J]. 船海工程, 2021, 50(3): 25-28+33.
SHI Guang-zhi, ZHOU Yi, LI Meng, et al. LNG ship simulation system based on virtual reality technology[J]. Ship and Ocean Engineering, 2021, 50(3): 25-28+33. DOI:10.3963/j.issn.1671-7953.2021.03.007
[5]
孙涛. 船体表面清洗浮游与爬壁水下机器人总体设计及关键技术研究[D]. 上海: 上海海洋大学, 2021.
[6]
王壮. 基于VR的船舶机舱智慧远程监测技术的研究[D]. 武汉: 武汉理工大学, 2021.
[7]
景乾峰, 神和龙, 尹勇. 一种基于虚拟现实系统的船舶数字孪生框架[J]. 北京交通大学学报, 2020, 44(05): 117-124.
JING Qian-feng, SHEN He-long, YIN Yong. A ship digital twin framework based on virtual reality system[J]. Journal of Beijing Jiaotong University, 2020, 44(05): 117-124. DOI:10.11860/j.issn.1673-0291.20200076