舰船科学技术  2022, Vol. 44 Issue (16): 175-179    DOI: 10.3404/j.issn.1672-7649.2022.16.038   PDF    
ROV模拟器发展现状与关键技术
赵春城1,2, 苏涛1, 吴雨1, 毛英1     
1. 中国船舶科学研究中心 深海载人装备国家重点实验室,江苏 无锡 214082;
2. 中船重工海洋装备(海南)有限公司,海南 三亚 572022
摘要: ROV模拟器是一种人在回路的交互式仿真装置,用于ROV领航员培训与认证、水下任务规划与演练、海洋装备虚拟原型样机验证,能够降低ROV培训的成本,提高海上作业效率与安全性。本文介绍ROV模拟器的工作原理,阐述国内外ROV模拟器的发展现状,归纳了构建ROV模拟器的关键技术。本文可为引进、学习、使用和研制ROV模拟器提供参考。
关键词: ROV模拟器     虚拟仿真     三维图形引擎     物理引擎    
Current status and key technologies of ROV simulator
ZHAO Chun-cheng1,2, SU Tao1, WU Yu1, MAO Ying1     
1. State Key Laboratory of Deep-sea Manned Vehicles, China Ship Scientific Research Center, Wuxi 214082, China;
2. China Ship Heavy Industry Ocean Equipment(Hainan) Co., Ltd., Sanya 572022, China
Abstract: ROV simulator is a kind of interactive simulation device with human-in-the-loop, used for ROV pilot training and certification, underwater mission planning and exercises, and marine equipment virtual prototype verification. It can reduce the cost of ROV training and improve the efficiency and safety of offshore operations. This article introduces the working principle of ROV simulator, expounds the development status of ROV simulator at home and abroad, and summarizes the key technologies for building ROV simulator. This article can provide reference for the import, study, use and development of ROV simulator.
Key words: ROV simulator     virtual simulation     3D graphic engine     physical engine    
0 引 言

随着ROV在海洋科学研究、油气资源开发等领域的广泛应用,世界上越来越多的科考机构、海事承包商开始建设自己的ROV模拟器系统,用于培训他们的ROV领航员团队。ROV模拟器能够提供逼真的虚拟驾驶与操作环境,主要用于ROV领航员的技能培训和能力评估,提高ROV海上作业效率及安全性[1]。由于力学求解精确、视景效果逼真,ROV模拟器常用于海洋工程建设的方案论证、任务规划与演练,为海上工程方案设计决策提供科学依据[2]。ROV模拟器技术的未来发展趋势是耦合工程仿真分析工具,开展新型海洋装备多工况、多物理场的虚拟试验,在项目设计早期阶段就能精确预报产品的实际性能,从而降低项目研发失败风险,缩短产品设计迭代周期[3]

为了指导ROV模拟器的使用,国际海事承包商协会(IMCA)专门出版了《Guidance on the Use of Simulators》(IMCA C 014)规范,综合交互、视觉、行为、环境真实感体验等因素,将ROV模拟器分成A和B两类[2]。本文研究ROV模拟器的系统组成与工作原理,介绍A类和B类ROV模拟器的主要区别,阐述国内外ROV模拟器的发展现状,分析了构建ROV模拟器的三维图形引擎、物理引擎等关键技术。

1 ROV模拟器工作原理

ROV模拟器是一种人在回路的半实物仿真装置,由模拟仿真软件、人机交互设备、视景显示系统、教练员控制台、仿真计算机堆栈及网络等组成,系统架构如图1所示。模拟仿真软件是ROV模拟器的核心,高度融合了物理引擎和三维图形引擎技术,如图1虚线框内所示。物理引擎自动创建ROV、机械手、绞车、缆绳等复杂拓扑机械系统的多体动力学模型,根据ROV操控指令并考虑海洋环境载荷的影响,实时解算三维实体模型的位置姿态信息,用于驱动刷新三维视景。三维图形引擎负责对三维场景和实体进行可视化渲染,模拟天气、海况、海流、海水能见度等环境条件,生成具有高度沉浸感的ROV作业画面,通过视觉反馈形式提供ROV领航员操控信息。仿真计算机堆栈及网络为模拟仿真软件运行及分布式仿真提供支撑环境。

图 1 ROV模拟器的系统架构 Fig. 1 System architecture of ROV simulator

A类和B类ROV模拟器区别之一是硬件系统的配置。A类ROV模拟器配置一个教练员控制台(B类不配置),内置上帝视角,具备训练科目选择、环境条件设置、仿真故障控制等功能,实现对培训和评估的全流程监控。A类ROV模拟器将操控手柄、按钮、踏板、触摸屏等设备安装在ROV实际控制台上,或者集成在多功能座椅上,以获得最佳的人机交互真实感。B类ROV模拟器系统组成则显得更加简单紧凑,以标准的XBox游戏手柄替代实际操控手柄,还可外接ROV操控盒、踏板等便携设备。

A类和B类ROV模拟器区别之二是模拟仿真软件的性能。A类ROV模拟器利用高性能的物理引擎仿真机械系统真实行为,尤其是能够模拟机械手精细作业动作、波浪升沉运动响应,而B类ROV模拟器使用准现实的物理引擎,不支持多自由度机械手作业仿真,因此常用于观察级ROV的航行驾驶培训。在传感器特性仿真方面,B类ROV模拟器只能产生示意性的声呐图像,不如A类精确,不可以控制声呐的方位、频率、范围等参数。

2 ROV模拟器发展现状

经过数十年的发展,ROV模拟器经历了从简单到复杂、从单一到综合的过程。欧美国家最早开展ROV模拟器的技术研究、生产制造与运营服务,已推出多个ROV模拟器商业产品,而国内还处在关键技术研究阶段,系统集成规模程度低。

2.1 国外ROV模拟器现状

加拿大GRi Simulations公司专业从事ROV虚拟仿真软硬件开发,从1997年开始推出VROV(virtual remotely operated vehicle)操作训练模拟仿真系统,市场占有率比较高。模拟仿真软件内置防喷器安装、应答器回收、潜艇营救等12个任务包,满足不同领域ROV操作培训需求[4]。VROV软件率先将工程仿真分析工具融入到虚拟仿真任务中,例如,在ROV海底管道维修仿真过程中可以实时计算管道压力变化,增强了虚拟仿真的真实性[3]

Marine Simulation是美国圣地亚哥的一家高科技公司,专注于海洋领域显控与仿真软件产品研发,自2006年公司成立就推出了ROVsim2系列模拟器,已在全球60多个ROV教学培训机构中得到应用。ROVsim2模拟器集成了机械扫描声呐、多种ROV作业工具,可通过RS232串行通信接口与用户定制的控制台集成。其中,ROVsim2 Pro是一款便携式观察级ROV模拟器,属于IMCA B类,内置11个观察级ROV检查、调查、搜救任务包。ROVsim2 O&G是一款工作级ROV模拟器,属于IMCA A类,内置7个石油和天然气工程任务包[5]

图 2 ROVsim2模拟器多视口显示 Fig. 2 Multi-viewport display of ROVsim2

美国FET公司的VMAX模拟器集成了该公司生产制造的XLX、XLC系列工作级ROV模型[6]。VMAX模拟器具有Standard和Pro两种软件许可版本,Standard授权模式下用户只能选择VMAX预装的仿真任务包,不能进行仿真场景自定义。而Pro授权模式下,用户可在VMEditor界面下通过“拖拉拽”的方式自行配置仿真任务,包括选择不同类型的母船、ROV、TMS、机械手、机械手爪等并进行场景定位,支持Solidworks自建模型导入。

SENTIO是英国SMD公司推出的模拟器品牌,全功能支持SMD实际操控台(图3),模拟仿真软件由荷兰Tree C公司负责开发[7]。软件预置了SMD公司的ATOM,QUASAR,QUANTUM共3型工作级ROV以及作业工具模型,动力学仿真可选择ODE物理引擎或AGX物理引擎提供数据驱动。SENTIO模拟器能够通过OPC接口与PLC控制系统实现连接,通过串行通信接口与7功能机械手主手实现连接,构建ROV操控系统半实物综合测试环境。

图 3 SENTIO模拟器 Fig. 3 SENTIO simulator

FMC模拟器由美国FMC集团旗下的Schilling Robotics公司研制,模拟仿真软件是基于Vortex Studio实时动力学与视景仿真软件开发的[8]。Vortex Studio软件由加拿大CM Labs公司开发,包括Editor,Player,Director等模块,Editor提供仿真开发的人机交互界面。相对于上述几款专用ROV模拟器软件,Vortex Studio则是一个通用的模拟器集成开发环境,集成了Vortex物理引擎,原生支持OSG三维图形引擎,内置液压系统仿真功能,用户基本无需编写代码即可开发出适配自己项目背景的工程模拟器。

2.2 国内ROV模拟器现状

1)国内应用现状

国内虽还没有推出ROV模拟器商业产品,但已有多家机构部署了ROV模拟训练系统,涵盖海上工程作业、ROV培训服务、ROV整机制造、海洋科考等行业。

深圳海油工程水下技术有限公司于2014年引进了国内首套FMC完整版ROV模拟器,主要用于该公司ROV作业部人员培训,实现了将ROV领航员培训从海上搬到陆地。位于天津的海洋石油工程股份有限公司历时10年,于2018年12月建成国内首个海洋工程数字化技术中心,可为海上吊装、海上浮托、水下生产设施安装等国内外海洋工程作业提供仿真方案预演与关键岗位人员模拟培训。该技术中心规模较大,设有2座ROV操作站(见图4),可与船舶航行模拟器等构成多本船模拟器系统,开展海上团队协同作业仿真。

图 4 ROV操作站 Fig. 4 ROV operating station

上海剑龙水下机器人科技有限公司是IMCA成员并拥有ROV培训资质,较早引进了VROV简易模拟操纵系统,依托其母公司在海洋工程领域的作业经验,提供ROV领航员模拟和实操培训服务。国内部署VROV模拟器的还有青岛海洋科学与技术试点国家实验室,2018年采购验收后主要用于ROV领航员的培训,确保ROV海上科考采样操作的顺利进行。国家深海基地管理中心2015年启用了VMAX模拟训练系统,作为国家重大科研基础设施和大型科研仪器可向社会提供ROV操作模拟服务。此外,上海中车艾森迪海洋装备有限公司于2017年成立后不久,就在其总装制造车间模拟仿真室内设有一套SENTIO座椅式ROV模拟器,中科院海洋领域相关的研究所也正在引进ROV模拟器系统。

鉴于虚拟仿真结果的逼真性,ROV模拟器也逐渐成为海洋装备研发设计验证的新技术手段。在海南省重大科技计划项目资助下,中国船舶科学研究中心基于Vortex Studio集成开发环境自主研制了深海智能作业装备操控半实物仿真验证系统(见图5),被测试实物对象包括新型人机交互模式、协同操控软件和智能控制软件。全比例操控台体内安装了仿真计算机堆栈和网络交换机,6台高清显示器组成视频墙。操控台面上安装待测试的人机交互新研设备,包括1个多功能ROV航行操控手柄、1个力反馈七功能机械手主控制器、1个五功能机械手操控手柄和1个绞车收放脚踏板,触控一体机上运行自研软件。该仿真系统可替代真实装备,在实验室环境下进行自研软件中协同操控算法、智能作业算法的充分测试验证。

图 5 半实物仿真验证系统 Fig. 5 Hardware-in-the-loop simulation verification system

2)国内研究现状

除了引进国外ROV模拟器使用以外,国内的高校、科研院所开展了大量技术研究与系统集成工作。尽管在这些研究工作中创建的ROV模拟器系统规模较小、功能单一,视景真实度、行为精确度、场景复杂度等性能都无法和商业级产品相比,但是已基本掌握了构建ROV模拟器的各项关键技术。

迟迎[9] 基于OpenGL图形库和Vega Prime软件开发了ROV作业视景仿真系统,解决了海底地形生成、柔性脐带缆动态模拟、螺旋桨水花特效仿真等关键问题,视景仿真效果如图6所示。蔡毅[10]以虚拟视景三维地形为基础,研究了声呐回波生成算法和图像去噪算法,基于OpenGL开发了ROV前视扫描声呐模拟器。张黎[11]利用C++语言开发了Vortex Studio水动力计算插件,弥补Vortex物理引擎水动力仿真不精确的问题。

图 6 ROV视景仿真场景 Fig. 6 ROV visual simulation scene

中国科学院沈阳自动化研究所为解决ROV“盲操纵”的问题,利用Vega Prime引擎设计了水面ROV视景仿真系统,接收ROV载体上捷联惯性导航系统的ROV位置和姿态数据,实时刷新ROV在三维虚拟深海环境中的运动画面,同时采用空间抛物线数学模型近似模拟系缆的形态,实现ROV辅助控制功能[12]。东北石油大学基于Unity3D开发了水下机器人半实物仿真系统,为ROV的性能测试、控制算法分析和人员操作培训提供仿真平台[13]。该平台三维视景仿真由Unity3D驱动,通过数据通信端口接收ROV位姿数据,在三维场景中再现ROV的运动。基于实际数据驱动视景仿真的原理,程宇等[14]开发了Unity3D视景仿真软件,实现了对全海深水下机器人“海斗一号”的姿态显示与监控,视景仿真效果优于Vega Prime。

针对海洋环境作业模拟与水下应急维修仿真应用需求,中国石油大学(北京)计算机科学与技术系将Vortex物理仿真引擎与Vega Prime引擎相结合,构建了ROV下放训练实时虚拟仿真环境,如图7所示[15]

图 7 ROV布放仿真效果 Fig. 7 ROV launch simulation effect
3 ROV模拟器关键技术 3.1 三维图形引擎技术

三维图形引擎用于驱动ROV视景仿真,使ROV领航员产生身临其境的视觉真实体验。三维图形引擎是一种封装了底层硬件驱动和图形渲染算法(OpenGL,DirectX等)的中间件,让模拟仿真软件开发人员能够更加快速地创建可视化图形程序。ROV模拟器输出高视觉置信度仿真结果,一是要求三维图形引擎本身具备高性能、游戏级渲染品质,二是要求三维图形引擎与物理引擎实现稳定融合,三是要求渲染频率达到实时性,最后应支持多通道分布式渲染架构。目前常用于ROV视景仿真的三维图形引擎有OGRE,OSG,Unity3D,Vega Prime,Unreal等,其中Vortex物理引擎原生融合OSG图形引擎。

3.2 物理引擎技术

由于ROV水下作业的动作非常精细,要达到机械系统仿真的行为真实感,ROV模拟器就必须比航海模拟器、飞行模拟器具备更高的力学求解准确性与稳定性,这就是物理引擎技术要解决的问题。物理引擎的基础理论是多体动力学,核心任务是求解复杂动力学方程和自动检测处理碰撞。ROV模拟器中的物理引擎用于计算三维视景中ROV与海洋环境、ROV与其他物体之间的动力学交互特性,赋予ROV真实的物理属性和材质,例如重量、重心、浮力、浮心、阻力系数等,模拟ROV在外力作用下的平移、旋转和碰撞等响应,并将ROV实时位姿数据提供给三维图形引擎来驱动视景刷新,与三维图形引擎共同创造了海底作业的虚拟现实世界。

ROV系统的力学拓扑结构十分复杂,包括复杂海洋环境下母船、TMS、ROV、作业工具、脐带缆、海流、地形等单元之间的相互作用,涉及刚体动力学、柔体动力学、流体动力学等耦合解算,通常用于游戏中的PhysX、Havok等物理引擎无法满足性能需求。因此,ROV模拟器常用专注于工程领域的物理引擎,例如FMC模拟器的Vortex物理引擎,SMD模拟器的AGX/ODE物理引擎等。

3.3 环境感知仿真技术

环境感知仿真技术用于模拟ROV水下摄像机、前视避碰声呐等导航传感器的目标输出特性,生成水下目标物光学图像、声学图像等信息并反馈给ROV领航员或者智能控制软件,作为手动或智能驾驶ROV航行、作业的依据。在虚拟场景构建真实度一定的条件下,影响ROV环境感知仿真结果精确度的主要因素是传感器模型,传感器模型越精确,仿真结果则越接近现实。

环境感知仿真技术实现难度较大,属于信号级仿真,需要开发者深度掌握目标传感器的工作原理并在虚拟仿真软件中实现。以扇形单波束前视避碰声呐为例,仿真思路是参照真实声呐的步进扫描方式,每个旋转步长模拟发射一次声脉冲,射线与虚拟场景中的所有物体求交,如果交点位于最大探测距离内则为有效点,记录下全部有效点的信息并提供给声呐显示GUI绘制目标物图像。目前常见ROV模拟器中的导航传感器包括彩色/黑白摄像机、机械扫描声呐等,对于侧扫声呐、多波束测深系统等更加复杂的声学设备还未见支持。随着ROV作业任务越来越复杂、搭载环境感知设备越来越多样化,要求ROV模拟器能够仿真更多种类和型号的传感器。

3.4 分布式仿真技术

ROV模拟器一般采用多仿真节点分布式部署方案,不同功能模块可分配部署到不同的计算机上,计算机之间通过网络进行数据通信,保证整个系统的数据同步性及一致性。目前,基于HLA(high level architecture)高层体系架构及网络实现仿真数据传递与共享,是构建分布式ROV模拟器较为常用的方法[16]。基于分布式仿真技术,可以在同一个虚拟环境背景下构建多个装备操控岗位,通过对不同装备设置不同的角色,从而实现团队级协同作业仿真。例如,海上作业多个操作岗位之间的协同仿真,包括母船驾驶位、起吊操控位、ROV领航员位、ROV机械手操控位等。

4 结 语

海上作业具有高技术、高成本和高风险的特点,ROV模拟器可应用于海上作业方案论证、设计验证、流程优化、人员训练等全周期业务活动,降低海上作业风险,提高海上作业效率,未来应用前景会更加广阔。国内在ROV模拟器关键技术研究方面已经积累了丰富经验,为研发自主品牌的ROV模拟仿真软件及硬件系统奠定了良好基础。

参考文献
[1]
张晓, 肖钢. 模拟器在ROV领航员培训中的应用[J]. 中国石油和化工标准与质量, 2019, 39(1): 142-143. DOI:10.3969/j.issn.1673-4076.2019.01.071
[2]
International Marine Contractors Association. IMCA C 014 Guidance on the Use of Simulators[S]. Rev. 4, 2015.
[3]
ROBERT Christ, ROBERT Wernli, SR. The ROV manual: a user guide for remotely operated vehicles[M]. Oxford: ELSEVIER Ltd, 2014.
[4]
GRi Simulations inc. VROV simulator [EB/OL]. https://grisim.com/wp-content/uploads/2017/04/InfoSheetAll.pdf.
[5]
Marine Simulation LLC. ROVsim2 O&G: ROV training simulator for the oil and gas industry [EB/OL]. http://www.marinesimulation.com/Public/ROVsim2.
[6]
Forum Energy Technologies, Inc. VMAX[EB/OL].https://f-e-t.com/subsea/software-and-control-system-solutions/vmax/.
[7]
Tree C Technology B. V. ROV simulation for Soil Machine Dynamics[EB/OL].https://www.tree-c.nl/what-we-do/rov-simulation/.
[8]
CM Labs Simulations, inc. FMC Technologies Schilling Robotics [EB/OL].https://www.cm-labs.com/wp-content/uploads/vortex-client-story-fmc.pdf.
[9]
迟迎. ROV作业视景仿真技术研究[D]. 哈尔滨: 哈尔滨工程大学, 2013.
[10]
张黎. 基于vortex的水下机器人仿真[D]. 哈尔滨: 哈尔滨工程大学, 2017.
[11]
蔡毅. 基于三维地形的前视扫描声纳模拟技术的研究[D]. 哈尔滨: 哈尔滨工程大学, 2015.
[12]
葛新, 郭威. 基于虚拟现实的ROV辅助控制系统设计[J]. 机械设计与制造, 2012(11): 91-93. DOI:10.3969/j.issn.1001-3997.2012.11.032
[13]
任福深, 孙雅琪, 胡庆, 等. 基于Unity3D的水下机器人半实物仿真系统[J]. 系统仿真学报, 2020, 32(8): 1546-1555. DOI:10.16182/j.issn1004731x.joss.18-0845
[14]
程宇, 刘铁军, 唐元贵, 等. 基于UNITY3D的水下机器人视景仿真方法[J]. 计算机科学, 2021, 48(S1): 281-284. DOI:10.11896/jsjkx.200700131
[15]
纪连恩, 孙晓宇, 郭文生. 基于Vortex的水下实时动力学虚拟仿真环境研究[J]. 系统仿真学报, 2013, 25(9): 2020-2026. DOI:10.16182/j.cnki.joss.2013.09.003
[16]
陈从磊, 赫东海, 段梦兰, 等. 基于HLA深水水下作业虚拟现实仿真平台优化[J]. 中国海洋平台, 2021, 36(4): 29-35. DOI:10.12226/j.issn.1001-4500.2021.04.20210405