舰船科学技术  2025, Vol. 47 Issue (13): 176-180    DOI: 10.3404/j.issn.1672-7649.2025.13.031   PDF    
人机交互技术下舰船操控台智能导航方法研究
方晓路, 王晶     
武汉华夏理工学院,湖北 武汉 430223
摘要: 针对舰船操控台智能导航系统在复杂航行环境中面临的人机交互效率低、信号依赖性强等关键问题,设计基于人机交互技术的舰船操控台智能导航方法。以舰船操控台导航系统基本结构为基础,设计语音模态人机交互界面,利用语音意图理解框架与大语言模型解析指令并生成导航执行代码;将导航参数作为状态因子,引入RFR辅助GNSS-INS组合导航模型,构建RFR辅助因子图导航方法,确保舰船操控台智能导航效果。测试结果显示:该方法具备较好的人机交互效果,支持语音指令快速完成导航操作;在导航信号缺失时,生成的航行轨迹与设定航迹高度吻合;导航结果与设定航线的偏差最大值为(0.194,1.449,0.114)m,满足高精度导航要求。该方法显著提升了舰船导航的智能化水平和鲁棒性。
关键词: 人机交互技术     舰船操控台     智能导航方法     语音模态     随机森林回归    
Research on intelligent navigation method for ship control console under human computer interaction technology
FANG Xiaolu, WANG Jing     
Wuhan Huaxia Institute of Technology, Wuhan 430223, China
Abstract: Design an intelligent navigation method for ship control consoles based on human-computer interaction technology to address key issues such as low human-machine interaction efficiency and strong signal dependence faced by intelligent navigation systems in complex navigation environments. Based on the basic structure of the ship control console navigation system, design a voice modal human-computer interaction interface, use a voice intent understanding framework and a large language model to parse instructions and generate navigation execution code; Using navigation parameters as state factors, an RFR assisted GNSS-INS integrated navigation model is introduced to construct an RFR assisted factor graph navigation method, ensuring the intelligent navigation effect of ship control consoles. The test results show that this method has good human-computer interaction effect and supports voice commands to quickly complete navigation operations; When the navigation signal is missing, the generated navigation trajectory matches the set trajectory altitude; The maximum deviation between the navigation result and the set route is (0.194, 1.449, 0.114) m, which meets the requirements of high-precision navigation. This method significantly improves the intelligence and robustness of ship navigation.
Key words: human computer interaction technology     ship control console     intelligent navigation method     voice mode     random forest regression    
0 引 言

随着现代航海技术的快速发展,舰船智能导航系统正面临着日益增长的技术挑战与功能需求。在复杂多变的海洋环境中,传统导航系统存在人机交互效率低、信号依赖性强等突出问题,严重制约了舰船航行安全与任务执行效能[1]。特别是在GNSS信号受干扰或中断的紧急情况下,现有系统往往难以维持可靠的导航精度,这对海洋资源勘探、军事巡逻等高价值任务构成了重大风险。因此,开发具有强抗干扰能力和智能化人机交互特性的新型导航系统,已成为当前航海技术领域亟待解决的关键科学问题。

为保证船舶的导航效果,诸多学者对此展开相关研究。匡兴红等[2]为保证导航的精准性,将SINS和DVL相结合,分别测量船舶航行时舰船的角速度和舰船相对于水底的速度,并获取两者的测量数据,对该数据进行处理后输入深度学习模型中,将2种数据进行融合,并结合卡尔曼滤波算法估计船舶状态,结合该状态完成船舶导航;但是该方法在应用过程中,当舰船在复杂的洋流区域航行时,SINS和DVL的测量数据会发生偏差,使模型的误差估计和导航解算精度降低。王东宇等[3]为保证导航效果,采用自适应卡尔曼滤波算法进行导航,该算法以上一时刻和当前时刻状态估计结果和观测结果为依据,实现当前状态的估计,结合估计结果实时调整导航参数,以此保证导航的可靠性;但是该方法在应用过程中,如果动态特性发生较大变化,运动模型与预先设定的模型有较大差异,则该算法无法及时准确地调整参数,导致滤波效果不佳,从而影响导航结果的可靠性。吴建峰等[4]为保证导航效果,依据位姿信息进线特征投影处理后,完成位姿信息的转换,生成坐标位置,并结合视觉惯性对其进行坐标位置下的航行动作估计,同时确定视觉帧和惯性估计结果数据之间的时间戳对应关系后,对该结果进行导航解算,以此完成航行导航;但是该方法在应用过程中,在快速运动情况下,容易出现特征丢失或误匹配现象,导致初始化结果和后续导航解算出现较大误差。郭正东等[5]提出舰船卫导航系统中的信号融合误差纠偏技术。通过坐标系,结合系统的噪声类型和特点,采用分数阶Fourier变换技术,搭建舰船卫星导航系统的信息融合平台。通过将系统多类型信号进行融合,并对其进行误差纠偏,降低信号噪声,提高当前的信号质量。但是在载体快速运动或导航环境变化剧烈的情况下,多类型信号无法有效融合,可能无法及时反映惯导系统的误差变化,导致导航精度下降。

人机交互技术指的是通过不同的交互方式进行人与机器之间的信息交换和交互[6],操控人员可以根据不同的场景和需求选择最合适的交互方式,提高操作的便捷性和灵活性。为保证舰船操控台智能导航效果,设计基于人机交互技术的舰船操控台智能导航方法,并分析其性能。

1 舰船操控台智能导航方法设计 1.1 舰船操控台导航系统基本结构

舰船操控台是舰船上用于集中控制、监测和操作舰船各种设备与系统的核心工作区域,它为舰船操纵人员提供集中管理舰船航行、动力、通信等关键系统的平台,确保舰船能够安全、高效地执行任务。而导航系统是该操作台中确保舰船航行安全的关键依据,为舰船航行提供位置、方向、速度等导航信息,辅助舰船操纵人员规划航线、安全航行并完成各类航海任务。舰船操控台导航系统基本结构如图1所示。舰船操控台导航系统整体包含导航设备、控制显示、用户端,各个部分之间的通信是通过接口控制单元进行连接,该接口能够连接舰船各类导航设备以及用户信息终端。整个导航系统是以控制显示为核心,将整体系统的功能集成为一体,提供实时、可靠的航行信息,实现舰船航行导航,以此保证控制系统的需要,并且能自动在海图上绘制实时、连续的航迹和航海标志,制定航行计划、标记预警范围等,以此提升航行安全。

图 1 舰船操控台导航系统基本结构 Fig. 1 basic structure of navigation system of ship console
1.2 多模态人机交互操控台结构设计 1.2.1 基于语音模态的控制显示人机交互界面设计

控制显示是舰船操控台导航系统中的关键部分,其集成导航计算、电子海图、航行计划标绘等功能。但是传统的控制显示需通过手动进行操作,主要以按钮、旋钮和简单的显示屏为主;在紧急或者特殊情况下,无法快速完成导航。因此,本文采用人工交互技术对导航系统的控制显示部分进行设计,使其用过人工交互技术快速完成导航操作,高效可靠与导航系统进行交互[7]。为保证控制显示界面能够快速完成导航交互,选择人机交互中的语音模态交互技术设计控制显示人机交互界面。

该界面的交互过程为:用户以语音形式输入信息,系统获取语音模态数据后,利用多模态感知模块对语音进行分析;将分析后的数据传入语音意图理解模块,借助大语言模型理解用户语音意图;结合大语言模型进行导航推理,生成导航指令以及航行方案;系统将结果反馈到交互界面,以合适的方式如图形、文字或语音回复等向用户展示。各模块紧密协作,构建起完整且智能的人机交互流程,从而增强在紧急情况下的快速导航交互能力,更好地提高实时性、自动化以及智能化能力。

1.2.2 语音交互模式实现

该交互界面在设计时,为确保其能够高效、实时完成语音模态人机交互,使导航系统精准理解语音交互内容,采用语音意图理解框架进行语音分析。语音输入后,语音意图理解框架对该语音进行识别,对该语音进行声学信息提取和文本信息提取,多模态信息融合方法为核心,融合提取的结果,并基于大语言模型进行导航推理,获取精准的语音内容和用户意图,并生成语音的指令内容,确定导航执行代码。该方法在应用过程中,文本信息提取时,为保证关键词的抽取效果,需计算关键的匹配得分,依据匹配结果确定关键词内容。文中选择最小编辑距离作为度量指标,以此描述不用语音音节串之间的差距,音节匹配时,设定插入、删除以及替换代价为1,将音节最小编辑距离作为词汇级匹配时的替换代价,利用两个最大音节长度值进行归一化处理。如果任意2个语音拼音用yiyj表示,两者之间的归一化最小编辑距离用$ \overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{d} ( {{y_i},{y_j}} ) $表示,其计算公式为:

$ \overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{d} ( {{y_i},{y_j}} ) = \frac{{d\left( {{y_i},{y_j}} \right)}}{{\max \left[ {L\left( {{y_i}} \right),L\left( {{y_j}} \right)} \right]}}。$ (1)

式中:$ d( {{y_i},{y_j}} ) $为最小编辑距离;$ L\left( {{y_i}} \right) $$ L( {{y_j}} ) $分别为$ {y_i} $$ {y_j} $的长度。

结合$ \overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{d} ( {{y_i},{y_j}} ) $的计算结果进行语言词汇相似度计算,计算时设定$ d( {{y_i},{y_j}} ) $的删除代价无限大,插入代价为1,将$ \overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{d} ( {{y_i},{y_j}} ) $定义为替换代价,确定词汇之间的最小编辑距离后,计算词汇之间的相似度,其公式为:

$ \mu ( {{x_i},{x_j}} ) = 1 - \frac{{d( {{x_i},{x_j}} )}}{{L( {{x_i}} )}} 。$ (2)

式中:$ {x_i} $$ {x_j} $为任意2个语音词汇。

结合式(2)的计算结果即可完成关键词抽取,获取词汇模态特征$ P = \left( {{p_1},{p_2},...,{p_n}} \right) $;如果获取的声学信息用$ Q = \left( {{q_1},{q_2},...,{q_m}} \right) $表示,将抽取结果与声学信息结果进行多模态融合,融合公式为:

$ {S_k} = w{Q_k} + \left( {1 - w} \right){P_k}。$ (3)

式中:$ {S_k} $为融合结果;$ w $为加权系数;$ k $为表示类别。

依据式(3)的融合结果基于大语言模型进行导航推理,确定导航执行代码。

1.3 舰船操控台智能导航方法

语音模态人机交互生成的导航执行代码后,导航系统的显示控制部分依据该导航执行代码进行智能导航。本文为保证智能导航效果,将导航执行代码中的相关导航参数作为反映舰船状态的因子$ {g_t} $,并将随机森林回归(RFR)用于导航系统的GNSS- INS组合导航模型中,形成基于RFR辅助因子图导航方法,保证在该导航系统发生信号缺失时依旧能够实现舰船导航。该方法的整体流程如图2所示。

图 2 基于RFR辅助因子图导航方法 Fig. 2 navigation method based on RFR cofactor graph

如果GNSS- INS组合导航模型在t时刻的状态空间因子用$ g_t=\left[a^{\mathrm{T}},b^{\mathrm{T}},v^{\mathrm{T}},\upsilon^{\mathrm{T}},\varepsilon^{\mathrm{T}}\right]^{\mathrm{T}} $表示,其中$ a^{\mathrm{T}} $$ b\mathrm{^T} $为姿态和位置;$ v\mathrm{^T} $为速度;$ \upsilon^{\mathrm{T}} $$ \varepsilon^{\mathrm{T}} $为加速度计和陀螺仪的偏置。GNSS- INS组合导航模型依据该状态因子计算舰船的速度和位置,RFR可为导航组合模型提供速度和位置增量,以此保证组合导航在信号缺失时依旧能够模拟出舰船的位置和速度,保证导航的可靠性。如果GNSS- INS组合导航模型在信号中断时的速度和位置分别用$ {v_0} $$ {b_0} $表示,RFR提供的两者的增量用$ \Delta {v_i} $$ \Delta {b_i} $表示,则该情况下RFR模拟出的舰船速度和位置的计算公式为:

$ \overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{v} = {v_0} + \sum\limits_{i = 1}^t {\Delta {v_i}},$ (4)
$ \overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{b} = {b_0} + \sum\limits_{i = 1}^t {\Delta {b_i}}。$ (5)

结合式(4)和式(5)完成舰船智能导航,确保其在GNSS- INS组合导航模型信号中断时依旧能够完成航行智能导航。

2 结果分析

为验证文中方法在舰船操控台智能导航中的应用效果,以某海洋资源勘察舰船为例展开相关测试,该舰船的相关参数如表1所示。

表 1 海洋资源勘察舰船相关参数 Tab.1 Relevant parameters of marine resource exploration ships

在进行舰船操控台智能导航方法设计时,为提升导航系统的智能化,文中采用语音交互模态进行导航方法设计,为验证该方法的人机交互效果,通过文中方法在导航系统信号缺失情况下下进行语音人机交互的智能导航,获取该导航的交互结果,如图3所示。分析可知,舰船在导航信号缺失下,能够结合语音交互技术成功完成人机交互,并且结合交互结果智能化切换RFR辅助导航模式。因此,本文具备较好的人机交互效果,为舰船智能导航提供可靠保障。

图 3 语音交互模式实现结果 Fig. 3 implementation results of voice interaction mode

为验证本文方法的导航效果,获取舰船在航行过程中导航信号缺失后,通过文中导航方法进行舰船智能导航,获取其导航后的航迹生成结果,如图4所示。分析可知,通过文中方法进行舰船智能导航后,该方法可在信号缺失的情况下,基于语音交互导航指令结果实现智能航迹导航,并生成航行轨迹,轨迹生成结果与设定航迹之间的吻合程度较高。

图 4 航行轨迹自动生成结果 Fig. 4 automatic generation results of navigation trajectory

为进一步验证文中方法的舰船操控台智能导航应用效果,以设定的航线为标准,通过文中方法进行舰船智能导航,获取舰船在不同航行速度下,不同方向的位置导航偏差结果,如表2所示。分析可知,通过文中方法进行智能导航后,在不同航行速度下,导航结果与设定航线之间的偏差最大值为(0.194,1.449,0.114)m,该结果满足舰船的智能导航误差允许标准(<0.2m)。因此,本文方法具备较好的智能导航能力,可为舰船航行提供可靠保障。

表 2 不同方向的位置导航偏差结果(m) Tab.2 position navigation deviation results in different directions (m)
3 结 语

针对舰船操控台智能导航的需求,提出了基于人机交互技术的智能导航方法,通过融合语音模态交互与随机森林回归(RFR)辅助因子图导航技术,显著提升了舰船导航的智能化水平和可靠性。实验结果表明,该方法在导航信号缺失等复杂场景下仍能保持高精度导航,同时具备优秀的人机交互性能。具体结论如下:

1)语音模态交互提升导航智能化。设计的语音意图理解框架结合大语言模型,能够高效解析用户指令并生成导航执行代码。测试表明,该方法在紧急情况下可实现快速、精准的语音交互导航,显著提升了操作的便捷性和响应速度,为人机协同导航提供了有效解决方案。

2)RFR辅助因子图导航增强可靠性。通过将导航参数作为状态因子引入GNSS-INS组合导航模型,并利用RFR提供速度和位置增量补偿,有效解决了信号缺失时的导航连续性难题。实验数据显示,在信号中断情况下,生成的航迹与设定航迹的吻合度较高,最大导航偏差仅为(0.194, 1.449, 0.114)m,完全满足舰船导航的精度要求。

本文方法不仅适用于海洋资源勘察舰船,还可推广至其他需要高精度导航的船舶场景,如军事舰艇、无人船舶等。未来研究可进一步优化语音交互的噪声鲁棒性,并探索多模态交互(如手势、眼动)与导航系统的深度融合,以进一步提升系统的灵活性和用户体验。

参考文献
[1]
朱曼, 文元桥, 孙吴强, 等. 一种基于扩展状态观测器的智能船舶Nomoto模型参数辨识方法[J]. 中国舰船研究, 2023, 18(3): 75-85.
ZHU M, WEN Y Q, SUN W Q, et al. Extended state observer-based parameter identification of Nomoto model for autonomous vessels[J]. Chinese Journal of Ship Research, 2023, 18(3): 75-85.
[2]
匡兴红, 黄傲威. 一种基于深度学习辅助的SINS/DVL组合导航方法[J]. 系统仿真学报, 2024, 36(8): 1810-1822.
KUANG X H, HUANG A W. A method based on deep learning for assisting SINS/DVL integrated navigation[J]. Journal of System Simulation, 2024, 36(8): 1810-1822.
[3]
王东宇, 张慧君, 李孝辉, 等. 遮挡环境下的基于AKF组合导航定位方法研究[J]. 电子测量与仪器学报, 2023, 37(5): 171-179.
WANG D Y, ZHANG H J, LI X H, et al. He Tao Research on positioning in covering environment with an AKF-based integrated navigation system[J]. Journal of Electronic Measurement and Instrumentation, 2023, 37(5): 171-179.
[4]
吴建峰, 程向红. 基于点线的视觉惯性导航系统初始化方法[J]. 中国惯性技术学报, 2024, 32(5): 463-467.
WU J F, CHENG X H. An initialization method for visual inertial navigation system based on point and line[J]. Journal of Chinese Inertial Technology, 2024, 32(5): 463-467.
[5]
李丹, 郭晓. 舰船卫星导航系统中信号融合误差纠偏技术[J]. 舰船科学技术, 2023, 45(21): 185-188.
LI D, GUO X. Research on signal fusion error correction technology in ship satellite navigation system[J]. Ship Science and Technology, 2023, 45(21): 185-188.
[6]
潘奇, 杨东华, 蔡委哲. 自然人机交互技术在雷达显控终端中的应用[J]. 现代雷达, 2024, 46(8): 78-83.
PAN Q, YANG D H, CAI W Z. Application of Natural Human-computer Interaction Technology in Radar Display and Control Terminal[J]. Modern Radar, 2024, 46(8): 78-83.
[7]
王湉, 范峻铭, 郑湃. 基于大语言模型的人机交互移动检测机器人导航方法[J]. 计算机集成制造系统, 2024, 30(5): 1587-1594.
WANG T, FAN J M, ZHENG P. Large language model-based approach for human-mobile inspection robot interactive navigation[J]. Computer Integrated Manufacturing Systems, 2024, 30(5): 1587-1594.