舰船科学技术  2022, Vol. 44 Issue (24): 157-160    DOI: 10.3404/j.issn.1672-7649.2022.24.033   PDF    
基于机器视觉技术的船舶导航交互界面设计
伍玉彬, 刘浩然, 蒋顺生, 康娟萍     
桂林航天工业学院,广西 桂林 541004
摘要: 为避免船舶在航行过程中发生严重的碰撞事故,设计基于机器视觉技术的船舶导航交互界面。机器视觉技术应用CCD摄像机采集船舶航行周围环境信息,结合采集到的信息,通过优化后的模糊逻辑法规划船舶航迹路线,避免船舶在航行过程中出现碰撞;应用模糊控制方法控制船舶按照规划的路线航行,实现船舶航行导航;结合语音交互与图像交互方法设计船舶导航交互界面,在该界面中通过语音发出交互需求指令,图形界面可根据语音识别结果显示相应内容完成交互。实验结果表明:在该方法导航下船舶航行的横向偏差十分微小,基本保持在0 cm左右;导航交互界面可精准显示船舶达到目的地的距离、航行时间等信息,可以使用户直观地查看导航路线,且导航轨迹可精准避开大量障碍物。
关键词: 机器视觉     船舶导航     交互界面     模糊控制     语音交互     图形交互    
Design of ship navigation interactive interface based on machine vision technology
WU Yu-bin, LIU Hao-ran, JIANG Shun-sheng, KANG Juan-ping     
Guilin University of Aerospace Technology, Guilin 541004, China
Abstract: In order to avoid serious collision accidents of ships during navigation, the interactive interface of ship navigation based on machine vision technology is designed. The machine vision technology uses CCD camera to collect the information about the ship's navigation environment. Combined with the collected information, the optimized fuzzy logic method is used to plan the ship's route, so as to avoid the collision of ships during navigation. The fuzzy control method is applied to control the ship to navigate according to the planned route, so as to realize the ship navigation. The interactive interface of ship navigation is designed by combining voice interaction and image interaction methods. In this interface, the interactive demand command is sent through voice. The graphical interface can display the corresponding content according to the voice recognition results to complete the interaction. The experimental results show that the lateral deviation of ship navigation under this method is very small, which is basically kept at about 0 cm. The navigation interactive interface can accurately display the ship's distance to the destination, sailing time and other information, enable users to intuitively view the navigation route, and the navigation track can accurately avoid a large number of obstacles.
Key words: machine vision     ship navigation     interactive interface     fuzzy control     voice interaction     interactive graphics    
0 引 言

随着航运的高速发展,大量船舶在同一海域航行,常常会引起碰撞危险[1]。同时,恶劣天气以及暗礁等障碍物还会对船舶造成较大干扰。因此,采用合适、有效的方法对船舶进行导航,可以使船舶航行过程中更加安全[2]

船舶导航交互界面是一种计算机图形显示界面,目前较多船舶应用该界面实现导航功能,通过交互界面,可以使船员更直观地观察航行海域存在的风险因素[3],设计全面的船舶导航交互界面可以为航行提供较大帮助。有许多学者对导航交互界面进行研究,谭文豪等[4]研究高地隙喷雾机自动导航系统,该方法通过系统形式实现机器自动导航,但该方法仅适用于陆地环境,无法适用于航海导航。冯书庆等[5]研究渔船姿态导航图形化界面,该方法通过图形界面实现渔船导航,但该方法导航范围较小,无法躲避更多的障碍物。

机器视觉是结合摄像机与计算机完成目标识别、跟踪的一种技术,该技术具有较高的图像处理能力[6],目前广泛应用于数字信号跟踪、处理以及导航等领域。本文结合机器视觉技术,对船舶导航交互界面进行设计,使导航结果更加精准。

1 船舶导航交互界面设计 1.1 基于机器视觉技术的船舶航迹规划

本文利用机器视觉技术实现船舶航行导航,并设计导航交互界面。根据机器视觉技术原理,本文应用CCD摄像头采集船舶航行周围环境信息,通过CCD摄像头的寄存器中设置存储配置参数,使摄像头可以实施输出设定格式的船舶航行环境信息图像。通过对采集的船舶航行环境信息图像进行预处理后,即可获取船舶导航线以及障碍物位置信息,本文针对不同障碍物位置,合理规划船舶航行路径。目前在有关航行避障问题上,通常采用模糊逻辑法实现航迹规划,该方法根据目的地定位以及船舶与障碍物之间的距离规划船舶航迹。但是通过这种方式规划船舶航迹,容易导致信息丢失现象。

$ O $ 为船舶所在位置;S为目的地;K为障碍物;船舶行驶的方向为OV,即为船舶坐标系下的y轴,OC为船舶坐标系下的x轴;d表示船舶与障碍物之间的距离;目的地与障碍物之间的方位角为 $ \delta $ 。按照模糊逻辑法的航迹规划原则,只要 $ d $ 在船舶与障碍物的安全距离内即可完成避障,但若船舶持续朝着目的地前进,且船舶与障碍物之间的横向距离处于安全距离之外,则当前避障处于无效状态。因此,在进行航迹规划时,需要一并考虑船舶与障碍物之间的横向距离。本文对基于模糊逻辑法的船舶航迹规划策略进行优化,充分考虑船舶与障碍物之间的横向距离Xdis、纵向距离Ydis以及障碍物相对于导航线的方位 $ Dir $ 。通过图1描述优化后船舶与障碍物的关联。

图 1 船舶与障碍物的关系 Fig. 1 Relationship between ship and obstacle

图1中, $ Q $ 为导航线。通过分析可进行如下推断:

1)若Xdis小于横向安全距离,Ydis大于纵向安全距离,则船舶无需进行避障。

2)若Xdis大于横向安全距离, $ {Y_{dis}} $ 小于纵向安全距离,则船舶同样无需进行避障。

3)若XdisYdis均处于各自安全距离内,此时船舶需要进行避障。

由此可以看出,XdisYdis两个参数存在一定的关联性,两者是决定船舶避障的关键参数,通过碰撞危险系数 $ R $ 表示两者对船舶避障的影响:

$ \begin{gathered} R = Y\left( t \right) \cdot X\left( t \right) ,\\ Y\left( t \right) = \left\{ \begin{gathered} 0,{Y_{dis}} > {Y_v} \\ 1,{Y_{dis}} \leqslant {Y_v} \\ \end{gathered} \right.,X\left( t \right) = \left\{ \begin{gathered} 0,{X_{dis}} > {X_h} ,\\ 1,{X_{dis}} \leqslant {X_h} 。\\ \end{gathered} \right. \\ \end{gathered} $ (1)

式中:Y(t),X(t)表示反应纵向、横向距离信息;YvXh分别为船舶与障碍物之间的纵向、横向安全距离。可知, $ R $ 的取值有2种,分别为 $ R = 0 $ $ R = 1 $ ,当船舶视角范围内没有障碍物时, $ R = 0 $ ,根据 $ R $ 取值的不同,可规划不同的船舶航迹线路。

1.2 船舶航行控制

在船舶实际航行控制过程中,船舶的各项参数通常存在较大的时变性,导致船舶参数难以通过精准的数学模型进行控制。为此,本文通过模糊控制理论,对船舶航行进行控制。图2为该方法控制原理图。

图 2 船舶航行控制原理图 Fig. 2 Schematic diagram of ship navigation control

图2中,edeθ依次表示CCD摄像机在船舶上实际拍摄位置的横向偏移与航向偏差; $ \theta $ 为船舶转角;eθ0ed1依次描述控制过程中的期望转角与期望偏移,当处于期望状态时,eθ0ed1的值均为0。在进行船舶航行控制时,将edeθ作为输出,而经控制器控制后的输出为 $ \theta $ 。通常情况下,edeθ的基本论域为 $ [ - 30\;{\rm{cm}}, 30\;{\rm{cm}} ] $ $ \left[ { - {{15}^\circ },{{15}^\circ }} \right] $ ,两者的量化因子为0.4,0.2,因此论域均为 $ \left[ { - 6,6} \right] $ $ \theta $ 的基本论域为 $ \left[ { - {6^\circ },{6^\circ }} \right] $ ,则论域为 $ \left[ { - 6,6} \right] $ 。依据专家经验制定控制方案,使输出转角无限接近于期望转角,完成船舶航行控制。

1.3 船舶导航交互界面设计

由于单一的图形交互界面无法带来更完善的用户体验,本文结合语音交互方法与图形交互界面,通过图形化界面开发工具嵌入式版本(QT/Embeded)实现船舶导航交互界面设计。以QTE作为基础图形库,完成船舶交互GUI界面设计,为提升导航交互界面的可用性,该交互界面主要采用语音交互方式完成指令操作,而图形界面主要用于显示功能。

1.3.1 船舶导航交互界面设计方式

本文构建的船舶导航交互界面是将图形交互与语音交互互相融合,实现双通道的融合交互。可在交互界面中通过界面跳转进入不同的功能区域。图3为整个导航交互界面的设计图。

图 3 导航交互界面框图 Fig. 3 Block diagram of navigation interactive interface

在本文设计的导航交互启动界面中,共包含4个主要功能,分别为语音启动、个性化设定、语音设置以及命令操作,每一功能的具体内容如下:

1)个性化设定。按照应用环境可以选择不同主题的背景,为用户提供多样化界面。

2)命令操作。该界面属于图形操作界面,用户点击进入该界面后,可以通过按钮操作指定导航命令,无法使用语音操作的用户可通过该界面进行相应的指令操作。

3)语音设置。该界面用于语音识别语句添加,通过不断优化语音内容,为用户提供多种应用服务。

4)语音启动。点击语音启动按钮即可进行语音交互,导航交互界面可根据语音识别结果显示相应内容。

1.3.2 船舶导航交互界面应用过程设计

船舶导航交互界面服务大量用户,而在航行过程中,由于航迹路线的不同,每一用户在使用导航交互界面进行导航时也存在不同需求。本文设计船舶导航交互界面主要实现导航功能、电子地图显示功能、航行时间显示功能、水域深度显示功能、航行姿态显示功能,该交互界面的应用流程如图4所示。

图 4 船舶交互界面的应用流程 Fig. 4 Application process of ship interactive interface

在应用船舶交互界面过程中,开启语音交互后自动播放界面可提供的功能,之后等待用户的语音输入,根据用户的语音内容判断下一步需完成的功能。

2 实验结果分析

为验证本文设计的导航交互界面的详细性能,利用计算机辅助技术开发导航交互界面,并在该界面中对船舶进行实际导航研究,验证该界面的应用效果。表1为该交互界面设计时的参数。

表 1 导航交互界面设计参数 Tab.1 Design parameters of navigation interactive interface

测试本文方法对航行轨迹的控制能力,在进行测试时,不同行驶速度的2艘船舶不断朝着目的地行驶,在行驶至60 min处应用本文方法对2艘船舶航行轨迹进行控制,分析经本文方法控制后,不同航速的船舶在行驶过程中的横向偏差,分析结果如图5所示。可知,正常情况下航速为25 km/h的船舶航行横向偏差要明显低于航速为35 km/h的船舶,且航速为35 km/h的船舶最大航行横向偏差达到−3 cm以上,当航行60 min时,应用本文方法控制2艘船舶航行轨迹,在本文方法的控制下,2艘不同航速的船舶航行横向偏差迅速达到0 cm左右,且在后续行驶过程中,该偏差未明显出现较大波动。因此,本文方法可有效控制船舶航行轨迹,可按照导航规划路线精准前往目的地。

图 5 控制后不同行驶速度船舶的横向偏差 Fig. 5 Lateral deviation of ships with different driving speeds after control

在本文设计的船舶导航交互界面中对船舶航行进行导航,并通过交互界面显示航行实时信息,评估该交互界面的应用性能,具体导航结果如图6所示。可知,本文方法设计的导航交互界面可精准显示船舶航行的实时信息与所在经度、纬度,且可以明确显示距离下一节点以及达到目的地的时间与距离,通过该交互界面可以使用户直观的查看航行相关信息,并为用户提供精准的导航效果。

图 6 船舶航行导航结果显示 Fig. 6 Display of ship navigation results

分析本文方法在多障碍物情况下的船舶导航能力,在交互界面的电子地图中显示船舶航行导航结果,具体如图7所示。可知,本文方法无论在障碍物较多或较少情况下,均能够有效实现船舶航迹路径导航,每一导航路径均能精准避开障碍物。因此,本文设计的船舶导航交互界面具有较高的导航路径规划能力。

图 7 船舶航行规划导航结果 Fig. 7 Navigation results of ship navigation planning
3 结 语

本文设计基于机器视觉技术的船舶导航交互界面,应用机器视觉技术实现船舶的精准导航,并利用语音与图形混合交互方法,设计船舶的导航交互界面,使用户可以更方便的使用导航功能,同时通过实验验证该交互界面的应用效果。在未来研究过程中,可对现有导航交互界面继续进行优化设计,使该界面的功能更加丰富。

参考文献
[1]
马超民, 赵丹华, 辛灏. 基于用户体验的智能装备人机交互界面设计[J]. 计算机集成制造系统, 2020, 26(10): 2650-2660.
[2]
杨玉霞, 陈留亮. 农用四旋翼飞行器避障系统设计——基于机器视觉和无线定位[J]. 农机化研究, 2022, 44(5): 101-104+109.
[3]
宫金良, 孙科, 张彦斐, 等. 基于梯度下降和角点检测的玉米根茎定位导航线提取方法[J]. 农业工程学报, 2022, 38(13): 177-183.
[4]
谭文豪, 桑永英, 胡敏英, 等. 基于机器视觉的高地隙喷雾机自动导航系统设计[J]. 农机化研究, 2022, 44(1): 130-136.
[5]
冯书庆, 徐志强, 王志勇, 等. 渔船姿态导航图形化界面研究[J]. 渔业现代化, 2020, 47(6): 74-80.
[6]
张博, 胡莹. 基于沉浸体验的标签式导航转场方式研究[J]. 包装工程, 2020, 41(6): 205-210.