舰船科学技术  2022, Vol. 44 Issue (10): 111-114    DOI: 10.3404/j.issn.1672-7649.2022.10.022   PDF    
基于机器视觉技术的船舶智能导航系统
谢董正, 张万超     
江苏科技大学 海洋工程与技术学院,江苏 镇江 212028
摘要: 设计基于机器视觉技术的船舶智能导航系统,有效规划船舶路径,避开障碍物,实现船舶智能导航。该系统利用CCD摄像头拍摄船舶航行环境信息,利用机器视觉图像采集模块采集并处理环境信息,提取导航需要的信息;核心控制器利用基于小生境粒子群优化的多路径规划算法,设计导航路径,并传输至控制电机驱动模块与舵机控制模块;舵机控制模块接收导航信息后,精准调整舵机角度,控制船舶航行方向。通过电机驱动模块为船舶电机提供可靠的驱动电路,令船舶按照指定速度航行;利用电源模块为整个系统各模块提供可靠电源电压;无线通信模块依据控制器局域网络总线,为整个系统提供信息传输服务。实验证明:在不同障碍物数量时,该系统均可有效规划多条船舶航行路径,实现船舶智能导航;在不同发送速率与波特率时,该系统均可成功传输信息,且信息传输完整性较优。应用该系统后,可有效降低船舶舵角,提升船舶航行稳定性。
关键词: 机器视觉技术     船舶智能导航     核心控制器     小生境     粒子群     多路径规划    
Ship intelligent navigation system based on machine vision technology
XIE Dong-zheng, ZHANG Wan-chao     
College of Ocean Engineering and Technology, Jiangsu University of Science and Technology, Zhenjiang 212028, China
Abstract: A ship intelligent navigation system based on machine vision technology is designed to effectively plan the ship's path, avoid obstacles and realize intelligent navigation of the ship. The system uses CCD camera to capture ship navigation environment information. The machine vision image acquisition module is used to collect and process environmental information and extract navigation information. The core controller designs the navigation path by using the multi-path planning algorithm based on niche particle swarm optimization and transmits it to the control motor drive module and steering gear control module. After receiving the navigation information, the steering gear control module accurately adjusts the steering gear Angle to control the navigation direction of the ship. Through the motor drive module for the ship motor to provide reliable driving circuit, so that the ship according to the specified speed sailing; Use the power module to provide reliable power supply voltage for each module of the whole system; The wireless communication module provides information transmission service for the whole system according to the controller LAN bus. Experimental results show that the system can effectively plan multiple navigation paths and realize intelligent navigation of ships under different number of obstacles. At different transmission rates and baud rates, the system can successfully transmit information, and the integrity of information transmission is better. After the application of the system, the rudder angle of the ship can be effectively reduced and the navigation stability of the ship can be improved.
Key words: machine vision technology     ship intelligent navigation     core controller     niche     the particle swarm     multipath planning    
0 引 言

船舶航行的关键部分是导航系统,通过导航系统规划出最佳的航行轨迹,提升船舶航行安全,降低船舶航行能耗[1]。章怀宇等[2]设计深海无人潜航器导航系统,通过DSP与ARM双处理器提升导航定位精度,利用模糊自适应状态切换算法,实时切换2个处理器的工作状态,确保导航精度和功耗间达到最佳平衡,该系统可有效提升导航精度与可靠性。张莉[3]设计船用CCD星敏感器导航系统,通过CCD星敏感器采集船舶位置与姿态信息,将以太网当成导航系统的通信接口,传输导航信息,该系统符合跨平台与交互性等需求,有效导航船舶,具备较优的应用价值。但这2个系统均只能导航船舶,却不具备避碰功能,无法确保船舶航行安全。机器视觉通过机器模拟人眼分析与衡量图像信息,包含图像处理与决策等功能,在路径规划中可有效提取障碍物信息,为路径规划提供参考[4]。为此设计基于机器视觉技术的船舶智能导航系统,提升航行安全。

1 基于机器视觉技术的船舶智能导航系统

利用机器视觉技术采集船舶航行信息,设计船舶智能导航系统,其硬件结构框图如图1所示。

图 1 船舶智能导航系统硬件结构框图 Fig. 1 Hardware structure block diagram of ship intelligent navigation system
1.1 船舶环境信息的机器视觉图像采集模块

依据机器视觉技术设计机器视觉图像采集模块,实现船舶环境信息的采集、处理与存储,该模块的结构框图如图2所示。

图 2 机器视觉图像采集模块结构框图 Fig. 2 Structure block diagram of machine vision image acquisition module

CCD摄像头配置单元负责将其有关参数配置存储到CCD摄像头的寄存器内,令摄像头有效实时输出设定格式的船舶航行环境信息的图像。图像采集单元的作用是对CCD摄像头输出的视频流实施采集,同时拼接船舶航行环境的视频流数据,传输至图像预处理单元[5-6]。图像预处理单元负责处理拼接的船舶航行航行环境的视频流数据。图像存储单元利用SDRAM存储器存储处理后的船舶航行航行环境的视频流数据,避免因时钟域不同,导致视频流数据无法交互情况出现。图像显示单元负责实时呈现船舶航行环境视频流数据内的字符与帧率等图像信息。全局时钟管理单元通过PLL(Phase Locked Loop)锁相环,移动外部时钟的倍频、分频、相位,获取不同频率与相位的时钟,为机器视觉图像采集模块内的每个单元提供时钟信号。

图像存储单元内跨时钟域船舶航行环境视频流数据交互过程如图3所示。

图 3 船舶航行环境视频流数据交互过程 Fig. 3 Video stream data interaction process of ship navigation environment

机器视觉图像采集模块内具有跨时钟域问题,无法利用简单的传输方式,完成船舶航行环境视频流数据的精准传输。通过SDRAM存储器,可确保机器视觉图像采集模块船舶航行环境视频流数据的稳定传输,避免出现船舶航行环境视频流数据丢失和错位[7],提升视频流数据传输效率,解决跨时钟域的船舶航行环境视频流数据交互问题。

1.2 船舶环境信息的无线通信模块

利用CAN总线设计无线通讯模块,传输船舶智能导航系统内的全部信息,该模块的结构框图如图4所示。

图 4 无线通信模块结构框图 Fig. 4 Structural block diagram of wireless communication module
1.3 基于小生境粒子优化的船舶多路径规划方法

依据机器视觉图像采集模块,采集与处理的船舶航行环境信息,利用小生境粒子优化方法,规划船舶航行路径,船舶多路径规划问题就是获取多条最佳与次佳路径,供船舶智能导航系统选择最合理的导航路线。将船舶多路径规划问题转变为多峰函数优化问题,利用小生境粒子优化算法求解,获取多条船舶路径规划结果。按照船舶最大尺寸,碰撞机器视觉图像采集模块采集到的障碍物,利用路径和障碍物的碰撞程度衡量船舶航行路径安全性,通过路径长度与平滑程度衡量船舶航行路径的能量消耗。船舶多路径规划的目标函数即适应度函数如下:

$ \begin{split} F\left( Y \right) = &Safe\left( Y \right) + Econ\left( Y \right) = \\ & Q \times N + {w_1} \times \sum\limits_{j = 0}^n {d\left( {{P_j},{P_{j + 1}}} \right)} + {w_2} \times \sum\limits_{i = 1}^n {s\left( {{P_i}} \right)} 。\end{split} $ (1)

其中:Y为船舶路径; $ Safe\left( Y \right) $ 为船舶路径安全程度;NY内线段和障碍物碰撞次数;Q为惩罚系数; $ Econ\left( Y \right) $ 为船舶路径能量消耗; $ d\left( {{P_j},{P_{j + 1}}} \right) $ Y内节点 $ {P_j} $ $ {P_{j + 1}} $ 间的欧式距离; $ \displaystyle\sum\limits_{j = 0}^n {d\left( {{P_j},{P_{j + 1}}} \right)} $ Y的长度; $ {w_1} $ $ {w_2} $ 为权重; $ \displaystyle\sum\limits_{i = 1}^n {s\left( {{P_i}} \right)} $ Y的平滑程度; $ s\left( {{P_i}} \right) $ 为第i个转向点的曲率。

小生境识别策略在构造子群体前,需依据 $ F\left( Y \right) $ 从小至大排列主群粒子, $ F\left( Y \right) $ 与粒子的优越程度成反比。如果粒子对应路径无碰撞危险,同时无相似子群存在,那么将这个粒子当成中心,构造新子群 $ {G_k} $ ,在主群内去掉 $ {G_k} $ 的粒子。

$ {G_k} $ 构造完成后,将 $ {G_k} $ 内中心粒子和主群内最近粒子间的d,当成 $ {G_k} $ 的半径,通过扩增 $ {M_1} $ $ {G_k} $ 的半径,将更多的粒子划到 $ {G_k} $ 内,公式如下:

$ {l_{{G_k}}} = {M_1} \times \min \left\{ {\lambda \left\| {{x_z} - {x_{{G_k}}}} \right\|} \right\}。$ (2)

其中: $ {n_M} $ $ z \in {n_M} $ 为主群粒子数量; $ {x_{{G_k}}} $ $ {G_k} $ 的中心;λ为修正系数; $ {l_{{G_k}}} $ $ {G_k} $ 的半径。

通过隔离进化机制,确保 $ {G_k} $ 内无信息交流,确保已寻找到的区域不会因子群体移动出现丢失情况。

在粒子群优化算法内引入认知模式,即设置学习因子 $ {c_2} = 0 $ ,利于保持主群多样性,提升数个路径规划范围的寻找作用,引入认知模式的粒子速度与位置更新公式如下:

$ \begin{split} & v_z^{t + 1} = wv_z^t + {c_1}{r_1}p_z^t - {c_1}{r_1}x_z^t ,\\ & x_z^{t + 1} = x_z^t + v_z^{t + 1} 。\\ \end{split} $ (3)

其中:更新的个体速度与位置是 $ v_z^{t + 1} $ $ x_z^{t + 1} $ ;学习因子是 $ {c_1} $ ;随机数是 $ {r_1} $ ;迭代次数是t;个体最佳位置是 $ p_z^t $

船舶多路径规划具体步骤如下:

步骤1 对船舶航行起点S与终点H的位置展开坐标转换,得到船舶航行新地图,对机器视觉图像采集模块采集到的障碍物展开膨胀;

步骤2 等分SH间的路径,在等分点中做垂线 $ {l_u} $ ,计算 $ {l_u} $ 和船舶地图边界的交点 $ x_o^{\min } $ $ x_o^{\max } $ ,得到 $ v_o^{\max } = \dfrac{{x_o^{\max } - x_o^{\min }}}{{10}} $

步骤3 初始化主群粒子,粒子对应路径无法穿越障碍物,即初始化成功,反之为失败;

步骤4 通过小生境识别策略衡量主群粒子是否满足小生境产生条件,如果满足,那么将该粒子当成中心,构造 $ {G_k} $ ,同时在主群内去掉 $ {G_k} $ 的粒子,反之,进行步骤5;

步骤5 通过隔离小生境粒子群算法,局部寻优 $ {G_k} $ 的粒子,确保群体间无信息交流;

步骤6 利用认知模式的粒子群优化算法更新主群粒子;

步骤7 交叉处理 $ {G_k} $ 的中心,生成的个体移至主群内;

步骤8 返回步骤4展开迭代,以达到 $ {t_{\max }} $ 为止,输出规划的多条船舶路径。

2 实验结果与分析

为验证本文系统的船舶智能导航效果,利用Matlab仿真软件在不同的航行环境中展开仿真实验。以某海域的电子海图为实验对象,利用本文系统采集船舶在该海域航行时的环境信息,通过Matlab仿真软件生成二维电子海图,并在二维电子海豚内展开船舶智能导航,仿真范围内包含不同数量的障碍物。

依据本文系统采集的船舶航行环境信息,经由Matlab仿真软件生成的二维电子海图及设置的船舶起点、终点如图5所示。

图 5 二维电子海图及船舶起点、终点 Fig. 5 Two-dimensional electronic chart and ship starting point and end point

利用本文系统依据采集的船舶航行环境信息,获取该船舶的多条规划路径,完成智能导航,结果如图6所示。可知,在障碍物数量较少时,本文系统可有效为船舶规划出2条路径,完成船舶智能导航,这2条路径均可令船舶有效避开障碍物,由起点航行至终点;在障碍物较多时,本文系统可以为船舶规划出6条路径,完成船舶智能导航,这6条路径均可有效避开障碍物,令船舶由起点航行至终点。实验证明:在不同障碍物数量时,本文系统均可实现船舶智能导航,有效避开障碍物,提升船舶航行安全性。

图 6 不同障碍物数量时的船舶智能导航结果 Fig. 6 Ship intelligent navigation results with different number of obstacles

在不同波特率与发送速率时,测试本文系统传输机器视觉图像采集模块采集并处理的船舶航行环境视频流数据的完整性,测试结果表明,发送速率一致时,波特率越大,船舶航行环境视频流数据发送总数与接收总数差距越小;发送速率一致时,波特率越大,船舶航行环境视频流数据发送总数与接收总数差距越小;在不同发送速率与波特率时,本文系统均可成功传输船舶航行环境视频流数据,且视频流数据传输完整性较优。

分析该船舶在应用本文系统智能导航前后的舵角变化情况,船舶舵角变化幅度越小,船舶航行稳定性越佳,分析结果如图7所示。可知,应用本文系统智能导航后船舶舵角在±10°左右内变化,应用本文系统前船舶舵角在±40°左右内变化,明显减少船舶舵角,即减少航向保持控制时的操舵幅度,提升船舶航行稳定性。

图 7 应用本文系统智能导航前后的舵角变化情况 Fig. 7 Changes of rudder Angle before and after intelligent navigation of the system
3 结 语

为提升船舶航行安全,设计基于机器视觉技术的船舶智能导航系统,利用机器视觉技术采集船舶航行环境信息,依据船舶航行环境信息,规划多条船舶航行路径,实现船舶智能导航。实验证明,本文系统可有效避开障碍物,实现船舶智能导航,有效降低船舶的操作幅度,提升船舶航行稳定性。

参考文献
[1]
陈志超, 薛圻蒙, 罗凯, 等. 基于改进LOS导航算法的智能船舶自动靠泊控制研究[J]. 中国航海, 2021, 44(2): 126-133. DOI:10.3969/j.issn.1000-4653.2021.02.021
[2]
章怀宇, 陈熙源, 王健. 面向深海无人潜航器的导航系统设计与实现[J]. 船舶工程, 2019, 41(5): 121-127.
[3]
张莉. 基于Qt的船用CCD星敏感器导航系统仿真研究[J]. 船舶工程, 2021, 43(5): 114-120+128.
[4]
许威, 胡勇, 陈兴怖. 基于机器视觉的船体双曲度板测量方法[J]. 船舶工程, 2019, 41(5): 101-106.
[5]
肖长诗, 陈芊芊, 文元桥, 等. 基于LoRa的封闭水域船舶自动识别系统设计[J]. 船海工程, 2019, 48(1): 158-162+167. DOI:10.3963/j.issn.1671-7953.2019.01.037
[6]
祝亢, 黄珍, 王绪明. 基于深度强化学习的智能船舶航迹跟踪控制[J]. 中国舰船研究, 2021, 16(1): 105-113.
[7]
李明峰, 王胜正, 谢宗轩. 恶劣气象海况下船舶航线的多变量多目标优化建模[J]. 中国航海, 2020, 43(2): 14-19+30. DOI:10.3969/j.issn.1000-4653.2020.02.003