舰船科学技术  2022, Vol. 44 Issue (24): 141-144    DOI: 10.3404/j.issn.1672-7649.2022.24.029   PDF    
基于视觉传达的船舶组合导航人机交互界面系统
赵吉成     
广西民族大学相思湖学院,广西 南宁 530225
摘要: 针对船舶航行环境复杂、天气多变等因素给船舶组合导航带来的诸多问题,提出一种基于视觉传达的船舶组合导航人机交互界面系统。首先设计带有地图创建、路径规划、人机交互、组合导航四大模块的硬件系统,秉持模块化的设计理念设计图像预处理和基于地图匹配-GPS-航行状态组合的软件程序,并在程序中添加图像特征提取技术,获取地图图像的直线特征。最后将软件程序添加到硬件系统中,利用地图匹配算法获取最佳航行路径。实验结果表明,系统的导航精度高、轨迹规划和避障能力强。
关键词: 组合导航平台     人机交互模块     视觉传感器     图像预处理     地图匹配法    
Design of human-computer interface system for ship integrated navigation based on visual communication
ZHAO Ji-cheng     
Xiangsihu College of Guangxi Minzu University, Nanning 530225, China
Abstract: Aiming at many problems brought about by complex navigation environment and changeable weather, a human-computer interface system for integrated navigation of ships based on visual communication is proposed. First designed a hardware system with four modules: map creation, path planning, human-computer interaction, and integrated navigation. Then designed a software program for image preprocessing and map matching GPS navigation state combination based on the modular design concept, and added image feature extraction technology to the program to obtain the straight line features of the map image. Finally, the software program was added to the hardware system, the map matching algorithm is used to obtain the best navigation path. The experimental results show that the designed system has high navigation accuracy, strong trajectory planning and obstacle avoidance ability.
Key words: integrated navigation platform     human computer interaction module     vision sensor     image preprocessing     map matching method    
0 引 言

船舶行业在智能制造领域发展迅速[1],对船舶组合导航人机交互界面系统也提出了更高的要求,不仅要求导航路线精准,还要求其具有良好的避障能力[2],其中的关键是对组合导航人机交互界面系统做出升级和改进。可知,组合导航人机交互界面系统成为目前亟需解决的问题和研究的热点。

郭娜等[3]将导航界面的多感官图像融合到一起,构建基于GOMS模型的人机交互模式,采用层次分析法建立人机交互模式的性能评价指标,采用模糊理论设计出船舶组合导航系统的模块,完成船舶组合导航人机交互界面系统设计。该方法没有剔除导航图像中的噪声,导致导航精度较低。王琮等[4]将惯性测量模块、卫星导航模块与航迹计算模块作为组合导航的硬件设计,采用基于CAN总线的即插即用算法作为导航系统的软件,设计组合导航的底层驱动模块,完成船舶组合导航人机交互界面系统设计。该方法没有提取导航图像中的特征,导致轨迹规划效果差。王立冬等[5]设计基于雷达传导的船舶导航信息传递架构,采用信号-通信法构建导航信息传递系统,将传递架构中的方位测量输入到系统中,完成船舶组合导航人机交互界面系统设计。该方法没有匹配导航地图,导致避障能力弱。

为了解决上述系统中存在的问题,提出基于视觉传达的船舶组合导航人机交互界面系统。

1 组合导航人机交互界面硬件系统设计

视觉传达平台由地图创建模块、路径规划模块、人机交互模块与组合导航模块组成。

1)地图创建模块。该模块负责与视觉传感器[6]通讯,在接收图像后搜索图像中的障碍物位置,并在地图中标记障碍物的位置。

2)路径规划模块。二值栅格地图创建后,为了避免障碍物对船舶航行过程产生影响,路径规划模块根据全局地图信息快速查找最优路径或可行路径,实现实时性、安全性、有效性并存的路径规划。

3)人机交互模块。路径规划模块结合人机交互模块实现船舶组合导航电子地图的界面展示。为了达到最佳展示效果,需要采用界面控制中枢完成清晰度的实时调节。

4)组合导航模块。该模块根据规划的路径输出路径节点顺序,然后通过节点状态序列的分解[8-9]表达路径节点的切换,进而实现导航任务。

2 软件设计

仅仅设计出视觉交互平台不足以完全实现船舶导航,需要在此基础上搭配软件系统完成。

1)图像降噪

通过边缘检测算法剔除图像中的噪声[10]。边缘检测法采用中值滤波器监测地图图像的脉冲噪声分布情况,根据噪声的分布产生方向算子。中值滤波器与方向算子分别做卷积运算[11],根据获取的绝对值最小值判断噪声类型,公式为:

$ \left\{ \begin{gathered} s\left( {p,q} \right) = \min \left[ {\left| {H\left( {p,q \oplus {R_m}} \right)} \right|} \right] ,\\ m = 1,2,3,4。\\ \end{gathered} \right. $ (1)

式中: $ s $ 代表卷积绝对值的最小值; $ \left( {p,q} \right) $ 表示输入图像的任意像素点; $ H $ 为像素点集合; $ \oplus $ 表示卷积运算; $ {R_m} $ 表示第 $ m $ 个卷积。

当阈值 $ U $ 大于噪声像素点时,将像素灰度值维持在稳定区间内,输出结果完成图像的降噪。公式为:

$ {z_{\left( {p,q} \right)}} = \left\{ {\begin{array}{*{20}{c}} {{z_{\left( {p,q} \right)}},}&{s\left( {p,q} \right) \gt U},\\ {0,}&{\rm otherwise} 。\end{array}} \right. $ (2)

式中, $ {z_{\left( {p,q} \right)}} $ 表示降噪后的图像。

2)特征提取

采用逐步分解算法提取图像的直线特征[12],可以提高导航的精准性,逐步分解主要分为断点检测、线段分割与直线提取。断点检测采用自适应阈值[13]算法,假设地图图像中存在一条通过点 $ o $ 的直线,用 $ l $ 表示断点位置向量。

线段分割采用递归原则不断将地图图像中的点集合划分为不同子集,直至点集中点数量小于固定阈值。线段分割后,在断点与拐点之间存在少许离散点,采用离散拟合算法将离散点结合到一起,生成用于直线拟合的点集,完成地图图像的特征提取,公式为:

$ {E_{\max }} = 2\chi + \left| {l - {l_{n - 1}}} \right| 。$ (3)

式中: $ n $ 为图像中点的总个数; $ \chi $ 表示测量误差。

3)组合导航

将预处理后的地图图像传输到组合导航模块中,构建地图匹配-GPS-航行状态的组合导航实现船舶的导航。首先计算出地图匹配-GPS-航迹推测中的船舶航行状态变量,公式为:

$ {\boldsymbol{Z}} = \left[ {\begin{array}{*{20}{c}} g&\delta &h \\ {{g_1}}&\varepsilon &{{h_1}} \\ {{g_2}}&\phi &{{h_2}} \end{array}} \right] 。$ (4)

式中: $ {\boldsymbol{Z}} $ 表示状态变量; $ g $ $ h $ 分别表示船舶在东、北方向上的位置分量; $ {g_1} $ $ {h_1} $ 分别表示船舶在东、北方向上的速度分量; $ {g_2} $ $ {h_2} $ 分别表示船舶在西、南方向上的加速度; $ \delta $ 为总定位误差; $ \varepsilon $ 表示转角测量误差; $ \phi $ 为距离测量误差。

根据状态变量与机动载体的统计模型,构建组合导航的船舶系统状态方程,公式为:

$ \left\{ \begin{gathered} {g_2} = k + {h_2},\\ k = {\gamma _k} - \varphi ,\\ x\left( T \right) = C \cdot x\left( T \right) + G + V 。\\ \end{gathered} \right. $ (5)

式中: $ k $ 为船舶在东、北方向的加速度均值; $ \varphi $ 示为采样常数; $ \gamma $ 为相关时间常数; $ x $ 为组合导航的系统状态; $ T $ 为时刻; $ C $ 为代价函数; $ G $ 为船舶前进路段; $ V $ 为分量序列集合。

将GPS接收的位置信息、速度信息、航向距离作为船舶系统状态方程的外部观测向量[14],则外部观测向量与状态变量之间满足如下公式:

$ \left\{ \begin{gathered} {w_1}\left( k \right) = x\left( T \right)\sqrt {{g^2}\left( k \right) + {h^2}\left( k \right)},\\ \eta \left( k \right) = \arctan \left[ {\frac{{g\left( k \right)}}{{h\left( k \right)}}} \right] + \gamma 。\\ \end{gathered} \right. $ (6)

式中: $ {w_1} $ 为外部观测向量; $ \eta $ 为船舶行驶方向与东北方向的夹角。

根据外部观测向量与船舶航行状态变量的关系,得到组合导航系统观测方程,公式为:

$ Z\left( k \right) = h\left[ {x\left( T \right)} \right] + V\left( k \right)。$ (7)

采用联合卡尔曼滤波式[15]对组合导航系统观测方程做离散化与线性化处理,得到路径位置信息,公式为:

$ x\left( {k,k - 1} \right) = \kappa \left( {k,k - 1} \right) \cdot x\left( {k - 1} \right) + G\left( k \right) 。$ (8)

式中, $ \kappa $ 表示离散化系数。

由地图匹配算法融合路径位置信息给出最佳匹配路径,由地图匹配算法提供的位置坐标为 $ \left( {a,b} \right) $ ,则最终的船舶导航位置输出路径 $ \left( {{a_k},{b_k}} \right) $ 公式为:

$ \left\{ \begin{gathered} {a_k} = a + W\left( {{a_{g,h}} - a} \right),\\ {b_k} = b + W\left( {{b_{g,h}} - b} \right),\\ W \in \left[ {0,1} \right]。\\ \end{gathered} \right. $ (9)

式中: $ W $ 为地图匹配修正权值; $ {a_{g,h}} $ $ {b_{g,h}} $ 分别表示船舶在东、北方向上的位置坐标。

3 实验与分析

为了验证基于视觉传达的船舶组合导航人机交互界面系统的整体有效性,需要对其做测试。

将各个系统的导航精度、定位误差、避障能力作为评价指标,采用基于视觉传达的船舶组合导航人机交互界面系统、文献[4]系统和文献[5]系统完成对比测试。

3.1 导航精度测试

在船舶组合导航过程中,采用导航误差均方根作为评价各系统导航精度的指标。误差均方根数值越小,表明该系统导航精度越高。3种系统的导航精度测试结果如图1所示。

图 1 不同系统的导航误差均方根 Fig. 1 Root mean square of navigation error of different methods

分析可知,设计系统的导航误差均方根均小于2.5 m,文献[4]系统与文献[5]系统的导航误差均方根分别在5.8 m与7.9 m附近波动,说明设计系统的导航准确性高于文献[4]系统与文献[5]系统的导航准确性。因为设计系统在组合导航过程中,采用边缘检测算法剔除了地图图像中的噪声,避免噪声对导航过程产生影响,进而提高了系统的导航精度。

3.2 轨迹规划能力和避障能力测试

在Matlab中构建船舶航迹模拟环境,设定点(30,2)为起点,(23,35)为终点,将设计系统、文献[4]系统和文献[5]系统在模拟环境中的航行轨迹与实际轨迹比较,测试结果如图2所示。

图 2 不同系统的航迹规划及避障能力测试结果 Fig. 2 Track planning results of different methods

分析图2(a)可知,设计系统规划的船舶轨迹与实际轨迹基本一致,文献[4]系统与文献[5]系统的船舶轨迹与实际轨迹相差较多。说明设计系统的轨迹规划效果强于文献[4]系统与文献[4]系统的轨迹规划效果。分析图2(b)可知,设计系统的航迹成功避开了5个障碍物,文献[4]系统只避开了2处障碍物,文献[5]系统虽然避开了4处障碍物,但航迹发生较大偏离。说明设计系统的避障能力强于文献[4]系统与文献[5]系统。

4 结 语

经测试发现,目前船舶组合导航人机交互界面系统存在导航精度低、轨迹规划效果差、避障能力弱等问题,为此提出基于视觉传达的船舶组合导航人机交互界面系统。该系统首先设计出多个模块组成的硬件平台,其次设计出图像去噪、特征提取和组合导航等软件程序。将其综合后实现船舶的导航。提高了导航精度与轨迹规划效果的同时,一定程度上也提高了系统的避障能力。

参考文献
[1]
梁晓峰, 张振华. 浅析船舶激光测风雷达技术应用及发展趋势[J]. 激光技术, 2021, 45(6): 768-775.
LIANG Xiao-feng, ZHANG Zhen-hua. Application and development trend of shipborne wind lidar[J]. Laser Technology, 2021, 45(6): 768-775.
[2]
包震洲, 俞鸿飞, 金文德, 等. 未知环境下机器人导航算法与避障算法研究[J]. 机械设计与制造, 2020(5): 257-260+264.
BAO Zhen-yun, YU Hong-fei, JIN Wen-de, et al. Research on robot navigation algorithm and obstacle avoidance algorithm in unknown environment[J]. Machinery Design & Manufacture, 2020(5): 257-260+264. DOI:10.3969/j.issn.1001-3997.2020.05.062
[3]
郭娜, 王田苗, 胡磊, 等. ACL重建手术增强现实导航系统的人机交互技术[J]. 计算机工程与应用, 2020, 56(21): 224-230.
GUO Na, WANG Tian-miao, HU Lei, et al. Human-computer interaction technology for ACL reconstruction surgical navigation system based on AR[J]. Computer Engineering and Applications, 2020, 56(21): 224-230. DOI:10.3778/j.issn.1002-8331.1908-0365
[4]
王琮, 陈安升, 陈帅, 等. MIMU/GNSS/ODO/高度计/航姿仪组合导航微系统硬件设计[J]. 航天控制, 2020, 38(5): 73-79.
WANG Cong, CHEN An-sheng, CHEN Shuai, et al. Hardware design of MIMU/GNSS/ODO/altimeter/attitude instrument integrated navigation system[J]. Aerospace Control, 2020, 38(5): 73-79. DOI:10.3969/j.issn.1006-3242.2020.05.012
[5]
王立冬, 朱进勇, 王品. 基于雷达的导航信息传递系统设计[J]. 中国惯性技术学报, 2020, 28(3): 386-390.
WANG Li-dong, ZHU Jin-yong, WANG Ping. Design of navigation information transfer system based on radar[J]. Journal of Chinese Inertial Technology, 2020, 28(3): 386-390.
[6]
陆兴鹏, 王明羽, 曹扬, 等. 一种基于帧图像的动态视觉传感器样本集建模方法[J]. 电子学报, 2020, 48(8): 1457-1464.
LU Xing-peng, WANG Ming-yu, CAO Yang, et al. A dynamic vision sensor sample set modeling method based on frame images[J]. Acta Electronica Sinica, 2020, 48(8): 1457-1464. DOI:10.3969/j.issn.0372-2112.2020.08.001
[7]
惠振阳, 胡海瑛, 李娜, 等. 基于多约束连通图分割的机载LiDAR点云滤波方法[J]. 激光与光电子学进展, 2022, 59(4): 425-434.
HUI Zhen-yang, HU Hai-ying, LI Na, et al. Airborne LiDAR point cloud filtering method based on multiconstrained connected graph segmentation[J]. Laser & Optoelectronics Progress, 2022, 59(4): 425-434.
[8]
石少冲, 陈鹏, 曾昭龙, 等. 基于时间序列分解与全连接神经网络的警情长周期时间序列预测[J]. 科学技术与工程, 2020, 20(13): 5186-5191. DOI:10.3969/j.issn.1671-1815.2020.13.026
[9]
谢光强, 杜宇凡, 陈俊宇, 等. 一种基于切换拓扑和事件触发机制的一致性协议[J]. 计算机应用研究, 2021, 38(3): 770-776.
[10]
蔡玉芳, 陈桃艳, 王珏, 等. 基于自适应滤波系数的非局部均值计算机层析成像的图像降噪方法[J]. 光学学报, 2020, 40(7): 44-52.
CAI Yu-fang, CHEN Tao-yan, WANG Jue, et al. Image noise reduction in computed tomography with non-local meansAlgorithm based on adaptive filtering coefficients[J]. Acta Optica Sinica, 2020, 40(7): 44-52.
[11]
马佳利, 朱智强, 戴乐育, 等. 多数据流并行卷积运算加速引擎研究与设计[J]. 计算机工程与设计, 2020, 41(12): 3557-3562.
[12]
郭中天, 王然风, 付翔, 等. 基于图像特征匹配的煤泥浮选泡沫速度特征提取方法[J]. 工矿自动化, 2022, 48(10): 34-39+54.
GUO Zhong-tian, WANG Ran-feng, FU Xiang, et al. Method for extracting froth velocity of coal slime flotation based on image feature matching[J]. Journal of Mine Automation, 2022, 48(10): 34-39+54. DOI:10.13272/j.issn.1671-251x.17991
[13]
郁明, 李旺林, 蓝盾. 基于优化自适应阈值的非线性机电系统传感器故障检测和主动容错控制[J]. 仪器仪表学报, 2022, 43(4): 26-37.
[14]
陈桥, 童宁宁, 胡晓伟, 等. 基于多观测向量块稀疏的MIMO雷达非理想正交波形成像[J]. 系统工程与电子技术, 2020, 42(12): 2747-2754. DOI:10.3969/j.issn.1001-506X.2020.12.10
[15]
蔡安江, 刘凯峰, 郭师虹, 等. 基于四元数衍生无迹卡尔曼滤波的二段式多旋翼无人机姿态估计算法[J]. 控制理论与应用, 2020, 37(2): 365-373.
CAI An-jiang, LIU Kai-feng, GUO Shi-hong, et al. Quaternion derivative unscented Kalman filter-based two-step attitude estimation algorithm for multi-rotor unmanned aerial vehicle[J]. Control Theory & Applications, 2020, 37(2): 365-373. DOI:10.7641/CTA.2019.80538