舰船科学技术  2023, Vol. 45 Issue (9): 108-111    DOI: 10.3404/j.issn.1672-7649.2023.09.023   PDF    
视觉引导技术在无人机着舰过程的应用
姜珺珺     
江西科技学院,江西 南昌 330098
摘要: 由于无人机具有成本低、体积小等优点,在海洋监测、海上测绘等方面得到广泛应用,随之而来的无人机着舰系统的研究成为热点。本文基于视觉引导技术,构建一种无人机着舰系统。对该系统的工作原理和关键技术进行了阐述,通过实验研究表明,该系统对不同标志可以实现精确的识别,无人机在不同高度下均可成功、精确地着舰,着舰偏差较小。
关键词: 无人机     自主着舰     视觉引导     着舰时间    
Research on the application of visual guidance technology in UAV landing process
JIANG Jun-jun     
Jiangxi University of Technology, Nanchang 330098, China
Abstract: Due to the advantages of low cost and small size, UAV is widely used in ocean monitoring, marine mapping and so on. In this paper, based on the technology of vision guidance, a kind of UAV landing system is constructed, and the principle and key technology of the system are described, the system can recognize different marks accurately, and the UAV can successfully and accurately land on the ship at different altitudes with small landing deviation.
Key words: UAV     autonomous landing     visual guidance     landing time    
0 引 言

无人机由于具有体积小、成本低、对工作环境要求低等特点,在军事、民用等领域已经得到了广泛应用。在军事方面,由于无人机体积小,不易被发现,主要用于侦察、监视、追踪等工作。在民用方面,由于无人机可以在较为恶劣的环境下工作,主要用于环境监测、地形测绘、抢险救灾等领域。

无人机不仅可以在陆地上工作,还可以在舰船上完成各项任务,比如探测海洋信息、监测海面险情等。无论是在陆地上,还是在舰船上,无人机的回收是非常重要的一项工作,常用的回收方式有降落伞回收、撞网回收、钩绳回收[1]。这几种回收方式在很大程度上都属于被动式方法,对无人机本身以及机载的仪器都会造成一定的损伤。因此,研发无人机自主降落系统。

目前,无人机自主降落系统主要包括陆地上的自主着陆系统和舰船上的自主着舰系统。相较于着陆,由于舰船面积有限、舰船运动、海洋情况以及天气等各方面的影响,无人机的着舰难度更大。本文基于计算机视觉引导技术,设计了无人机自主着舰系统。

1 无人机着舰中的坐标系及关键参数

无人机着舰的过程大概可以分为待机阶段、进近阶段、下降阶段,如图1所示。在着舰的整个过程中,无人机从进近阶段进入下降阶段前,会经过摄像机捕捉区域,进入该区域后,视觉引导系统捕捉到无人机,实时发送船舰位置信息至无人机,并根据位置信息、海洋环境参数等设计着舰轨迹。无人机沿着预定着舰轨迹下降,并根据控制系统生成的控制指令,对无人机的姿态进行实时调整,降落至预定着舰点,从而实现安全着舰。

图 1 舰载无人机着舰过程 Fig. 1 The process of landing a ship-borne unmanned aerial vehicle

无人机着舰的视觉引导中需要用到3个坐标系:世界坐标系、摄像机坐标系和图像坐标系,如图2所示[2]

图 2 视觉导航中的坐标系 Fig. 2 Coordinate system in visual navigation

世界坐标系( $ {X_w} $ $ {Y_w} $ $ {Z_w} $ )一般情况下是在物体和摄像机当成一个整体考虑时定义的,摄像机坐标系( $ {X_c} $ $ {Y_c} $ $ {Z_c} $ )是以摄像机光心为原点, $ {Z_c} $ 与摄像机的光轴 $ O'{O_w} $ 重合, $ {O_c} $ 是光轴的中心。平面 $ S $ $ S' $ 分别为图像的正片与负片的位置, $ U $ $ V $ 分别为像素在数字图像中的列数和行数。摄像机坐标系和图像坐标系之间的转换关系可表示为:

$ \left[ {\begin{array}{*{20}{c}} u \\ v \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\displaystyle\frac{1}{{{\rm{d}}X}}}&0&{{u_0}} \\ 0&{\displaystyle\frac{1}{{{\rm{d}}Y}}}&{{v_0}} \\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {\displaystyle\frac{{{x_c}}}{{{z_c}}}f} \\ {\displaystyle\frac{{{y_c}}}{{{z_c}}}f} \\ 1 \end{array}} \right] 。$ (1)

其中: $ f $ 为摄像机焦距;( $ {u_0} $ $ {v_0} $ )为原点 $ O $ 的坐标;( $ u $ $ v $ )为像素坐标。

在无人机着舰过程中,需要根据环境情况实时调整无人机姿态,关于无人机姿态角的定义如图3所示[2-3]

图 3 视觉导航中的姿态角 Fig. 3 Attitude angle in visual navigation

滚转角 $\varOmega$ 是指无人机机体坐标系(由于摄像机是装载在无人机上的,无人机机体坐标系就是摄像机坐标系) $ {O_c}{Y_c} $ 轴和世界坐标系 $ O{}_W{Z_w} $ 轴之间的夹角;偏航角 $ \alpha $ 是指机体坐标系中 $ {O_c}{Z_c} $ 轴在世界坐标系中的投影和 $ {O_W}{Y_w} $ 的夹角;俯仰角 $ \phi $ 是指机体坐标系中 $ {O_c}{Z_c} $ 轴与世界坐标系中对面所成的夹角。

2 无人机自主着舰系统 2.1 系统整体设计

无人机不是一个独立的系统,而是由地面控制系统、信息采集系统和飞机平台系统组成。地面控制系统包括无线电控制、GPS导航、计算机和数据处理;信息采集系统包括摄像机、传感器等;飞机平台系统包括传感器、信号处理、飞机动力系统等。

本文基于计算机视觉引导技术构建了一种无人机自主着舰系统,该系统的主要组成结构如图4所示,主要包括视觉引导模块和无人机控制模块。在建立了舰船运动模型的前提下,视觉引导模块根据舰船运动模型提供的舰船运动信息,结合摄像机捕捉的图像,对着舰轨迹进行规划,并将生成的着舰轨迹输入控制模块,考虑着舰区域的环境参数,对无人机进行姿态调整,并沿预定轨迹实现着舰。

图 4 无人机自主着舰系统结构图 Fig. 4 Structure diagram of UAV autonomous landing system

舰载无人机的着舰过程受到很多因素的干扰,如海风、海上气流、舰船的运动状态以及舰船附近的气流等,在生成着舰轨迹和对无人机姿态控制时,必须考虑这些干扰因素。

2.2 舰船运动模型

无人机在着舰过程中,需要不停地接收舰船的位置信息,从而做出合理的轨迹规划,但舰船不是一个静止的目标,在航行中,由于受到海浪影响做不规则运动,有必要建立舰船的运动模型。

图5所示,以舰船质心所在平面为平衡位置,在航行过程中,舰船在平衡位置附近做简谐摇荡运动, $ O $ 为舰船质心, $ \alpha $ 为横向摇荡的角度, $ \beta $ 为纵向摇荡的角度, $ h $ 为升降的高度。

图 5 简化的舰船运动模型 Fig. 5 Simplified model of ship motion

在简化模型下,横向摇荡的角度,纵向摇荡的角度,升降的高度可以用式(2)来计算[4]

$ \left\{ { \begin{gathered} \alpha \left( t \right) = A{\rm{sin}} \left( {\frac{{2 {\text π} }}{{{T_\alpha }}}t + {\delta _\alpha }} \right),\\ \beta \left( t \right) = B{\rm{sin}} \left( {\frac{{2{\text π} }}{{{T_\beta }}}t + {\delta _\beta }} \right),\\ h\left( t \right) = C{\rm{sin}} \left( {\frac{{2{\text π} }}{{{T_h}}}t + {\delta _h}} \right)。\\ \end{gathered}} \right.$ (2)

其中: $ A $ $ B $ $ C $ 分别为横摇角度,纵摇角度和升降高度的最大值; $ {T_\alpha } $ $ {T_\beta } $ $ {T_h} $ 分别为横向摇动,纵向摇动,升降的周期; $ {\delta _\alpha } $ $ {\delta _\beta } $ $ {\delta _h} $ 分别为横向摇动,纵向摇动,升降的随机相位[5]。式(2)为本文采用的舰船运动简化模型,在后续的研究中,可以建立更详细的舰船运动模型。

2.3 图像分割和目标识别

在无人机着舰过程中,视觉引导主要应用在对舰船目标的识别、提取。无人机返舰船时,对舰船进行实时跟踪、识别,由于舰船一直处于运动状态,同时,海浪对舰船的运动也产生不小的影响,再加上海面的光线的变化,都对无人机识别舰船增加了难度。

无人机在接近舰船时,摄像机中的舰船目标变得越来越清晰,但由于海面背景中的稳定特征比较少,需要采用图像分割的方法对船舰进行分离。目前常用的基于图论的交互式分割方法有Interactive Graph cuts,Grab cut,Random Walk,但在无人机着舰过程中很难利用这些方法实现良好的图像分割效果。

本文选择基于Frequency-tuned(FT)和随机游走的舰船目标自动分割方法,主要利用舰船在海面背景中比较突出这一特点,采用FT方法对图像进行处理,提取边缘信息,并做好标记点,再结合随机游走的分割方法实现舰船的自动分割[3]图6为基于FT和随机游走的分割方法和其他几种方法对不同的图像进行分割的成功率对比。

图 6 不同分割方法的成功率对比 Fig. 6 Comparison of the success rates of different segmentation methods

可以看出,相较于其他3种方法,基于FT和随机游走的分割方法成功率接近100%,几乎不存在误分割的情况。在实验中也发现,这种方法的实现时间相对最快,效率较高。

对舰船目标进行识别之前首先要对舰船进行特征提取,然后根据提取的特征进行比较分类。这里的特征有很多,比如纹理、轮廓、灰度等,一般情况下,要以目标的物理特征为主,以舰船为例,包括舰船以及着舰区域的形状和大小、舰船的相对运动位置等。

由于舰船目标较为光滑,具有比较明显的几何特征信息,可以选择形状特征进行提取,本文采用仿射不变矩的方法[6]

2.4 实验结果

无人机能否成功着舰,受到很多因素的影响[7]。本文只讨论风速、着舰高度对着舰时间和着舰精度的影响。

首先研究不同风速下,无人机着舰时间以及着舰精度的偏差,实验中着舰标志为“H”形标志,实验高度为20 m,实验结果如图7所示。

图 7 不同风速下的实验结果 Fig. 7 Experimental results at different wind speeds

图7(a)可以看出,风速越大,所需的着舰时间越长,变化明显,尤其是当风速从8 m/s增大到10 m/s时,着舰时间急速增大。同样,从图7(b)着舰偏差上也可以观察到相同的结果,而当风速为10 m/s时,由于风速过大,无人机几乎无法成功着舰,已超出着舰标志的范围。

分别对圆形、“H”形、“L”形3种标志在不同下降高度下进行着舰时间以及着舰精度偏差两方面的研究,实验数据是在海上风速大约为6 m/s时得到的,实验结果如图8所示。

图 8 不同标志下的性能测试实验结果 Fig. 8 Performance test results under different signs

可以看出,不同标志的着舰时间变化较小,着舰时间随着下降高度的增加而增加,而不同标志的着舰偏差对比比较明显,圆形标志的偏差在每个高度下都是最小的,导致这种结果的原因可能是标志形状不同导致在视觉引导过程中图像处理的效果不同。

3 结 语

基于视觉引导的无人机着舰系统,可以较好地完成着舰任务。在着舰过程中利用视觉引导技术,识别目标,进行精准的着舰。后续研究中,可以在图像处理方面进行优化,减少信息的处理时间,提高实时性。同时,还需要在恶劣环境下对着舰系统的性能进行改进和优化。

参考文献
[1]
闫明松. 舰载无人机作战使用及关键技术综述[J]. 航空电子技术, 2020, 51(2): 16–20.
[2]
黄楠楠. 无人机视觉辅助着舰导航[D]. 西安: 西安电子科技大学, 2015.
[3]
桂阳. 基于机载视觉的无人机自主着舰引导关键技术研究[D]. 长沙: 国防科学技术大学, 2013.
[4]
刘应中, 缪国平. 船舶在波浪上的运动理论[M]. 上海: 上海交通大学出版社, 1986.
[5]
王广彪, 李华伟, 丁文锐, 等. 无人机在运动舰船上着舰视觉导引技术研究[J]. 中国电子科学研究院学报, 2012, 7(3): 274-278+283. DOI:10.3969/j.issn.1673-5692.2012.03.011
[6]
强会英, 李雨虹, 王洪申, 等. 基于HMM和仿射不变矩三维模型归类与检索算法[J]. 制造业自动化, 2019, 41(3): 34-40. DOI:10.3969/j.issn.1009-0134.2019.03.009
[7]
许东松, 刘星宇, 王立新. 变化风场对舰载飞机着舰安全性影响[J]. 北京航空航天大学学报, 2010, 36(1): 77-81.