无人水面艇(unmanned surface vehicle, USV)是一种集环境感知、路径规划、导航控制功能为一体的无人水面平台,通过搭载相应任务载荷,能够执行不同的任务,尤适用于各种危险、重复及其他不适于有人船艇执行的任务场景。但因其体量小、携带能源有限,一般由母船携带并通过收放装置投送至特定的海域执行相应任务。当前无人艇的布放与回收一般在慢航速与低海况下人工操作进行,存在较大风险且效率低。高效、安全、可靠的无人艇自主布放和回收系统是无人艇推广使用亟需突破的瓶颈[1]。
无人艇的导航定位系统在无人艇布放回收中尤为关键,特别是在无人艇的回收过程。但目前无人艇回收基本还采用人工遥控手段,存在保障要求高、智能化水平低等问题。因此,急需开展无人艇自主回收过程的高精度导航定位技术研究。
本文阐述了无人艇自主回收过程中导航定位技术的应用现状,介绍了无人艇回收各个阶段的导航过程,对其中涉及的关键技术进行分析,包括无人艇多源导航信息融合技术和近距离视觉相对定位技术,最后对无人艇自主回收中的导航定位技术进行总结与展望。
1 自主回收过程的导航定位现状分析无人艇自主回收的导航定位可以划分为2个过程:第一个过程是无人艇从远距离作业地点返航到母船附近,这个过程只要给定母船位置,无人艇便可采用航路点导航方式到达母船周围,主要解决无人艇返航过程中自身定位的稳定性、抗干扰能力等问题。另一个过程是无人艇到达母船附近后,搜寻定位具体的对接目标位置,并导航至该对接位置。定位的前提是识别,因此首先采用视觉、激光雷达、声呐等环境感知设备检测识别出对接目标,然后根据感知设备原理的不同而采用相应的定位方法给出无人艇与目标间的相对位置,并实时跟踪靠近对接目标,重点解决对接目标的稳定性检测与高精度相对定位问题。此外,在近距离对接目标的相对定位过程中,还可根据无人艇的自身定位信息,给出对接目标的绝对位置信息,方便预备对接时预测目标的短期运动。
1.1 远距离无人艇导航定位技术发展现状目前,无人艇导航技术发展迅速,特别是组合导航定位技术得到越来越广泛的应用。惯性导航(INS)具备完全自主、不受地域限制和人为因素干扰等重要特性,但它的误差伴随时间积累,即便是高精度的INS长时间工作后,其误差也会超出任务精度的要求。卫星导航技术(GNSS)可以提供全天候、连续精确的位置、速度和时间信息,且定位误差有界,不随时间发散。因此,在 INS/GNSS组合导航系统中,GNSS提供的精确位置信息可以有效抑制INS的误差积累,从而实现长航时高精度导航。但是GNSS信号易受外界干扰与诱骗,在GNSS信号长期失效的情况下,INS/GNSS组合导航系统性能严重下降,影响无人艇返航的效率和安全[2]。
多普勒计程仪(DVL)作为一种速度传感器,可以提供载体精确的速度信息。INS/DVL 组合导航系统结构简单,可靠性高,无需任何先验知识和实时的外部辅助信息,具有完全独立性、自主性、隐蔽性、高精度等特点,位置误差随时间累积缓慢,在无人艇中也逐渐得到了广泛应用。但是,DVL的精度一方面受量测噪声影响,另一方面由于DVL与INS组合时只能提供载体的速度信息,需要通过惯导的姿态转换矩阵转换到导航坐标系下,引进了姿态误差。
此外,地磁、重力、地形等地球物理信息具有无积累误差的特点[3],可以用此信息对无人艇位置进行不定期的修正,但是该方法定位精度受模型分辨率、测量精度等影响较大,只能用于无人艇的辅助导航。
由此可见,不同的导航方式都有各自的优缺点,将INS,DVL和GNSS结合起来的组合导航方式具有更大优势,一方面INS/DVL可以在GNSS信号失效时仍然保持较高精度,另一方面,INS/GNSS可以及时修正DVL航位推算的误差。
1.2 近距离目标相对定位技术研究现状对接目标的识别与定位是无人艇自主回收的关键,也是反映其智能化水平的重要体现。基于视觉的导航定位方式,由于设备低廉,近距离检测精度较高,成为当前研究的热点。Volden[4]基于双目相机视觉原理设计了一种港口对接定位系统,使用ArUco检测器对标记物进行边角检测,双目边角特征经匹配后,通过三角法进行标志物位姿估计,实现了较高的定位精度。Angry–Nerds[5]基于单目相机和激光雷达数据融合原理,通过识别码头上的光学标记,实现无人艇与码头自动对接的功能。李传坤[6]基于双目云台相机设计了一种无人艇自主回收对接的方案,双目视觉识别定位“L”型对接标志的位置,以此推算收放装置与无人艇的相对位姿。李忠国[7]采用云台透雾相机、激光测距器实现了无人艇回收由远及近的导航定位功能,相机导航定位则是基于特定的圆形标志物。
以上都是基于无人艇单方视觉进行回收对接过程的导航定位,除了这种方式外,还有采用无人艇–收放装置间双视觉的导航定位方式[8-9],即无人艇和收放装置上均设有视觉感知设备,两视觉系统间通过无线通信共享导航信息,实现对接过程更加精确的导航定位。Yu[10]使用双视觉定位方法,在USV和对接站分别安装有大功率红外光源,便于USV和对接站上的相机进行成像,之后通过相机成像原理计算USV与对接站的相对距离与方位,取得较好的对接结果。徐海彬[11]设计了一种基于双视觉的USV自动回收定位系统,采用托架-USV双对准的视觉导引,使对接系统在二级海况的回收成功率达到90%以上。
由此可见,基于对接标志识别的视觉相对定位技术,具备较高近距离目标检测精度与定位精度,在无人艇近距离对接目标的相对定位中应用广泛。
2 总体方案设计及关键技术分析 2.1 自主回收导航系统总体设计将无人艇自主回收过程划分为5个阶段,包括返航阶段、对接目标搜寻阶段、靠近阶段Ⅰ、靠近阶段Ⅱ和对接阶段。在不同的阶段,由于场景的不同、传感器作用范围的限制以及导航需求精度的差异等,无人艇的导航定位方式也不尽相同。因此,结合GNSS、DVL、INS以及视觉导航(VS)的特点,针对回收过程各个阶段,设计导航系统框架如图2所示。
1)返航阶段
在远距离返航阶段,一般母船会率先将回收地点通过无线通信的方式发送给无人艇,无人艇在接收到回收地点位置信息后,根据终点位置规划出行驶航迹点。无人艇根据预先定义的航迹点,采用INS/GNSS/DVL组合导航方式行驶至母船附近,并将其坐标与当前的GNSS测量值进行比较。INS/GNSS/DVL的导航结构,将来自IMU的导航信息与GNSS的位置和速度更新以及DVL的速度信息融合在一起,以此修正IMU由于未对准、零偏漂移、积分累积等造成的误差。针对返航过程中GNSS存在短期信号丢失的情况,INS/GNSS/DVL组合导航退化为INS/DVL组合导航,待GNSS数据恢复后,需及时修正系统位置更新。
2)对接目标搜寻阶段
在无人艇回归到母船附近后,母船下放回收吊绳,导航系统转入第二阶段,即对接目标搜寻阶段。无人艇使用单目相机检测识别母船下放的吊绳,一旦单目视觉系统识别出目标吊绳,导航系统便由原先的INS/GNSS/DVL基于航迹点的导航切换到视觉导航模式。在视觉导航模式下,单目视觉系统采用Mean-shift和Kalman预测相结合的方法追踪目标吊绳,根据目标追踪结果,给出吊绳与无人艇间的粗略相对位置信息,然后根据该位置信息控制无人艇逐渐向吊绳位置靠拢。在距离吊绳一定距离后(5 m左右),控制无人艇在该位置停留几分钟,以此收集更多吊绳及母船吊放位置处的环境信息,为进一步的靠拢对接行动提供参考。
在此过程中,如果视觉系统失去对吊绳的视觉锁定,可随时使用惯性导航的方式进行短期导航。但是当视觉系统失去输出超过设定时间,系统需切换回INS/GNSS/DVL的导航方式,控制无人艇返回至之前规划的最后一个航点,并重新进行对接目标搜索。
3)靠近阶段I
无人艇继续向吊绳位置靠近,进入到单目相机和TOF深度相机的共同工作范围,TOF深度相机的视场比单目相机大得多,距离目标越近时,检测效果越好。在此阶段,单目相机目标跟踪区域大于设定阈值,可以准确检测出吊绳上光学标记特征点,并根据定位算法给出光学标记中心的三维坐标,以此得出吊绳较为精确的位置信息。与此同时,由于TOF深度相机采集图像目标区域较小,单独使用检测误差较大,所以将单目相机检测的目标区域(ROI)发送给TOF深度相机,之后深度相机从单目相机提供的ROI中处理该部分点云区域,以此输出更高精度的吊绳位置信息。
在此阶段,由于无人艇与吊绳距离的逐渐缩小,单目视觉更容易失去对目标的跟踪,如果发生这种情况且此时GNSS信号有输出,则系统切换到INS/GNSS/DVL的导航模式下。如果此时GNSS信号也由于干扰没有输出,则系统默认进入靠近阶段II。
4)靠近阶段II
在靠近的第二个阶段,由于距离吊绳位置更近,单目视觉失去对目标的检测与定位效果,转而采用光流运动估计的方法估计无人艇的运动信息(类似于视觉里程计)。由于此时TOF深度相机距离目标更近,可以自行检测目标的相对位置,不再需要单目相机提供ROI区域。因此,在该阶段TOF深度相机在目标检测与定位中发挥着主导作用。
5)对接阶段
综合INS/GNSS/DVL的无人艇定位数据与目标检测的相对定位数据,得出吊绳在世界坐标系下的绝对运动,之后根据吊绳的绝对运动采用运动预测算法,预测吊绳对接的平静期。如果在一定时间段内没有合适的对接窗口,则控制无人艇返回初始目标搜寻位置,重新进行目标搜寻与跟踪,以确保对接安全。
2.2 关键技术 2.2.1 无人艇多源导航信息融合技术无人艇自身的导航定位技术贯穿整个自主回收过程,是影响无人艇控制精度的重要因素。无人艇导航系统常用的传感器有捷联惯导、全球卫星定位系统、多普勒计程仪、可见光相机等,单独使用都存在各种弊端,INS/GNSS/DVL/VS等多源信息组合导航的方法不仅可以克服惯导误差随时间累积的问题,还可以在GNSS信号受到干扰或屏蔽时提供长时的高精度导航信息,在无人艇的导航定位中应用越来越广泛。
多传感器组合滤波方式分为集中式滤波与分散式滤波,其滤波原理通常采用卡尔曼滤波的方式。集中式卡尔曼滤波包含所有传感器的量测信息,遵循最优估计准则,求解状态量的最优估计,导航参数结果较为精确,但单个滤波器的结构,容错性差且计算复杂。而分散式滤波结构较为灵活,运算简单,具有一定的容错能力。关于分散式滤波的改进型滤波方法种类繁多,各有优缺点,其中以 Carlson[12]提出的联邦卡尔曼滤波应用最为广泛。该方法采用信息分配方式与方差上界技术,消除局部估计间的相关性,获得与集中式精度相当的全局最优估计。
联邦卡尔曼滤波器的状态方程、量测方程:
$ \left\{\begin{array}{l} X_{k+1}=\varPhi_{k} x_{k}+\varGamma_{k} \omega_{k},\\ Z_{k}=H_{k} x_{k}+v_{k}。\end{array}\right. $ |
1)时间更新
$ \left\{\begin{array}{l} X_{k+1 / k}^{i}=\varPhi_{k+1 / k}^{i} X_{k}^{i}, i=1 \cdots N, m ,\\ P_{k+1 / k}^{l}=\varPhi_{k+1 / k}^{l} P_{k}^{l} \Phi_{k+1 / k}^{{\rm{T}}}+\varGamma_{k}^{i} Q_{k}^{i} \Gamma_{k}^{i {\rm{T}}}。\end{array}\right. $ |
2)量测更新
$ \left\{\begin{array}{l} K_{k+1}^{i}=P_{k+1 / k}^{i} H_{k+1}^{i}\left(H_{k+1}^{i} P_{k+1 / k}^{z} H_{k+1}^{{\rm{T}}}+R_{k+1}^{i}\right)^{-1} ,\\ X_{k+1}^{i}=X_{k+1 / k}^{i}+K_{k+1}^{i}\left(Z_{k+1}^{i}-H_{k+1}^{i} X_{k+1 / k}^{t}\right) ,\\ P_{k+1}^{l}=\left(I-K_{k+1}^{i} H_{k+1}^{i}\right) P_{k+1 / k}^{i}, i=1 \cdots N 。\end{array}\right. $ |
3)信息融合
$ \left\{\begin{array}{l} P_{k+1}^{g_{+1}}=\left[\displaystyle\sum_{i=1}^{N}\left(P_{k}^{l}\right)^{-1}\right]^{-1}, i=1 \cdots N, m ,\\ X_{k+1}^{g_{+1}}=P_{k+1}^{g_{+1}}\left[\displaystyle\sum_{l=1}^{N}\left(P_{k}^{i}\right)^{-1} X_{k+1}^{t}\right]。\end{array}\right. $ |
4)信息分配与反馈
$ \left\{\begin{aligned} &Q_{k}^{i}=\beta_{i}^{-1} Q_{k}^{g},\\ &P_{k}^{i}=\beta_{i}^{-1} P_{k}^{g},\\ &\displaystyle\sum_{i=1}^{N} \beta_{i}=1,\\ &X_{k}^{i}=X_{k}^{g}, i=1 \cdots N, m。\end{aligned} \right. $ |
信息分配系数是联邦滤波器构建的关键,对滤波器的精确度、容错性和复杂度等均有影响。传统联邦滤波器信息分配系数均以固定值的方法进行计算,常见的是根据系统的子滤波器个数进行平均分配[13]。但在实际的导航场景中,每个子滤波器的估计精度及对应传感器的精度均不相同,而且伴随环境变化,采用传统的平均比例信息分配方法不能反映各子系统的精度大小,无法得到系统的最优估计。因此在实际应用中,有必要根据子滤波器估计精度实时调整各子滤波器的信息分配系数,以此调整各子滤波器估计值的融合权重,实现自适应最优状态估计的效果。基于此,设计INS/GNSS/DVL/VS等多源导航自适应联邦滤波结构,如图3所示。
无人艇导航到母船附近后,需要识别与定位母船上的无人艇对接装置,该阶段一般采用视觉相机进行目标的检测与识别,提取图像中的目标特征点,在已知实际目标特征点在目标参考坐标系中位置的情况下,利用图像特征点与实际目标特征点之间的对应关系,根据摄像机模型,求取目标到摄像机坐标系的位姿转换关系,最后获取目标在摄像机坐标系下的三维坐标。设计对接装置,采用单目相机识别与定位吊绳位置,由于吊绳表面特征较少,为增强检测效果,在与相机视场等高度的吊绳位置周围布设圆形光学标记,光学标记每5个为一组等间距垂直排列,总共4组分布在吊绳四周,这样无人艇从各个方位向吊绳靠拢都能检测到足够的目标特征点,提高位姿求解精度。
对接开始时,相机距离吊绳较远,无需提供精确的定位信息,只需给出吊绳在摄像机坐标系中的近似方位信息,以便跟踪目标;当相机距离吊绳对接标记较近时,可成功提取足够的特征点,这时可由位姿估计算法求解精确目标信息。整个算法过程如图4所示,主要包括:图像预处理、目标检测与跟踪、特征点检测与跟踪、位姿求取、相对位置获取。
利用n个目标已知特征点估计目标位姿属于PnP问题[14-15]。一般根据图像特征点与世界坐标系下的对应坐标,恢复出透视投影矩阵,进而得到相应的位姿转换关系。POSIT算法[16]具有复杂度较低、收敛速度较快、稳定性较高的优点,在利用POSIT算法求取目标位姿时,已知吊绳上5个垂直排列特征点在目标参考系中的位置(至少需要4个特征点),采用尺度正交投影模型,将各个特征点的像素点位置和在实际目标中的位置匹配起来,然后通过求解线性方程组得到表征目标物体位姿的旋转矩阵和平移向量的估计值,之后将得到的位姿参数的估计值为初值,计算出特征点更准确的尺度正交投影点,由此迭代循环,直到计算结果满足精度要求为止。
此外,由于单目相机视场角有限,在吊绳距离较近时,容易失去对目标的跟踪。而TOF深度相机视场角较大,比较适合吊绳近距离的检测,所以采用单目相机和TOF深度相机的双视觉冗余定位方法,极大提高了无人艇近距离的目标定位精度。
3 结 语无人艇自主回收是个复杂的工程问题,导航定位系统直接影响着无人艇回收的智能化水平。
1)具有自适应能力的多源信息组合导航方法在无人艇回收过程的引导中起着关键作用。要综合各分系统定位、导航、授时要求和能力,从全系统角度出发,通过分系统的协同和信息融合,提升系统抵御电磁干扰和自适应能力,防止系统由于受到局部影响而产生的导航、定位能力下降。
2)基于图像的深度学习检测方法及视觉相对定位技术将在无人艇近距离对接引导中发挥主导作用。探索光照变化强度大、人工标记部分被遮挡以及无人工标记等复杂环境下,计算机视觉仍保持较高检测精度与定位精度的鲁棒方法,具有重要的研究意义。
3)多传感器信息融合技术是提高导航系统可靠性、鲁棒性的有效方法。要根据无人艇回收过程各阶段场景的不同、导航精度的不同,综合考虑各异构传感器的特点,采用信息挖掘、信息融合等技术,深度利用各传感器信息,提供满足各阶段精度要求、高可靠性的导航技术方案。
[1] |
张晓东, 刘世亮, 刘宇, 等. 无人水面艇收放技术发展趋势探讨[J]. 中国舰船研究, 2018, 13(6): 50-57. |
[2] |
王巍, 邢朝洋, 冯文帅. 自主导航技术发展现状与趋势[J]. 航空学报, 2021, 42(11): 525049. |
[3] |
胡常青, 朱玮, 何远清, 等. 无人水面艇自主导航技术[J]. 导航与控制, 2019, 18(1): 19-26. DOI:10.3969/j.issn.1674-5558.2019.01.003 |
[4] |
VOLDEN Ø, STAHL A, FOSSEN T I. Vision based positioning system for auto docking of unmanned surface vehicles (USVs)[J]. International Journal of Intelligent Robotics and Applications, 2021.
|
[5] |
PARK J H, KANG M J, KIM T Y, et al. Development of an Unmanned Surface Vehicle System for the 2014 Maritime RobotX Challenge[J]. Journal of Field Robotics, 2017, 34(4): 644-665. DOI:10.1002/rob.21659 |
[6] |
李传坤, 刘宇, 张海燕, 等. 一种用于无人艇回收的视觉引导装置及方法[P]. 中国专利: CN110162042A, 2019-08-23.
|
[7] |
李忠国, 许晨, 唐炜, 等. 一种无人艇起吊回收视觉引导方法[P]. 中国专利: CN107830860B, 2019-09-27.
|
[8] |
王泉斌, 高瀚林, 李伟光, 等. 无人艇艉滑道自动引导回收的目标跟踪识别装置[P]. 中国专利: CN113341965A, 2021-09-03.
|
[9] |
余文勇, 乔瑜, 王泉斌, 等. 一种基于图像的无人艇回收方法及系统[P]. 中国专利: CN111366959B, 2021-11-30.
|
[10] |
YU W Y, WANG J, TANG G Y, et al. Dual-attention-based optical terminal guidance for the recovery of unmanned surface vehicles[J]. Ocean Engineering, 2021, 239: 109852. DOI:10.1016/j.oceaneng.2021.109852 |
[11] |
徐海彬, 刘畅, 田建东, 等. 基于视觉和定位系统的无人艇自主对接系统[J]. 计算机工程与设计, 2021, 42(9): 2606-2613. |
[12] |
汤世松. 水面无人艇组合导航系统的研究与设计[D]. 南京: 东南大学, 2015.
|
[13] |
JUN D, XIANG Y H, SONG L, et al. Research on UAV robust adaptive positioning algorithm based on IMU/GNSS/VO in complex scenes[J]. Sensors, 2022, 22: 2832. DOI:10.3390/s22082832 |
[14] |
狄春雷, 于利, 潘思, 等. 基于局部相对定位的空地子母机器人自主收放引导系统与技术研究[J]. 无人系统技术, 2020, 3(6): 68-78. |
[15] |
LIN Shanggang. Vision based shipboard recovery of unmanned rotorcraft [D]. South China University of Technology, 2016.
|
[16] |
孔维玮. 基于多传感器的无人机自主着舰引导与控制系统研究[D]. 长沙: 国防科技大学, 2017.
|