2. 上海交通大学 机械与动力工程学院,上海 200240
2. School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China
海底含有丰富的资源,水下机器人对近底资源的勘测与开发起到重要作用。在近底水下资源探测任务中,中小型水下潜器有操纵灵活、调试方便、造价低廉等优点,且水下机器人定位信息可以提供海底资源正确的位置,中小型水下机器人自主定位技术的研究在近底资源勘测任务中是必要的。传统的水下自主定位技术主要分为惯性定位、声学定位和地理特征定位。惯性定位主要设备有加速度计和陀螺仪,通过航位推算不断推得AUV自身位置,但存在随时间积累的误差漂移。声学定位主要设备有多普勒测速仪(DVL)、长基线(LBL)、超短基线(USBL)。由于水下没有GPS信号,通常通过LBL、USBL来当作GPS的替代品,但LBL、USBL需要比较准确的初始校准,在水下机器人运行期间螺旋桨产生的空泡会对LBL、USBL造成影响[1 − 3]。目前水下定位技术以惯性定位和声学定位为主,其使用的传感器设备比较昂贵。观察型AUV携带的设备空间有限,如果传感器设备发生故障,在没有额外导航信息情况下会导致定位失效。地理特征定位技术是通过水下环境特征提供额外的定位信息,视觉辅助定位就是其中的技术之一。随着处理器技术和水下相机分辨率的提高,水下视觉辅助定位变得可行[4]。
现有的水下视觉辅助定位主要有水下SLAM方法和视觉辅助导航方法。张强等[5 − 7]对水下地形辅助导航算法的综合水下机器人在水下利用地形特征辅助进行惯性导航,主要基于相关性的匹配算法、基于滤波的算法和基于同时定位与构图(SLAM)3种算法。Wang等[8]介绍了水下 SLAM 的系统结构和发展现状,提出了水下SLAM未来可能遇到的问题。朱益贤等[9]提出了融合测深和测距信息的水下同步定位与建图技术,并结合海上实测数据开展回放式仿真试验,传统的SLAM系统在水下应用的过程中由于视觉受限和水下环境条件的不断变化而存在局限性。Merveille等[10]提出了增强水下SLAM导航和感知及深度学习集成的综合综述,其中大部分水下SLAM技术和深度学习技术都需要大量的计算成本。目前的通过水下SLAM算法来实现导航定位的研究大多停留于理论阶段,中小型水下机器人由于装备的其信息处理设备的计算能力不足以支持如此庞大的算法,无法满足中小型水下机器人的水下导航作业任务的实时性和稳定性,因此,较小计算量的水下视觉辅助导航算法更适合于中小型水下潜器的近底探测任务。金守峰等[11]提出了基于运动模糊图像的车载视觉测速方法,提出通过运动模糊图像进行图像处理提取出运动模糊尺度实现小车的辅助测速。由于水下环境复杂,深水作业的近底观测型水下机器人往往都加装了防水壳,在处理水下运动模糊图像的时候需要对防水壳引起的折射影响进行修正。
本文提出一种面向水下近底运动模糊图像的辅助测速方法来实现在近底水下组合导航传感器偶尔失灵的时候进行辅助导航,建立了水下折射修正的基于水下运动模糊图像的测速模型,验证了所提出方法的准确性、有效性、实用性。
1 基于水下折射修正的水下运动模糊图像的测速模型的建立利用水下图像的模糊拖影估算得到水下机器人的运动速度,对于环境复杂的水下导航任务存在的水下传感器信息丢失的问题进行辅助导航,使水下组合导航系统的鲁棒性得到了提高。建立了基于运动模糊图像的水下测速模型,基于小孔成像原理得到了水下运动模糊图像的拖影长度与水下机器人的运动速度之间的关系。考虑到目前水下机器人的任务更多存在于深水海底,针对深水作业配备的防水壳对基于运动模糊图像的水下测速模型产生的影响,提出的模型对光的折射的影响进行了修正,使得通过运动模糊图像估算的速度更加准确。
1.1 基于水下运动模糊图像的测速模型依据运动模糊图像生成的原理,建立了基于水下运动模糊图像的测速模型,得到了水下潜器运动速度与运动模糊图像的运动模糊尺度的关系。本文提出的基于水下近底运动模糊图像的辅助测速方法的作业环境为近底且水质较为清澈的区域,以防止光在水中能量衰减过快导致光强度不足和水质浑浊对成像产生影响。在完成近底观测任务的同时获得有效的水下近底图像如图1(a)所示。本文的CCD相机快门选择的是相较于全局快门廉价的卷帘快门,其缺点是在拍摄运动的图像时存在拖影如图1(b) 所示。本文通过建立基于水下运动模糊图像的测速模型,估计出水下机器人相对海底的运动速度信息对低成本水下机器人的组合导航系统进行辅助导航。
|
图 1 水下近底作业环境和水下运动模糊原始图像 Fig. 1 Underwater near-bottom operating environment and underwater motion blurred original images |
在静止状态下拍摄的图像一个现实的景象点透过光圈O投影到CCD感光元件形成一个对应的像素点,但在相机与拍摄图像存在相对运动时如图1(b) 所示,一个像素点则弥散成一个平面,形成了模糊图像,可以用点扩散函数的图像变换来表示为:
| $ b(x, y) = p(x, y) * a(x, y) + w(x, y)。$ | (1) |
其中:
|
图 2 基于水下运动模糊图像的测速模型 Fig. 2 Underwater near-bottom operating environment and underwater motion blurred original images |
图2中,选取任一点
| $ D = V \times T。$ | (2) |
根据小孔成像模型,相机与地面间的相对位移
| $ \frac{D}{d} = \frac{H}{f}。$ | (3) |
其中,图像模糊弥散长度
| $ d = L \times s。$ | (4) |
式中:
根据式(1)~式(3)可以得出运动模糊尺度
| $ V = \frac{H}{f} \times \frac{1}{T} \times L \times s。$ | (5) |
式中:焦距
本节分析水下密封装置及水体折射对成像的影响,对水下运动模糊图像的测速模型进行了折射修正,得到了水下折射修正的基于水下运动模糊图像的测速模型,并在水下相机的小视场角前提下进行了水下潜器运动速度与运动模糊图像的运动模糊尺度关系的简化,得到了两者的折射修正后的数学关系。
水下机器人在近底环境执行观测任务时,为满足深水作业的需求,往往水下CCD相机会加装防水壳来抵御外界的水的压力。从而对基于水下运动模糊图像的测速模型产生界面折射的影响如图3所示。其中,
|
图 3 单一像素点的水下折射模型 Fig. 3 Modeling underwater refraction at a single pixel point |
| $ {n_{\rm air}}\sin \theta _{\rm air}^{} = {n_{\rm water}}\sin \theta _{\rm water}。$ | (6) |
由图3可知,水下CCD相机加入防水壳引起界面折射后,对应的单一像素点就不满足式(3)的比例关系,因此,对于图2的基于水下运动模糊图像的测速模型加入防水壳引起的界面折射得到了水下折射修正的基于水下运动模糊图像的测速模型,见图4,
|
图 4 水下折射修正的基于水下运动模糊图像的测速模型 Fig. 4 Underwater refraction-corrected velocimetry model based on blurred images of underwater motion |
图4中,
由于水下相机的视场角为锐角,根据图4水下折射修正的测速模型中的几何关系,通过式(7)和式(8)的两处数学近似来对测速模型进行简化:
| $ \frac{1}{{{{1.33}^2} - \sin \theta {_{{\text{air }}}^{j2}}}} \approx \frac{1}{{{{1.33}^2} - \sin \theta {_{{\text{air }}}^{i2}}}},$ | (7) |
| $ \sqrt {1 + \frac{{1 - {{1.33}^2}}}{{{{1.33}^2} - \sin \theta _{{\text{air}}}^j}}} \approx 1 + \frac{1}{2}*\frac{{1 - {{1.33}^2}}}{{{{1.33}^2} - \sin \theta {_{{\text{air}}}^{j2}}}}。$ | (8) |
再代入图3中的几何关系得到下式:
| $ VT = \left( {\tan \theta _{{\text{air }}}^j - \tan \theta _{{\text{air }}}^i} \right) * \left( {d + H + \frac{H}{2} * \frac{{1 - {{1.33}^2}}}{{{{1.33}^2} - \sin \theta _{{\text{air }}}^j}}} \right) ,$ | (9) |
| $\begin{aligned} x_{{\text{refract }}}^i -& x_{{\text{refract }}}^j = d\left( {\tan \theta _{{\text{air }}}^j - \tan \theta _{{\text{air }}}^i} \right) = \\ & {e^*}\frac{{VT}}{{\left( {e + H + \displaystyle\frac{H}{2}*\displaystyle\frac{{1 - {{1.33}^2}}}{{{{1.33}^2} - \sin \theta _{{\text{air }}}^{j2}}}} \right)}} = \frac{{L{s^*}e}}{f}。\\ \end{aligned} $ | (10) |
因为
| $ e + H + \frac{H}{2}*\frac{{1 - {{1.33}^2}}}{{{{1.33}^2} - \sin \theta {_{{\mathrm{air}}}^{j2}}}} \approx H + \frac{H}{2}*\frac{{1 - {{1.33}^2}}}{{{{1.33}^2} - \sin \theta {_{{\mathrm{air}}}^{j2}}}}。$ | (11) |
定义折射修正参数
| $ r = 1 + \frac{1}{2}*\frac{{1 - {{1.33}^2}}}{{{{1.33}^2} - \sin \theta _{{\text{air }}}^{j2}}}。$ | (12) |
得到水下折射修正的基于水下运动模糊图像的测速模型关系为:
| $ V = r(\theta ) \times \frac{H}{f} \times \frac{1}{T} \times L \times s。$ | (13) |
式中:折射修正参数
|
图 5 折射修正参数的数据分析 Fig. 5 The analysis graph for refractive correction parameters |
| $ E = \frac{{r(0) - r(\theta )}}{{r(0)}} \times 100。$ | (14) |
可知,在在入射角
通过对运动模糊图像进行二维离散傅里叶变换进行频谱分析,根据运动模糊图像频谱具有sinc函数特点得出频谱的明暗相间条纹生成的原因,以及暗条纹间距与运动模糊尺度的关系。通过canny特征提取的方法得到模糊图像频谱的暗条纹间距,进而确定了运动模糊图像的运动模糊尺度。
在低速水下观测作业背景下,式(1)中的点扩散函数
| $ p(x,y)=\left\{\begin{aligned} & \displaystyle\frac{1}{L},\sqrt{x^2+y^2}\leqslant L,y=x\cdot\mathrm{tan}\theta,\\ & 0,\text{ 其他}。\end{aligned}\right. $ | (15) |
式中:L为运动模糊尺度;
根据式(1)在忽略加性噪声w(x,y)的情况下,进行离散傅里叶变换有:
| $ B(u,v) = P(u,v)A(u,v)。$ | (16) |
式中:
| $ {x}_{0}(t)=\frac{a}{T}t;{y}_{0}(t)=\displaystyle\frac{b}{T}t。$ | (17) |
其中,在曝光时间T内该水下运动模糊图像在X轴方向总位移为a,在Y轴方向总位移为b,t为在曝光时间T内任意时刻,则其对应的P(u,v)有:
| $ \begin{split} P(u,v)= & \int_0^{\mathrm{T}}\exp\left\{-j2\mathrm{{\text π} }\left[ux_0(t)+vy_0(t)\right]\right\}{\rm{d}}t= \\ &\frac{T\sin\left(\mathrm{{\text π} \displaystyle}\displaystyle \left(\frac{ua}{M}+\displaystyle\frac{vb}{N}\right)\right)}{\mathrm{{\text π} }\left(\displaystyle\frac{ua}{M}+\frac{vb}{N}\right)}\exp\left[-j{\text π} \left(\frac{ua}{M}+\frac{vb}{N}\right)\right]。\end{split} $ | (18) |
点扩散函数的频谱的模
|
图 6 水下模糊图像的频谱 Fig. 6 The spectrum of underwater blurred images |
图6中中心最亮的部分代表
| $ k = \frac{1}{{\sqrt {{{\left( {\displaystyle \frac{a}{M}} \right)}^2} + {{\left( {\displaystyle \frac{b}{N}} \right)}^2}} }}。$ | (19) |
式中:运动模糊角度
| $ k = \frac{1}{{L\sqrt {{{\left( {\displaystyle \frac{{\cos \theta }}{M}} \right)}^2} + {{\displaystyle \left( {\frac{{\sin \theta }}{N}} \right)}^2}} }}。$ | (20) |
式中:暗条纹间距
将水下CCD相机安装在防水壳内固定在三轴运动平台上,CCD相机对实验水池底部进行拍摄。通过三轴运动平台的运动模拟水下机器人在近底观测作业,由拉线传感器对三轴运动平台进行测速得到运动速度的真值用以验证本文提出方法的准确性。水池底铺设鹅卵石和沙子模拟海底环境,并增加了水下拍摄的图像的信息特征,进行该水下运动模糊图像测速的实验。实验平台使用设备如图7所示,最终搭建的实验平台如图8所示。
|
图 7 实验平台设备 Fig. 7 Experimental platform equipment |
|
图 8 实验平台的原理图和实物图 Fig. 8 The schematic diagram and physical drawing of the experimental platform |
1) 拉线传感器
拉线传感器安装在三轴运动平台上,用于记录相机真实运动速度,见图7(a)。拉线传感器通过电压模拟信号记录位移,通过STM32板读取模拟信号,再由RS485串口通信将位移信号传给上位机,上位机通过程序进行解读,获得相机真实位移和运动速度。拉线传感器参数为:型号MPS-S-2000-A3,行程范围为
2) 三轴运动平台
三轴运动平台由伺服电机实现运动,通过PLC控制箱实现电机控制,通过触摸屏实现控制指令输入,见图7(b)。运动行程为x=
3) 实验水池
实验水池内壁参数为
4) CCD水下相机
CCD是一种半导体器件,能够把光学影像转化为数字信号,通过水密壳进行水密后,安装在运动平台上,见图7(c)。随运动平台放入实验水池中,模拟近底摄像过程。CCD参数为:型号HT-UBD130C,快门类型为全局快门,分辨率
运动模糊实验的实验参数,见表1,水下CCD相机分别对水池底部进行静止拍摄和三轴运动平台以0.25 m/s的设定速度进行运动拍摄。运动模糊实验得到水下近底静态图像和水下近底运动模糊图像,见图9。
|
|
表 1 运动模糊实验参数 Tab.1 Motion blur experiment parameters |
运动平台设置0.25 m/s速度后,携带CCD相机做往复的运输直线运动,在首尾段存在短时间加减速阶段,所以运动模糊图片拍摄都是在中间稳定匀速直线运动阶段。根据拉线传感器记录真实运动速度如图10所示。取中间稳定阶段加权平均,得到真实运动速度为244.05 mm/s。
|
图 9 实验平台拍摄的实验图像 Fig. 9 The experimental images captured by the experimental platform |
|
图 10 实验平台真实运动速度 Fig. 10 The actual movement speed of the experimental platform |
通过对其中一张所示的运动模糊图像如图9(c)所示,进行图像处理。实验验证结果如表2所示,其图像的暗条纹间距k=3,运动模糊尺度L=213.3,估计得到的运动速度为243.46 mm/s,拉线传感器测得的真实运动速度为244.05 mm/s,得到本文研究方法的运动速度的估计误差为0.24%。完全满足在近底观测部分传感器如DVL失效时对惯导提供辅助导航信息实现辅助导航的功能。
|
|
表 2 运动模糊图像速度估计结果 Tab.2 The result of speed estimation for motion-blurred images |
该实验针对近底、低速、地势平坦的环境进行实验平台搭建和验证,由于模糊测速模型根据模糊图像生成原理建立了水下潜器的速度与图像模糊尺度的关系,其中与水下潜器距海底距离相关,本文提出方法适合地势平坦环境和平稳姿态运动,复杂的海底地形和大尺度的姿态变化会使得水下潜器的速度与图像模糊尺度的关系不满足线性的比例关系,导致计算量加大和测得速度结果不准确。由于本文提出的模糊图像测速模型是基于模糊图像生成过程的像素模糊速度、位移和方向一致性来估计水下潜器的运动速度,在浑浊的水体环境中由于水中杂质运动的不确定性的干扰,会对本文算法模型产生影响。因此本文提出的方法需要在较为清澈的近底水域使用。本文提出方法用于在低速平稳运动下进行水下资源勘测作业。因为过快和复杂的运动会对模糊图像的模糊尺度提取产生影响,经过实验测试在0.5 kn左右的运动速度测速结果的精度最佳。
该实验验证了本文方法在模拟水下潜器在近底、低速、地势平坦的水下近底环境中的有效性,方法根据运动模糊图像的生成原理进行了水下潜器运动速度与水下运动模糊图像进行了建模,并对加装防水壳产生的折射影响进行了简化计算进一步减少了计算量。相较于水下SLAM算法不需要进行地图建模方法计算更加简洁。由于实验采集的图像集是验证模糊测速方法的,原始数据集多为运动模糊水下图像,其中包含的特征信息较少,SLAM算法初始化难以成功,因此未得到相同工况下SLAM算法的结果。由于本文是在搭建的实验水下进行的,因此该方法实验空间无法加装DVL进行对比,而是通过在机械臂上加装拉线传感器测得真值进行验证(见图10)。在实验水池进行机械臂允许的安装范围内摄像头在加装防水壳后模拟水下近底的摄像环境在距底0.5~2 m范围内均有效。
3 结 语本文提出了一种基于水下近底运动模糊图像的辅助测速方法,该方法可以在水下潜器近底作业中因特种工况导致的声学传感器数据失效时,对中小型潜器进行辅助测速导航,增加了水下潜器近底作业的稳定性,相较于主流的SLAM定位算法简洁有效,适用于低成本的中小型近底作业潜器使用。
在基于水下运动模糊图像的测速模型的基础上,考虑防水壳产生的折射影响,适用于深水作业。该方法首先在模糊图像成像原理的基础上建立了基于水下运动模糊图像的测速模型,得到了水下潜器运动速度与运动模糊图像的运动模糊尺度的关系;在考虑防水壳的对模糊图像的测速模型产生的折射影响,对水下模糊测速模型进行了折射修正,得到了水下折射修正的基于水下运动模糊图像的测速模型;通过对水下运动模糊图像的二维离散傅里叶变换得到的频谱进行分析,根据sinc函数特性得到水下模糊图像的明暗条纹产生的原因,得出了暗条纹间距与水下模糊图像的运动模糊尺度的关系;通过对水下模糊图像的频谱进行canny特征提取得到暗条纹间距,通过水下运动模糊图像得到水下潜器的对底的运动速度。
水池实验是通过在实验速度0.5 kn距底高度440 mm工况下进行验证的,通过拍摄的运动模糊图片估计的速度与拉线传感器测的参考速度进行对比,误差为0.24%,证实了该方法在海底地势相对平坦,近底低速观察的工况下可行有效。在较高的运动速度如4 kn以上时,暗条纹间距过短,特征提取方法获取暗条纹距离的精度会降低。该方法适用于水下潜器在近底低速工况下,进行海洋资源勘查及海洋调查等任务过程中,完成辅助测速及定位导航。
| [1] |
陈柯宇, 黄南宇, 苏为, 等. 一种基于SINS与LBL的水下隐蔽导航定位方法[J]. 水下无人系统学报, 2022, 30(1): 37-43. CHEN K Y, HUANG N Y, SU W, et al. Underwater concealed navigation and positioning method based on SINS and LBL[J]. Journal of Unmanned Undersea Systems, 2022, 30(1): 37-43. DOI:10.11993/j.issn.2096-3920.2022.01.005 |
| [2] |
WANG Q, LIU K, CAO Z. System noise variance matrix adaptive Kalman filter method for AUV INS/DVL navigation system[J]. Ocean Engineering, 2023, 267: 113269. DOI:10.1016/j.oceaneng.2022.113269 |
| [3] |
LI P, LIU Y, YAN T, et al. A robust INS/USBL/DVL integrated navigation algorithm using graph optimization[J]. Sensors, 2023, 23(2): 916. DOI:10.3390/s23020916 |
| [4] |
FERRERA, MORAS M, TROUVÉ-PELOUX J, et al. Real-time monocular visual odometry for turbid and dynamic underwater environments[J]. Sensors, 2019, 19(3), 687.
|
| [5] |
张强, 游子昂, 王建, 等. 水下机器人海底地形主动同步定位与建图具身规划算法[J/OL]. 哈尔滨工程大学学报, 1−7[2025-03-10]. ZHANG Q, YOU Z A, WANG J, et al. Embodiment planning algorithm for AUV bathymetric active SLAM [J]. Journal of Harbin Engineering University, 2025, 1(7): 1−8. |
| [6] |
BURGUERA A, BONIN-FONT F, FONT EG, et al. Combining deep learning and robust estimation for outlier-resilient Underwater visual graph SLAM[J]. Journal of Marine Science and Engineering. 2022; 10(4): 511.
|
| [7] |
AMARASINGHE C, RATNAWEERA A, MAITRIPALA S. UW Deep SLAM-CNN Assisted Underwater SLAM. Appl. Comput. Syst., 2023, 28(1), 100-113.
|
| [8] |
WANG X, FAN X, SHI P, et al. An overview of key SLAM technologies for underwater scenes[J]. Remote Sensing. 2023; 15(10): 2496.
|
| [9] |
朱益贤, 马腾, 范佳佳, 等. 融合测深/测距信息的水下同步定位与建图技术[J]. 无人系统技术, 2023, 6(4): 10-21. ZHU Y X, MA T, FAN J J, et al. Underwater simultaneous localization and mapping fusing bathymetric and range information[J]. Unmanned Systems Technology, 2023, 6(4): 10-21. DOI:10.19942/j.issn.2096-5915.2023.04.33 |
| [10] |
MERVEILLE FFR, JIA B, XU Z, et al. Enhancing underwater SLAM navigation and perception: a comprehensive review of deep learning integration[J]. Sensors, 2024, 24(21): 7034.
|
| [11] |
金守峰, 范荻, 田明锐. 基于运动模糊图像的车载视觉测速方法[J]. 中国工程机械学报, 2017, 15(1): 83−89. JIN S F, FAN D, TIAN M R. Research on vehicle speed measurement method based on motion blur image[J]. Chinese Journal of Construction Machinery, 2017, 15(1): 83−89. |
2026, Vol. 48
