水下对接技术是当前水下机器人领域的一个研究热点,具有重要的科学意义和实用价值。水下中继器和水下回收系统是水下机器人安全布放的重要方式。对于无人遥控潜水器(ROV),中继器是一种高效和安全的作业方式,在海洋石油工程、大深度ROV等方面都有着较为广泛的应用[1]。对于自主水下机器人(AUV),采取水下回收系统回收潜器是一种较为常见的回收方式[2]。上述应用,均涉及到水下对接问题。本文研究一种混合模式的自主遥控潜水器(ARV),利用车库式中继器布放方式将系统布放至几千米水深,再通过光纤微细缆布放ARV本体至万米深海底进行探测和作业,回收时ARV与中继器在深海完成对接后整体回收。水下对接是全海深ARV水下安全回收的关键环节,因此研究有效的ARV水下对接定位技术,对于提高潜水器作业效率、降低布放作业风险等具有非常重要的现实意义。
由于水下对接环境与技术条件的约束,水下声呐、定位导航设备通常能够实现中远距离的定位导航,但在近距离引导和水下对接进站中定位效果却不理想。而视觉定位技术因其简单有效的特点逐渐成为水下机器人近距离对接的常用方法[3]。国内外研究人员针对水下近距离对接一般采用引导灯或者特定特征开展视觉定位。在传统的引导灯方面,Li[3]提出了一种使用单目相机和引导灯的视觉对接方法,图像处理算法包括图像采集、图像分割、图像降噪和位姿估计,并利用基于光心像素坐标信息的控制算法引导对接。Zhong[4]设计了一种用于AUV对接的双目视觉定位方法。首先提出一种自适应加权的Otsu算法用于图像分割,并将引导灯的质心坐标值作为双目视觉的匹配特征完成视觉定位。使用这种特征匹配方法,双目视觉的定位频率超过10 Hz。Palomeras[5]提出利用引导灯和增强现实(AR)标记引导AUV近距离对接。当AUV上的相机捕捉到回收系统的所有引导灯时,采用非线性最小二乘法解算AUV的6维位姿;否则,使用AR标记来引导AUV。以上基于引导灯方案的视觉定位算法由于水下光的吸收与散射,导致经过图像处理后的引导灯存在不规则性,因此输出的光心像素坐标存在较大像素误差。在特定特征视觉定位研究方面,文[6] 利用结合FAST(feature from accelerated segment test)角点检测和BRIEF(binary robust independent elementary feature)描述子的ORB(oriented FAST and rotated BRIEF)特征提取器提取面板特征,然后与已知模板中检测到的特征进行匹配,并基于足够多的匹配特征进行位姿估计。该算法定位精度高,但是光照不均匀和噪声会导致特征点的误匹配率较高[7]。魏志祥等[8]在水下对接中利用反射光源识别法设计了图像分割及特征点提取算法,相较引导灯方案提高了定位速度与精度。但是在水下场景中基于Canny算法的图像分割易出现过分割或分割不准确,影响定位精度。
在图像包含大量信息时,基于多级阈值的方法相较于单阈值法具有更好的图像分割效果和更稳定的性能[9]。为了降低多级阈值分割的时间复杂度,图像多级阈值分割中应用了许多群智能算法,例如鲸鱼优化算法(WOA)[10]、粒子群优化(PSO)算法[11]、正弦余弦算法(SCA)[12]、布谷鸟搜索(CS)算法[13]等。针对算法易陷入局部最优的问题,大量论文通过融合其他智能算法提高性能。其中文[14-15] 基于Q学习的自我奖罚机制改进PSO和SCA的更新策略,提高了算法跳出局部最优的能力。文[16] 将差分进化(DE)作为局部开发策略融合到WOA中以更好地平衡算法的全局搜索和局部开发能力,并通过目标函数值、结构相似性、峰值信噪比和特征相似性的比较,表现了算法优越的总体性能。文[17] 基于种群策略将PSO融合到WOA中,并验证了以Otsu函数和模糊熵为目标函数的算法在多级阈值图像分割中的性能。
基于以上分析,考虑水下近距离对接场景的定位需求,本文以反光带为特定特征设计了一种ARV与中继器水下对接的视觉定位算法。提出基于改进鲸鱼优化算法的多级阈值图像分割算法和基于PCA降维的关键点提取算法,并采用SRPnP算法解算出ARV与中继器的相对位姿。最后通过水下对接实验和误差计算,证明算法的有效性。
2 ARV对接视觉定位算法(The visual positioning algorithm for ARV docking)在中继器对接口外框架上根据中继器的结构布置反光带,以便对特定特征进行视觉定位。为保证输出的摄像机与中继器的相对位姿为ARV首端平面中心点与中继器内框投影面(中继器内框架平面在与其平行的外框架平面上的垂直投影面)中心点的相对位姿,在ARV首端平面正中心布置单个摄像机,采集对接图像。并且在ARV上布置光源,如图 1所示。在ARV水下对接视觉定位中,首先分割出对接图像中的反光带区域,然后提取反光带区域的4个关键轮廓和关键点,如图 2所示。最后根据关键点的世界坐标系和图像像素坐标系坐标解算出ARV与中继器的相对位姿,完成视觉定位。
![]() |
图 1 摄像机及光源安装位置 Fig.1 Installation location of the camera and light source |
![]() |
图 2 水下对接视觉定位 Fig.2 Visual positioning for underwater docking |
反光带效果如图 3所示。红色箭头指向关键轮廓所在反光带区域,红点为关键轮廓的4个顶点,即关键点所在位置。
![]() |
图 3 反光带效果 Fig.3 Effect of the reflective tape |
水下对接视觉定位算法流程如图 4所示。
![]() |
图 4 算法流程 Fig.4 Flow of the proposed algorithm |
相较其他分割方法,基于Otsu算法的阈值分割具有计算效率高、无参数、鲁棒性强等优点[18]。因此本节提出基于Q学习的混合鲸鱼优化算法(QHWOA)优化Otsu多级阈值分割。
3.1 Otsu多级阈值分割Otsu以
$ \begin{align} w_{k} =\sum\limits_{i\in C_{k}} \frac{h_{i}} {N}, \quad \mu_{k} =\sum\limits_{i\in C_{k}} \frac{ih_{i}} {w_{k} N}, \quad \mu_{T} =\sum\limits_{k=0}^K w_{k} \mu_{k} \end{align} $ | (1) |
其中
由式(2) 计算类间方差
$ \begin{align} \sigma_{B}^{2} & =\sum\limits_{k=0}^K w_{k} (\mu_{k} - \mu_{T})^{2}=\sum\limits_{k=0}^K {w_{k} \mu_{k}^{2} -\mu_{T}^{2}} \\ & =\sum\limits_{k=0}^K w_{k} \left(\frac{1}{N}\frac{\sum\limits_{i\in C_{k}} ih_{i}} {w_{k}} \right)^{2}-\mu_{T}^{2} \\ & =\frac{1}{N}\sum\limits_{k=0}^K \frac{ \left(\sum\limits_{i=t_{k}}^{t_{k+1} -1} ih_{i}\right)^{2}}{\sum\limits_{i=t_{k}}^{t_{k+1} -1} h_{i}} -\mu_{T}^{2} \end{align} $ | (2) |
通过最大化目标函数
$ \begin{align} (t_{1}^{*}, \cdots, t_{K}^{*})=\text{arg max } f(t_{1}, \cdots, t_{K}) \\ f(t_{1}, \cdots, t_{K})=\sum\limits_{k=0}^K \frac{ \left(\sum\limits_{i=t_{k}}^{t_{k+1} -1} ih_{i}\right)^{2}}{\sum\limits_{i=t_{k}}^{t_{k+1} -1} h_{i}} \end{align} $ | (3) |
基于反光带的高亮度特性,利用最佳阈值的最大值
鲸鱼优化是基于座头鲸的狩猎模式进行优化的群智能算法[20]。鲸鱼优化算法利用参数
$ \begin{align} A=2\lambda r-\lambda \end{align} $ | (4) |
其中
包围猎物:当
$ \begin{equation} \begin{gathered} \mathit{\boldsymbol{X}}_{i}^{t+1} =\mathit{\boldsymbol{X}}_{\rm{best}}^{t} -A{\mathit{\boldsymbol{D}}} \\ {\mathit{\boldsymbol{D}}}=| {C\mathit{\boldsymbol{X}}_{\rm{best}}^{t} -\mathit{\boldsymbol{X}}_{i}^{t}} |, \quad C=2r \end{gathered} \end{equation} $ | (5) |
其中
探索猎物:当
$ \begin{equation} \mathit{\boldsymbol{X}}_{i}^{t+1} =\mathit{\boldsymbol{X}}_{\rm{rand}}^{t} -A\mathit{\boldsymbol{D}}', \quad \mathit{\boldsymbol{D}}' =| {C\mathit{\boldsymbol{X}}_{\rm{rand}}^{t} -\mathit{\boldsymbol{X}}_{i}^{t}} | \end{equation} $ | (6) |
其中
泡泡网攻击:当
$ \begin{equation} \begin{gathered} \mathit{\boldsymbol{X}}_{i}^{t+1} =\mathit{\boldsymbol{X}}_{\rm{best}}^{t} +\mathit{\boldsymbol{D}}'' {\rm e}^{bl}\cos (2{\rm{ \mathsf{ π} }} l) \\ \mathit{\boldsymbol{D}}'' =| {\mathit{\boldsymbol{X}}_{\rm{best}}^{t} -\mathit{\boldsymbol{X}}_{i}^{t}} | \end{gathered} \end{equation} $ | (7) |
其中
WOA算法在整个迭代期间并没有动态调整惯性权重,这虽然保证了算法的全局搜索能力,但不利于后期的局部精细搜索。为了平衡算法的全局搜索能力和局部搜索精度,本文引入分段惯性权重:
$ \begin{align} W= \begin{cases} 1, & t\leqslant T_{\max} /5 \\ {\rm e}^{-[10(t-T_{\max} /5)/T_{\max}]^{2}}, & \rm{其他} \end{cases} \end{align} $ | (8) |
其中
$ \begin{align} \mathit{\boldsymbol{X}}_{i}^{t+1} & =W\mathit{\boldsymbol{X}}_{\rm{best}}^{t} -A| {C\mathit{\boldsymbol{X}}_{\rm{best}}^{t} -\mathit{\boldsymbol{X}}_{i}^{t}} | \end{align} $ | (9) |
$ \begin{align} \mathit{\boldsymbol{X}}_{i}^{t+1} & =W\mathit{\boldsymbol{X}}_{\rm{best}}^{t} +| {\mathit{\boldsymbol{X}}_{\rm{best}}^{t} -\mathit{\boldsymbol{X}}_{i}^{t}} |{\rm e}^{bl}\cos (2{\rm{ \mathsf{ π} }} l) \end{align} $ | (10) |
鲸鱼优化算法在迭代初期进行全局搜索,在迭代后期进行局部搜索,并没有有效地脱离局部最优的操作。考虑到迭代中种群多样性下降陷入局部收敛点的问题,引入Lévy游走[21]和差分进化[22]改进算法的收敛精度和收敛速度。Lévy游走是一种基于重尾概率函数的随机游走,本文基于Lévy游走的更新策略由式(11) 实现。
$ \begin{equation} \begin{aligned} \mathit{\boldsymbol{\chi}}_{i}^{t} & =\mathit{\boldsymbol{X}}_{i}^{t} +\partial (\mathit{\boldsymbol{X}}_{i}^{t} -\mathit{\boldsymbol{X}}_{\rm{best}}^{t})\oplus L(\beta) \\ \mathit{\boldsymbol{\zeta}}_{i}^{t} & =\mathit{\boldsymbol{X}}_{\rm{best}}^{t} +\partial (\mathit{\boldsymbol{X}}_{i}^{t} -\mathit{\boldsymbol{X}}_{\rm{best}}^{t})\oplus L(\beta) \\ \mathit{\boldsymbol{X}}_{i}^{t+1} & = \begin{cases} \mathit{\boldsymbol{\chi}}_{i}^{t}, & f(\mathit{\boldsymbol{\chi}}_{i}^{t})\geqslant f(\mathit{\boldsymbol{\zeta}}_{i}^{t}), f(\mathit{\boldsymbol{\chi}}_{i}^{t})\geqslant f(\mathit{\boldsymbol{X}}_{i}^{t}) \\ \mathit{\boldsymbol{\zeta}}_{i}^{t}, & f(\mathit{\boldsymbol{\chi}}_{i}^{t})<f(\mathit{\boldsymbol{\zeta}}_{i}^{t}), f(\mathit{\boldsymbol{\zeta}}_{i}^{t})\geqslant f(\mathit{\boldsymbol{X}}_{i}^{t}) \\ \mathit{\boldsymbol{X}}_{i}^{t}, & \rm{其他} \end{cases} \end{aligned} \end{equation} $ | (11) |
其中
$ \begin{align} L(\beta)=\frac{\phi \mu_{1}} {|\mu_{2} |^{ \frac{1}{\beta}}}, \; \; \phi = \left(\frac{\Gamma ({1+\beta}) \sin \left(\dfrac{\beta} {2}{\rm{ \mathsf{ π} }} \right)}{\Gamma \Big(\dfrac{1+\beta} {2}\Big) \beta 2^{ \frac{\beta -1}{2}}}\right) ^{ \frac{1}{\beta}} \end{align} $ | (12) |
其中
由Lévy游走策略更新位置虽能拓广搜索空间,增大跳出局部收敛点的可能性,但常会导致收敛速度变慢和异常跳跃[23]。而差分进化算法能加快收敛速度、稳定优化结果[24],因此引入Lévy游走和差分进化以平衡QHWOA算法的全局搜索能力和局部开发能力。差分进化算法由式(13)~(15) 实现。
首先,采用“DE/current-to-best/1”方式进行变异:
$ \begin{align} \mathit{\boldsymbol{H}}_{i}^{t} =\mathit{\boldsymbol{X}}_{i}^{t} +F(\mathit{\boldsymbol{X}}_{\rm{best}}^{t} -\mathit{\boldsymbol{X}}_{i}^{t})+F(\mathit{\boldsymbol{X}}_{r_{1}}^{t} -\mathit{\boldsymbol{X}}_{r_{2}}^{t}) \end{align} $ | (13) |
其中
然后采用指数分布交叉策略进行交叉:先随机选取个体的某一维度分量,从该维度分量开始交叉,如果满足
$ \begin{equation} T_{i}^{t} (j)= \begin{cases} H_{i}^{t} (j), & \rm{满足指数分布交叉策略} \\ X_{i}^{t} (j), & \rm{其他} \end{cases} \end{equation} $ | (14) |
其中交叉概率
最后基于优胜劣汰的竞争法则进行选择操作:
$ \begin{align} \mathit{\boldsymbol{X}}_{i}^{t+1} = \begin{cases} {\mathit{\boldsymbol{T}}}_{i}^{t}, & f({\mathit{\boldsymbol{T}}}_{i}^{t})\geqslant f(\mathit{\boldsymbol{X}}_{i}^{t}) \\ \mathit{\boldsymbol{X}}_{i}^{t}, & f({\mathit{\boldsymbol{T}}}_{i}^{t})<f(\mathit{\boldsymbol{X}}_{i}^{t}) \end{cases} \end{align} $ | (15) |
Q学习由状态空间
Q学习在迭代前将Q表初始化为零矩阵,并根据式(16) 计算的概率值选择动作[26]。
$ \begin{align} P({s_{t}, a_{j}})=\frac{\exp ({Q({s_{t}, a_{j}})})}{\sum\nolimits_{a_{j} \in {\mathcal A}} {\exp ({Q({s_{t}, a_{j}})})}}, \; s_{t} \in {\mathcal S} \end{align} $ | (16) |
由式(16) 可知,初始状态选择任何动作的概率是相同的。开始学习后,根据状态选择不同的动作有不同的奖罚值,
每次迭代由式(17) 更新Q表。
$ \begin{align} Q_{t+1} (s_{t}, a_{t})=\;& Q_{t} (s_{t}, a_{t})+ \partial_{t} (r_{t} +\gamma \max (Q_{t} (s_{t+1}, a))- \\ & Q_{t} (s_{t}, a_{t})) \end{align} $ | (17) |
其中
$ \begin{align} r_{t} = \begin{cases} 1, & f(\mathit{\boldsymbol{X}}_{i}^{t+1})>f({\mathit{\boldsymbol{X}}_{i}^{t}}) \\ -1, & \rm{其他} \end{cases} \end{align} $ | (18) |
$ \begin{align} \partial_{t} =1-0.9\frac{t}{T_{\max}} \end{align} $ | (19) |
QHWOA为每一个体都建立一个Q表,其中状态空间
$ \begin{align*} Q_{t+1} (s_{t}, a_{t}) =\;& 1.30+0.6\times (-1+0.8\times \\ & \max(0.96, 0.93, -0.86, 1.10)-1.30) \\ =\;&0.448 \end{align*} $ |
![]() |
图 5 QHWOA中的Q表 Fig.5 Q table in QHWOA |
![]() |
图 6 QHWOA中Q学习示意图 Fig.6 Schematic diagram of Q-learning in QHWOA |
此个体状态也会从泡泡网攻击更新为Lévy游走,如图 6(b)所示。
QHWOA算法流程如图 7所示,步骤如下:
![]() |
图 7 QHWOA流程 Fig.7 Flow of QHWOA |
第1步:初始化种群,将个体的Q表清零,更新目标函数值最优的个体位置。将停滞次数
第2步:由式(16) 计算个体状态为
第3步:由式(3) 计算个体目标函数值,更新最优个体位置
第4步:若
提出了基于PCA降维的关键点提取算法。PCA降维法通过计算原始空间中数据方差最大的方向,得到该方向上的投影结果,从而减少数据冗余[27]。PCA求轮廓角度时需计算轮廓点像素坐标样本协方差矩阵的特征值和特征向量,最大特征值对应的特征向量与像素平面
第1步:轮廓检测,设置面积阈值,筛选掉轮廓面积过大或过小的异常轮廓。将轮廓
第2步:如果图像为第1帧,则由式(20) 得到数组
$ \begin{align} {\mathcal D}_{k} (j)=\| {p_{j} -P_{k}} \|, \quad j=1, 2, \cdots, N_{\varPhi} \end{align} $ | (20) |
其中
如果图像为第2帧及剩余帧,则首先利用上一帧的关键点与靶心
$ \varPhi_i \in \begin{cases}\varOmega_1, & \eta_2<\delta_i<\eta_1 \\ \varOmega_2, & \left\{\begin{array}{l} \left(-180<\delta_i<\eta_2\right) \text { or } \\ \left(\eta_4<\delta_i \leqslant 180\right), \quad \eta_4>0 \\ \eta_4<\delta_i<\eta_2, \quad \eta_4<0 \end{array}\right. \\ \varOmega_3, & \left\{\begin{array}{l} \left(\eta_3<\delta_i \leqslant 180\right) \text { or } \\ \left(-180<\delta_i<\eta_4\right), \quad \eta_4<0 \\ \eta_3<\delta_i<\eta_4, \quad \eta_4>0 \end{array}\right.\\ \varOmega_4, & \eta_1<\delta_i<\eta_3 \end{cases} $ | (21) |
![]() |
图 8 关键轮廓提取结果 Fig.8 Results of key contour extraction |
其中
由式(22) 得到数组
$ \begin{align} {\mathcal D}_{k} (j)=\| {{p_{j} -P_{\rm C}} \|}, \quad \varPhi_{j} \in \varOmega_{k} \end{align} $ | (22) |
式(22) 中,
第3步:若图像为第1帧,则对
第4步:在不均匀光照下轮廓的面积与周长会发生变化,所以不能用它们来筛选关键轮廓。因此分别遍历每个轮廓群的所有轮廓,找出其轮廓角度上的最小包围矩形,将矩形的最长边标记为轮廓“方向长度”。将各轮廓群中最大“方向长度”对应的轮廓标记为该轮廓群的关键轮廓。
4.1.2 算法分析ARV与中继器的相对倾斜角度过大时,第1帧处理算法会提取不到正确的关键轮廓,但是第2帧处理算法具有“纠错”效果,如图 9所示。正确的关键轮廓和靶心为
![]() |
图 9 纠正第1帧错误提取 Fig.9 Correction for extraction mistake in the first frame |
设提取的右上、左上、左下和右下关键轮廓为
$ \begin{equation} \begin{aligned} & \tau_{1} = \begin{cases} a_{m} -180 , & m=1, \; a_{m} \in [0, 180] \\ a_{m}, & (m=1, \; a_{m} \in (-180, 0)) \; \rm{or }\\[-3pt] & (m=3, \; a_{m} \in [0, 180]) \\ -180, & m=2 \\ 180+a_{m}, & m=3, \; a_{m} \in (-180, 0) \\ 0, & m=4 \end{cases} \\ & \tau_{2} = \begin{cases} a_{m} -180, & m=2, \; a_{m} \in [0, 180] \\ a_{m}, & (m=2, \; a_{m} \in (-180, 0)) \; \rm{or } \\[-3pt] & (m=4, \; a_{m} \in [0, 180]) \\ 180, & m=3 \\ 180+a_{m}, & m=4, \; a_{m} \in (-180, 0) \\ 0, & m=1 \end{cases} \end{aligned} \end{equation} $ | (23) |
将最大
![]() |
图 10 关键点提取结果 Fig.10 Results of keypoint extraction |
单目摄像机模型主要考量世界坐标系到图像像素坐标系的映射关系,应用到ARV水下对接,世界坐标系以中继器内框投影面中心为原点,
![]() |
图 11 坐标系 Fig.11 Coordinate systems |
关键点在世界坐标系与摄像机坐标系中的坐标由式(24) 转换。
$ \begin{align} \begin{bmatrix} X^{\rm C} \\ Y^{\rm C} \\ Z^{\rm C} \\ 1 \end{bmatrix}=\begin{bmatrix} {\mathit{\boldsymbol{R}}} & {\mathit{\boldsymbol{t}}} \\ {\bf 0}^{\rm T} & 1 \end{bmatrix}\begin{bmatrix} X^{\rm W} \\ Y^{\rm W} \\ Z^{\rm W} \\ 1 \end{bmatrix} \end{align} $ | (24) |
其中,
$ \begin{equation} \begin{aligned} & \mathit{\boldsymbol{R}} =\begin{bmatrix} {r_{11}} & {r_{12}} & {r_{13}} \\ {r_{21}} & {r_{22}} & {r_{23}} \\ {r_{31}} & {r_{32}} & {r_{33}} \end{bmatrix}, \quad \mathit{\boldsymbol{t}}=\begin{bmatrix} x_{t} \\ y_{t} \\ z_{t} \end{bmatrix} \\ & \begin{cases} r_{11} =\cos \theta \cos \varphi \\ r_{21} =\cos \theta \sin \varphi \\ r_{31} =-\sin \theta \\ r_{12} =\sin \psi \sin \theta \cos \varphi -\cos \psi \sin \varphi \\ r_{22} =\sin \psi \sin \theta \sin \varphi +\cos \psi \cos \varphi \\ r_{32} =\sin \psi \cos \theta \\ r_{13} =\cos \psi \sin \theta \cos \varphi +\sin \psi \sin \varphi \\ r_{23} =\cos \psi \sin \theta \sin \varphi -\sin \psi \cos \varphi \\ r_{33} =\cos \psi \cos \theta \end{cases} \end{aligned} \end{equation} $ | (25) |
关键点摄像机坐标系与图像物理坐标系的坐标由式(26) 转换。
$ \begin{align} Z^{\rm C} \begin{bmatrix} x \\ y \\ 1 \end{bmatrix}=\begin{bmatrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix}\begin{bmatrix} X^{\rm C} \\ Y^{\rm C} \\ Z^{\rm C} \\ 1 \end{bmatrix} \end{align} $ | (26) |
其中
关键点图像物理坐标系与图像像素坐标系的坐标由式(27) 转换。
$ \begin{align} \begin{bmatrix} u \\ v \\ 1 \end{bmatrix}= \begin{bmatrix} \dfrac{1}{d_x} &0& u_{0} \\ 0 & \dfrac{1}{d_y} & v_{0} \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} x \\ y \\ 1 \end{bmatrix} \end{align} $ | (27) |
其中,
因此,关键点世界坐标系与图像像素坐标系的坐标由式(28) 转换。
$ \begin{align} Z^{\rm C} \begin{bmatrix} u \\ v \\ 1 \end{bmatrix}=\begin{bmatrix} \dfrac{1}{d_x} & 0 & u_{0} \\ 0 & \dfrac{1}{d_y} & v_{0} \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} f& 0& 0& 0 \\ 0& f& 0& 0 \\ 0& 0& 1& 0 \end{bmatrix}\begin{bmatrix} {\mathit{\boldsymbol{R}}} & {\mathit{\boldsymbol{t}}} \\ \mathit{\boldsymbol{0}}^{\rm T} & 1 \end{bmatrix}\begin{bmatrix} X^{\rm W} \\ Y^{\rm W} \\ Z^{\rm W} \\ 1 \end{bmatrix} \end{align} $ | (28) |
本算法经过图像分割和关键点提取后输出关键点在图像像素坐标系中的坐标,并根据已知的固定关键点世界坐标系坐标求解旋转矩阵
对接时,若ARV上开孔正对锁紧机构,则中继器上锁紧机构内部活塞朝向筒体外方向推动锁舌,完成锁舌与开孔的固定。锁舌长72 mm,宽65 mm,高40 mm,如图 12所示。当ARV与中继器内框架边缘不大于72 mm时,锁紧机构能与开孔配合锁住ARV。
![]() |
图 12 锁紧机构 Fig.12 Locking mechanism |
图 13为相对位移和相对倾角解算值都为0时的ARV准备对接示意图。其中外框表示中继器内框投影面,
![]() |
图 13 对接示意图 Fig.13 Schematic diagram of docking |
设ARV与中继器的相对位移和相对倾斜角度真实值为
$ \begin{align} d_{r} =O'B_{r} -O'A_{r}, \quad r=1, 2, \cdots, 6 \end{align} $ | (29) |
如果关键点像素提取误差过大,则相对位移和相对倾斜角度的解算值与其真实值的误差会过大,此时如果得到的
对ARV水下对接实验视频按帧数均匀取样,选取300帧水下对接图像进行处理,各步骤处理效果如图 14~17所示。对灰度图中值滤波(滤波核大小为5
![]() |
图 14 第1帧图像处理结果 Fig.14 Processing results of the first frame image |
![]() |
图 15 第66帧图像处理结果 Fig.15 Processing results of the 66th frame image |
![]() |
图 16 第160帧图像处理结果 Fig.16 Processing results of the 160th frame image |
![]() |
图 17 第240帧图像处理结果 Fig.17 Processing results of the 240th frame image |
![]() |
表 1 最优阈值 Tab. 1 Optimum threshold values |
![]() |
图 18 处理效率 Fig.18 Processing efficiency |
图 19和表 2给出了对图 17(a)的分割结果,结合图 17(b)说明:单阈值Otsu方法虽然耗时仅12.6 ms,但是在分割水下对接图像时易将占据大多数区域的背景混淆成前景。多阈值穷举Otsu方法可以精确地提取对象,但是耗时29 s,远远超出了实时性要求。而QHWOA-Otsu方法不但可以精确地提取对象,在耗时上也仅为16.4 ms,虽然无法避免恶劣的不均匀光照影响,但并不影响4个关键轮廓所在连通域的分割。
![]() |
图 19 图像分割效果 Fig.19 Effect of image segmentation |
![]() |
表 2 图像分割结果 Tab. 2 Results of image segmentation |
图 20显示QHWOA-Otsu方法分割图 17(a)过程中某2个个体迭代时的状态、动作和奖罚值。其中包围猎物/探索猎物、泡泡网攻击、Lévy游走和差分进化的状态值及动作值为1、2、3和4。
![]() |
图 20 Q学习结果 Fig.20 Results of Q-learning |
根据水下对接图像的关键点在图像像素坐标系中坐标的算法输出值与真实值得到关键点横纵坐标像素提取误差分布。对300帧水下对接图像处理后得到关键点像素提取误差分布,如图 21所示。
![]() |
图 21 关键点像素提取误差 Fig.21 Errors of keypoint extraction in pixel |
图 21显示左上和左下关键点像素提取误差在4个像素内。右上和右下关键点像素提取误差较大,可能是受到不均匀光照的影响。
为了验证QHWOA-Otsu方法在分割水下对接图像时的性能,分别利用QHWOA、WOA[10]、SCA[12]、CS[13]以及GWO[31]算法优化式(3) 目标函数
![]() |
表 3 参数设置 Tab. 3 Parameters setting |
![]() |
表 4 目标函数值 Tab. 4 Objective function values |
![]() |
图 22 不同算法的收敛曲线 Fig.22 Convergence curves of different algorithms |
表 4中
图 22显示,QHWOA算法在迭代初期的寻优效率极高,且在整个迭代中有更高的收敛精度和更快的收敛速度。这主要得益于能提高种群多样性、规避局部最优的更新策略和Q学习的动态调整。
6.2 视觉定位误差视觉定位误差分析流程如下所示:
第1步:模拟ARV与中继器相对位移为
第2步:由式(28) 求
$ \begin{align} {\mathit{\boldsymbol{U}}}_{ik} ={\mathit{\boldsymbol{U}}}_{i} +{\mathit{\boldsymbol{V}}}_{k} \end{align} $ | (30) |
其中,
第3步:由
第4步:由式(31) 计算ARV与中继器在相对位移
$ \begin{equation} \begin{aligned} G_{ir} & =\min\limits_{c\in [1, 300]} S_{icr} \\ d_{r} & =\min\limits_{q\in [1, 15625]} G_{qr} \\ J_{ir} & =\underset{c\in [1, 300]}{\rm absmax}\; E_{icr} \\ e_{r} & =\underset{q\in [1, 15625]}{\rm absmax}\; J_{qr} \end{aligned} \end{equation} $ | (31) |
其中
图 23给出
![]() |
图 23 d值分布 Fig.23 Distribution of d |
图 24给出
![]() |
图 24 相对位姿解算最大误差 Fig.24 Maximum errors of relative pose calculation |
图 24显示
对接时,定位算法输出ARV与中继器的相对位姿并实时反馈给水面工作人员,水面工作人员根据定位算法输出ARV与中继器的相对位姿来调整ARV姿态,而不再是根据对接图像来人工判断ARV与中继器的大概位姿。其中每次对接时ARV均从实验水池左侧出发,对接到悬停在水池右侧的中继器中,水池长12 m,宽8 m,如图 25所示。
![]() |
图 25 对接场景 Fig.25 Docking scene |
对接10次,其中采用定位算法辅助引导对接5次,某次定位算法辅助引导对接过程中相对位姿的解算曲线如图 26所示,定位算法辅助引导ARV从距离中继器4.2 m到距离中继器1.7 m消耗时间仅为70 s,小于不使用定位算法辅助对接时的平均耗时125 s。
![]() |
图 26 相对位姿解算曲线 Fig.26 Curves of relative pose calculation |
针对ARV水下近距离对接定位问题,基于反光带方案设计了一种水下对接视觉定位算法。首先为鲸鱼优化算法引入动态惯性权重、Lévy游走和差分进化策略,利用Q学习的动态学习能力改进混合鲸鱼优化算法,提高算法的收敛精度与收敛速度。进一步利用QHWOA算法优化Otsu目标函数来分割对接图像。然后提出基于PCA降维的关键点提取算法来输出关键点在图像像素坐标系中的坐标。最后采用SRPnP算法快速解算ARV与中继器的相对位姿,实现水下定位。在水下环境开展了ARV对接实验,计算了关键点像素提取误差和视觉定位误差,分析表明:算法在水下对接场景可以准确获取关键点信息,并且在视觉定位上能够输出满足水下对接精度和实时性要求的定位信息,可以引导ARV与中继器对接,提升水下对接效率。
然而,本文关键点提取是在分割图像必须包含反光带关键轮廓所在连通域的前提下针对反光带轮廓设计的,当工程应用中图像发生拖影变形时,将无法提取正确关键轮廓。在后续的工作中将改进关键点提取算法。并且,所提方法在水下对接时,较恶劣的不均匀光照会导致关键点像素提取误差过大,从而造成定位误差过大。在后续的工作中将对这一问题进行改进,减小不均匀光照对水下对接图像分割的影响。
[1] |
赵俊海, 张美荣, 王帅, 等. ROV中继器的应用研究及发展趋势[J]. 中国造船, 2014, 55(3): 222-232. Zhao J H, Zhang M R, Wang S, et al. Application and development trend of tether management system (TMS) for ROV[J]. Shipbuilding of China, 2014, 55(3): 222-232. DOI:10.3969/j.issn.1000-4882.2014.03.025 |
[2] |
郑荣, 吕厚权, 于闯, 等. AUV与自主移动坞站对接的技术研究及系统设计实现[J]. 机器人, 2019, 41(6): 713-721. Zheng R, Lü H Q, Yu C, et al. Technical research, system design and implementation of docking between AUV and autonomous mobile dock station[J]. Robot, 2019, 41(6): 713-721. |
[3] |
Li D J, Zhang T, Yang C J. Terminal underwater docking of an autonomous underwater vehicle using one camera and one light[J]. Marine Technology Society Journal, 2016, 50(6): 58-68. |
[4] |
Zhong L J, Li D J, Lin M W, et al. A fast binocular localisation method for AUV docking[J]. Sensors, 2019, 19(7). DOI:10.3390/s19071735 |
[5] |
Palomeras N, Vallicrosa G, Mallios A, et al. AUV homing and docking for remote operations[J]. Ocean Engineering, 2018, 154: 106-120. DOI:10.1016/j.oceaneng.2018.01.114 |
[6] |
Palomeras N, Penalver A, Massot Campos M, et al. I-AUV docking and panel intervention at sea[J]. Sensors, 2016, 16(10). DOI:10.3390/s16101673 |
[7] |
王丙乾, 唐元贵. 面向ARV水下对接的视觉引导信息特征点匹配算法研究[J]. 海洋技术学报, 2018, 37(5): 9-15. Wang B Q, Tang Y G. Research on feature matching algorithm of visual-guidance-information for ARV underwater docking[J]. Journal of Ocean Technology, 2018, 37(5): 9-15. |
[8] |
魏志祥, 吴超. 面向ARV的视觉辅助水下对接方法研究[J]. 海洋工程, 2021, 39(1): 91-99, 152. Wei Z X, Wu C. Study on docking method of ARV based on monocular vision[J]. The Ocean Engineering, 2021, 39(1): 91-99, 152. |
[9] |
Yan Z P, Zhang J Z, Tang J L. Modified water wave optimization algorithm for underwater multilevel thresholding image segmentation[J]. Multimedia Tools and Applications, 2020, 79(43-44): 32415-32448. DOI:10.1007/s11042-020-09664-1 |
[10] |
Abd El Aziz M, Ewees A A, Hassanien A E. Whale optimization algorithm and moth-flame optimization for multilevel thresholding image segmentation[J]. Expert Systems with Applications, 2017, 83: 242-256. DOI:10.1016/j.eswa.2017.04.023 |
[11] |
Yin P Y. Multilevel minimum cross entropy threshold selection based on particle swarm optimization[J]. Applied Mathematics and Computation, 2007, 184(2): 503-513. DOI:10.1016/j.amc.2006.06.057 |
[12] |
Oliva D, Hinojosa S, Abd El Aziz M, et al. Context based image segmentation using antlion optimization and sine cosine algorithm[J]. Multimedia Tools and Applications, 2018, 77(19): 25761-25797. DOI:10.1007/s11042-018-5815-x |
[13] |
Agrawal S, Panda R, Bhuyan S, et al. Tsallis entropy based optimal multilevel thresholding using cuckoo search algorithm[J]. Swarm and Evolutionary Computation, 2013, 11: 16-30. DOI:10.1016/j.swevo.2013.02.001 |
[14] |
Samma H, Lim C P, Saleh J M. A new reinforcement learning-based memetic particle swarm optimizer[J]. Applied Soft Computing, 2016, 43: 276-297. DOI:10.1016/j.asoc.2016.01.006 |
[15] |
Zamli K Z, Din F, Ahmed B S, et al. A hybrid Q-learning sine-cosine-based strategy for addressing the combinatorial test suite minimization problem[J]. PLoS ONE, 2018, 13(5). DOI:10.1371/journal.pone.0195675 |
[16] |
Lang C B, Jia H M. Kapur's entropy for color image segmentation based on a hybrid whale optimization algorithm[J]. Entropy, 2019, 21(3). DOI:10.3390/e21030318 |
[17] |
Ewees A A, Abd El Aziz M, Oliva D. Image segmentation via multilevel thresholding using hybrid optimization algorithms[J]. Journal of Electronic Imaging, 2018, 27(6). DOI:10.1117/1.JEI.27.6.063008 |
[18] |
Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62-66. DOI:10.1109/TSMC.1979.4310076 |
[19] |
Merzban M H, Elbayoumi M. Efficient solution of Otsu multilevel image thresholding: A comparative study[J]. Expert Systems with Applications, 2019, 116: 299-309. DOI:10.1016/j.eswa.2018.09.008 |
[20] |
Mirjalili S, Lewis A. The whale optimization algorithm[J]. Advances in Engineering Software, 2016, 95: 51-67. |
[21] |
Yang X S, Deb S. Cuckoo search via Lévy flights[C]//World Congress on Nature & Biologically Inspired Computing. Piscataway, USA: IEEE, 2009: 210-214.
|
[22] |
Price K V, Storn R M, Lampinen J A. Differential evolution: A practical approach to global optimization[M]. Berlin, Germany: Springer, 2005.
|
[23] |
Tan Z P, Li K S, Wang Y. An improved cuckoo search algorithm for multilevel color image thresholding based on modified fuzzy entropy[J]. Journal of Ambient Intelligence and Humanized Computing, 2021. DOI:10.1007/s12652-021-03001-6 |
[24] |
刘琛, 林盈, 胡晓敏. 差分演化算法各种更新策略的对比分析[J]. 计算机科学与探索, 2013, 7(11): 983-993. Liu C, Lin Y, Hu X M. Analyses and comparisons of different update strategies for differential evolution[J]. Journal of Frontiers of Computer Science and Technology, 2013, 7(11): 983-993. |
[25] |
Watkins C J C H, Dayan P. Q-learning[J]. Machine Learning, 1992, 8(3-4): 279-292. |
[26] |
Guo M Z, Liu Y, Malec J. A new Q-learning algorithm based on the metropolis criterion[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, 2004, 34(5): 2140-2143. |
[27] |
Li M M, Wang H F, Yang L F, et al. Fast hybrid dimensionality reduction method for classification based on feature selection and grouped feature extraction[J]. Expert Systems with Applications, 2020, 150. DOI:10.1016/j.eswa.2020.113277 |
[28] |
夏军营. 空间目标的单目视觉位姿测量方法研究[D]. 长沙: 国防科学技术大学, 2012. Xia J X. Researches on monocular vision based pose measurements for space targets[D]. Changsha: National University of Defense Technology, 2012. |
[29] |
Fischler M A, Bolles R C. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395. |
[30] |
Wang P, Xu G L, Cheng Y H, et al. A simple, robust and fast method for the perspective-n-point problem[J]. Pattern Recognition Letters, 2018, 108: 31-37. |
[31] |
Mousavirad S J, Ebrahimpour-Komleh H. Multilevel image thresholding using entropy of histogram and recently developed population-based metaheuristic algorithms[J]. Evolutionary Intelligence, 2017, 10(1-2): 45-75. |