近年来,以超短基线定位系统(USBL)、声呐为代表的声学定位导引技术[1]已相对成熟,在水下回收的远、中距离场景中得到了广泛应用[2]。相较于声学定位技术,视觉定位技术有着定位精度高、数据更新快、硬件要求低等优势,因而更加适用于近距离场景。然而,水下视觉定位技术极易受环境亮度影响[3],如何在光照条件不可控的湖上或海上场景中有效使用视觉定位手段一直为研究的热点与难点,近年来国内外许多学者对此进行了研究和尝试。
张伟等[4]对UUV回收的单目视觉多目标跟踪问题进行了研究,基于非线性卡尔曼滤波器,提出了一种基于非对称光阵列的定位导引方法,在部分前景光源被遮挡,背景帧发生较大变化时仍能取得较好的跟踪效果,但算法建立在忽略背景光和伪光源干扰的基础上,普适性还有待提升。此外,张伟等[5]对大津法进行改进,解决了在亮度整体较暗、低对比度、细节较模糊条件下,导引灯阵目标的特征提取问题。韩泽凯等[6]提出改进的基于神经网络的检测-跟踪算法与Pnp-P3P算法,将神经网目标识别的高泛化性优势与传统算法分割的高效率优势相结合,实现了对导引光源的鲁棒跟踪。
本文设计一套UUV水下回收系统,针对该系统须在不同光照条件下进行视觉定位的需求提出了一种目标轮廓提取算法。该算法首先分析图像中的环境亮度特征,在此基础上,有效判断图像中是否存在目标对象,一旦判定目标对象存在,则基于合作目标的先验知识划定目标可能存在的区域,对该区域进行针对性处理从而有效改善目标轮廓提取精度。
1 系统设计首先给出一种结合声学、光学定位手段的UUV水下回收系统,系统由回收平台、回收装置、声光导引系统、UUV组成,如图1所示。
其中,回收装置可沿水平方向和垂直方向做一定距离的平移运动,用以补偿UUV的运动偏移。声光导引系统由USBL系统和视觉定位系统组成,USBL系统的基阵安装于回收平台底部,信标安装于UUV上,回收平台通过基阵获取UUV的相对位置,并利用USBL系统兼具的水声通信功能与UUV共享运动状态信息,将UUV导引至回收装置捕获范围内。当UUV距离较近时,声学导引精度和速率不足以支持回收装置对UUV进行捕获,因此采用视觉定位系统对UUV的偏移量进行估计,视觉定位系统由安装于UUV上的标识光源(绿色LED)和安装于回收平台底的水下双目相机组成。当UUV进入双目相机视野范围后,双目相机通过标识光源对其进行定位,回收装置根据视觉定位数据实现对UUV偏移量的补偿并完成捕获,系统工作原理如图2所示。
在湖上进行UUV回收试验时,水下双目相机布置在试验船底部50 cm处位置,距离水面较近因而容易受到日光照射影响。图3分别给出上午柔和光照、正午强烈光照以及傍晚微弱光照情况下的灰度直方图。
分析可知,上午柔和光照条件和傍晚微弱光照条件下背景亮度均匀,目标像素亮度突出,易与背景区分;而正午强烈光照条件下背景亮度整体偏高且分布不均匀,目标像素点亮度与周围背景亮度接近,难与背景有效区分。
获取目标像素坐标是进行双目视觉位置测量的关键步骤之一,直接决定目标空间位置的解算精度[7]。将图3中的灰度空间图像基于不同的灰度阈值(105、155、205)做二值处理以提取目标轮廓,效果如图4所示。
可知,以固定阈值进行二值化处理无法根据图像实际情况进行调整,因此无法同时兼顾不同背景亮度的图像[8],总结如下:1)3种阈值对于背景亮度不高且分布均匀的图像,通常能有效提取目标轮廓,基本没有漏检和误检;2)取灰度阈值105和205时,对于背景亮度较高且分布不均匀的图像,难以将反差较小的目标和背景有效进行分割,会有漏检和误检的情况发生[9];3)取灰度阈值155时,对于背景亮度较低的图像,难以区分目标与其周围产生的虚影,从而难以准确还原目标真形状特征。
3 算法原理针对上述问题,本文提出一种对环境光照具有鲁棒性的目标轮廓提取算法。根据亮度特征判断图像中是否存在目标,只有确认图像中存在目标对象时才进入后续处理流程,在已知“目标存在”这一关键先验信息后,尝试定位目标(标识光源)可能存在的区域,若能成功定位,则对该区域进行自适应二值化处理,反之若不能,则也可依据标识光源亮度最高这一先验信息选择亮度最高点作为目标位置。算法具体步骤如下:
步骤1 启动双目相机后,连续采集100帧图像,计算100帧图像峰值亮度的平均值,加上适当偏移量后作为环境亮度阈值
步骤2 采集一帧图像,滤波降噪后转换到灰度空间。
步骤3 获取图像亮度峰值
步骤4 如果
步骤5 根据设定的阈值对图像进行二值化处理获得若干轮廓,然后进行腐蚀膨胀等形态学操作对轮廓进行修饰[10]。
步骤6 计算每个轮廓包含的像素点数量,排除像素点数量过小或过大的轮廓,从而筛选出有效轮廓。
步骤7 如果有效轮廓数量大于或等于1个,则对有效轮廓进行优先级评价;否则,跳转到步骤9。优先级评价准则包括:形状越接近规则圆的轮廓优先级越高、像素点数量越多的轮廓优先级越高。
步骤8 选择优先级最高的轮廓质心作为目标的像素坐标。
步骤9 获取亮度峰值像素的坐标
步骤10 对ROI内所有像素点按亮度值从高到低进行排序,计算前30 %像素点的平均亮度值,加上适当偏移量后作为ROI阈值。基于该阈值对ROI进行二值化处理获得若干轮廓,然后进行腐蚀膨胀等形态学操作对轮廓进行修饰。
步骤11 获取每个轮廓所包含的像素点数量,排除像素点数量过小或过大的轮廓,从而筛选出有效轮廓。
步骤12 如果ROI内有效轮廓数量大于或等于1个,则对有效轮廓进行优先级评价,评价方法同步骤7,选择优先级最高的轮廓的质心作为目标的像素坐标;否则,以
算法流程如图5所示。上述算法在图像处理过程中充分利用了已知先验信息,从而有效避免了目标的误检和漏检,对先验信息的利用总结如下:
1)依据标识光源亮度远超周围环境亮度这一先验信息,通过判断图像亮度峰值是否超过环境亮度阈值,确定图像中是否出现目标;当已知“目标存在”这一先验信息后,即使无法依据设定阈值分割得到目标可能存在的区域(ROI),也可选择以亮度峰值处像素坐标作为目标位置。
2)依据标识光源的形状和合理成像面积等先验信息,对二值化后得到的若干轮廓进行初步筛选,获得有效轮廓;同样地,依据标识光源的先验信息对有效轮廓的优先级进行评估,从而降低目标误检概率。
4 试验验证对图3中在不同光照条件下采集的图像应用本文提出的算法,以提取目标轮廓,结果如图6所示。
将图6与图4对比可得结论:由于外部光照变化会对图像中目标特征产生较大影响,如果以固定阈值直接进行二值化分割,往往难以兼顾不同场景,容易产生误检、漏检或轮廓失真等情况,从而难以直接应用于光照条件波动较大的室外场景中,而本文提出的算法无论在何种光照条件下,均可有效检测目标并提取其真实轮廓形状,对于图像亮度变化具有良好的鲁棒性,适合应用于户外试验场景中。
5 结 语本文针对UUV水下回收场景,设计了一种基于水下双目相机和标识光源的视觉定位系统。为满足该视觉定位系统在不同光照条件下的工作需求,提出了一种对环境亮度变化具有良好鲁棒性的图像处理算法。该算法充分利用合作目标的先验信息增强目标轮廓提取的准度和精度,从而优化视觉定位结果的可靠性,适用于光照变化较大的户外场景。湖试结果表明该视觉定位系统可实现“早-中-晚”全天时、“阴-晴-雨”全天候对UUV目标的可靠检测与准确定位,有较好的工程应用价值。
[1] |
黎南, 湛鑫, 陈涛, 等. UUV水下回收中的视觉和短基线定位融合[J]. 智能系统学报, 2013, 8(2): 156-161. LI N, ZHAN X, CHEN T, et al. Data fusion method of vision and SBL position for UUV underwater docking[J]. CAAI Transactions on Intelligent Systems, 2013, 8(2): 156-161. DOI:10.3969/j.issn.1673-4785.201301020 |
[2] |
严浙平, 王璐. UUV水下定位方法的研究现状与进展[J]. 哈尔滨工程大学学报, 2017, 38(7): 989-1000. YAN Z P, WANG L. Research status and progress of UUV underwater localization[J]. Journal of Harbin Engineering University, 2017, 38(7): 989-1000. DOI:10.11990/jheu.201608067 |
[3] |
蔡迎波, 李德彪. 基于单目视觉的AUV水下定位方法[J]. 中国惯性技术学报, 2015, 23(4): 489-492. CAI Y B, LI D B. AUV underwater positioning method based on monocular-vision[J]. Journal of Chinese Inertial Technology, 2015, 23(4): 489-492. |
[4] |
张伟, 李子轩, 宫鹏, 等. UUV接驳单目视觉导引灯阵定位方法[J]. 水下无人系统学报, 2019, 27(3): 313-318. ZHANG W, LI Z X, GONG P, et al. A positioning method of monocular visual guided light array in UUV docking system[J]. Journal of Unmanned Undersea Systems, 2019, 27(3): 313-318. |
[5] |
张伟, 潘珺, 宫鹏, 等. 面向UUV回收过程的单目视觉导引灯阵跟踪方法[J]. 水下无人系统学报, 2021, 29(4): 435-441. ZHANG W, PAN J, GONG P, et al. Monocular vision guided lamp array tracking method for the UUV recovery process[J]. Journal of Unmanned Undersea Systems, 2021, 29(4): 435-441. |
[6] |
韩泽凯, 朱兴华, 韩晓军, 等. 基于卷积神经网络目标跟踪的AUV回收视觉导引算法[J]. 水下无人系统学报, 2022, 30(6): 801-808. HAN Z K, ZHU X H, HAN X J, et al. Visual guidance algorithm for AUV recovery based on CNN object tracking[J]. Journal of Unmanned Undersea Systems, 2022, 30(6): 801-808. DOI:10.11993/j.issn.2096-3920.2022-0031 |
[7] |
刘建业, 庄苏锋, 屠大维, 等. 双目立体视觉成像系统水下建模与标定方法[J]. 光子学报, 2022, 51(12): 11-23. LIU J Y, ZHUANG S F, TU D W, et al. Underwater modeling and calibration method of binocular stereo vision imaging system[J]. Acta Photonica Sinica, 2022, 51(12): 11-23. |
[8] |
陈建平, 秦斌, 王欣. 非均匀光照图像的自适应阈值分割[J]. 湖南工业大学学报, 2016, 30(4): 36-40. CHEN J P, QIN B, WANG X. An adaptive threshold segmentation method based on inhomogeneous illumination images[J]. Journal of Hunan University of Technology, 2016, 30(4): 36-40. DOI:10.3969/j.issn.1673-9833.2016.04.008 |
[9] |
白雪. 自适应阈值法的舰船图像自动分割简[J]. 舰船科学技术, 2018, 40(6): 136-138. BAI X. Automatic segmentation of ship image based on adaptive threshold method[J]. Ship Science and Technology, 2018, 40(6): 136-138. |
[10] |
杨琨, 曾立波, 王殿成. 数学形态学腐蚀膨胀运算的快速算法[J]. 计算机工程与应用, 2005, 41(34): 54-56. YANG K, ZENG L B, WANG D C. A fast arithmetic for the erosion and dilation operations of mathematical morphology[J]. Computer Engineering and Applications, 2005, 41(34): 54-56. |