海洋蕴含着丰富的矿产和生物等资源,能有效缓解日益增长的人口与环境压力,并且与国家安全密切相关,因此充分挖掘海洋信息对国家的经济和军事活动具有重大意义[1]。水下无人航行器因具有智能化、隐蔽性好以及探测范围广等优势,已成为海洋信息挖掘的主要方式,其通过搭载传感器、摄像机和各种任务模块,能顺利执行反水雷、沉船打捞和生物观测等多种水下使命[2-3]。相对于传感器数据,图像能直观反映更多的水下信息,但由于光源和水体浑浊度的影响,导致水下无人航行器采集图像存在严重的色偏现象[4],从而给图像分析带来巨大挑战,因此研究水下图像色彩误差校正方法甚为关键。
很多学者均对该方法作出深入研究,王国霖等[5]和郑愈明等[6],分别利用双透射率和视差注意力校正水下图像色彩误差。这2种方法均能复原出色彩优良、细节清晰的水下图像,但未考虑水体浑浊度对背景光的散射作用。为解决以上方法存在的不足,本文提出考虑浑浊度的水下无人航行器采集图像色彩误差校正方法。
1 水下无人航行器采集图像色彩误差校正方法 1.1 考虑浑浊度的水下无人航行器采集图像原理使用图1描述水下无人航行器采集图像的工作原理图。控制管理模块接收到惯导系统传送的信息后,依据其类型分别发送至方位和俯仰随动系统,以及方位俯仰测角系统中,2个随动系统通过驱动相应的电机控制摄像机方位与角度[7-8],实现所需图像的精准采集。同时2个测角元件可以实时测量摄像头的方位和俯仰角数据,并将其反馈给控制管理模块,用于对2个电机的辅助控制。图像流媒体文件的职责为存储摄像机采集的图像,为保证水下无人航行器的持久续航能力,其中配备了完善的供电装置,包括激磁、伺服以及传感器电源等。在水下无人航行器采集图像的过程中,由于水中含有大量不溶性物质,导致浑浊度严重影响所采集图像的质量,存在较为明显的模糊和色彩误差较大问题。
利用直方图均衡化方法,增强水下无人航行器采集的图像,以解决水体浑浊度引起的图像模糊问题。水下无人航行器采集图像增强前的灰度级,及其分布概率密度分别用r,
$ s = T\left( r \right) ,$ | (1) |
该变换函数需符合的2个标准为:1)当r处于[0,1]范围内时,
$ r = {T^{ - 1}}\left( s \right),0 \leqslant s \leqslant 1,$ | (2) |
利用式(3)描述变换函数和原采集图像灰度级分布概率密度
$ s = T\left( r \right) = \int_0' {{p_r}\left( r \right){\rm{d}}\left( r \right)} ,\quad 0 \leqslant r \leqslant 1 。$ | (3) |
式中:积分变量用d描述。该式的右侧可以认为是原采集图像灰度级r的累积分布函数,其满足下式r的求导结果:
$ \frac{{{\rm{d}}}{s}}{{{\rm{d}}}{r}}={p}_{r}\left(r\right)。$ | (4) |
将上式结果代入增强后采集图像灰度级分布概率密度
$ {p_s}\left( s \right) = {\left[ {{p_r}\left( r \right)\frac{{{{\rm{d}}r}}}{{{{\rm{d}}s}}}} \right]_{r = {T^{ - 1}}\left( s \right)}} = {p_r}\left( r \right)\frac{{\rm{d}}}{{{{\rm{d}}s}}}{\left[ {\frac{1}{{d/{dr}}}} \right]_{r = {T^{ - 1}}\left( s \right)}} = 1 。$ | (5) |
为利用直方图均衡化方法实现水下无人航行器采集图像增强的具体过程为:
1)使用式(6)统计原采集图像直方图,求出
$ {p_r}\left( r \right) = \frac{{{n_r}}}{N} 。$ | (6) |
式中:采集图像的总像素数量用N描述,其中包含r的像素数量用
2)使用式(3)和式(4)变换式(6),获得新灰度级分布概率密度
3)以过程(2)所得结果替换原采集图像的
针对获得的水下无人航行器增强图像,引入改进灰度世界算法进行色彩误差校正,以进一步解决水体浑浊度引起的采集图像色彩误差较大问题。灰度世界算法的定义式描述如下:
$ \widehat{E}={\displaystyle \underset{F}{\int }{S}_{k}\left(\lambda \right)E\left(\lambda \right)} 。$ | (7) |
式中:
为避免水下无人航行器增强图像颜色不丰富影响其色彩误差校正效果,利用波长衰减系数改进灰度世界算法。增强图像的背景光用
$ {B_{\lambda ,\infty }} \propto {b_\lambda }/{c_\lambda }。$ | (8) |
将增强图像的R通道当作基准,利用式(9)得出其他2个通道相对于该通道的衰减系数比:
$ \frac{{{c_G}}}{{{c_R}}} = \frac{{{b_G}{B_{R,\infty }}}}{{{b_R}{B_{G,\infty }}}},\frac{{{c_B}}}{{{c_R}}} = \frac{{{b_B}{B_{R,\infty }}}}{{{b_R}{B_{B,\infty }}}} 。$ | (9) |
式中:分别为R,G,B三个通道的光波散射系数
根据上式完成增强图像3个通道平均值的加权校正,可以获得增强图像加权灰度平均值结果为:
$ \overline {grey} = \frac{{\bar R + {k_1}\bar G + {k_2}\bar B}}{3} 。$ | (10) |
式中:
$ \left\{ \begin{gathered} C\left( R \right) = C\left( R \right) \cdot {k_R},\\ C\left( G \right) = C\left( G \right) \cdot {k_G} \cdot {k_1},\\ C\left( B \right) = C\left( B \right) \cdot {k_B} \cdot {k_2} 。\\ \end{gathered} \right. $ | (11) |
利用水下无人航行器分别在纯净水体以及一般、严重和极限3种浑浊水体下进行图像采集,构成4组数据集,每组包含100幅图像,并将其规格统一处理成
从极限浑浊度数据集中随机选取一幅图像进行增强测试,并通过图像像素直方图衡量增强效果,像素灰度级分布越均匀,图像增强效果越理想,具体用图2描述。从图2可以发现,极限浑浊度数据集中原始图像的像素灰度级分布起伏较大,主要集中在130~160灰度级之间,表明图像亮度不均,且清晰度较差。经过本文方法的增强处理后,图像的像素灰度级分布十分均匀,图像质量明显提升,表明本文方法对受浑浊度影响的水下无人航行器采集图像具有较优良的增强效果。
分别从3组浑浊度数据集中随机选取1幅图像进行测试,在完成图像增强的基础上,校正3幅增强图像的色彩误差,所得结果用图3描述。
从图3可以发现,随着水体浑浊度增加,水下无人航行器采集图像的色彩误差随之增大,出现偏蓝绿色的情况,经过本文方法的色彩误差校正后,图像的颜色信息明显改善,且图像的清晰度也显著提升,所得图像真实自然。表明在不同浑浊度情况下,本文方法均具有较理想的水下无人航行器采集图像色彩误差校正效果。
3 结 语高质量的水下图像是促进海洋资源开发和军事应用的重要基础,为避免浑浊水体对采集图像质量的色偏影响,本文提出考虑浑浊度的水下无人航行器采集图像色彩误差校正方法。该方法利用图像增强技术能有效提升采集图像的清晰度,并且对不同浑浊度引起的不同程度色偏图像,均具有较好的色彩误差校正效果,所得图像符合人眼视觉感知。
[1] |
桂心远, 张然, 成昊远, 等. 基于神经网络和偏振成像的多浑浊度水下图像恢复[J]. 激光与光电子学进展, 2022, 59(4): 62-68. GUI Xin-yuan, ZHANG Ran, CHENG Hao-yuan, et al. Multi-turbidity underwater image restoration based on neural network and polarization imaging[J]. Laser & Optoelectronics Progress, 2022, 59(4): 62-68. |
[2] |
任宇飞, 吴玉泉, 李宇, 等. 水下无人航行器主动目标自动检测方法研究[J]. 船舶力学, 2019, 23(2): 227-233. REN Yu-fei, WU Yu-quan, LI Yu, et al. Research on an unmanned underwater vehicle autonomous active target detection method[J]. Journal of Ship Mechanics, 2019, 23(2): 227-233. DOI:10.3969/j.issn.1007-7294.2019.02.012 |
[3] |
赵婧旭, 赵晨, 周锋. 基于主从式水下自主航行器移动组网的合作目标定位方法[J]. 电子与信息学报, 2022, 44(6): 1919-1926. ZHAO Jing-xu, ZHAO Chen, ZHOU Feng. Cooperative target location method based on master-slave autonomous underwater vehicles mobile network[J]. Journal of Electronics & Information Technology, 2022, 44(6): 1919-1926. DOI:10.11999/JEIT211359 |
[4] |
蔡晨东, 霍冠英, 周妍, 等. 基于场景深度估计和白平衡的水下图像复原[J]. 激光与光电子学进展, 2019, 56(3): 137-144. CAI Chen-dong, HUO Guan-ying, ZHOU Yan, et al. Underwater image restoration method based on scene depth estimation and white balance[J]. Laser & Optoelectronics Progress, 2019, 56(3): 137-144. |
[5] |
王国霖, 田建东, 李鹏越. 基于双透射率水下成像模型的图像颜色校正[J]. 光学学报, 2019, 39(9): 16-25. WANG Guo-lin, TIAN Jian-dong, LI Peng-yue. Image color correction based on double transmittance underwater imaging model[J]. Acta Optics Sinica, 2019, 39(9): 16-25. |
[6] |
郑愈明, 范媛媛, 牛玉贞. 视差注意力的立体图像颜色校正方法[J]. 小型微型计算机系统, 2022, 43(3): 611-620. ZHENG Yu-ming, FAN Yuan-yuan, NIU Yu-zhen. Parallax attention based stereoscopic image color correction[J]. Journal of Chinese Computer Systems, 2022, 43(3): 611-620. DOI:10.20009/j.cnki.21-1106/TP.2021-0611 |
[7] |
曾赛, 杜选民, 范威, 等. 采用垂直短阵的水下小目标三维层析成像方法[J]. 哈尔滨工程大学学报, 2020, 41(10): 1583-1590. ZENG Sai, DU Xuan-yuan, FAN Wei, et al. Three-dimensional tomography method of underwater small target using vertical array[J]. Journal of Harbin Engineering University, 2020, 41(10): 1583-1590. DOI:10.11990/jheu.202007038 |
[8] |
张昊春, 曲博岩, 金亮, 等. 水下航行器热尾流目标海平面探测红外成像仿真[J]. 应用光学, 2019, 40(4): 525-534. ZHANG Hao-chun, QU Bo-yan, JIN Liang, et al. Infrared imaging simulation of sea surface detection of underwater vehicle thermal wake target[J]. Journal of Applied Optics, 2019, 40(4): 525-534. DOI:10.5768/JAO201940.0401001 |