舰船科学技术  2022, Vol. 44 Issue (15): 161-164    DOI: 10.3404/j.issn.1672-7649.2022.15.034   PDF    
考虑浑浊度的水下无人航行器采集图像色彩误差校正方法
鲍艳     
江西科技学院,江西 南昌 330098
摘要: 为在水体浑浊度的影响下,还原水下拍摄场景的真实颜色信息,研究考虑浑浊度的水下无人航行器采集图像色彩误差校正方法。分析水下无人航行器采集图像的工作原理,依据该原理在不同浑浊度水体下,利用水下无人航行器完成图像采集,并使用直方图均衡化方法增强采集的图像,在此基础上运用改进灰度世界算法,实现增强图像的色彩误差校正。实验结果表明:该方法使用后的极限浑浊度图像的像素灰度级分布十分均匀,图像质量明显改善;水体浑浊度与采集图像的色彩误差具有正比关系,且该方法对不同水体浑浊度下的采集图像,均具有较优异的色彩误差校正效果。
关键词: 浑浊度     水下无人     航行器     采集图像     色彩误差校正     图像增强    
Color error correction method of underwater unmanned aerial vehicle image acquisition considering turbidity
BAO Yan     
Jiangxi University of Technology, Nanchang 330098, China
Abstract: In order to restore the true color information of underwater shooting scene under the influence of water turbidity, the color error correction method of Underwater Unmanned Aerial Vehicle image acquisition considering turbidity is studied. This paper analyzes the working principle of image acquisition by Underwater Unmanned Aerial Vehicle. According to this principle, underwater unmanned aerial vehicle is used to complete image acquisition in water with different turbidity, and histogram equalization method is used to enhance the collected image. On this basis, the improved gray world algorithm is used to realize the color error correction of the enhanced image. The experimental results show that the pixel gray level distribution of the extreme turbidity image after this method is very uniform, and the image quality is significantly improved; the turbidity of water body is in direct proportion to the color error of the collected image, and this method has excellent color error correction effect for the collected images under different turbidity of water body.
Key words: turbidity     no one is underwater     aircraft     image acquisition     color error correction     image enhancement    
0 引 言

海洋蕴含着丰富的矿产和生物等资源,能有效缓解日益增长的人口与环境压力,并且与国家安全密切相关,因此充分挖掘海洋信息对国家的经济和军事活动具有重大意义[1]。水下无人航行器因具有智能化、隐蔽性好以及探测范围广等优势,已成为海洋信息挖掘的主要方式,其通过搭载传感器、摄像机和各种任务模块,能顺利执行反水雷、沉船打捞和生物观测等多种水下使命[2-3]。相对于传感器数据,图像能直观反映更多的水下信息,但由于光源和水体浑浊度的影响,导致水下无人航行器采集图像存在严重的色偏现象[4],从而给图像分析带来巨大挑战,因此研究水下图像色彩误差校正方法甚为关键。

很多学者均对该方法作出深入研究,王国霖等[5]和郑愈明等[6],分别利用双透射率和视差注意力校正水下图像色彩误差。这2种方法均能复原出色彩优良、细节清晰的水下图像,但未考虑水体浑浊度对背景光的散射作用。为解决以上方法存在的不足,本文提出考虑浑浊度的水下无人航行器采集图像色彩误差校正方法。

1 水下无人航行器采集图像色彩误差校正方法 1.1 考虑浑浊度的水下无人航行器采集图像原理

使用图1描述水下无人航行器采集图像的工作原理图。控制管理模块接收到惯导系统传送的信息后,依据其类型分别发送至方位和俯仰随动系统,以及方位俯仰测角系统中,2个随动系统通过驱动相应的电机控制摄像机方位与角度[7-8],实现所需图像的精准采集。同时2个测角元件可以实时测量摄像头的方位和俯仰角数据,并将其反馈给控制管理模块,用于对2个电机的辅助控制。图像流媒体文件的职责为存储摄像机采集的图像,为保证水下无人航行器的持久续航能力,其中配备了完善的供电装置,包括激磁、伺服以及传感器电源等。在水下无人航行器采集图像的过程中,由于水中含有大量不溶性物质,导致浑浊度严重影响所采集图像的质量,存在较为明显的模糊和色彩误差较大问题。

图 1 水下无人航行器采集图像工作原理图 Fig. 1 Working principle of image acquisition by underwater unmanned aerial vehicle
1.2 考虑浑浊度的水下无人航行器采集图像增强

利用直方图均衡化方法,增强水下无人航行器采集的图像,以解决水体浑浊度引起的图像模糊问题。水下无人航行器采集图像增强前的灰度级,及其分布概率密度分别用r, $ {P}_{r}\left(r\right) $ 描述,增强后的灰度级及其分布概率密度分别用s, $ {P}_{s}\left(s\right) $ 描述,同时认为全部像素的灰度值均被归一化至[0,1]范围内,则利用公式(1)所示变换函数对范围内任意r值进行变换:

$ s = T\left( r \right) ,$ (1)

该变换函数需符合的2个标准为:1)当r处于[0,1]范围内时, $ T\left( r \right) $ 为单值单调递增函数,该标准能够保证采集图像完成灰度级变换后仍存在反变换函数 $ {T^{ - 1}}\left( r \right) $ ;2)当r处于[0,1]范围内时, $ T\left( r \right) $ 的值域同为[0,1],该标准能够保证采集图像完成灰度级变换后,像素灰度值区间满足既定要求。sr之间的反变换形式为:

$ r = {T^{ - 1}}\left( s \right),0 \leqslant s \leqslant 1,$ (2)

利用式(3)描述变换函数和原采集图像灰度级分布概率密度 $ {P_r}\left( r \right) $ 之间的关联:

$ s = T\left( r \right) = \int_0' {{p_r}\left( r \right){\rm{d}}\left( r \right)} ,\quad 0 \leqslant r \leqslant 1 。$ (3)

式中:积分变量用d描述。该式的右侧可以认为是原采集图像灰度级r的累积分布函数,其满足下式r的求导结果:

$ \frac{{{\rm{d}}}{s}}{{{\rm{d}}}{r}}={p}_{r}\left(r\right)。$ (4)

将上式结果代入增强后采集图像灰度级分布概率密度 $ {P}_{s}\left(s\right) $ 中,可得:

$ {p_s}\left( s \right) = {\left[ {{p_r}\left( r \right)\frac{{{{\rm{d}}r}}}{{{{\rm{d}}s}}}} \right]_{r = {T^{ - 1}}\left( s \right)}} = {p_r}\left( r \right)\frac{{\rm{d}}}{{{{\rm{d}}s}}}{\left[ {\frac{1}{{d/{dr}}}} \right]_{r = {T^{ - 1}}\left( s \right)}} = 1 。$ (5)

为利用直方图均衡化方法实现水下无人航行器采集图像增强的具体过程为:

1)使用式(6)统计原采集图像直方图,求出 $ {p_r}\left( r \right) $ 为:

$ {p_r}\left( r \right) = \frac{{{n_r}}}{N} 。$ (6)

式中:采集图像的总像素数量用N描述,其中包含r的像素数量用 $ {n_r} $ 描述。

2)使用式(3)和式(4)变换式(6),获得新灰度级分布概率密度 $ {p_n}\left( r \right) $

3)以过程(2)所得结果替换原采集图像的 $ {p}_{r}\left(r\right) $ ,并运用式(5)求解 $ {p_s}\left( s \right) $ ,即可得到增强后的水下无人航行器采集图像。

1.3 水下无人航行器采集图像色彩误差校正

针对获得的水下无人航行器增强图像,引入改进灰度世界算法进行色彩误差校正,以进一步解决水体浑浊度引起的采集图像色彩误差较大问题。灰度世界算法的定义式描述如下:

$ \widehat{E}={\displaystyle \underset{F}{\int }{S}_{k}\left(\lambda \right)E\left(\lambda \right)} 。$ (7)

式中: $ \hat E $ 为水下无人航行器增强图像的像素值,其值可通过计算图像RGB三个通道的平均值估计得到;F为可见光谱; $ {S}_{k}\left(\lambda \right) $ 为水下无人航行器成像时的响应系数; $ \lambda $ 为波长; $ E\left( \lambda \right) $ 为光谱功率分布。

为避免水下无人航行器增强图像颜色不丰富影响其色彩误差校正效果,利用波长衰减系数改进灰度世界算法。增强图像的背景光用 $ {B_{\lambda ,\infty }} $ 描述,散射和衰减系数分别用 $ {b_\lambda } $ $ {c_\lambda } $ 描述,三者之间的关系如下:

$ {B_{\lambda ,\infty }} \propto {b_\lambda }/{c_\lambda }。$ (8)

将增强图像的R通道当作基准,利用式(9)得出其他2个通道相对于该通道的衰减系数比:

$ \frac{{{c_G}}}{{{c_R}}} = \frac{{{b_G}{B_{R,\infty }}}}{{{b_R}{B_{G,\infty }}}},\frac{{{c_B}}}{{{c_R}}} = \frac{{{b_B}{B_{R,\infty }}}}{{{b_R}{B_{B,\infty }}}} 。$ (9)

式中:分别为RGB三个通道的光波散射系数 $ {b}_{R} $ $ {b}_{G} $ $ {b}_{B} $ ;背景光分别用 $ {B}_{R,\infty } $ $ {B}_{G,\infty } $ $ {B}_{B,\infty } $ 描述; $ {c_R} $ $ {c_G} $ $ {c_B} $ 分别为光波衰减系数。

根据上式完成增强图像3个通道平均值的加权校正,可以获得增强图像加权灰度平均值结果为:

$ \overline {grey} = \frac{{\bar R + {k_1}\bar G + {k_2}\bar B}}{3} 。$ (10)

式中: $ {k_2} $ $ {k_1} $ 分别为RG通道的衰减系数比; $ \bar R $ $ \bar G $ $ \bar B $ 分别为3个通道的灰度平均值。假设 $ {k_R} $ $ {k_G} $ $ {k_B} $ 分别表示增强图像3个通道的增益系数,三者可通过 $ \overline {grey} $ 与相应的灰度平均值作商获得,则针对增强图像中各像素C,可利用式(11)调整其3个通道的分量值,实现水下无人航行器增强图像色彩误差校正。

$ \left\{ \begin{gathered} C\left( R \right) = C\left( R \right) \cdot {k_R},\\ C\left( G \right) = C\left( G \right) \cdot {k_G} \cdot {k_1},\\ C\left( B \right) = C\left( B \right) \cdot {k_B} \cdot {k_2} 。\\ \end{gathered} \right. $ (11)
2 结果分析

利用水下无人航行器分别在纯净水体以及一般、严重和极限3种浑浊水体下进行图像采集,构成4组数据集,每组包含100幅图像,并将其规格统一处理成 $ 256 \times 256 $ ,运用本文方法依次实现各幅图像的增强和色彩误差校正处理,以验证所提方法的图像质量改善能力。

从极限浑浊度数据集中随机选取一幅图像进行增强测试,并通过图像像素直方图衡量增强效果,像素灰度级分布越均匀,图像增强效果越理想,具体用图2描述。从图2可以发现,极限浑浊度数据集中原始图像的像素灰度级分布起伏较大,主要集中在130~160灰度级之间,表明图像亮度不均,且清晰度较差。经过本文方法的增强处理后,图像的像素灰度级分布十分均匀,图像质量明显提升,表明本文方法对受浑浊度影响的水下无人航行器采集图像具有较优良的增强效果。

图 2 原始和增强后图像的像素分布直方图 Fig. 2 Pixel distribution histogram of original and enhanced images

分别从3组浑浊度数据集中随机选取1幅图像进行测试,在完成图像增强的基础上,校正3幅增强图像的色彩误差,所得结果用图3描述。

图 3 不同浑浊度图像的色彩误差校正测试 Fig. 3 Color error correction test of images with different turbidity

图3可以发现,随着水体浑浊度增加,水下无人航行器采集图像的色彩误差随之增大,出现偏蓝绿色的情况,经过本文方法的色彩误差校正后,图像的颜色信息明显改善,且图像的清晰度也显著提升,所得图像真实自然。表明在不同浑浊度情况下,本文方法均具有较理想的水下无人航行器采集图像色彩误差校正效果。

3 结 语

高质量的水下图像是促进海洋资源开发和军事应用的重要基础,为避免浑浊水体对采集图像质量的色偏影响,本文提出考虑浑浊度的水下无人航行器采集图像色彩误差校正方法。该方法利用图像增强技术能有效提升采集图像的清晰度,并且对不同浑浊度引起的不同程度色偏图像,均具有较好的色彩误差校正效果,所得图像符合人眼视觉感知。

参考文献
[1]
桂心远, 张然, 成昊远, 等. 基于神经网络和偏振成像的多浑浊度水下图像恢复[J]. 激光与光电子学进展, 2022, 59(4): 62-68.
GUI Xin-yuan, ZHANG Ran, CHENG Hao-yuan, et al. Multi-turbidity underwater image restoration based on neural network and polarization imaging[J]. Laser & Optoelectronics Progress, 2022, 59(4): 62-68.
[2]
任宇飞, 吴玉泉, 李宇, 等. 水下无人航行器主动目标自动检测方法研究[J]. 船舶力学, 2019, 23(2): 227-233.
REN Yu-fei, WU Yu-quan, LI Yu, et al. Research on an unmanned underwater vehicle autonomous active target detection method[J]. Journal of Ship Mechanics, 2019, 23(2): 227-233. DOI:10.3969/j.issn.1007-7294.2019.02.012
[3]
赵婧旭, 赵晨, 周锋. 基于主从式水下自主航行器移动组网的合作目标定位方法[J]. 电子与信息学报, 2022, 44(6): 1919-1926.
ZHAO Jing-xu, ZHAO Chen, ZHOU Feng. Cooperative target location method based on master-slave autonomous underwater vehicles mobile network[J]. Journal of Electronics & Information Technology, 2022, 44(6): 1919-1926. DOI:10.11999/JEIT211359
[4]
蔡晨东, 霍冠英, 周妍, 等. 基于场景深度估计和白平衡的水下图像复原[J]. 激光与光电子学进展, 2019, 56(3): 137-144.
CAI Chen-dong, HUO Guan-ying, ZHOU Yan, et al. Underwater image restoration method based on scene depth estimation and white balance[J]. Laser & Optoelectronics Progress, 2019, 56(3): 137-144.
[5]
王国霖, 田建东, 李鹏越. 基于双透射率水下成像模型的图像颜色校正[J]. 光学学报, 2019, 39(9): 16-25.
WANG Guo-lin, TIAN Jian-dong, LI Peng-yue. Image color correction based on double transmittance underwater imaging model[J]. Acta Optics Sinica, 2019, 39(9): 16-25.
[6]
郑愈明, 范媛媛, 牛玉贞. 视差注意力的立体图像颜色校正方法[J]. 小型微型计算机系统, 2022, 43(3): 611-620.
ZHENG Yu-ming, FAN Yuan-yuan, NIU Yu-zhen. Parallax attention based stereoscopic image color correction[J]. Journal of Chinese Computer Systems, 2022, 43(3): 611-620. DOI:10.20009/j.cnki.21-1106/TP.2021-0611
[7]
曾赛, 杜选民, 范威, 等. 采用垂直短阵的水下小目标三维层析成像方法[J]. 哈尔滨工程大学学报, 2020, 41(10): 1583-1590.
ZENG Sai, DU Xuan-yuan, FAN Wei, et al. Three-dimensional tomography method of underwater small target using vertical array[J]. Journal of Harbin Engineering University, 2020, 41(10): 1583-1590. DOI:10.11990/jheu.202007038
[8]
张昊春, 曲博岩, 金亮, 等. 水下航行器热尾流目标海平面探测红外成像仿真[J]. 应用光学, 2019, 40(4): 525-534.
ZHANG Hao-chun, QU Bo-yan, JIN Liang, et al. Infrared imaging simulation of sea surface detection of underwater vehicle thermal wake target[J]. Journal of Applied Optics, 2019, 40(4): 525-534. DOI:10.5768/JAO201940.0401001