舰船科学技术  2023, Vol. 45 Issue (12): 164-167    DOI: 10.3404/j.issn.1672-7619.2023.12.033   PDF    
基于视觉传达技术的船舶实效图像自适应增强方法
傅建明     
江西科技学院,江西 南昌 330098
摘要: 为提升船舶实效图像视觉质量,提出基于视觉传达技术的船舶实效图像自适应增强方法。将获取的低分辨率船舶实效图像转换至HSI空间内,利用伽马校正技术自适应修正图像的亮度分量,得到亮度分布均匀的船舶实效图像;利用改进后的粒子群算法自适应地寻找Retinex算法中的高斯环绕尺度最优值,并在寻优过程中,针对船舶实效图像内容模糊以及对比度低等特点,将图像信息熵和标准差作为判断船舶实效图像质量的指标,建立粒子适应度函数,保证寻优结果对于处理低分辨率船舶实效图像可以达到更好的效果;利用优化后的Retinex算法,去除光照分量对船舶实效图像质量产生的不良影响,得到能反映出图像本质属性的增强图像。实验证明,利用该方法能够极大地提升船舶实效图像分辨率,增强后的图像清晰度高,无曝光点,细节丰富,达到了较好的视觉效果,可以为船舶实效图像的后期应用提供有利支撑。
关键词: 视觉传达     船舶实效图像     亮度分量校正     图像增强     Retinex算法     粒子群算法    
An adaptive enhancement method for ship's actual image based on visual communication technology
FU Jian-ming     
Jiangxi University of Technology, Nanchang 330098, China
Abstract: This paper proposes an adaptive enhancement method of ship effective image based on visual communication technology to improve the visual quality of ship effective image and lay a foundation for the subsequent application of ship image. The low-resolution ship effective image was converted into HSI space, and the brightness component of the image was adaptively corrected by gamma correction technology to obtain the ship effective image with uniform brightness distribution. The improved particle swarm optimization algorithm is used to find the optimal value of Gaussian surround scale in Retinex algorithm adaptively. In the process of optimization, image information entropy and standard deviation are used as indicators to judge the quality of ship effective image, and particle fitness functions are established, aiming at the features of fuzzy content and low contrast of ship effective image. To ensure that the optimization results can achieve better results in the processing of low resolution ship images. Finally, the optimized Retinex algorithm was used to remove the adverse effects of light component on the effective ship image quality, and the enhanced image reflecting the essential attributes of the image was obtained. Experimental results show that this method can greatly improve the resolution of effective ship image, and the enhanced image has high resolution, no exposure point and rich details, so as to achieve a good visual effect, which can provide favorable support for the later application of effective ship image.
Key words: visual communication     ship effectiveness image     brightness component correction     image enhancement     Retinex algorithm     particle swarm optimization    
0 引 言

由于船舶工作环境的特殊性,其在执行出海任务时对各类信息的监测要求更加严格,尤其是船舶的可视化信息,对于船舶安全出行来说更为重要[1-2]。但因为水流的冲击、水雾以及光照条件的影响,获取的船舶实效图像往往会出现模糊、颜色暗淡以及灰度化等分辨率低的问题[3-4]。为了获取高分辨率的可视化信息,助力船舶安全行驶,就需要对获取的船舶实效图像进行增强处理。

近年来,国内外诸多学者关于船舶图像增强问题进行了研究,并取得了一定的研究成果。黄宁淑等[5]利用剪裁的方式对船舶图像目标区域进行提取,求得该区域内像素间的距离,建立图像物理坐标,并依据坐标信息对船舶图像实施三维重建。在此基础上,引入视觉传达技术,对局部区域的亮度进行调节,使图像的光线分布更有层次感,进而达到增强图像的目的。成藻等[6]通过视觉传达技术把船舶图像划分成三种秩序,即空间和时间、内在和外在以及抽象和具象,并以此对图像特征进行提取,同时把图像特征投射至聚类矩阵中,获取聚类图像,将高分辨率图像当作低分辨率图像的优化约束条件,确定目标函数后重新建立聚类图像,此时得到的图像即为增强后的船舶图像。上述2种方法虽然对图像起到了一定的增强作用,但是第1种方法对于图像光线的不均匀性可以进行较好的处理,但在图像细节方面则达不到理想的增强效果;第2种方法则没有考虑图像增强的自适应性,缺乏处理图像的灵活性。

视觉传达技术以交互体验与感受为重点,依据视觉规律,通过相关技术将视觉信息传达出来,目前已在多个领域得到推广。本文提出一种视觉传达技术下船舶实效图像自适应增强方法,可以较好地实现船舶实效图像的自适应增强。

1 船舶实效图像自适应增强 1.1 船舶实效图像亮度分量的校正处理 1.1.1 船舶实效图像亮度分量的提取

由于采集到的原始船舶实效图像属于RGB图像,在RGB空间中增强图像的饱和度和亮度(灰度值)往往会使图像出现颜色失真的现象;而在HSI空间内,是从色调(H)、饱和度(S)以及亮度(I)三个方面对图像色彩特征进行表述,并且IHS不存在任何关联,也就是说,在该空间内处理船舶实效图像的亮度信息,则不会对其原来图像的颜色产生影响。所以在对船舶实效图像亮度进行处理前,应先将其转换至HSV空间中。对I的转换可以描述为:

$ I = \frac{{R + G + B}}{3}。$ (1)

式中:RGB图像的红、绿、蓝分量分别用 $ R $ $ G $ $ B $ 描述。

1.1.2 基于伽马校正的图像亮度分量自适应校正

伽马校正属于非线性操作,常用于图像的预处理,该技术可以对图像的光照和对比度进行修正。而伽马参数 $ \gamma $ 则是该技术中较为重要的参变量,利用对 $ \gamma $ 的调节,可以完成对图像亮度分量的自适应校正。当 $ \gamma $ 是1时,图像没有改变;当 $ \gamma $ 小于1时,图像亮度会增大;当 $ \gamma $ 大于1时,图像亮度会变小。本文依据船舶实效图像光照分量的分布特点,对 $ \gamma $ 实施自适应调节,进而完成对船舶实效图像亮度(灰度值)的自适应校正。创建的伽马校正函数描述为:

$ {I_{out}}(x,y) = {I_{\max }}{({I_{in}}(x,y)/{I_{\max }})^\gamma }。$ (2)

其中, $ \gamma $ 描述为:

$ \gamma = {(1/2)^{(u - L(x,y))/u}} 。$ (3)

式中:光照分量亮度平均值用 $ u $ 描述;校正后亮度用 $ {I_{out}}(x,y) $ 描述;原图像亮度用 $ {I_{in}} \in \left[ {0,{I_{\max }}} \right] $ 描述; $ {I_{\max }} $ 是最大亮度值;空间平面坐标用 $ x $ $ y $ 描述。

将转换至HIS空间的船舶实效图像,通过上述操作,可以在颜色信息不流失的情况下,对其亮度进行调节,进而得到亮度适宜的船舶实效图像。

1.2 基于Retinex算法的船舶实效图像增强

Retinex算法属于视觉传达技术,该方法根据对人类视网膜和大脑皮层运行过程的模拟,完成对图像的增强,该过程可以表示为:

$ E(x,y) = D(x,y) \times L(x,y) 。$ (4)

式中:E(x,y)为经过亮度校正后的船舶实效图像用;L(x,y)为图像中的光照分量用;D(x,y)为反射图像用;且D(x,y)可以反映出船舶实效图像的细节信息。

Retinex算法的核心思想是:去除L(x,y)对图像视觉效果造成的影响,保留能体现图像本质属性的D(x,y)。单尺寸的Retinex算法通过高斯函数对光照分量L(x,y)展开分析,消除L(x,y)对船舶实效图像的影响,达到增强图像的目的,描述为:

$ D(x,y) = \ln E(x,y) - \ln \left[ {\eta (x,y) * E(x,y)} \right]。$ (5)

式中:卷积运算用 $ * $ 描述;高斯核函数用 $ \eta (x,y) $ 描述,且 $ \eta (x,y) $ 用公式表示为:

$ \eta (x,y) = \zeta \times {e^{( - ({x^2} + {y^2}))/{\sigma ^2}}}。$ (6)

式中:归一化系数用 $ \zeta $ 描述;高斯环绕尺度用 $ \sigma $ 描述; $ e $ 代表指数函数。

在Retinex算法中, $ \sigma $ 的取值至关重要,它直接关系到船舶实效图像的增强效果。只有当 $ \sigma $ 的取值适当,才能使增强后的船舶实效图像在动态范围的压缩和对比度方面保持平衡,达到理想的图像增强效果。为了使 $ \sigma $ 的取值更合理,本文利用粒子群算法(PSO)对 $ \sigma $ 值进行自适应选取。PSO算法依据种群的连续迭代进行全局求优,即利用所有粒子之间的协作和竞争来完成整体最佳位置的搜寻。粒子所处位置代表的就是 $ \sigma $ 的取值,算法最终寻得的整体最佳位置就是 $ \sigma $ 的最佳值。

设定存在于维度 $ S $ 空间中的种群,由数量是 $ N $ 的粒子构建,描述为 $ Q = \left( {{Q_1},{Q_2}, \cdots ,{Q_N}} \right) $ ,其中粒子 $ i $ 在该空间内的位置用 $ {Q_i} = \left( {{Q_{i1}},{Q_{i2}}, \cdots ,{Q_{iS}}} \right) $ 描述,代表问题的潜在解。该粒子的移动速度用 $ {V_i} = \left( {{V_{i1}},{V_{i2}}, \cdots ,{V_{iS}}} \right) $ 描述,个体极值用 $ {p_i} = \left( {{p_{i1}},{p_{i2}}, \cdots ,{p_{iS}}} \right) $ ,整体种群全局极值用 $ {p_g} = \left( {{p_{g1}},{p_{g2}}, \cdots ,{p_{gS}}} \right) $ 描述。在迭代过程中,利用 $ {p_g} $ $ {p_i} $ 对粒子的速度与位置进行改变,该过程的更新模型可以描述为:

$ \left\{ \begin{array}{l} V_{{\text{i}}S}^{t + 1} = \omega V_{{\text{i}}S}^t + {\lambda _1}{r_1}(p_{{\text{i}}S}^t - Q_{{\text{i}}S}^t) + {\lambda _2}{r_2}(p_{gS}^t - Q_{gS}^t) ,\\ Q_{{\text{i}}S}^{t + 1} = V_{{\text{i}}S}^{t + 1} + Q_{{\text{i}}S}^t 。\end{array} \right. $ (7)

式中:粒子 $ i $ 的移动速度用 $ V_{{\text{i}}S}^t $ 描述;位置用 $ Q_{{\text{i}}S}^t $ 描述;迭代次数用 $ t $ 描述;惯性权重用 $ \omega $ 描述;学习因子用 $ {\lambda _1} $ $ {\lambda _2} $ 描述,随机数用 $ {r_1} $ $ {r_2} $ 描述,且二者的取值范围为 $ \left[ {0,1} \right] $ 。另外,为了避免粒子出现盲目搜寻的现象,需要对其速度与位置进行设限,通常设限的范围分别为 $\left[ {{ - }}{V_{\max }},{V_{\max }} \right]$ $ \left[ {{{ - }}{Q_{\max }},{Q_{\max }}} \right] $

在PSO算法中,需要利用适应度值对粒子的优良进行评估,也是评价船舶实效图像质量好坏的依据。针对船舶实效图像内容模糊以及对比度低等特点,将信息熵 $ H $ 和标准差 $ \delta $ 作为判断船舶实效图像质量的指标。其中,图像中包含的信息量通过 $ H $ 描述,对比度特征用 $ \delta $ 描述。将二者引入PSO算法中,对船舶实效图像增强问题的适应度函数进行构建,描述为:

$ f = {\alpha _1}H + {\alpha _2}\delta,$ (8)

式中,常数用 $ {\alpha _1} $ $ {\alpha _2} $ 描述,且二者的和是1。

通过对粒子适应度的线性排列,可以对粒子进行客观评价。

传统PSO算法中,通常会出现粒子跟随记忆搜寻,使算法过早收敛,出现局部极值的问题。为了避免出现类似的问题,可以将遗传(GA)算法中的基因变异策略引入其中,对粒子位置更新方式进行改进,描述为:

$ \left\{ \begin{aligned} & Q_i^{t + 1} = V_i^t + (Q_i^t)' ,\\ & (Q_i^t)' = \left\{ \begin{gathered} Q_i^t + (Q_i^t - {Q_{\max }}) \cdot h(t),{r_3} \geqslant 0.5,\\ Q_i^t + ({Q_{\max }} - Q_i^t) \cdot h(t),{r_3} < 0.5 ,\\ \end{gathered} \right. \\ & h(t) = {r_4} \cdot {(1 - t/{t_{\max }})^2} 。\end{aligned} \right. $ (9)

式中,随机数用 $ {r_3} $ $ {r_4} $ 描述,目前和最大迭代次数分别用 $ t $ $ {t_{\max }} $ 描述,粒子变异几率用 $ h(t) $ 描述。

通过上述方法对PSO算法进行改进后,可以减少记忆性对粒子运动的干扰,防止出现重复路线,有效提升收敛速度,避免发生局部最优的问题。

利用改进后的PSO算法可以得到Retinex算法中 $ \sigma $ 的最优值,从而提升Retinex算法的性能,达到优化Retinex算法的目的。最后采用优化后的Retinex算法,去除光照分量 $ L(x,y) $ 对船舶实效图像质量产生的不良影响,获取能反映图像本质属性的 $ D(x,y) $ ,进而实现船舶实效图像的自适应增强。

2 实验结果与分析

以某货轮为实验对象,该货轮长50 m,宽6 m,深3.5 m,标准吃水1.3 m,运载能力160 t,可用于远、近海的货物运输。

为了验证本文方法的有效性,实验随机选取该货轮的实效图像利用本文方法进行了图像增强操作。实验主要参数见表1,该货轮实效图像增强前后的效果,如图1所示。由图1可知,原船舶实效图像整体较为灰暗,分辨率较低,不利于视觉信息的传达和人眼的观察。而经过本文方法增强后的船舶实效图像,极大地提升了图像分辨率,清晰度高,无曝光点,细节丰富,达到了较好的视觉效果,为后续船舶实效图像的应用奠定了基础。

表 1 实验参数设置 Tab.1 Experimental parameter settings

图 1 船舶实效图像增强效果图 Fig. 1 Enhanced effect of ship's actual image

为了验证本文所提优化后粒子群算法的性能,实验对该算法的粒子适应度进行了测试,设定最大迭代次数为180,最佳适应度为98,得到的结果如图2所示。由图2可知,利用本文方法得到的粒子适应度曲线,随着实验的进行迅速向最佳值贴近。迭代次数为40次时,适应度曲线已接近最佳适应度值;迭代次数为60次时,适应度曲线已处于收敛状态。由此说明本文方法将GA算法中的基因变异策略引入粒子群算法中,对其进行了较好的改进,可以快速实现算法的收敛,找到全局最优值。

图 2 适应度变化趋势 Fig. 2 Fitness variation trend

NIQE即自然图像质量评估指标,常用于对增强后图像品质的评价,其值越小,代表经过增强的图像与自然图像差异越小。为了衡量本文方法的优越性,实验在不同信噪比条件下,利用本文方法对船舶实效图像进行了自适应增强,并通过NIQE指标对增强前后的船舶实效图像质量进行了评价,得出的结果,如图3所示。可知,经过本文方法增强后的船舶实效图像,在不同信噪比条件下的NIQE值对比增强前的图像得到了大幅度下降,尤其是信噪比为80时,增强后船舶实效图像的NIQE已降低至2,即使信噪比为10时,增强后图像的NIQE也未超过4。由此说明,利用本文方法对船舶实效图像进行适自应增强后,图像质量有了显著提升,进而证明本文方法具有较好的性能。

图 3 不同信噪比条件下的NIQE表现情况 Fig. 3 NIQE performance under different signal-to-noise ratios
3 结 语

由于海洋环境比较复杂,同时还会有其他船舶在同海域中航行,这样便导致对船舶的监测增加了难度。为了得到高分辨率的船舶实效图像,从中获取更多的细节信息,本文提出基于视觉传达技术的船舶实效图像自适应增强方法。该方法利用改进PSO算法对Retinex算法中的高斯环绕尺度进行自适应取值,利用优化后的Retinex算法对船舶实效图像实施了增强。通过实验证明,本文方法在增强船舶实效图像方面有着较好表现,具有较强的应用价值。

参考文献
[1]
曾广淼, 俞万能, 王荣杰, 等. 船舶目标重叠下马赛克图像数据增强方法研究[J]. 控制理论与应用, 2022, 39(6): 1139-1148.
ZENG Guangmiao, YU Wanneng, WANG Rongjie, et al. Research on mosaic image data enhancement and detection method for overlapping ship targets[J]. Control Theory & Applications, 2022, 39(6): 1139-1148.
[2]
常戬, 贺春泽, 董育理, 等. 改进双边滤波和阈值函数的图像增强算法[J]. 计算机工程与应用, 2020, 56(3): 207-213.
Changjian, He Chunze, DONG Yuli, et al. Improved Image Enhancement Algorithm for Bilateral Filtering and Threshold Function[J]. Computer Engineering and Applications, 2020, 56(3): 207-213. DOI:10.3778/j.issn.1002-8331.1811-0126
[3]
于希明, 洪硕, 于金祥, 等. 可见光遥感图像船舶目标数据增强方法研究[J]. 仪器仪表学报, 2020, 41(11): 261-269.
YU Ximing, HONG Shuo, YU Jinxiang, et al. Research on a ship target data augmentation method of visible remote sensing image[J]. Chinese Journal of Scientific Instrument, 2020, 41(11): 261-269. DOI:10.19650/j.cnki.cjsi.J2006978
[4]
林昌, 周海峰, 陈武. 基于双边滤波的高斯金字塔变换Retinex图像增强算法[J]. 激光与光电子学进展, 2020, 57(16): 209-215.
LIN Chang, ZHOU Haifeng, CHEN Wu. Gaussian Pyramid Transform Retinex Image Enhancement Algorithm Based on Bilateral Filtering[J]. Laser & Optoelectronics Progress, 2020, 57(16): 209-215.
[5]
黄宁淑. 视觉传达技术的雾天舰船图像恢复研究[J]. 舰船科学技术, 2021, 43(14): 184-186.
HUANG Ningshu. Research on ship image restoration in fog with visual communication technology[J]. Ship Science and Technology, 2021, 43(14): 184-186. DOI:10.3404/j.issn.16727649.2021.7A.062
[6]
成藻. 基于视觉传达技术的低分辨率舰船图像优化[J]. 舰船科学技术, 2021, 43(24): 190-192.
CHENG Zao. Research on low resolution ship image optimization based on visual communication technology[J]. Ship Science and Technology, 2021, 43(24): 190-192. DOI:10.3404/j.issn.16727649.2021.12A.064