舰船科学技术  2023, Vol. 45 Issue (24): 200-203    DOI: 10.3404/j.issn.1672-7649.2023.24.038   PDF    
基于视觉传达技术的舰船图像质量提升方法
省明     
河南工程学院,河南 郑州 451191
摘要: 由于舰船行驶过程所拍摄图像容易受到各种外界因素影响,降低舰船图像质量,无法获取舰船重要信息,因此,有效利用多种视觉传达技术提升舰船图像质量。结合大气弹射模型,采用改进的四叉树搜索方法估计有雾舰船图像的大气光值,通过子窗口引导滤波器估计有雾舰船图像的透射率,反推大气散射模型,获取去雾后的舰船图像;通过视觉传达技术中低通滤波器将去雾后舰船图像分解为低频部分和高频部分,将舰船图像的低频部分输入到编码-解码深度网络中,修正舰船图像的颜色,将舰船图像的高频部分输入到残差网络中,增强舰船图像的清晰度;再经视觉传达技术中改进的双伽马函数调整舰船图像的亮度,实现舰船图像的质量提升。实验结果表明:该方法使舰船图像的纹理细节丰富,颜色鲜明,具有较高的清晰度和对比度,符合人眼的视觉感受;与原始舰船图像的结构相似性均在0.91以上,保证了舰船图像的真实性。
关键词: 视觉传达技术     舰船图像     图像去雾     清晰度增强     对比度增强     图像质量提升    
Ship image quality improvement method based on visual communication technology
XING Ming     
Henan University of Engineering, Zhengzhou 451191, China
Abstract: Due to the susceptibility of images captured during ship operation to various external factors, the quality of ship images is reduced and important information about the ship cannot be obtained. Therefore, various visual communication technologies are effectively utilized to improve the quality of ship images. Combining with the atmospheric ejection model, an improved quadtree search method is used to estimate the atmospheric light value of the foggy ship image. A sub window guided filter is used to estimate the transmittance of the foggy ship image, and the atmospheric scattering model is deduced to obtain the fogged ship image. By using low-pass filters in visual communication technology, the ship image after defogging is decomposed into low-frequency and high-frequency parts. The low-frequency part of the ship image is input into the encoding decoding deep network, and the color of the ship image is corrected. The high-frequency part of the ship image is input into the residual network to enhance the clarity of the ship image. By adjusting the brightness of the ship image through the improved dual gamma function in visual communication technology, the quality of the ship image is improved. The experimental results show that this method enriches the texture details of ship images, has bright colors, high clarity and contrast, and is in line with the visual perception of the human eye. After the application of this method, the structural similarity with the original ship image is above 0.91, ensuring the authenticity of the ship image.
Key words: visual communication technology     ship images     image defogging     enhanced clarity     contrast enhancement     image quality improvement    
0 引 言

舰船在航行中,成像设备成像时容易受到水流冲击、光照条件或者成像设备本身的影响,使获取的舰船图像出现分辨率低、模糊等情况,降低了舰船图像的质量,影响监测者获取舰船的重要信息,从而降低了舰船的安全性。因此,提升舰船图像的质量具有重要意义[1, 2]

近年来,国内外专家针对如何提升舰船图像质量的问题进行了研究。偰倩[3]提出了时空域滤波的舰船图像质量提升方法,翁鹏涛等[4]提出了改进PGGAN的图像数据增强方法。但是这2种方法不适用于大尺寸图像,限制了应用范围,使视觉传达效率较低。视觉传达技术在提升舰船图像质量方面具有显著优势[5],可以提升图像的分辨率,提供更详细和准确的信息,为此本文设计基于视觉传达技术的舰船图像质量提升方法,并分析其性能。

1 舰船图像质量提升的视觉传达方法

视觉传达技术是通过视觉进行信息传达的设计手段。本文结合多种视觉传达技术,对舰船图像进行去雾、颜色修正、清晰度和对比度增强,实现舰船图像的质量提升。

1.1 舰船图像的去雾设计

海面上的雾气是导致舰船图像质量下降的重要因素之一,由于大气分子对雾气的形成具有一定的影响,雾气会使舰船在自然光成像时发生散射,导致得到的总光通量和实际的总光通量具有偏差,降低了图像的清晰度和对比度,并且使图像发生失真等情况。对于图像的去雾方法,结合大气弹射模型,通过改进的四叉树搜索方法进行大气光值的估计,再通过子窗口滤波估计透射率,采用大气散射模型得到去雾后的图像,从而更好地传达图像的视觉信息。

1.2 舰船图像色彩和清晰度的质量提升

舰船图像的成像环境较复杂,易受到水流冲击和成像设备本身的影响,使图像出现模糊和颜色失真现象,边缘轮廓清晰度差,导致图像的质量退化。为了提升图像质量,考虑增强图像的清晰度和纠正图像颜色,增强图像的视觉传达效果,图像的清晰度体现在图像的高频部分,图像的颜色体现在图像的低频部分,因此,图像的高频部分和低频部分进行分离,对清晰度和图像的失真颜色共同增强,实现舰船图像质量的提升。采用低通滤波的方式将舰船图像分解为高频部分和低频部分,舰船图像的高频部分用于增强图像的清晰度,低频部分用于修正图像的颜色失真问题,提升图像质量,如图1所示。

图 1 舰船图像色彩和清晰度的提升架构 Fig. 1 Architecture for improving the color and clarity of ship images
1.2.1 基于编码-解码深度网络的舰船图像色彩修正

为获取舰船图像的色彩信息,提升图像质量,采用编码-解码深度网络,将图像的低频部分作为网络的输入,解决图像的回归问题,实现图像的全局颜色修正。结合VGG-Net网络,建立的编码器共有7个卷积层和4个池化层,解码器共有4个上采样层和7个卷积层,最大池化的尺寸和上采样均为2。将注意力机制引入到该网络的连接层和处理层,增加该网络对图像中重要信息的关注。通过编码器对图像的抽象内容进行提取,通过解码器上采样图像的特征映射,用于恢复舰船图像的细节。因为在该完全卷积网络中,池化层和上采样层对称,像素是舰船图像的基本元素,在网络中,像素表示各种信息,所以在该网络中输入的舰船图像大小不等,而输出的图像与输入的图像大小相等。通过高斯模糊的损失函数对舰船图像的色彩度进行增强,提升图像的质量,舰船图像的颜色损失函数可表达为:

$ los{s_C} = \left\| {{Z_b} - {X_b}} \right\|_2^2\text{。} $ (1)

式中:Zb表示通过编码-解码深度网络增强后的舰船图像通过高斯模糊后的模糊图像;Xb表示目标舰船图像经高斯模糊处理的模糊图像。

1.2.2 基于残差网络的图像清晰度增强

在对舰船图像的颜色修正过程中往往会丢失图像的边缘细节,因此为了获取清晰度较高的舰船图像,增强图像的边缘信息,提升图像质量,将图像的高频部分输入到残差网络中,该网络结构中包含2个残差单元,不包括批量归一化层,具有容易训练,并且收敛快的优势,能够增强舰船图像的轮廓信息。舰船图像的边缘信息细节可以通过梯度损失进行增强,公式为:

$ los{s_G} = \frac{1}{N}\sum\limits_{i = 1}^N {\left| {\nabla {z_i} - \nabla {x_i}} \right|}\text{。} $ (2)

式中:$ N $表示舰船图像数量;$ \nabla {z_i} $表示增强后的舰船图像细节,$ \nabla {x_i} $表示目标舰船图像细节。

采用编码-解码深度网络的池化层和上采样层获取舰船图像的全局信息,修正舰船图像颜色,并结合残差网络弥补了在颜色修正过程中被丢失的舰船图像边缘细节,提升舰船图像的质量。

1.3 舰船图像对比度的提升

由于舰船图像的对比度也容易受到天气和光照的影响,导致获取的舰船图像存在过亮或过暗区域,对比度较差。Retinex算法属于视觉传达技术,因此采用Retinex算法对舰船图像进行对比对增强,进一步提升舰船图像的质量。改进的双伽马函数是Retinex算法中的重要手段,能够对舰船图像中的亮度进行调整。双伽马函数的数学表达式可定义为:

$ G(x) = \alpha {G_a}(x) + (1 - \alpha ){G_b}(x) \text{,}$ (3)
$ {G_a}(x) = {x^{1/r}}\text{,} $ (4)
$ {G_b}(x) = 1 - {(1 - x)^{1/r}}\text{。} $ (5)

式中:$ \alpha \in [0,1] $$ r $表示调节参数,对舰船图像的增强进行控制。

$ G(x) $$ [0,1] $之间单调递增,设x0$ [0,1] $之间,且满足$ G({x_0}) = {x_0} $,则$ x \in [0,{x_0}] $时,$ G(x) \geqslant x $;当$ x \in [{x_0},1] $时,$ G(x) \leqslant x $,舰船图像的亮度小于x0时,将通过双伽马函数对舰船图像的暗区域进行增强;当舰船图像的亮度大于x0时,将通过双伽马函数对亮区域进行抑制。通常情况下,调节参数$ r $越大,对舰船图像的增强程度和抑制程度越大。

通过上述操作,能够在保证舰船图像色彩信息和边缘细节信息没有流失的情况下,对舰船图像进行亮度的调整,改善舰船图像的对比度,提升舰船图像的质量。

2 实验结果分析

以某海域的船舶为实验对象,船长为52 m,宽为8 m,深度为3 m,能够承载的最大重量为150 t,用于海上运输货物。由于该海域所处位置属于低纬度,常常会出现浓雾弥漫的景象,能见度较低,获取的舰船图像大多为有雾图像。因此,本文在Matlab平台上进行测试,设置硬件环境为Intel Core i5 CPU,内存为16 GB,主频为1.6 GHz,通过本文方法对获取的舰船图像进行质量的提升,提升结果如图2所示。图2(a)为拍摄的原始舰船图像,能够看出因为舰船所处海域纬度较低,以及天气和光照的原因,舰船图像的雾气较大,细节纹理几乎消失,视觉效果较差;图2(b)为通过本文方法进行去雾后的舰船图像,能够显著地看出去雾效果非常明显,为提升舰船图像提供了一定的支持;图2(c)为通过本文方法进行舰船图像质量提升的最后结果,可以看出舰船图像的纹理细节丰富,颜色鲜明,清晰度较高,对比度也非常符合人眼的视觉感受。

图 2 本文方法的舰船图像质量提升结果 Fig. 2 The improvement results of ship image quality using the method proposed in this paper

通过客观评价指标验证不同图像增强方法的优劣性。设置本文方法的评价指标分别为颜色熵、边缘强度和平均梯度晰,结果如图3所示。可知,时空域滤波增强方法只能增强舰船图像的平均梯度值,提升舰船图像的对比度,但是颜色熵和边缘强度分别在10和15左右,低于增强前的舰船图像,无法修正舰船图像的颜色和保持边缘轮廓信息;改进的PGGAN方法可以在保证舰船图像颜色不失真的情况下,提升舰船图像的对比度,但是边缘强度低于17.35,会丢失舰船图像中的边缘细节。而本文方法对舰船图像进行质量提升后,颜色熵、边缘强度和平均梯度均高于质量提升前的舰船图像,不仅增强了舰船图像的整体轮廓信息细节,还可以修正失真的颜色,提升舰船图像的清晰度和对比度,视觉效果最好。

图 3 不同方法的图像增强指标对比结果 Fig. 3 Comparison results of image enhancement indicators using different methods

为了进一步证明本文方法的舰船图像质量提升的有效性,对该海域的6组舰船图像进行测试,将结构相似性度量指标作为评价标准,结果如表1所示。分析可知,时空滤波的图像增强方法对6组舰船图像进行质量提升后,与原始舰船图像的结构相似性最低,易造成舰船图像的失真,丢失图像中的重要信息;改进PGGAN的图像增强方法虽然有所提升,但是结构相似性指标仍然低于0.9,无法保证舰船图像的真实性;通过本文方法对舰船图像进行质量提升后,与原始舰船图像的结构相似性最高,均在0.91以上,说明本文方法应用后,在提升舰船质量的同时,保证了舰船图像的真实性。

表 1 不同方法的舰船图像质量提升后结构相似性 Tab.1 Structural similarity of ship image quality improvement by different methods
3 结 语

本文结合多种视觉传达技术提升舰船图像质量,通过改进四叉树搜索和引导滤波对舰船图像进行去雾后,增强舰船图像的色彩、清晰度和对比度,实现舰船图像的质量提升。以某低纬度海域中的货运舰船为实验对象,通过主观和客观的评价方法验证了本文方法不仅能够实现舰船图像的去雾,并且可以修正舰船图像颜色,提升舰船图像的清晰度和对比度,视觉效果更好。同时,质量提升后的舰船图像保持了原有图像的重要信息,真实性较高。

参考文献
[1]
马浩为, 张迪, 范亮, 等. 基于改进YOLOv5的雾霾环境下船舶红外图像检测算法[J]. 交通信息与安全, 2023, 41(1): 95-104.
MA Haowei, ZHANG Di, FAN Liang, et al. A Ship detection algorithm for infrared images under hazy environment based on an improved YOLOv5 algorithm[J]. Journal of Transport Information and Safety, 2023, 41(1): 95-104. DOI:10.3963/j.jssn.1674-4861.2023.01.010
[2]
姚婷婷, 张波, 柳晓鸣. 特征增强全卷积网络下的船舶检测[J]. 计算机辅助设计与图形学学报, 2022, 34(7): 1028-1036.
YAO Tingting, ZHANG Bo, LIU Xiaoming. Feature enhanced fully convolutional network for ship detection[J]. Journal of Computer-Aided Design & Computer Graphics, 2022, 34(7): 1028-1036.
[3]
偰倩. 基于时空域滤波的视觉传达图像的微小细节增强方法[J]. 黑龙江工业学院学报(综合版), 2022, 22(10): 66-71.
XIE Qian. Micro-detail enhancement method for visual communication images based on spatial-temporal filtering[J]. Journal of Heilongjiang University of Technology (Comprehensive Edition), 2022, 22(10): 66-71.
[4]
翁鹏涛, 杜玉军, 张道奥, 等. 基于改进PGGAN的口腔图像数据增强算法[J]. 计算机工程与设计, 2022, 43(11): 3225-3234.
WENG Pengtao, DU Yujun, ZHANG Daoao, et al. Data augmentation algorithm of stemmatological images based on improved PGGAN[J]. Computer Engineering and Design, 2022, 43(11): 3225-3234. DOI:10.16208/j.issn1000-7024.2022.11.030
[5]
上官小雨, 于跃波. 视觉传达的多帧平面图像纹理细节增强算法[J]. 吉林大学学报(信息科学版), 2023, 41(2): 359-366.
SHANGGUAN Xiaoyu, YU Yuebo. Algorithm of texture detail enhancement for multi-frame plane image based on visual communication[J]. Journal of Jilin University (Information Science Edition), 2023, 41(2): 359-366. DOI:10.19292/j.cnki.jdxxp.2023.02.016