舰船在航行中,成像设备成像时容易受到水流冲击、光照条件或者成像设备本身的影响,使获取的舰船图像出现分辨率低、模糊等情况,降低了舰船图像的质量,影响监测者获取舰船的重要信息,从而降低了舰船的安全性。因此,提升舰船图像的质量具有重要意义[1, 2]。
近年来,国内外专家针对如何提升舰船图像质量的问题进行了研究。偰倩[3]提出了时空域滤波的舰船图像质量提升方法,翁鹏涛等[4]提出了改进PGGAN的图像数据增强方法。但是这2种方法不适用于大尺寸图像,限制了应用范围,使视觉传达效率较低。视觉传达技术在提升舰船图像质量方面具有显著优势[5],可以提升图像的分辨率,提供更详细和准确的信息,为此本文设计基于视觉传达技术的舰船图像质量提升方法,并分析其性能。
1 舰船图像质量提升的视觉传达方法视觉传达技术是通过视觉进行信息传达的设计手段。本文结合多种视觉传达技术,对舰船图像进行去雾、颜色修正、清晰度和对比度增强,实现舰船图像的质量提升。
1.1 舰船图像的去雾设计海面上的雾气是导致舰船图像质量下降的重要因素之一,由于大气分子对雾气的形成具有一定的影响,雾气会使舰船在自然光成像时发生散射,导致得到的总光通量和实际的总光通量具有偏差,降低了图像的清晰度和对比度,并且使图像发生失真等情况。对于图像的去雾方法,结合大气弹射模型,通过改进的四叉树搜索方法进行大气光值的估计,再通过子窗口滤波估计透射率,采用大气散射模型得到去雾后的图像,从而更好地传达图像的视觉信息。
1.2 舰船图像色彩和清晰度的质量提升舰船图像的成像环境较复杂,易受到水流冲击和成像设备本身的影响,使图像出现模糊和颜色失真现象,边缘轮廓清晰度差,导致图像的质量退化。为了提升图像质量,考虑增强图像的清晰度和纠正图像颜色,增强图像的视觉传达效果,图像的清晰度体现在图像的高频部分,图像的颜色体现在图像的低频部分,因此,图像的高频部分和低频部分进行分离,对清晰度和图像的失真颜色共同增强,实现舰船图像质量的提升。采用低通滤波的方式将舰船图像分解为高频部分和低频部分,舰船图像的高频部分用于增强图像的清晰度,低频部分用于修正图像的颜色失真问题,提升图像质量,如图1所示。
为获取舰船图像的色彩信息,提升图像质量,采用编码-解码深度网络,将图像的低频部分作为网络的输入,解决图像的回归问题,实现图像的全局颜色修正。结合VGG-Net网络,建立的编码器共有7个卷积层和4个池化层,解码器共有4个上采样层和7个卷积层,最大池化的尺寸和上采样均为2。将注意力机制引入到该网络的连接层和处理层,增加该网络对图像中重要信息的关注。通过编码器对图像的抽象内容进行提取,通过解码器上采样图像的特征映射,用于恢复舰船图像的细节。因为在该完全卷积网络中,池化层和上采样层对称,像素是舰船图像的基本元素,在网络中,像素表示各种信息,所以在该网络中输入的舰船图像大小不等,而输出的图像与输入的图像大小相等。通过高斯模糊的损失函数对舰船图像的色彩度进行增强,提升图像的质量,舰船图像的颜色损失函数可表达为:
$ los{s_C} = \left\| {{Z_b} - {X_b}} \right\|_2^2\text{。} $ | (1) |
式中:Zb表示通过编码-解码深度网络增强后的舰船图像通过高斯模糊后的模糊图像;Xb表示目标舰船图像经高斯模糊处理的模糊图像。
1.2.2 基于残差网络的图像清晰度增强在对舰船图像的颜色修正过程中往往会丢失图像的边缘细节,因此为了获取清晰度较高的舰船图像,增强图像的边缘信息,提升图像质量,将图像的高频部分输入到残差网络中,该网络结构中包含2个残差单元,不包括批量归一化层,具有容易训练,并且收敛快的优势,能够增强舰船图像的轮廓信息。舰船图像的边缘信息细节可以通过梯度损失进行增强,公式为:
$ los{s_G} = \frac{1}{N}\sum\limits_{i = 1}^N {\left| {\nabla {z_i} - \nabla {x_i}} \right|}\text{。} $ | (2) |
式中:
采用编码-解码深度网络的池化层和上采样层获取舰船图像的全局信息,修正舰船图像颜色,并结合残差网络弥补了在颜色修正过程中被丢失的舰船图像边缘细节,提升舰船图像的质量。
1.3 舰船图像对比度的提升由于舰船图像的对比度也容易受到天气和光照的影响,导致获取的舰船图像存在过亮或过暗区域,对比度较差。Retinex算法属于视觉传达技术,因此采用Retinex算法对舰船图像进行对比对增强,进一步提升舰船图像的质量。改进的双伽马函数是Retinex算法中的重要手段,能够对舰船图像中的亮度进行调整。双伽马函数的数学表达式可定义为:
$ G(x) = \alpha {G_a}(x) + (1 - \alpha ){G_b}(x) \text{,}$ | (3) |
$ {G_a}(x) = {x^{1/r}}\text{,} $ | (4) |
$ {G_b}(x) = 1 - {(1 - x)^{1/r}}\text{。} $ | (5) |
式中:
通过上述操作,能够在保证舰船图像色彩信息和边缘细节信息没有流失的情况下,对舰船图像进行亮度的调整,改善舰船图像的对比度,提升舰船图像的质量。
2 实验结果分析以某海域的船舶为实验对象,船长为52 m,宽为8 m,深度为3 m,能够承载的最大重量为150 t,用于海上运输货物。由于该海域所处位置属于低纬度,常常会出现浓雾弥漫的景象,能见度较低,获取的舰船图像大多为有雾图像。因此,本文在Matlab平台上进行测试,设置硬件环境为Intel Core i5 CPU,内存为16 GB,主频为1.6 GHz,通过本文方法对获取的舰船图像进行质量的提升,提升结果如图2所示。图2(a)为拍摄的原始舰船图像,能够看出因为舰船所处海域纬度较低,以及天气和光照的原因,舰船图像的雾气较大,细节纹理几乎消失,视觉效果较差;图2(b)为通过本文方法进行去雾后的舰船图像,能够显著地看出去雾效果非常明显,为提升舰船图像提供了一定的支持;图2(c)为通过本文方法进行舰船图像质量提升的最后结果,可以看出舰船图像的纹理细节丰富,颜色鲜明,清晰度较高,对比度也非常符合人眼的视觉感受。
通过客观评价指标验证不同图像增强方法的优劣性。设置本文方法的评价指标分别为颜色熵、边缘强度和平均梯度晰,结果如图3所示。可知,时空域滤波增强方法只能增强舰船图像的平均梯度值,提升舰船图像的对比度,但是颜色熵和边缘强度分别在10和15左右,低于增强前的舰船图像,无法修正舰船图像的颜色和保持边缘轮廓信息;改进的PGGAN方法可以在保证舰船图像颜色不失真的情况下,提升舰船图像的对比度,但是边缘强度低于17.35,会丢失舰船图像中的边缘细节。而本文方法对舰船图像进行质量提升后,颜色熵、边缘强度和平均梯度均高于质量提升前的舰船图像,不仅增强了舰船图像的整体轮廓信息细节,还可以修正失真的颜色,提升舰船图像的清晰度和对比度,视觉效果最好。
为了进一步证明本文方法的舰船图像质量提升的有效性,对该海域的6组舰船图像进行测试,将结构相似性度量指标作为评价标准,结果如表1所示。分析可知,时空滤波的图像增强方法对6组舰船图像进行质量提升后,与原始舰船图像的结构相似性最低,易造成舰船图像的失真,丢失图像中的重要信息;改进PGGAN的图像增强方法虽然有所提升,但是结构相似性指标仍然低于0.9,无法保证舰船图像的真实性;通过本文方法对舰船图像进行质量提升后,与原始舰船图像的结构相似性最高,均在0.91以上,说明本文方法应用后,在提升舰船质量的同时,保证了舰船图像的真实性。
本文结合多种视觉传达技术提升舰船图像质量,通过改进四叉树搜索和引导滤波对舰船图像进行去雾后,增强舰船图像的色彩、清晰度和对比度,实现舰船图像的质量提升。以某低纬度海域中的货运舰船为实验对象,通过主观和客观的评价方法验证了本文方法不仅能够实现舰船图像的去雾,并且可以修正舰船图像颜色,提升舰船图像的清晰度和对比度,视觉效果更好。同时,质量提升后的舰船图像保持了原有图像的重要信息,真实性较高。
[1] |
马浩为, 张迪, 范亮, 等. 基于改进YOLOv5的雾霾环境下船舶红外图像检测算法[J]. 交通信息与安全, 2023, 41(1): 95-104. MA Haowei, ZHANG Di, FAN Liang, et al. A Ship detection algorithm for infrared images under hazy environment based on an improved YOLOv5 algorithm[J]. Journal of Transport Information and Safety, 2023, 41(1): 95-104. DOI:10.3963/j.jssn.1674-4861.2023.01.010 |
[2] |
姚婷婷, 张波, 柳晓鸣. 特征增强全卷积网络下的船舶检测[J]. 计算机辅助设计与图形学学报, 2022, 34(7): 1028-1036. YAO Tingting, ZHANG Bo, LIU Xiaoming. Feature enhanced fully convolutional network for ship detection[J]. Journal of Computer-Aided Design & Computer Graphics, 2022, 34(7): 1028-1036. |
[3] |
偰倩. 基于时空域滤波的视觉传达图像的微小细节增强方法[J]. 黑龙江工业学院学报(综合版), 2022, 22(10): 66-71. XIE Qian. Micro-detail enhancement method for visual communication images based on spatial-temporal filtering[J]. Journal of Heilongjiang University of Technology (Comprehensive Edition), 2022, 22(10): 66-71. |
[4] |
翁鹏涛, 杜玉军, 张道奥, 等. 基于改进PGGAN的口腔图像数据增强算法[J]. 计算机工程与设计, 2022, 43(11): 3225-3234. WENG Pengtao, DU Yujun, ZHANG Daoao, et al. Data augmentation algorithm of stemmatological images based on improved PGGAN[J]. Computer Engineering and Design, 2022, 43(11): 3225-3234. DOI:10.16208/j.issn1000-7024.2022.11.030 |
[5] |
上官小雨, 于跃波. 视觉传达的多帧平面图像纹理细节增强算法[J]. 吉林大学学报(信息科学版), 2023, 41(2): 359-366. SHANGGUAN Xiaoyu, YU Yuebo. Algorithm of texture detail enhancement for multi-frame plane image based on visual communication[J]. Journal of Jilin University (Information Science Edition), 2023, 41(2): 359-366. DOI:10.19292/j.cnki.jdxxp.2023.02.016 |