舰船科学技术  2024, Vol. 46 Issue (23): 160-163    DOI: 10.3404/j.issn.1672-7649.2024.23.028   PDF    
基于卷积神经网络的雾天舰船图像增强研究
刘好斌, 傅凌辉     
南昌航空大学 软件学院,江西 南昌 330063
摘要: 舰船图像增强对目标图像特征提取具有非常重要的意义。本文研究雾天图像成像模型,设计基于卷积神经网络的雾天舰船图像增强的算法流程,包括图像数据准备、卷积神经网络模型构建、模型训练以及图像增强等4个阶段,最后对舰船图像增强前后效果进行对比,雾天船舶图像背景和细节都得到加强,表明本文提出的基于卷积神经网络的雾天舰船图像增强方法行之有效,能够有效提升图像质量。
关键词: 卷积神经网络     雾天     图像增强     损失函数    
Research on enhancement of foggy ship image based on convolutional neural network
LIU Haobin, FU Linghui     
School of Software, Nanchang Hangkong University, Nanchang 330063, China
Abstract: Ship image enhancement plays an important role in feature extraction of target image. In this paper, the image model of foggy ship is studied, and the algorithm flow of foggy ship image enhancement based on convolutional neural network is designed, which includes four stages: image data preparation, convolutional neural network model construction, model training and image enhancement. Finally, the effects before and after ship image enhancement are compared, and the background and details of ship image in foggy day are enhanced. The results show that the convolutional neural network based image enhancement method proposed in this paper is effective and can effectively improve the image quality.
Key words: convolutional neural network     foggy     image enhancement     loss function    
0 引 言

雾天对舰船图像质量有着显著的负面影响。首先,能见度会大幅降低,雾气如同薄纱般笼罩在海面上,使得图像中的背景和前景融合在一起,原本清晰可辨的海天界限变得模糊不清,干扰了对舰船所处环境的判断。其次,舰船目标也会变得模糊,雾中的微小水滴散射光线,导致图像的对比度下降,舰船上的细节如舰体轮廓、武器装备、标识等难以清晰呈现,边缘变得模糊,增加了目标识别和分析的难度,也影响了后续基于图像的相关决策和操作的准确性。雾天图像颜色也会产生失真,雾霭使光线发生复杂的折射和散射,使得图像色彩的饱和度和明度出现变化,影响了图像的视觉效果和信息传递的准确性[12]

图像增强技术可以有效解决雾天舰船图像获取以及目标识别的问题,在雾天、阴天或者夜间等低光照条件下,舰船驾驶员通过视觉获取的周围环境信息有限。图像增强技术可以提升导航图像的质量,使得诸如礁石、浅滩、其他船舶等障碍物更加清晰地呈现出来。军事行动中的舰船图像包含了大量敏感和关键的信息,例如敌军舰船的部署、型号识别、武器装备情况等[3]。在复杂的气象条件或者远距离侦察的情况下,原始图像往往质量不佳。利用图像增强技术,有利于军事指挥人员进行准确的情报分析、目标定位和作战决策,在海战等军事行动中获取信息优势,从而提高军事行动的成功率和安全性[4]

本文提出一种基于卷积神经网络的雾天舰船图像增强方法,使用卷积神经网络对各类雾天船舶数据进行训练,在完成训练后,可以在雾天图像信息相对有限的情况下对图像进行增强,最终实现目标识别。

1 图像增强评价及模型研究 1.1 图像增强量化评价指标

选择合适的图像增强评价指标来对增强后的雾天舰船图像进行定量评估。本文选择的评价指标包括峰值信噪比(PSNR)、结构相似性指数(SSIM)、均方误差(MSE)等。

1)均方误差(MSE)用于衡量增强后的图像与原始图像之间的像素值差异的平均水平。MSE 的值越小,说明增强后的图像与原始图像越接近,图像质量越好。

$ {MSE} = \frac{1}{{mn}}\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {({I_{{\text{original}}}}(} } i,j) - {I_{{\text{enhanced}}}}(i,j){)^2} \text{。} $ (1)

式中:mn分别为图像的行数和列数;IoriginalIenhanced分别为原始图像和增强图像的像素值。

2)峰值信噪比(PSNR)是一种基于像素值差异的评价指标,用于衡量增强后的图像与原始图像之间的差异。PSNR的值越高,说明增强后的图像与原始图像越接近,图像质量越好。

$ PSNR= 10{\log _{10}}\left( {\frac{{{\text{MAX}}_I^2}}{{{MSE}}}} \right) \text{。} $ (2)

式中:MAXI =255。

3)结构相似性指数(SSIM)从图像的亮度、对比度和结构3个方面来评价图像的相似性。SSIM 的值介于 0 和 1 之间,值越接近1,说明增强后的图像与原始图像的结构相似性越高,图像质量越好。

$ {SSIM}(x,y) = \frac{{(2{\mu _x}{\mu _y} + {C_1})(2{\sigma _{xy}} + {C_2})}}{{(\mu _x^2 + \mu _y^2 + {C_1})(\sigma _x^2 + \sigma _y^2 + {C_2})}} \text{。} $ (3)

式中:μxμy分别为原始图像和增强图像的均值;σx2σy2分别为原始图像和增强图像的方差;σxy为原始图像和增强图像的协方差。

1.2 雾天图像成像模型

在雾天图像成像过程中,大气散射模型是描述光线传播的关键理论基础。舰船获取的雾天图像受到极大的干扰,成像质量不高,因而需要对雾天图像成像模型进行研究,这样才能更好地对图像进行增强[5]

推理假设雾天环境中的大气均匀,并且光线在其中的传播遵循物理光学原理。在这种环境下,相机所接收到的光线由两部分组成:一是目标物体本身反射的光线,二是大气中悬浮颗粒散射的光线。

I(x)为相机所接收到的光强,它是空间位置x的函数。J(x)表示物体表面反射光强,A表示大气光强(即全局光照成分,是由大气散射光形成的环境光)。根据大气散射理论,光线在雾天中的传播受到散射的影响。光在传播过程中的衰减遵循指数衰减规律。对于从物体表面到相机的光线,其衰减系数为β(它与雾的浓度等因素有关),传播距离为d(x)(物体点到相机的光路距离)。因此,物体反射光在传播到相机过程中的衰减可以表示为 J(x)eβd(x)。同时,大气散射光对相机接收光强也有贡献。由于大气散射光在整个空间中都存在,在光线传播路径上,大气散射光的积分贡献为A(1 − eβd(x)),它表示沿着光路,大气散射光不断被相机接收,随着距离增加,其积累效果越来越明显。

综合以上分析,可以得到雾天图像成像的大气散射模型公式:

$ I(x) = J(x){e^{ - \beta d(x)}} + A\left(1 - {e^{ - \beta d(x)}}\right) \text{。} $ (4)

该公式描述了雾天环境下光线传播与图像形成的关系,在实际的雾天图像中,雾越浓,β值越大,大气散射光的影响就越显著,图像也就越模糊,物体反射光的信息越难以分辨。在处理雾天图像增强问题时,这个模型为后续的算法设计提供了理论依据,基于卷积神经网络的方法通过估计大气光强 A和衰减系数β,可以尝试恢复出物体表面反射光强J(x),从而实现图像的去雾增强。图1为在不同雾度值情况下的图像PSNR变化情况,可以发现,随着雾度值的增加,PSNR值在不断下降,说明雾天对图像质量具有较大影响。

图 1 不同雾度值情况下的图像PSNR变化 Fig. 1 Changes of PSNR in images with different fog values
2 基于卷积神经网络的雾天舰船图像增强算法设计 2.1 算法流程设计

基于卷积神经网络的雾天舰船图像增强算法包括图像数据准备、卷积神经网络模型构建、模型训练以及图像增强等4个阶段。

1)图像数据准备阶段

①雾天舰船图像数据集获取。雾天舰船图像通过多种方式收集,在雾天环境下实地使用相机(如光学相机、红外相机等)拍摄真实的其他舰船、普通船舶以及固定障碍物等场景,并从现有的海洋监测数据库、军事图像库等筛选出带有雾天条件的图像。同时,为了更好地训练和评估算法,还需要收集各种型号的清晰图像作为参考,这些清晰图像可以帮助算法学习如何从雾天图像恢复到理想的清晰状态[6]

②数据预处理。将图像的像素值归一化到一个特定的范围,将像素值范围从[0, 255]归一化到[0, 1]或[−1,1]。这有助于加快网络的收敛速度,并且使网络对不同尺度的输入更加稳定。使用线性变换的归一化方法进行处理,如对于像素值I,若要归一化到 [0,1],则新的像素值Inew=I/255。

③图像裁剪与缩放。根据网络输入的要求,对图像进行裁剪和缩放操作。裁剪可以去除图像中无关的部分,如边缘的空白区域或噪声较多的部分;缩放则是为了将不同尺寸的图像调整为网络所期望的固定输入尺寸。

2)卷积神经网络模型构建阶段

①卷积神经网络架构设计。设计适合雾天舰船图像增强的卷积神经网络架构,如图2所示。网络架构包括卷积层、池化层和反卷积层等。卷积层用于提取图像的特征。使用多个不同大小的卷积核(如3×3、5×5等),可以提取不同尺度的特征。假设第一个卷积层的卷积核大小为3×3,步长为1,填充为1,输入通道数为1(对应RGB图像),输出通道数为16,那么这个卷积层会对输入图像的每个3×3的小区域进行卷积操作,生成16个特征图,每个特征图的大小与输入图像相同(由于填充为1)。池化层用于减少数据量,提取主要特征并防止过拟合。采用2×2的最大池化,步长为2,会将输入特征图的大小在宽度和高度方向上都缩小一半,选择每个2×2区域中的最大值作为输出。反卷积层或转置卷积层用于将提取的特征图恢复到与原始图像相似的尺寸,以实现图像的重建和增强。

图 2 雾天舰船图像增强的卷积神经网络架构 Fig. 2 Convolutional neural network architecture for ship image enhancement in foggy weather

②初始化网络参数。对网络中的参数(如卷积核权重和偏置)进行初始化。使用He初始化方法对卷积层的权重进行初始化,这种方法在激活函数为ReLU等情况下可以使网络更快地收敛。对于一个卷积层的权重矩阵W,如果其输入通道数为 nin,输出通道数为 nout,则W的每个元素会按照正态分布 $ \mathcal{N}(0,\sqrt {\dfrac{2}{{{n_{\rm in}}}}} ) $ 进行初始化。

3)模型训练阶段

①定义损失函数。选择合适的损失函数来衡量网络输出的增强图像与理想清晰图像(如果有参考图像)之间的差异。常用的损失函数包括均方误差(MSE)损失函数、结构相似性(SSIM)损失函数等。以均方误差损失函数为例,设网络输出的增强图像为yi,对应的参考清晰图像为$ y_i^* $,训练数据集有N个样本,则损失函数L的计算公式为:

$ L = \frac{1}{N}\sum\limits_{i = 1}^N {{{({y_i} - y_i^*)}^2}} \text{。} $ (5)

这个损失函数可以使网络输出的图像与参考图像在像素级别上尽可能接近。损失函数和训练次数的关系如图3所示,训练次数为200次时损失函数下降趋势变缓,随着训练次数的增加,损失函数的值趋于稳定。

图 3 损失函数和训练次数的关系 Fig. 3 The relationship between the loss function and the number of trainings

②选择优化算法。采用合适的优化算法来更新网络的参数,以最小化损失函数。本文采用Adam优化算法,它结合了动量法和自适应学习率的优点。在训练过程中,Adam算法会根据梯度的一阶矩估计和二阶矩估计来调整每个参数的学习率。在每次迭代时,它会计算梯度的均值和方差,然后根据这些统计量来更新参数,使得参数能够更快、更稳定地收敛到最优值。

③训练过程。将预处理后的雾天舰船图像数据集划分为训练集、验证集和测试集。通常,训练集用于训练网络,验证集用于调整网络的超参数(如网络的深度、卷积核的数量等),测试集用于评估网络的最终性能。在训练过程中,将训练集中的雾天图像输入到网络中,经过网络的前向传播得到增强图像,然后计算损失函数的值。接着,通过反向传播算法计算损失函数对网络中每个参数的梯度,最后使用优化算法根据梯度更新网络的参数。这个过程会重复多次(即多个训练轮次),直到网络收敛或达到预设的训练次数。

4)图像增强阶段

①模型应用。当网络训练完成后,就可以使用它来对新的雾天舰船图像进行增强。将雾天舰船图像输入到训练好的网络中,通过网络的前向传播,输出增强后的图像。对于一张新的雾天舰船图像,经过网络的各个卷积层、池化层和反卷积层的处理后,得到增强后的图像,其清晰度、对比度等质量指标有望得到显著提高,使得舰船的细节(如舰体轮廓、设备设施等)更加清晰可辨。

②后处理。对增强后的图像可以进行一些后处理操作,以进一步优化图像质量。对图像进行直方图均衡化来调整图像的对比度,使图像的灰度分布更加均匀;使用滤波操作去除可能残留的噪声,使图像更加平滑。

2.2 图像增强效果对比

为了更好地展现图像增强效果,本文采用数据库中具有明显特征的船舶进行图像处理实验。通过对图4的4幅图片进行对比可以发现,通过调节卷积神经网络的初始化参数、损失函数等可以实现对图像的不同增强效果,这些增强效果包括对雾天舰船图像的细节增强和背景增强。在使用训练集进行不断训练和优化后,获得最终的增强舰船图片。相比于原始图片,增强后的图片在细节处得到了加强,由原来的模糊难辨到具有较为清晰的轮廓,为后续的图像特征识别提供了良好的基础。从图像质量上看,由于背景和细节都得到了加强,因而完全符合本文的设计预期。

图 4 基于卷积神经网络的图像增强效果对比 Fig. 4 Comparison of image enhancement effect based on convolutional neural network

对原始图片和最终效果图片进行PSNRSSIM以及MSE的计算,其中PSNR为41 dB,SSIM值为0.99%,MSE值为0.09,表明增强后的图像质量较好,非常接近原始图像。

3 结 语

雾天情况下获取的舰船、船舶以及固定目标等的图像质量较差,不利于识别目标的关键信息。本文提出一种基于卷积神经网络的雾天舰船图像增强方法,介绍图像增强的量化指标,阐述雾天情况下图像的成像模型,设计基于卷积神经网络的雾天舰船图像增强流程,最后对增强后的图像进行效果对比,结果表明增强后的雾天舰船图像背景和细节都得到加强。

参考文献
[1]
徐东红, 李彬, 齐勇. 面向云数据中心基于改进A2C算法的任务调度策略[J]. 计算机科学, 1−15.
XU D H, LI B, QI Y. Task scheduling strategy for cloud data center based on improved A2C algorithm [J]. Computer Science, 1−15.
[2]
陈富强. 网络中计算任务调度建模与算法研究[D]. 成都: 电子科技大学, 2024.
[3]
王立红, 张延华, 孟德彬, 等. 基于DDPG算法的云数据中心任务节能调度研究[J]. 高技术通讯, 2023, 33(9): 927-936.
WANG L H, ZHANG Y H, MENG D B, et al. Research on energy-saving task scheduling of cloud data center based on DDPG algorithm[J]. High Technology Letters, 2023, 33(9): 927-936. DOI:10.3772/j.issn.1002-0470.2023.09.004
[4]
曾磊, 白金明, 刘琦. 多群落粒子群优化供应链数据中心任务调度[J]. 应用科学学报, 2023, 41(3): 419-430.
ZENG L, BAI J M, LIU Q. Multi-colonial particle swarm optimization for supply chain data center task scheduling[J]. Journal of Applied Sciences, 2023, 41(3): 419-430. DOI:10.3969/j.issn.0255-8297.2023.03.005
[5]
马璐, 刘铭, 李超, 等. 面向6G边缘网络的云边协同计算任务调度算法[J]. 北京邮电大学学报, 2020, 43(6): 66-73.
MA L, LIU M, LI C, et al. Cloud-edge collaborative computing task scheduling algorithm for 6G Edge Network[J]. Journal of Beijing University of Posts and Telecommunications, 2020, 43(6): 66-73.
[6]
孟嘉, 厉文婕, 于广荣, 等. 面向效用最大化的数据中心动态资源分配[J]. 计算机应用研究, 2021, 38(6): 1728-1733+1779.
MENG J, LI W J, YU G R, et al. Dynamic resource allocation for utility maximization in data centers[J]. Computer Applications and Software, 2021, 38(6): 1728-1733+1779.