舰船在航行过程中,需依靠采集的图像对舰船的航行监测,以保证舰船在海上的安全航行[1]。但是由于海上环境具有显著的变化性以及复杂性,图像在采集过程中,受到大雾、降雨、光照等多种环境因素的影响[2],同时舰船处于运动状态下,因此,会导致采集的图像视觉质量较低[3],如边缘模糊、分辨率较低、图像灰度化等,影响舰船的航行安全监测效果。为提升舰船的监测效果,需对低质量舰船航行图像进行相关处理[4],优化图像质量。王兴瑞[5]为提高图像质量,利用色彩空间转换亮度分量后,通过注意力机制复合残差网络进行分量融合,实现图像增强。但是该方法在应用过程中,对于图像边缘模糊现象的增强效果相对较差。吴建斌[6]主要针对低光照图像增强展开研究,以图像自身的颜色信息感知为基础,通过空间和注意力生成对抗网络,实现图像颜色复原,完成低光照图像增强;但是该方法在应用过程中,对于光照度过强图像的增强效果较差。
视觉感知技术是利用双眼视觉器官,通过接收聚合光线获取目标的影像,并且能够分析目标的颜色,并可对图像进行非线性变换,调整图像的灰度值,进行图像色彩恢复,使其达到人眼视觉的愉悦区,以此实现图像增强。因此,本文为实现低质量舰船航行图像增强,设计基于视觉感知技术的低质量舰船航行图像增强系统。
1 低质量舰船航行图像增强 1.1 图像增强系统总体架构为实现低质量舰船航行图像增强,本文设计基于视觉感知技术的低质量舰船航行图像增强系统,该系统以可编程门阵列(FPGA)为基础,通过PCI总线完成图像数据的传输,并利用视觉感知技术完成低质量图像增强,系统架构如图1所示。系统的整体原理为利用PCI总线将前段存储在PC机中的低质量舰船图像传送至图像增强处理模块中,利用视觉感知技术完成该图像的增强处理后,处理前后的图像均存储在同步动态随机存取内存(SDRAM)中,通过SDRAM控制模块对控制图像的存储和传输。依据FPGA的现场可编辑特性,可在进行图像处理的同时和通信模块进行交涉,并获取SDRAM中的存储的图像或者将增强后的图像存储至SDRAM中。最终通过PCI总线将增强的低质量舰船航行图像回传至PC中,为舰船航行监测提供可靠依据。
由于舰船图像在采集过程中,舰船处于航行状态下,采集的图像会发生不同程度畸变。因此,在进行低质量舰船航行图像增强前,需先对该图像进行畸变矫正,利用FPGA完成图像畸变矫正,其结构如图2所示。FPGA在进行图像畸变矫正时,主要分为两部分,一是利用SOPC技术完成图像畸变系数的读取和写入,二是通过几何预畸变电路完成舰船航行图像畸变矫正。
低质量舰船航行图像再处理过程中,需通过SDRAM控制模块,控制图像的存储和传输,该控制模块功能结构如图3所示。SDRAM控制模块以PCI-E主板为核心,通过该主板上的接口,完成通信系统传输图像的接收,PD机通过通信模块可读取该接口传输的图像数据,并对其进行分割和还原处理,使其形成两路完全一致的图像,当需对图像进行存储时,则通过键盘和鼠标操作,输入操作指令,将SDRAM存储的一路数据写入PC机中。当需对图像进行显示时,利用键盘和鼠标操作,使另一路数据可通过PC机的显示器进行呈现。如果需同时完成2个步骤,则同时进行2个步骤的相关操作。
人眼视觉系统能够较好应对光照变化环境,因此为实现低质量舰船航行图像增强,通过模拟人眼系统的光照应对特点,提出基于视觉感知特性的低质量舰船航行图像增强算法。畸变矫正后的低质量舰船航行图像,在SDRAM控制模块的控制下,传送至该算法中,完成低质量舰船航行图像增强。该算法的整体流程如图4所示。
由图4可知,该算法主要包含多个部分组成,第1部分是瞳孔放大过程中模拟,提升图像整体亮度;第2部分是依据暗适应函数进行明适应函数的设计,同时完成高灰度区域间隔的拉伸处理;第3部分是结合矫正后图像的光照分布情况,实现明暗两种信息的融合,实现图像增强[7];第4部分对增强后的亮度图像进行局部对比度增强;第5部分是完成舰船航行图像的色彩还原。
依据暗适应函数进行明适应函数的设计,同时完成高灰度区域间隔的拉伸处理后,会显著提升低质量舰船航行图像的全局对比度,但是也会导致局部对比度下降。视觉感知技术能够描述不同对象之间的差异,并且局部对比度较高时,则图像的清晰度、图像细节以及图像的灰度层次均会显著提升。
低质量舰船航行图像用X表示,则对其进行适当亮度增强后图像用XE表示,此时需提升XE的局部对比度。Michelson对比度(也称为能见度)和人的视觉感官对于视场光通量的空域频率一致,用
$ C = \frac{{{I_{\max }} - {I_{\min }}}}{{{I_{\max }} + {I_{\min }}}}。$ | (1) |
式中,Imax和Imin均为领域中的灰度值。
采用统计学中的期望理念,进行XE的局部对比度增强处理,以此描述XE局部亮度的视觉特征。采用指数函数完成邻域中,中心像素点的合理拉伸,实现局部对比度的提升,其详细步骤如下:
1)如果中心像素点用XE(i,j)表示,则设定大小为5×5的窗口作为邻域区域。
2)对确定的邻域区域内的像素点均值
$ \xi \left( {i,j} \right) = \frac{1}{{{w^2}}}\sum\limits_{i = 1}^w {\sum\limits_{i = 1j = 1}^w {{X_E}\left( {i,j} \right)} },$ | (2) |
式中,
3)在邻域中,利用指数函数对亮度图像XE对比度进行拉伸,其计算公式为:
$ \eta \left( {i,j} \right) = \frac{{\xi \left( {i,j} \right)}}{{{{\tilde X}_E}\left( {i,j} \right)}} ,$ | (3) |
$ {X_{con}}\left( {i,j} \right) = {X_E}{\left( {i,j} \right)^{\eta \left( {i,j} \right)}}。$ | (4) |
式中:Xcon为局部对比度增强后图像;
依据上述公式完成图像局部对比度增强后,可获取亮度分量
$ \varphi = \frac{{{X_{con}}}}{X},X' = \varphi {X^c}。$ | (5) |
式中:
为验证本文系统对于低质量舰船航行图像的增强效果,选择10艘舰船在航行过程中采集的100张航行监测图像作为测试图像,这些图像在不同环境下采集,包含雾天、雨天、背光、夜晚等。
为验证本文系统的图像增强性能,采用灰度平均梯度和图像信息熵作为评价指标,前者用于衡量图像的对比度和纹理特征,其值越高,表示边缘轮廓质量越佳;后者用于描述图像的细节信息,其值越大表示图像的细节越丰富,2个指标的取值均在0~1之间,本文系统在不同大小图像下,对图像增强后,计算结果如表1所示。可知,采用本文系统对低质量舰船航行图像进行增强处理后,图像的度平均梯度和图像信息熵的结果均在0.92以上,其中两者的最大值分别达到0.977和0.973,增强后图像的边缘轮廓质量较好,同时图像的细节信息完整度较高。因此,本文系统的应用效果良好,具有低质量舰船航行图像的增强能力。
为验证本文系统对于低质量舰船航行图像的增强效果,随意选择一张夜晚拍摄的舰船航行图像,采用本文系统对其进行增强,获取增强前后的图像结果如图5所示。可知:本文系统具有较好的图像增强效果,增强后图像的边缘轮廓质量显著提升,有效改善图像模糊情况,并且增强后的图像没有发生色彩失真现象,图像细节完整。
舰船在航行过程中,均需对其航行情况进行监测,以此掌握舰船的航行状态。但是舰船在监测过程中,采集的监测图像受到多种环境因素影响,影响图像质量,降低舰船的监测效果。因此,本文设计基于视觉感知技术的低质量舰船航行图像增强系统,并对该系统的应用效果展开相关测试。结果表明,本文系统的应用性能较好,可有效完成图像增强,并且保证图像的细节完成度,避免颜色失真,可为舰船航行监测提供可靠依据。
[1] |
高文, 肖海峰. 基于动态双稳随机共振的低照度彩色图像增强[J]. 液晶与显示, 2021, 36(6): 861-868. GAO Wen, XIAO Hai-feng. Low illumination color image enhancement based on dynamic bistable stochastic resonance[J]. Chinese Journal of Liquid Crystals and Displays, 2021, 36(6): 861-868. DOI:10.37188/CJLCD.2020-0283 |
[2] |
刘畅, 钱宇华, 王克琪, 等. 高速快门诱导的低照度图像弱参考视觉增强方法[J]. 重庆邮电大学学报(自然科学版), 2021, 33(5): 851-860. LIU Chang, QIANG Yu-hua, WANG Ke-qi, et al. High-speed shutter-induced weak reference enhancement method for low-illumination images[J]. Journal of Chongqing University of Posts and Telecommunications(Natural Science Edition), 2021, 33(5): 851-860. |
[3] |
王奎, 黄福珍. 基于光照补偿的HSV空间多尺度Retinex图像增强[J]. 激光与光电子学进展, 2022, 59(10): 102-113. WANG Kui, HUANG Fu-zhen. Multiscale retinex image enhancement in HSV space based on illumination compensation[J]. Laser & Optoelectronics Progress, 2022, 59(10): 102-113. |
[4] |
徐超越, 余映, 何鹏浩, 等. 基于U-Net的多尺度低照度图像增强网络[J]. 计算机工程, 2022, 48(8): 215-223. XU Chao-yue, YU Ying, HE Peng-hao, et al. Multi-Scale Low-Light Image Enhancement Network Based on U-Net[J]. Computer Engineering, 2022, 48(8): 215-223. |
[5] |
王兴瑞, 朴燕, 王雨墨. 复合残差网络在低照度图像增强中的技术研究[J]. 液晶与显示, 2022, 37(4): 508-518. WANG Xing-rui, PIAO Yan, WANG Yu-mo. Technical research of composite residual network in low illumination image enhancement[J]. Chinese Journal of Liquid Crystals and Displays, 2022, 37(4): 508-518. DOI:10.37188/CJLCD.2021-0228 |
[6] |
吴建斌, 牛玉贞, 张宇杰. 基于图像自身信息感知的无参考低光照图像增强[J]. 小型微型计算机系统, 2021, 42(6): 1243-1249. WU Jian-bin, NIU Yu-zhen, ZHANG Yu-jie. Non-reference low-light image enhancement method based on the image's Self-information perception[J]. Journal of Chinese Computer Systems, 2021, 42(6): 1243-1249. DOI:10.3969/j.issn.1000-1220.2021.06.018 |
[7] |
马璐. 基于多尺度小波U型网络的低光照图像增强[J]. 红外技术, 2022, 44(4): 410-420. MA Lu. Low-light Image Enhancement Based on Multi-scale Wavelet U-Net[J]. Infrared Technology, 2022, 44(4): 410-420. |