舰船科学技术  2023, Vol. 45 Issue (15): 135-138    DOI: 10.3404/j.issn.1672-7649.2023.15.027   PDF    
基于视觉感知技术的低质量舰船航行图像增强系统
蒋顺生     
韩国东亚大学,韩国 釜山 49315
摘要: 为提升低质量舰船航行图像质量,为舰船航行监测提供可靠依据,设计基于视觉感知技术的低质量舰船航行图像增强系统。该系统以同步动态随机存取内存中存储的低质量舰船航行图像为基础,利用FPGA矫正图像畸变后,在SDRAM控制模块的控制下,经由通信模块将图像传送至图像增强模块中,该模块采用视觉感知技术,增强舰船航行图像后,通过PCI总线传送至PC机中,呈现低质量舰船航行图像增强结果。测试结果表明:该系统具有较好的低质量图像增强性能,增强后图像的度平均梯度和图像信息熵的结果均在0.92以上;图像的边缘轮廓质量较好,有效改善了图像模糊情况,并且避免图像增强后发生色彩失真现象,图像细节的完整性较好。
关键词: 视觉感知技术     低质量     舰船航行图像     增强系统     色彩失真     边缘轮廓    
A low quality ship navigation image enhancement system based on visual perception technology
JIANG Shun-sheng     
Department of Plastic Design, General Graduate School, Dong-A University, Busan 49315, Korea
Abstract: In order to improve the quality of low-quality ship navigation images and provide reliable basis for ship navigation monitoring, a low-quality ship navigation image enhancement system based on visual perception technology is designed. The system is based on low-quality ship navigation images stored in synchronous dynamic random access memory. After correcting image distortion using FPGA, the image is transmitted to the image enhancement module through the communication module under the control of the SDRAM control module. The module uses visual perception technology to enhance the ship navigation images, which are then transmitted to a PC through PCI bus, presenting the results of low-quality ship navigation image enhancement. The test results show that the system has good low-quality image enhancement performance, and the results of the degree average gradient and image information entropy of the enhanced image are both above 0.92. The edge contour quality of the image is good, effectively improving the image blurring situation; And to avoid color distortion after image enhancement, the integrity of image details is good.
Key words: visual perception technology     low quality     ship navigation images     enhanced system     color distortion     edge contour    
0 引 言

舰船在航行过程中,需依靠采集的图像对舰船的航行监测,以保证舰船在海上的安全航行[1]。但是由于海上环境具有显著的变化性以及复杂性,图像在采集过程中,受到大雾、降雨、光照等多种环境因素的影响[2],同时舰船处于运动状态下,因此,会导致采集的图像视觉质量较低[3],如边缘模糊、分辨率较低、图像灰度化等,影响舰船的航行安全监测效果。为提升舰船的监测效果,需对低质量舰船航行图像进行相关处理[4],优化图像质量。王兴瑞[5]为提高图像质量,利用色彩空间转换亮度分量后,通过注意力机制复合残差网络进行分量融合,实现图像增强。但是该方法在应用过程中,对于图像边缘模糊现象的增强效果相对较差。吴建斌[6]主要针对低光照图像增强展开研究,以图像自身的颜色信息感知为基础,通过空间和注意力生成对抗网络,实现图像颜色复原,完成低光照图像增强;但是该方法在应用过程中,对于光照度过强图像的增强效果较差。

视觉感知技术是利用双眼视觉器官,通过接收聚合光线获取目标的影像,并且能够分析目标的颜色,并可对图像进行非线性变换,调整图像的灰度值,进行图像色彩恢复,使其达到人眼视觉的愉悦区,以此实现图像增强。因此,本文为实现低质量舰船航行图像增强,设计基于视觉感知技术的低质量舰船航行图像增强系统。

1 低质量舰船航行图像增强 1.1 图像增强系统总体架构

为实现低质量舰船航行图像增强,本文设计基于视觉感知技术的低质量舰船航行图像增强系统,该系统以可编程门阵列(FPGA)为基础,通过PCI总线完成图像数据的传输,并利用视觉感知技术完成低质量图像增强,系统架构如图1所示。系统的整体原理为利用PCI总线将前段存储在PC机中的低质量舰船图像传送至图像增强处理模块中,利用视觉感知技术完成该图像的增强处理后,处理前后的图像均存储在同步动态随机存取内存(SDRAM)中,通过SDRAM控制模块对控制图像的存储和传输。依据FPGA的现场可编辑特性,可在进行图像处理的同时和通信模块进行交涉,并获取SDRAM中的存储的图像或者将增强后的图像存储至SDRAM中。最终通过PCI总线将增强的低质量舰船航行图像回传至PC中,为舰船航行监测提供可靠依据。

图 1 低质量舰船航行图像增强系统架构 Fig. 1 Architecture of low-quality ship navigation image enhancement system
1.2 图像畸变矫正模块结构

由于舰船图像在采集过程中,舰船处于航行状态下,采集的图像会发生不同程度畸变。因此,在进行低质量舰船航行图像增强前,需先对该图像进行畸变矫正,利用FPGA完成图像畸变矫正,其结构如图2所示。FPGA在进行图像畸变矫正时,主要分为两部分,一是利用SOPC技术完成图像畸变系数的读取和写入,二是通过几何预畸变电路完成舰船航行图像畸变矫正。

图 2 图像处理模块结构 Fig. 2 Structure of image processing module
1.3 SDRAM控制模块结构

低质量舰船航行图像再处理过程中,需通过SDRAM控制模块,控制图像的存储和传输,该控制模块功能结构如图3所示。SDRAM控制模块以PCI-E主板为核心,通过该主板上的接口,完成通信系统传输图像的接收,PD机通过通信模块可读取该接口传输的图像数据,并对其进行分割和还原处理,使其形成两路完全一致的图像,当需对图像进行存储时,则通过键盘和鼠标操作,输入操作指令,将SDRAM存储的一路数据写入PC机中。当需对图像进行显示时,利用键盘和鼠标操作,使另一路数据可通过PC机的显示器进行呈现。如果需同时完成2个步骤,则同时进行2个步骤的相关操作。

图 3 RAM控制模块结构 Fig. 3 SDRAM control module structure
1.4 低质量舰船航行图像增强实现

人眼视觉系统能够较好应对光照变化环境,因此为实现低质量舰船航行图像增强,通过模拟人眼系统的光照应对特点,提出基于视觉感知特性的低质量舰船航行图像增强算法。畸变矫正后的低质量舰船航行图像,在SDRAM控制模块的控制下,传送至该算法中,完成低质量舰船航行图像增强。该算法的整体流程如图4所示。

图 4 低质量舰船航行图像增强算法流程 Fig. 4 Algorithm flow for enhancing low-quality ship navigation images

图4可知,该算法主要包含多个部分组成,第1部分是瞳孔放大过程中模拟,提升图像整体亮度;第2部分是依据暗适应函数进行明适应函数的设计,同时完成高灰度区域间隔的拉伸处理;第3部分是结合矫正后图像的光照分布情况,实现明暗两种信息的融合,实现图像增强[7];第4部分对增强后的亮度图像进行局部对比度增强;第5部分是完成舰船航行图像的色彩还原。

依据暗适应函数进行明适应函数的设计,同时完成高灰度区域间隔的拉伸处理后,会显著提升低质量舰船航行图像的全局对比度,但是也会导致局部对比度下降。视觉感知技术能够描述不同对象之间的差异,并且局部对比度较高时,则图像的清晰度、图像细节以及图像的灰度层次均会显著提升。

低质量舰船航行图像用X表示,则对其进行适当亮度增强后图像用XE表示,此时需提升XE的局部对比度。Michelson对比度(也称为能见度)和人的视觉感官对于视场光通量的空域频率一致,用 $ C $ 表示,其计算公式为:

$ C = \frac{{{I_{\max }} - {I_{\min }}}}{{{I_{\max }} + {I_{\min }}}}。$ (1)

式中,ImaxImin均为领域中的灰度值。

采用统计学中的期望理念,进行XE的局部对比度增强处理,以此描述XE局部亮度的视觉特征。采用指数函数完成邻域中,中心像素点的合理拉伸,实现局部对比度的提升,其详细步骤如下:

1)如果中心像素点用XE(i,j)表示,则设定大小为5×5的窗口作为邻域区域。

2)对确定的邻域区域内的像素点均值 $ \xi \left( {i,j} \right) $ 进行计算,其计算公式为:

$ \xi \left( {i,j} \right) = \frac{1}{{{w^2}}}\sum\limits_{i = 1}^w {\sum\limits_{i = 1j = 1}^w {{X_E}\left( {i,j} \right)} },$ (2)

式中, $ w $ 为像素权重。

3)在邻域中,利用指数函数对亮度图像XE对比度进行拉伸,其计算公式为:

$ \eta \left( {i,j} \right) = \frac{{\xi \left( {i,j} \right)}}{{{{\tilde X}_E}\left( {i,j} \right)}} ,$ (3)
$ {X_{con}}\left( {i,j} \right) = {X_E}{\left( {i,j} \right)^{\eta \left( {i,j} \right)}}。$ (4)

式中:Xcon为局部对比度增强后图像; $ \eta $ 为调整参数。

依据上述公式完成图像局部对比度增强后,可获取亮度分量 $ X $ 的变化量。在此基础上,计算亮度增益 $ \varphi $ ,并采用线性操作对图像彩色进行处理,以此避免Xcon(i,j)发生色彩失真现象, $ \varphi $ 的计算公式为:

$ \varphi = \frac{{{X_{con}}}}{X},X' = \varphi {X^c}。$ (5)

式中: $ X' $ 为增强后的舰船航行图像; $ c $ 为颜色通道。

2 实验结果分析

为验证本文系统对于低质量舰船航行图像的增强效果,选择10艘舰船在航行过程中采集的100张航行监测图像作为测试图像,这些图像在不同环境下采集,包含雾天、雨天、背光、夜晚等。

为验证本文系统的图像增强性能,采用灰度平均梯度和图像信息熵作为评价指标,前者用于衡量图像的对比度和纹理特征,其值越高,表示边缘轮廓质量越佳;后者用于描述图像的细节信息,其值越大表示图像的细节越丰富,2个指标的取值均在0~1之间,本文系统在不同大小图像下,对图像增强后,计算结果如表1所示。可知,采用本文系统对低质量舰船航行图像进行增强处理后,图像的度平均梯度和图像信息熵的结果均在0.92以上,其中两者的最大值分别达到0.977和0.973,增强后图像的边缘轮廓质量较好,同时图像的细节信息完整度较高。因此,本文系统的应用效果良好,具有低质量舰船航行图像的增强能力。

表 1 图像灰度平均梯度和图像信息熵测试结果 Tab.1 Test results of average gradient of image grayscale and image information entropy

为验证本文系统对于低质量舰船航行图像的增强效果,随意选择一张夜晚拍摄的舰船航行图像,采用本文系统对其进行增强,获取增强前后的图像结果如图5所示。可知:本文系统具有较好的图像增强效果,增强后图像的边缘轮廓质量显著提升,有效改善图像模糊情况,并且增强后的图像没有发生色彩失真现象,图像细节完整。

图 5 图像增强测试结果 Fig. 5 Image enhancement test results
3 结 语

舰船在航行过程中,均需对其航行情况进行监测,以此掌握舰船的航行状态。但是舰船在监测过程中,采集的监测图像受到多种环境因素影响,影响图像质量,降低舰船的监测效果。因此,本文设计基于视觉感知技术的低质量舰船航行图像增强系统,并对该系统的应用效果展开相关测试。结果表明,本文系统的应用性能较好,可有效完成图像增强,并且保证图像的细节完成度,避免颜色失真,可为舰船航行监测提供可靠依据。

参考文献
[1]
高文, 肖海峰. 基于动态双稳随机共振的低照度彩色图像增强[J]. 液晶与显示, 2021, 36(6): 861-868.
GAO Wen, XIAO Hai-feng. Low illumination color image enhancement based on dynamic bistable stochastic resonance[J]. Chinese Journal of Liquid Crystals and Displays, 2021, 36(6): 861-868. DOI:10.37188/CJLCD.2020-0283
[2]
刘畅, 钱宇华, 王克琪, 等. 高速快门诱导的低照度图像弱参考视觉增强方法[J]. 重庆邮电大学学报(自然科学版), 2021, 33(5): 851-860.
LIU Chang, QIANG Yu-hua, WANG Ke-qi, et al. High-speed shutter-induced weak reference enhancement method for low-illumination images[J]. Journal of Chongqing University of Posts and Telecommunications(Natural Science Edition), 2021, 33(5): 851-860.
[3]
王奎, 黄福珍. 基于光照补偿的HSV空间多尺度Retinex图像增强[J]. 激光与光电子学进展, 2022, 59(10): 102-113.
WANG Kui, HUANG Fu-zhen. Multiscale retinex image enhancement in HSV space based on illumination compensation[J]. Laser & Optoelectronics Progress, 2022, 59(10): 102-113.
[4]
徐超越, 余映, 何鹏浩, 等. 基于U-Net的多尺度低照度图像增强网络[J]. 计算机工程, 2022, 48(8): 215-223.
XU Chao-yue, YU Ying, HE Peng-hao, et al. Multi-Scale Low-Light Image Enhancement Network Based on U-Net[J]. Computer Engineering, 2022, 48(8): 215-223.
[5]
王兴瑞, 朴燕, 王雨墨. 复合残差网络在低照度图像增强中的技术研究[J]. 液晶与显示, 2022, 37(4): 508-518.
WANG Xing-rui, PIAO Yan, WANG Yu-mo. Technical research of composite residual network in low illumination image enhancement[J]. Chinese Journal of Liquid Crystals and Displays, 2022, 37(4): 508-518. DOI:10.37188/CJLCD.2021-0228
[6]
吴建斌, 牛玉贞, 张宇杰. 基于图像自身信息感知的无参考低光照图像增强[J]. 小型微型计算机系统, 2021, 42(6): 1243-1249.
WU Jian-bin, NIU Yu-zhen, ZHANG Yu-jie. Non-reference low-light image enhancement method based on the image's Self-information perception[J]. Journal of Chinese Computer Systems, 2021, 42(6): 1243-1249. DOI:10.3969/j.issn.1000-1220.2021.06.018
[7]
马璐. 基于多尺度小波U型网络的低光照图像增强[J]. 红外技术, 2022, 44(4): 410-420.
MA Lu. Low-light Image Enhancement Based on Multi-scale Wavelet U-Net[J]. Infrared Technology, 2022, 44(4): 410-420.