舰船科学技术  2024, Vol. 46 Issue (7): 163-166    DOI: 10.3404/j.issn.1672-7649.2024.07.027   PDF    
基于视觉传达技术的舰船航行图像去雾增强方法
井新新     
郑州科技学院,河南 郑州 450064
摘要: 大雾天气对舰船在海上航行的安全造成极大干扰,同时也对雾天舰船的作战能力产生影响。大雾天气下获取的图像会存在舰船特征信息丢失、对比度失真等情况,本文提出基于视觉传达技术的舰船航行图像去雾增强方法,研究雾天的图像衰减模型,在此基础上研究直方图均衡法和多源目标融合图像去雾算法,并对比不同算法的图像去雾效果。提出基于视觉传达的船舶特征提取方法,实现视觉传达的雾天舰船航行图像监控系统,通过对图像的去雾及增强,改善了雾天下图像的视觉效果,提升了舰船航行的安全性。
关键词: 视觉传达技术     图像去雾     舰船     图像融合     特征提取    
A defogging enhancement method for ship navigation images based on visual communication technology
JING Xin-xin     
Zhengzhou University of Science and Technology, Zhengzhou 450064, China
Abstract: Foggy weather greatly interferes with the safety of ships sailing on the sea, and also affects the combat ability of ships in foggy weather. The image acquired in foggy weather will have ship feature information loss, contrast distortion, etc. In this paper, an enhancement method for ship navigation image defogging based on visual communication technology is proposed, and the image attenuation model in foggy days is studied. On this basis, histogram equalization method and multi-source target fusion image intensity defogging algorithm are studied, and the image defogging effects of different algorithms are compared. A ship feature extraction method based on visual communication is proposed, and a ship navigation image monitoring system based on visual communication is realized. By de-fogging and enhancing images, the visual effect of images in foggy days is improved, and the safety of ship navigation is enhanced.
Key words: visual communication technology     image defogging     ships     image fusion     feature extraction    
0 引 言

在光照条件较好的情况下,依靠摄像头对船舶目标的检测技术较为成熟,但是在海上航行过程中经常会遇到大雾天气,摄像头获取的图像质量变低,船员的视线也受到很大干扰,此时就非常容易发生海上安全事故,对船舶安全航行造成极大安全隐患。视觉传达技术是利用摄像头、CCD等获取图像,并对图像进行处理后,将这些图像展示出来。使用视觉传达技术结合目标识别技术可以帮助舰船在航行过程中有效识别其他舰船或者固定障碍物等目标,使得舰船在大雾天气下安全航行。

视觉传达技术的关键在于获取高清质量的目标图像,而在大雾天气下获取的图像质量一般都不高,整体图像颜色偏灰白,且图像中的一些关键细节存在丢失现象,在这种情况下若要对舰船目标进行识别,首先需要对图像进行去雾,然后再对图像进行增强,以使得图像满足视觉传达技术的基本要求。目前国内对舰船图像去雾处理的研究主要采用以下几种做法,第1种是采用YOLOV4或者YOLOV5算法结合DCPDN算法来实现对船舶目标的去雾及检测[13];第2种是采用暗通道滤波的方法建立海上图像目标去雾模型,进而实现对图像的去雾和增强处理[45]。2种方法均可实现对图像的去雾和增强,但是2种方法一般都需要大量的图片进行训练,且训练时间较长。本文对雾天情况下大量海上目标图像进行研究,提出使用图像均衡以及图像融合的方法对图像进行增强和除雾,并将不同来源的图像、不同曝光度的图像进行有效融合,实现提升图像视觉效果的目的。

1 图像去雾和增强 1.1 雾天的图像衰减模型

在雾天,舰船上的可视化程度降低,在舰船上获取的图像质量较低,如图像经常会出现颜色对比度失真、部分视野内舰船特征信息丢失、颜色褪色等情况。对于舰船的计算机视觉监控系统而言,在雾天对其他舰船的监控会变得尤其困难,因而研究雾天对图像的影响以及衰减进就显得非常有必要。大雾造成的图像衰减和退化与大气光、物体的深度、散射系数等都具有很大的关系。图1为雾天图像衰减模型示意图,相机在获取其他舰船目标时会受到雾天中大气粒子的干扰。

图 1 雾天图像衰减模型 Fig. 1 Fog image attenuation model

对于厚度为dx的颗粒而言,对特定波长λ的光衰减能量为:

$ -\beta ({x}){{\rm{d}}x}=\frac{{\rm{d}}E({x}{,}\lambda )}{E({x}{,}\lambda )} {。} $

式中:E(xλ)为衰减后的光强;β(x)为海洋航行时雾天空气介质的散射系数。相机和其他舰船目标的距离为d,不同距离时空气介质对图像的衰减程度不一样,规定距离为d时衰减的光强为:

$ {E_d}(\lambda ,d) = {E_0}(\lambda ){e^{ - \beta (\lambda )d}} \text{。} $

式中:$ E_{0}(\lambda) $为入射光的初始光强。可以看出,如果在舰船上观察其他船舶或者舰船目标时,距离越远,那么由于图像的衰减效应,很多原始信息会被空气中的光信息取代,或者被雾天中的一些粒子衰减到几乎可以忽略不计,这就为图像的去雾和增强增加了很大难度。

与此同时,在舰船上获取其他目标时对不同目标深度的估计难度也很大,因而对于雾天图像衰减模型的研究在涉及到多个变量的情况下并没有统一的解决方案。对于特定的雾天图像而言,通过不断更新约束条件,对雾天图像进行处理时不断优化参数,可以获得较好的除雾效果。

1.2 图像去雾算法

目前对图像去雾的算法分别是基于图像增强的去雾算法、基于图像融合的去雾算法以及基于深度学习的去雾算法[67]

1)基于图像增强的去雾算法

在有雾时舰船上获取的图像质量会降低,图像增强主要通过提高图像中舰船有效特征的像素值来提高图像的效果。同时对于有雾部分图像可以认为是噪声部分,通过降低噪音的像素值实现对图像的有效增强及去雾。典型的基于图像增强的去雾算法有频域滤波增强算法、直方图均衡算法等。

2)基于图像融合的去雾算法

基于图像融合的去雾算法主要是通过多种曝光度、多种传感器来获取不同角度的高质量有雾舰船图像,同时结合舰船之间的距离、相对速度等因素来提升图像视觉效果,从而达到去雾的目的。

3)基于深度学习的去雾算法

基于深度学习的去雾算法主要是通过预先设定训练集,并建立有雾舰船图像和清晰舰船图像之间的映射关系,使用神经网络算法进行学习,在训练一定次数后实现对有雾舰船图像的去雾处理。基于深度学习的去雾算法受到训练集数量、图像质量、训练次数、算法种类等的影响很大。

针对不同类图像去雾算法的特点,本文采用图像直方图均衡及图像融合去雾算法,根据不同的图像质量来对图像的局部或者全局进行增强,其优点在于计算速度较快,可以同时对多个图像进行处理,特别适合对较明亮或者较暗的图像实现图像的像素均衡,从而提升在雾天舰船图像的增强和去雾处理。

1.3 直方图均衡算法

直方图均衡算法的基本原理是将所有图像建立一维的离散函数,即:

$ h(k) = {n_k},k = 0,1,2, \cdots L - 1。$

其中,nk为目标图像中灰度级为k的像素个数,和直方图中的高度对应。通过直方图可以直接获取目标图像中的所有灰度值分布情况,并规定每一个灰度值出现的概率值为P

$ P_r^k = \frac{{{n_k}}}{N} \text{。} $

其中,N为目标图像的像素总和。

图2为某船舶的雾天图像原始图片和全局均衡化后的对比,可以发现该图片清晰度较低,且难于识别,使用全局均衡化对图像进行处理后可以发现图像视觉效果有所改善。图3为原始图像和处理后的直方图分布,通过对比灰度直方图可以发现,原图像灰度值分布较为集中,经过处理后灰度值分布较为均衡,但是从去雾效果来看虽然图像视觉效果得到了加强,但是对船舶目标的识别仍显模糊,这就需要对图像进一步处理。

图 2 图像处理对比效果 Fig. 2 Image processing comparison effect

图 3 直方图分布对比 Fig. 3 Histogram distribution comparison

使用局部均衡化算法对图像进一步处理,得到局部均衡化后的灰度直方图(见图4),可以发现图像在有效细节方面得到了加强。

图 4 局部均衡化直方图对比效果 Fig. 4 Local equalization histogram comparison effect
1.4 图像融合去雾算法

对于重度的雾天情况下,依靠单一图像来获取图像并进行图像处理难以达到良好的去雾效果,因而本文尝试将多源图像进行有效融合,这些图像来源包括在舰船上使用同一相机采用不同曝光度的图像、多光谱图以及热图像,多光谱图像和热图像均可通过不同的传感器来获取。图5为多源融合处理的船舶图像,相较于图2而言,图5的视觉效果已经得到明显提升。

图 5 多源融合处理后的船舶图像 Fig. 5 Ship image after multi-source fusion processing
2 基于视觉传达的舰船目标监控 2.1 基于视觉传达的舰船特征提取

通过对雾天的舰船目标图像进行增强和处理后对舰船特征进行提取,本文所涉及的特征提取主要是对舰船的边缘特征进行提取,这是由于边缘特征非常容易提取,且边缘特征不容易受到图像噪声的影响。

通过将提取的舰船边缘特征和数据库中预先储存的特征进行比较,进而实现对目标舰船的识别。目前采用的舰船特征比较方法主要包括:

1)边界特征

不同的舰船或者船舶在边缘上都具有明显的不同,使用Hough变换方法对图像进行处理,将舰船的边缘像素点全部连接起来,并形成一个封闭空间。由于图像和背景具有明显的区别,首先确定一个梯度最高的点,将此点定义为初始点,然后与初始点周围的点进行比较,设定一个比较阈值,通过比较图像中舰船的梯度值来实现对轮廓的跟踪。

2)几何形状法

根据舰船的形状参数,如圆度、长度、宽度、面积等,和数据库中的不同舰船或者船舶目标进行比较。对于一个不规则形状而言,其短轴、长轴以及边界直径可以根据图6所示方法进行确定。图中的不规则形状的长轴直径为最大外接圆的直径,通过对图像中的参数进行测算可以获取对应每一种舰船的基本特征。

图 6 不规则形状特征提取 Fig. 6 Irregular shape feature extraction
2.2 视觉传达技术在舰船目标监控中的应用

视觉传达主要是利用图像来向观看者传达各种信息,在船舶航行监控中,在获取到船舶的图像后就需要对图像进行处理,并在监控端给出清晰的指示。传统的方法是对图像进行处理后直接将图像进行显示,而视觉传达技术可以让船舶工作者更加清晰地了解当前船舶的基本状态,如当前航线、船舶周围目标的活动情况、速度、航向等。在雾天时使用图像去雾和增强算法对图像进行加强,可以得到更好的视觉监控体验,降低船舶发生安全事故的概率。

图7为基于视觉传达的雾天舰船航行图像监控,并对图像中的船舶目标进行了识别,通过使用标签、箭头等方式来表现船舶目标的实时动态,结合图像增强和去雾算法,帮助船舶工作人员提升在雾天条件下对其他船舶目标的识别能力。

图 7 基于视觉传达的雾天舰船航行图像监控 Fig. 7 Ship navigation image monitoring in foggy weather based on visual communication
3 结 语

雾天舰船航行由于视线受到影响,对其他舰船或者固定障碍物目标的识别都受到了严重影响。视觉传达技术可以对舰船目标边界和几何形状特征进行提取,并在此基础上结合图像增强和除雾算法实现对舰船航行的图像监控。得到的结论主要包括:

1)对雾天舰船图像的增强和除雾需要依托于雾天的图像衰减模型,对其机理进行研究可以有效提升图像处理效率;

2)图像增强和去雾算法可以有效提升图像的视觉效果,但是仍然难以解决舰船目标大量关键信息丢失的问题,因而采用多源目标融合算法、图像增强及去雾算法的有效结合可以有效解决图像中的目标识别问题。

参考文献
[1]
张雪. 基于PSD和改进YOLOv5的雾天船舶检测方法研究[D]. 大连: 大连海事大学, 2023.
[2]
刘涛. 基于DCPDN和YOLOv4的大雾天气船舶目标检测研究[D]. 武汉: 华中科技大学, 2021.
[3]
张晓鹏, 许志远, 曲胜, 等. 基于改进YOLOv5深度学习的海上船舶识别算法[J]. 大连海洋大学学报, 2022, 37(5): 866-872.
ZHANG Xiao-peng, XU Zhi-yuan, QU Sheng, et al. offshore ship recognition algorithm based on improved YOLOv5 deep learning[J]. Journal of Dalian Ocean University, 2022, 37(5): 866-872.
[4]
宋佳怡, 谢维信, 王鑫. 融合暗通道滤波和空间金字塔的图像去雾算法[J]. 信号处理, 2019, 35(5): 816-824.
SONG Jia-yi, XIE Wei-xin, WANG Xin. Image dehazing algorithm based on dark channel filtering and spatial pyramid[J]. Signal Processing, 2019, 35(5): 816-824.
[5]
张成, 潘明阳, 高翊然, 等. 融合暗通道先验与循环生成对抗网络的航海图像去雾模型[J]. 大连海事大学学报, 2022, 48(4): 84-93.
ZHANG Cheng, PAN Ming-yang, GAO Yi-ran, et al. nautical image dehazing model based on dark channel prior and cyclic generation adversarial networks[J]. Journal of Dalian Maritime University, 2022, 48(4): 84-93.
[6]
张月. 基于改进YOLO算法的海面船舶目标智能检测研究[D]. 上海: 上海师范大学, 2020.
[7]
雷琴, 施朝健, 陈婷婷. 基于天空区域分割的单幅海面图像去雾方法[J]. 计算机工程, 2015, 41(5): 237-242.
LEI Qin, SHI Chao-jian, CHEN Ting-ting. Fog removal method of single sea surface image based on sky region segmentation [J]. Computer Engineering, 2015, 41(5): 237-242.