在光照条件较好的情况下,依靠摄像头对船舶目标的检测技术较为成熟,但是在海上航行过程中经常会遇到大雾天气,摄像头获取的图像质量变低,船员的视线也受到很大干扰,此时就非常容易发生海上安全事故,对船舶安全航行造成极大安全隐患。视觉传达技术是利用摄像头、CCD等获取图像,并对图像进行处理后,将这些图像展示出来。使用视觉传达技术结合目标识别技术可以帮助舰船在航行过程中有效识别其他舰船或者固定障碍物等目标,使得舰船在大雾天气下安全航行。
视觉传达技术的关键在于获取高清质量的目标图像,而在大雾天气下获取的图像质量一般都不高,整体图像颜色偏灰白,且图像中的一些关键细节存在丢失现象,在这种情况下若要对舰船目标进行识别,首先需要对图像进行去雾,然后再对图像进行增强,以使得图像满足视觉传达技术的基本要求。目前国内对舰船图像去雾处理的研究主要采用以下几种做法,第1种是采用YOLOV4或者YOLOV5算法结合DCPDN算法来实现对船舶目标的去雾及检测[1−3];第2种是采用暗通道滤波的方法建立海上图像目标去雾模型,进而实现对图像的去雾和增强处理[4−5]。2种方法均可实现对图像的去雾和增强,但是2种方法一般都需要大量的图片进行训练,且训练时间较长。本文对雾天情况下大量海上目标图像进行研究,提出使用图像均衡以及图像融合的方法对图像进行增强和除雾,并将不同来源的图像、不同曝光度的图像进行有效融合,实现提升图像视觉效果的目的。
1 图像去雾和增强 1.1 雾天的图像衰减模型在雾天,舰船上的可视化程度降低,在舰船上获取的图像质量较低,如图像经常会出现颜色对比度失真、部分视野内舰船特征信息丢失、颜色褪色等情况。对于舰船的计算机视觉监控系统而言,在雾天对其他舰船的监控会变得尤其困难,因而研究雾天对图像的影响以及衰减进就显得非常有必要。大雾造成的图像衰减和退化与大气光、物体的深度、散射系数等都具有很大的关系。图1为雾天图像衰减模型示意图,相机在获取其他舰船目标时会受到雾天中大气粒子的干扰。
对于厚度为dx的颗粒而言,对特定波长λ的光衰减能量为:
$ -\beta ({x}){{\rm{d}}x}=\frac{{\rm{d}}E({x}{,}\lambda )}{E({x}{,}\lambda )} {。} $ |
式中:E(x,λ)为衰减后的光强;β(x)为海洋航行时雾天空气介质的散射系数。相机和其他舰船目标的距离为d,不同距离时空气介质对图像的衰减程度不一样,规定距离为d时衰减的光强为:
$ {E_d}(\lambda ,d) = {E_0}(\lambda ){e^{ - \beta (\lambda )d}} \text{。} $ |
式中:
与此同时,在舰船上获取其他目标时对不同目标深度的估计难度也很大,因而对于雾天图像衰减模型的研究在涉及到多个变量的情况下并没有统一的解决方案。对于特定的雾天图像而言,通过不断更新约束条件,对雾天图像进行处理时不断优化参数,可以获得较好的除雾效果。
1.2 图像去雾算法目前对图像去雾的算法分别是基于图像增强的去雾算法、基于图像融合的去雾算法以及基于深度学习的去雾算法[6 − 7]。
1)基于图像增强的去雾算法
在有雾时舰船上获取的图像质量会降低,图像增强主要通过提高图像中舰船有效特征的像素值来提高图像的效果。同时对于有雾部分图像可以认为是噪声部分,通过降低噪音的像素值实现对图像的有效增强及去雾。典型的基于图像增强的去雾算法有频域滤波增强算法、直方图均衡算法等。
2)基于图像融合的去雾算法
基于图像融合的去雾算法主要是通过多种曝光度、多种传感器来获取不同角度的高质量有雾舰船图像,同时结合舰船之间的距离、相对速度等因素来提升图像视觉效果,从而达到去雾的目的。
3)基于深度学习的去雾算法
基于深度学习的去雾算法主要是通过预先设定训练集,并建立有雾舰船图像和清晰舰船图像之间的映射关系,使用神经网络算法进行学习,在训练一定次数后实现对有雾舰船图像的去雾处理。基于深度学习的去雾算法受到训练集数量、图像质量、训练次数、算法种类等的影响很大。
针对不同类图像去雾算法的特点,本文采用图像直方图均衡及图像融合去雾算法,根据不同的图像质量来对图像的局部或者全局进行增强,其优点在于计算速度较快,可以同时对多个图像进行处理,特别适合对较明亮或者较暗的图像实现图像的像素均衡,从而提升在雾天舰船图像的增强和去雾处理。
1.3 直方图均衡算法直方图均衡算法的基本原理是将所有图像建立一维的离散函数,即:
$ h(k) = {n_k},k = 0,1,2, \cdots L - 1。$ |
其中,nk为目标图像中灰度级为k的像素个数,和直方图中的高度对应。通过直方图可以直接获取目标图像中的所有灰度值分布情况,并规定每一个灰度值出现的概率值为P。
$ P_r^k = \frac{{{n_k}}}{N} \text{。} $ |
其中,N为目标图像的像素总和。
图2为某船舶的雾天图像原始图片和全局均衡化后的对比,可以发现该图片清晰度较低,且难于识别,使用全局均衡化对图像进行处理后可以发现图像视觉效果有所改善。图3为原始图像和处理后的直方图分布,通过对比灰度直方图可以发现,原图像灰度值分布较为集中,经过处理后灰度值分布较为均衡,但是从去雾效果来看虽然图像视觉效果得到了加强,但是对船舶目标的识别仍显模糊,这就需要对图像进一步处理。
使用局部均衡化算法对图像进一步处理,得到局部均衡化后的灰度直方图(见图4),可以发现图像在有效细节方面得到了加强。
对于重度的雾天情况下,依靠单一图像来获取图像并进行图像处理难以达到良好的去雾效果,因而本文尝试将多源图像进行有效融合,这些图像来源包括在舰船上使用同一相机采用不同曝光度的图像、多光谱图以及热图像,多光谱图像和热图像均可通过不同的传感器来获取。图5为多源融合处理的船舶图像,相较于图2而言,图5的视觉效果已经得到明显提升。
通过对雾天的舰船目标图像进行增强和处理后对舰船特征进行提取,本文所涉及的特征提取主要是对舰船的边缘特征进行提取,这是由于边缘特征非常容易提取,且边缘特征不容易受到图像噪声的影响。
通过将提取的舰船边缘特征和数据库中预先储存的特征进行比较,进而实现对目标舰船的识别。目前采用的舰船特征比较方法主要包括:
1)边界特征
不同的舰船或者船舶在边缘上都具有明显的不同,使用Hough变换方法对图像进行处理,将舰船的边缘像素点全部连接起来,并形成一个封闭空间。由于图像和背景具有明显的区别,首先确定一个梯度最高的点,将此点定义为初始点,然后与初始点周围的点进行比较,设定一个比较阈值,通过比较图像中舰船的梯度值来实现对轮廓的跟踪。
2)几何形状法
根据舰船的形状参数,如圆度、长度、宽度、面积等,和数据库中的不同舰船或者船舶目标进行比较。对于一个不规则形状而言,其短轴、长轴以及边界直径可以根据图6所示方法进行确定。图中的不规则形状的长轴直径为最大外接圆的直径,通过对图像中的参数进行测算可以获取对应每一种舰船的基本特征。
视觉传达主要是利用图像来向观看者传达各种信息,在船舶航行监控中,在获取到船舶的图像后就需要对图像进行处理,并在监控端给出清晰的指示。传统的方法是对图像进行处理后直接将图像进行显示,而视觉传达技术可以让船舶工作者更加清晰地了解当前船舶的基本状态,如当前航线、船舶周围目标的活动情况、速度、航向等。在雾天时使用图像去雾和增强算法对图像进行加强,可以得到更好的视觉监控体验,降低船舶发生安全事故的概率。
图7为基于视觉传达的雾天舰船航行图像监控,并对图像中的船舶目标进行了识别,通过使用标签、箭头等方式来表现船舶目标的实时动态,结合图像增强和去雾算法,帮助船舶工作人员提升在雾天条件下对其他船舶目标的识别能力。
雾天舰船航行由于视线受到影响,对其他舰船或者固定障碍物目标的识别都受到了严重影响。视觉传达技术可以对舰船目标边界和几何形状特征进行提取,并在此基础上结合图像增强和除雾算法实现对舰船航行的图像监控。得到的结论主要包括:
1)对雾天舰船图像的增强和除雾需要依托于雾天的图像衰减模型,对其机理进行研究可以有效提升图像处理效率;
2)图像增强和去雾算法可以有效提升图像的视觉效果,但是仍然难以解决舰船目标大量关键信息丢失的问题,因而采用多源目标融合算法、图像增强及去雾算法的有效结合可以有效解决图像中的目标识别问题。
[1] |
张雪. 基于PSD和改进YOLOv5的雾天船舶检测方法研究[D]. 大连: 大连海事大学, 2023.
|
[2] |
刘涛. 基于DCPDN和YOLOv4的大雾天气船舶目标检测研究[D]. 武汉: 华中科技大学, 2021.
|
[3] |
张晓鹏, 许志远, 曲胜, 等. 基于改进YOLOv5深度学习的海上船舶识别算法[J]. 大连海洋大学学报, 2022, 37(5): 866-872. ZHANG Xiao-peng, XU Zhi-yuan, QU Sheng, et al. offshore ship recognition algorithm based on improved YOLOv5 deep learning[J]. Journal of Dalian Ocean University, 2022, 37(5): 866-872. |
[4] |
宋佳怡, 谢维信, 王鑫. 融合暗通道滤波和空间金字塔的图像去雾算法[J]. 信号处理, 2019, 35(5): 816-824. SONG Jia-yi, XIE Wei-xin, WANG Xin. Image dehazing algorithm based on dark channel filtering and spatial pyramid[J]. Signal Processing, 2019, 35(5): 816-824. |
[5] |
张成, 潘明阳, 高翊然, 等. 融合暗通道先验与循环生成对抗网络的航海图像去雾模型[J]. 大连海事大学学报, 2022, 48(4): 84-93. ZHANG Cheng, PAN Ming-yang, GAO Yi-ran, et al. nautical image dehazing model based on dark channel prior and cyclic generation adversarial networks[J]. Journal of Dalian Maritime University, 2022, 48(4): 84-93. |
[6] |
张月. 基于改进YOLO算法的海面船舶目标智能检测研究[D]. 上海: 上海师范大学, 2020.
|
[7] |
雷琴, 施朝健, 陈婷婷. 基于天空区域分割的单幅海面图像去雾方法[J]. 计算机工程, 2015, 41(5): 237-242. LEI Qin, SHI Chao-jian, CHEN Ting-ting. Fog removal method of single sea surface image based on sky region segmentation [J]. Computer Engineering, 2015, 41(5): 237-242. |