舰船科学技术  2024, Vol. 46 Issue (12): 162-165    DOI: 10.3404/j.issn.1672-7649.2024.12.028   PDF    
船舶监控三维视觉图像模糊目标清晰处理研究
彭笛, 汪芳     
武汉华夏理工学院,湖北 武汉 430223
摘要: 对船舶周围环境实时监控有利于提升航行的安全性,立体视觉技术通过计算图像之间的视差来重建目标的三维结构,但是三维视觉图像的构建严重依赖于图像质量。本文对暗通道分析技术和深度神经网络技术进行研究,分析图像去雾以及通过绘制环境场景进行还原的基本流程,提出一种基于MobileNet V2的轻量级雾浓度分类器,得到了不同训练周期时图像分类的训练准确率和验证准确率,对船舶监控三维视觉图像模糊目标清晰化处理进行验证试验,结果表明清晰化处理后的环境空间图像质量得到了大幅度提升。
关键词: 三维视觉图像     去雾     清晰化处理     暗通道分析    
Research on clear processing of blurry targets in three-dimensional visual ship monitoring images
PENG Di, WANG Fang     
Wuhan Huaxia Institute of Technology, Wuhan 430223, China
Abstract: Real-time monitoring of the surrounding environment is beneficial for enhancing the safety of navigation. Stereo vision technology reconstructs the three-dimensional structure of the target by calculating the disparity between images. However, the construction of three-dimensional visual images heavily relies on image quality. This paper studies dark channel analysis technology and deep neural network technology, analyzes the basic process of image defogging and restoration , and proposes a lightweight fog density classifier based on MobileNet V2. It presents the training accuracy and validation accuracy of image classification at different training epochs. Verification experiments are conducted on the clear processing of blurry targets in three-dimensional visual ship monitoring images, and the results show that the image quality has been significantly improved after the clarification treatment.
Key words: three-dimensional visual imagery     defogging     clarification processing     dark channel analysis    
0 引 言

船舶视频监控系统对于提升水上交通安全和船舶管理效率具有重要意义。通过实时监控船舶的动态和周围水域情况,船舶视频监控系统可以及时发现不安全行为和潜在的安全隐患,从而采取预防措施,减少事故发生的风险。同时在发生水上事故时,视频监控系统可以提供关键的证据,帮助分析事故原因,确定责任归属,同时对事故的调查和处理提供支持[1]。目前国内外已经研发了多种基于视频监控的预警系统,通过对监控目标以及行为的识别可以有效保障船舶的安全行驶,提升了船舶对紧急情况下的处理能力。但是船舶视频监控系统严重依赖监控图像的质量,一旦出现图像模糊的情况,系统就有可能出现误判,以某型号视频监控系统为例,在雾天情况下其基本已经丧失了对目标的识别能力和预警能力,因而对监控的环境模糊图像进行清晰化处理具有重要的研究意义[23]

三维视觉图像的获取目前主要依靠立体视觉技术或者3D立体相机,立体视觉技术通过在船舶的不同位置布置摄像头,通过2个或多个摄像头从稍微不同的角度拍摄同一场景,然后通过计算图像之间的视差来重建环境的三维结构。双目立体视觉系统是最常见的立体视觉系统之一,它使用2个摄像头来捕获环境的左右视图,并通过计算这些视图之间的视差来生成深度图或三维点云[4]。3D立体相机则是能够直接捕获环境场景三维信息的设备,它通常使用多个摄像头和图像处理算法来生成深度图或三维点云,但是这种设备一般都非常昂贵,且在应用到船舶上时会受到一些限制。本文对三维监控视觉图像模糊目标清晰处理技术进行研究,使用立体视觉技术获取船舶的三维环境视觉图像,并依托深度神经网络构建来绘制三维场景图像模型,最终实现目标识别的目的。

1 船舶监控三维视觉图像清晰化处理过程分析 1.1 暗通道分析技术

暗通道分析是图像去雾技术中一个非常关键的概念,在无雾的自然图像中,至少存在一个颜色通道(通常是蓝色通道或者绿色通道)的强度在某处接近零。这个现象是由于自然环境场景中存在纯黑色物体或深色调区域,这些区域在图像的某个颜色通道中表现为非常低的强度值。对于船舶监控三维视觉图像而言,暗通道就是图像中RGB三个颜色通道中值最小的那个通道。在无雾图像中,暗通道的值趋于0,而在有雾图像中,由于雾的散射作用,暗通道的值会增大。通过分析暗通道的值,可以对图像中的雾浓度进行初步估计。

1.2 图像去雾及还原绘制流程

船舶监控三维视觉图像去雾并还原需要应用暗通道分析技术、去噪技术、图像融合技术、深度神经网络技术等,其基本流程如图1所示。

图 1 船舶三维视觉模糊图像清晰化处理流程 Fig. 1 Clear processing flow of ship 3D vision blurred image

船舶三维视觉模糊图像清晰化处理流程主要分为2个模块,一个模块对三维环境视觉图像实现分类和分割,另外一个模块实现三维环境视觉图像的绘制复原,其主要实现原理如下:

1)三维视觉图像分割

将图像转换到HSL(色相、饱和度、亮度)空间,并计算每个图像块的平均亮度和图像的暗通道图,即对应每个像素RGB三个通道中最小的值。通过这2个统计量,可以进一步区分不同雾浓度的区域。

对计算出的平均亮度和暗通道值进行中值滤波,以减少噪声的影响,提高阈值估计的鲁棒性。

对于一幅给定的图像,暗通道通过取图像每个像素点RGB三个颜色通道中最小值来构建的。数学表达上,如果用Ir(x,y), Ig(x, y), Ib(x, y)分别表示图像在红色、绿色和蓝色通道上的强度,则暗通道Id(x, y)可以表示为[56]

$ I_d(x,y)=\min(I_r(x,y),I_{\mathrm{g}}(x,y),I_b(x,y))。$ (1)

通过分析滤波后的平均亮度和暗通道值的变化,确定区分不同雾浓度区域的阈值,这些阈值可以通过差分法估计,或者通过统计分析得到。将图像分割成小块,并根据估计的阈值将这些小块分类到相应的雾浓度区域。对于雾浓度相近的图像块,可以进行融合处理,以得到更大区域的一致性雾浓度估计。

2)三维环境视觉图像绘制复原

在确定了不同雾浓度区域后,对每个区域分别估计局部大气光和透射率。这些参数对于后续的图像去雾和复原至关重要。无雾图像和有雾图像的可见度不同,透射率t(x, y)的估算公式为:

$ t(x,y) = \frac{1}{A}\sum\limits_{c \in \{ r,g,b\} } {\max (0,{I_c}(x,y) - \lambda A)} \text{。} $ (2)

式中:c为颜色通道;λ为正则化常数;xy分别为图像中的横坐标和纵坐标;Ic(x, y)为某一个颜色通道上的光强度;A为大气光。

建立图像降质模型,利用估计的局部大气光和透射率,根据图像降质模型进行图像绘制复原,得到无雾图像。将深度学习神经网络应用于图像去雾中,通过训练卷积神经网络来自动学习雾浓度的特征,并进行分类和去雾。建立基于残差注意力机制的算法会保留更多的重要细节信息,从而提升船舶视觉三维视觉图像模糊目标的处理效果。

2 关键技术实现 2.1 轻量级雾浓度分类器的设计

获取的船舶监控三维视觉图像的模糊程度可以分为非常模糊、模糊和轻度模糊3种等级,为了最大程度还原图像的特征和细节,需要对图像不同区域的模糊程度进行判别,本文提出一种轻量级的雾浓度分类器,该分类器是一个紧凑且高效的神经网络结构,该结构能够准确地对图像中的雾浓度进行分类。这种方法的优势在于可以处理复杂的图像数据,并且可以学习从图像到雾浓度的非线性映射关系。然而,由于“轻量级”的要求,模型需要在保持准确性的同时减少计算量和模型大小。

使用MobileNet V2作为轻量级雾浓度分类器,它通过使用深度可分离卷积(Depthwise Separable Convolution)和其他技术减小模型大小和计算量,同时保持合理的性能。将MobileNet V2应用于雾浓度分类器,并对模型进行少量修改,使用修改后的MobileNet V2模型作为特征提取器,将输入图像通过MobileNet V2获得特征表示。图2为一个基本的MobileNet V2网络块结构,过滤器(或称为卷积核)是用于在输入数据上进行卷积运算的小矩阵,它们能够提取输入数据的不同特征。1×1卷积层用于调整输入数据的通道数,可以进行升维或降维,以匹配后续层的通道要求。在深度卷积中,每个输入通道独立地应用一个滤波器,进行空间卷积,这有助于捕获空间特征。池化层通常用于降低特征图的空间分辨率,提高特征的抽象级别,并减少参数数量和计算量。全连接层在卷积神经网络的末端,全连接层将学习到的特征映射到最终的输出,如分类任务中的概率分布。Hard-sigmoid非线性激活函数在全连接层之后,将输出值限制在0~1之间,这有助于梯度流动并防止梯度消失问题。

图 2 MobileNet V2网络块 Fig. 2 MobileNet V2 network block

整个网络块的工作原理是将输入数据通过一系列卷积层和池化层进行特征提取,然后通过全连接层进行分类或回归任务。在MobileNet V2中,这种块可能被重复多次,每次重复都可能包含不同的过滤器尺寸、步长(Stride)和膨胀率(Dilation Rate),以逐步提取图像的高级特征,最终实现对输入图像的雾浓度分类或处理。

船舶监控三维视觉图像的雾浓度特征将包含有关图像雾浓度的信息,雾浓度类别的判断过程:

步骤1 使用MobileNet V2的深度可分离卷积层获得目标监控三维视觉图像的特征值F,并将其定义为:

$ F=\mathrm{MobileNetV2}(I)。$ (3)

步骤2 环境设计分类头

添加MobileNet V2的全连接层和ReLU激活函数,输出层定义为:

$ Z=ReLU(W_F \cdot F+b_F),$ (4)
$ \hat{Y}\text{=Softmax}({\text{W}}_{\text{Z}}\cdot{\text{Z+b}}_{\text{Z}}) \text{。} $ (5)

式中:bFWF分别为全连接层的偏置和权重;$ \hat{{Y}} $为MobileNet V2模型预测的概率分布。

步骤3 定义损失函数

定义损失函数为M,则M为:

$ M = - \sum\limits_{i = 1}^N {{y_i}} \log ({\hat {y} _i}) \text{。} $ (6)

其中,$ \hat{y}_{i} $为3种不同雾浓度类别对应的预测概率。

步骤4 优化损失函数

利用梯度下降对损失函数进行优化,即

$ {\theta _{t + 1}} = {\theta _t} - \beta \cdot {\nabla _\theta }M \text{。} $ (7)

式中:θ为模型参数;β为学习率。

梯度下降算法相对稳定,只要损失函数是连续可导的,算法通常能够收敛到一个解,通过计算损失函数相对于参数的梯度来指导参数更新,利用函数的局部信息,能够更高效地找到最优解。且有多种变体(如随机梯度下降SGD、批量梯度下降Batch GD、小批量梯度下降Mini-batch GD等)以适应不同的计算资源和数据规模。

步骤5 输出分类结果

建立训练集和测试集,并使用训练集对建立的MobileNet V2进行训练,训练集和测试集均来源于船舶上不同摄像头拍摄的不同雾浓度的目标图片,训练集和测试集图片数量为100张,通过不断学习后输出雾浓度类别的分类结果。

使用本文建立的轻量级雾浓度分类器对训练集和测试集进行测试,得到的结果如图3所示,可以发现训练准确率和验证准确率随着训练周期的增加而不断提升,最终趋于稳定,验证集的测试准确率接近80%,训练集的测试准确率接近91%,符合设计预期。

图 3 训练集和测试集分类准确率对比 Fig. 3 Comparison of classification accuracy of training set and test set
2.2 验证试验

对船舶监控三维视觉图像模糊目标清晰化处理进行验证试验。将建立的模型进行60个周期的训练后对图片进行识别,以在某船舶上拍摄的雾天船舶目标图像为处理对象,得到清晰化处理前后的对比效果,如图4所示。可以发现经过清晰化处理后图像的成像质量得到了很大提升,虽然丢失了一些船舶细节,但是船舶目标的重要细节得到了大部分保留,且可以使用轮廓目标识别技术对船舶进行简单识别。

图 4 清晰化前后效果对比 Fig. 4 Comparison of effect before and after sharpening
3 结 语

船舶智能监控对于提升船舶安全航行具有非常重要的意义,利用多个摄像头实现三维视觉图像的监控非常依赖于图像的清晰还原度,本文提出一种基于暗通道分析技术和MobileNet V2模型的三维环境视觉图像模糊目标的清晰化绘制及处理技术,本文的结论主要包括以下:

1)详细分析了图像去雾以及还原的基本流程,说明暗通道分析技术应用于船舶模糊目标图像的去雾是可行的;

2)提出了一种基于MobileNet V2的轻量级雾浓度分类器,得到了不同训练周期时图像分类训练准确率和验证准确率,结果表明符合设计预期;

3)对船舶监控三维环境视觉图像模糊目标清晰化绘制及处理进行验证试验,结果表明清晰化绘制和处理后图像质量得到了大幅度提升,满足目标识别对图片清晰度的基本要求。

参考文献
[1]
钟思, 李碧青, 袁天然, 等. 视觉显著性和稀疏学习相融合的船舶图像目标检测[J]. 舰船科学技术, 2024, 46(8): 157-160.
ZHONG Si, LI Biqing, YUAN Tianran, et al. Research on Ship image target detection by integrating visual salience and sparse learning[J]. Journal of Ship Science and Technology, 2024, 46(8): 157-160.
[2]
苏白华宁, 刘畅, 王超. 基于参数估计与子孔径提取的船舶ISAR实时成像算法[J]. 中国科学院大学学报, 2023, 40(5): 647-657.
SU Baihuaning, LIU Chang, WANG Chao. Research on real-time imaging algorithm of ship ISAR based on parameter estimation and subaperture extraction[J]. Journal of the Graduate School of the Chinese Academy of Sciences, 2023, 40(5): 647-657.
[3]
张雪. 基于PSD和改进YOLOv5的雾天船舶检测方法研究[D]. 大连: 大连海事大学, 2023.
[4]
姜俐伶. 复杂场景船舶图像中的船名检测与识别研究[D]. 大连: 大连海事大学, 2023.
[5]
张梦瑶. 基于深度学习的复杂条件下船舶检测方法[D]. 哈尔滨: 哈尔滨师范大学, 2023.
[6]
周林宏, 杨戈, 李娜, 等. 基于自适应图像增强和图像去噪的水面航行船舶识别方法[J]. 船舶工程, 2021, 43(S2): 101-105.
ZHOU Linhong, YANG Ge, LI Na, et al. Research on recognition method of surface vessels based on adaptive image enhancement and denoising[J]. Ship Engineering, 2021, 43(S2): 101-105.