舰船科学技术  2022, Vol. 44 Issue (7): 186-189    DOI: 10.3404/j.issn.1672-7649.2022.07.039   PDF    
基于卷积神经网络的船舶图像增强研究
陈燕     
中北大学 信息与通信工程学院,山西 太原 030051
摘要: 为了更好的识别船舶图像信息,提出基于卷积神经网络的船舶图像增强方法,利用卷积神经网络技术对船舶图像特征进行采集和建模,并对采集到的数据进行降噪,再根据图像颜色特征进行图像缺陷修复和图像的逆向恢复处理,从而获得高品质的船舶图像。最后通过实验证实,卷积神经网络能够有效改善船舶图像的显示质量,满足传播图像增强的设计目标。
关键词: 卷积神经网络     船舶图像     图像增强    
Research on ship image enhancement based on convolutional neural network
CHEN Yan     
School of Information and Communication Engineering, North University of China, Taiyuan 030051, China
Abstract: In order to better identify the ship image information, a ship image enhancement method based on convolution neural network is proposed. The convolution neural network technology is used to model the ship image features, collect the ship operation image, reduce the noise of the collected data, and then repair the image defects and reverse restore the image based on the image color features, So as to obtain high-quality ship images. Finally, experiments show that the proposed ship image enhancement method based on convolutional neural network can effectively improve the display quality of ship image and meet the design goal of propagation image enhancement.
Key words: convolutional neural network     ship image     image enhancement    
0 引 言

由于船舶图像的获取是一个非常复杂的过程,受大气、雾和风向等多种因素的制约,导致图像模糊、色彩衰退等缺陷,从而导致图像退化,从而限制了图像的使用,传统的图像增强技术采用暗渠技术进行船舶图像强化、采用空气扩散模式强化船舶图像、自适应削弱曲线强化船舶图像等,由于图像清洗过重,易导致图像增效效果不佳的问题[1]。为了解决上述问题,提出一种基于卷积神经网络的船舶图像强化方法。该方法可以有效地提高船舶的图像质量。

1 基于卷积神经网络的船舶图像增强方法 1.1 船舶图像特征采集

为更好利用卷积神经网络实现对船舶图像的有效增强处理,首先需要采集多个船舶图像特征数据,基于船舶航行时间,航行状态等多维度信息进行图像标准化处理[2]。结合神经网络原理来进行船舶航行过程中的图像特征采集和分解,卷积神经网络结构复杂,结构如图1所示。

图 1 卷积神经网络结构 Fig. 1 Convolutional neural network structure

本文所优化的卷积神经网络与常规神经网络的结构有所不同,它没有池化和 FC。该卷积神经网络结构模式主要由输入、特征提取、非线性映射、图像重建、图像输出5个主要环节构成,从而在实现对模糊图像进行去噪处理的同时也可以兼顾低照度图和普通照度图的映射,实现多种类图像的有效增强处理目标。为避免处理过程中图像尺度不符,造成图像边缘缺失的问题,需要在对图像进行区域填补后再进行卷积处理,以确保在整个图像信息传输的时候,图像尺寸是恒定的,不存在缺失现象。为了方便图像增强处理步骤,首先输入原始图像,并结合神经网络进行图像边缘修复处理,在实现图像修复后,进行图像特征提取,并对图像进行降噪处理,逐层提取船舶航行图像的特征,并选取有用的特征作为参照数值。通过对有效的图像数据进行小波变换处理,以便后续对模糊区域或缺失区域进行增强。基于此,结合卷积神经网络对船舶图像特征提取方法进行优化,如图2所示。

图 2 船舶图像特征提取方法 Fig. 2 Ship image feature extraction method

根据图2方法提取船舶航行图像特征后,为保证数据有效性,结合卷积神经网络进行图像相似性规划,根据相似性特征进行图像的最优匹配处理。设在进行图像采集的过程中,图像边界灰度为f(x,y),图像相似度为I1,图像雾化干扰值为P,则2组图像的相似值计算可表达为:

$ {I_2}(x,y) = \prod {p - \left( {{I_1}{{ - }}f(x,y)} \right)} 。$ (1)

进一步对船舶图像特征提取步骤进行简化处理,实现在复杂环境下对相似值进行配准,保证船舶图像特征采集提取步骤,并优化图像特征匹配流程,如图3所示。通过对船舶增强图像和常规图像的高频滤波进行比较,得到了图像的灰色直方图,并分析了各种环境的图像的增强效应。在现有的船舶原始图像中,传统的蚁群算法和本文方法都能改善图像的反差,但是由于象素的灰阶差异很大,因此强化后的图像会呈现过分的亮度和过分的暗淡。采用改进后的卷积神经网络技术,使船体的反差得到改善,同时所得到的直方图也能直观地反映出图像的层次分布,从而使图像的视觉品质得到极大的改善。

图 3 图像采集及特征匹配流程 Fig. 3 Image acquisition and feature matching process
1.2 船舶图像去噪算法

由于船舶航行过程中,受到环境干扰影响,因此图像采集精度难以保证,这也会对图像增强产生影响,造成图像信噪率较差、图像模糊不清等问题。为此,需要对采集到的图像进行去噪处理。基于此,结合卷积神经网络原理对船舶图像去噪算法进行优化[3]。首先,对采集到的船舶图像特征信息进行降噪和清洗处理,设定适当的门限以降低噪声,再利用偏微分方程进行非线性强化转换,提高船体图像品质。处理过程中,图像灰度为 $ \hat \psi (\omega ) $ ,可得图像小波函数为:

$ {C_\psi } = {I_2}(x,y){{ - }}\int_R {\frac{{|\hat \psi (\omega ){|^2}}}{{{\rm{d}}f(x,y)}}} - p 。$ (2)

通过对相似图像进行灰度值 $ a $ 的转换,可以进一步对船舶图像进行分割处理,基于不同分割区域数值进行图像标准灰度的计算,具体算法如下:

$ {\psi _{a,b}}(t) = \frac{1}{{{I_1}\sqrt {|p{\text{ - }}a|} }}\hat \psi (\omega ),$ (3)

将划分区域的标准灰度值进行全局转化,若此时图像模糊度为x(t),则理想的图像灰度数值可以表示为:

$ s(t) = x(t) + {C_\psi }{{ - }}{\psi _{a,b}}(t),$ (4)

由于船舶图像的获取过程中,船舶处于移动状态,为了更好对动态图像进行增强,需要对图像进行平滑处理。若动态图像相关参数值为 $ {g^q}\left( {j,k} \right) $ ,图像清晰度为t,基于此计算模糊特征平滑矩阵如下:

$ \overline n = \frac{1}{p}s(t)\sum\limits_{\left( {j,k} \right) \in T} {{g^q}\left( {j,k} \right)} - t,$ (5)

图像增强过程中,需要输入一个灰度数据序列和一个平滑度特征序列,分别可记为 $ y\sin \alpha + z\cos \alpha $ $ y\sin \alpha + z\cos \alpha $ ,则图像灰度增强描述如下式:

$ F\left( {y,z,\alpha ,\beta } \right) = \left\{ \begin{gathered} {i_1},\begin{array}{*{20}{c}} {}&{y\sin \alpha + z\cos \alpha > \overline n } ,\end{array} \hfill \\ {i_2},\begin{array}{*{20}{c}} {}&{y\sin \alpha + z\cos \alpha \leqslant \overline n } 。\end{array} \hfill \\ \end{gathered} \right. $ (6)

式中:i1i2为图像两端的像素灰度和平滑度值。

进一步计算图像增强的权值系数,公式为:

$ \gamma = s(t)\sum\limits_{j = 1}^{45} {\overline n {\text{ + }}{\psi _{a,b}}(t)/} F\left( {y,z,\alpha ,\beta } \right) 。$ (7)

根据上面阐述的方法,能够对动态图像进行增强处理,从而提高船舶航行动态图像的增强目标。

1.3 船舶图像增强的实现

为了更快速对船舶图像进行有效增强,结合上述算法,进一步对船舶图像增强处理步骤进行优化。在处理过程中,设神经元有WT个图像特征向量,那么卷积神经网络的输出数值可以表示为:

$ {h_{W,b}}(x) = {W_T} - \gamma F\left( {y,z,\alpha ,\beta } \right) 。$ (8)

根据图像增强的质量要求,以图像边缘特征检测、描述边缘特征,建立图像数据库,最终达到图像增强的目的。卷积神经网络是一种新的神经网络,该方法的权值具有分享性质,所需的调节量较小,所需的运算量较小。

进行船舶图像的增强处理,可以更好保障图像处理精度,提高图像清晰度,实现图像去噪目标[4]

2 实验结果分析

为验证卷积神经网络的船舶图像增强方法,结合传统蚁群算法进行对比检测。为了保障本文实验结果具有真实性和有效性,首先对实验环境及参数进行统一设置,以 Intel酷睿i3-6100CPU、华硕B150M-PLUS、Windows10为试验平台,采集50组船舶航行的动态图像,分别在实验环境和干扰环境下对比分析了2种方法的图像增强效果,分别以图像清晰度、对比度、信噪比等为最终判断结果。清晰度越高,则说明图像增强效果越好。以1艘船舶为例,将不同的数据特征连接到不同的电脑上,随机分配给3种不同的检测方式,以确保实验的准确性和公正性。在同一时刻,启动3台不同的电脑。根据收到的任务,采集任何时刻的船舶图像统计特性,然后抽取出相应的特征,将这些特征信息传送给电脑,提交最终结论之后,就可以进行实验。实验过程中,在相应的检验时间,工作人员利用专门的设备,将船舶的统计特性进行鉴定,以作为最后控制。

观察可知,图像样本存在灰噪声干扰、灰度过高、区域模糊和边缘缺失等多种问题,因此对图像进行去噪处理,获取2组方法图像信噪比进行对比检测和记录,结果图4所示。

图 4 干扰环境下图像信噪比对比检测结果 Fig. 4 Comparison detection results of image signal-to-noise ratio under interference environment

可知,相对于传统的图像增强方法而言,本文提出的基于卷积神经网络的图像增强技术在应用过程中,信噪比更高,说明该方法图像处理过程中抑制噪声干扰的能力更好。进一步对比2种方法对灰度图像的增强效果,实验过程中首先对每个卷积核的大小进行设定,设置为3 pixel*3 pixel,实验图像灰度值设置为低、中、高3种模式进行图像特征信息训练和实验,获取2组方法的图像增强效果,具体结果如表1所示。由表1可知,与传统方法相比,本文方法针对灰度值较低的图像,增强效果不明显,但在对灰度值较高的图像进行色彩增强的过程中,本文方法明显高于传统方法。单整体而言本文方法色彩增强效果相对更优。