舰船科学技术  2023, Vol. 45 Issue (17): 154-157    DOI: 10.3404/j.issn.1672-7649.2023.17.030   PDF    
基于神经网络的船舶红外图像边缘检测方法
赵明庆1, 常月军2     
1. 聊城大学 计算机基础教学实验中心,山东 聊城 252059;
2. 江苏新扬子造船有限公司,江苏 靖江 214532
摘要: 本文提出一种基于卷积神经网络的船舶红外图像边缘检测方法。首先,介绍船舶红外探测技术的基本原理,针对船舶红外图像的预处理进行研究,包括灰度的均衡化、红外图像的背景抑制、图像分割等。设计了一个基于卷积神经网络的红外图像边缘检测模型,该模型采用多层卷积和池化操作,以及非线性激活函数,能够有效地捕捉图像中的边缘信息。最后,通过对模型进行训练和优化,得到了准确度较高的船舶红外图像探测算法,为后续船舶的目标识别和跟踪提供了有效的基础。
关键词: 神经网络     红外图像     均衡化     卷积    
Ship infrared image edge detection method based on neural network
ZHAO Ming-qing1, CHANG Yue-jun2     
1. Experimental Center of Computer Fundamentals Education, Liaocheng University, Liaocheng 252059, China;
2. Jiangsu New Yangtze Shipbuilding Co., Ltd., Jingjiang 214532, China
Abstract: In this paper, a ship infrared image edge detection method based on convolutional neural network is proposed. Firstly, the basic principles of ship infrared detection technology are introduced, and the preprocessing of ship infrared images is studied, including grayscale equalization, background suppression of infrared images, image segmentation, etc. An infrared image edge detection model based on convolutional neural network is designed, which adopts multi-layer convolution and pooling operations and nonlinear activation function, which can effectively capture edge information in images. Finally, through the training and optimization of the model, a ship infrared image detection algorithm with high accuracy is obtained, which provides an effective basis for the target recognition and tracking of subsequent ships.
Key words: neural network     infrared images     equalization     convolution    
0 引 言

船舶红外图像探测技术在航海领域、军事领域等有非常广泛的应用,在航海领域方面,红外图像可以帮助船舶在夜间或恶劣天气条件下进行导航和避免碰撞,捕捉到船舶的热量辐射,能够清晰地显示船体、船桥、船舱等热源,提供实时的船舶位置和状态信息,为船舶驾驶员提供重要的导航辅助。在军事领域,红外图像可以用于船舶的目标探测、识别和跟踪,帮助军舰在复杂的战场环境中提高目标侦测的能力,监测敌方船舶的活动,提供情报支持,有助于战术决策和作战部署。此外,船舶红外图像探测技术还可以用于火灾预警和监测船舶的机械故障,提前发现潜在的安全隐患,保障船舶和船员的安全。

本文介绍了船舶红外成像技术的原理和发展现状,针对船舶红外探测技术的图像处理,基于卷积神经网络研究了红外图像的均衡化处理、背景抑制技术、边缘检测等。

1 船舶红外成像技术的发展与应用

船舶红外热成像系统的工作过程包括:

1)接收红外辐射。系统首先接收船舶及其周围环境所发出的红外辐射。红外辐射是由物体的热能所产生的电磁波,其波长范围通常在3~14 μm之间。

2)检测和转换。接收到的红外辐射通过红外探测器进行检测和转换。红外探测器通常采用半导体材料,如铟锑化镉或汞锌碲[1],它们具有良好的红外辐射敏感性。

3)信号处理。转换后的红外辐射信号被传送到信号处理器中进行处理。信号处理器可以对信号进行放大、滤波、噪声抑制等操作,以提高图像质量和准确性。

4)图像生成。处理后的信号被送入图像生成器中,通过计算和分析,生成红外图像。图像生成器可以将红外辐射信号转化为灰度图像或彩色图像,以显示物体的热分布和温度差异。

5)图像显示和分析:生成的红外图像可以通过显示器进行显示,供操作员观察和分析。操作员可以根据图像中的热分布和温度差异来判断船舶及其周围环境的情况,如检测火灾、发现隐蔽目标等[2]

船舶红外图像可用下式表示:

$ f\left( {x,y} \right) = {f_1}\left( {x,y} \right) + {f_2}\left( {x,y} \right) + {f_3}\left( {x,y} \right) \text{,} $

式中: $ {f_1}\left( {x,y} \right) $ 为目标像素; $ {f_2}\left( {x,y} \right) $ 为背景像素; $ {f_3}\left( {x,y} \right) $ 为干扰信号。

图1为典型的船舶红外图像及其灰度图。

图 1 典型的船舶红外图像及其灰度图 Fig. 1 Typical infrared image of a ship and its grayscale map

船舶红外成像系统的图像噪声信号包括:

1)加性噪声

加性噪声是红外图像在信号传输过程产生的,建模为:

$ {f_j}\left( {x,y} \right) = s\left( {x,y} \right) + \alpha \left( {x,y} \right) 。$

2)乘性噪声

乘性噪声是红外成像系统的信号源噪声,建模表示为:

$ {f}_{c}\left(x,y\right)=\beta \left(x,y\right)\cdot\eta \left(x,y\right) 。$
2 卷积神经网络算法的研究现状

神经网络算法在图像分析领域的应用非常广泛,神经网络算法包括卷积神经网络、RBF神经网络等,针对船舶红外图像的识别和检测,本文采用卷积神经网络算法。

卷积神经网络算法的原理图如图2所示,它包括卷积层、池化层、激励函数等关键环节。

图 2 卷积神经网络算法的原理图 Fig. 2 Schematic diagram of the convolutional neural network algorithm

卷积神经网络算法的基本工作流程包括:

1)信号输入

神经网络输入红外图像,可定义红外图像信号为:

$ X = {\left( {{x_1},{x_2},...{x_m}} \right)^{\rm{T}}} $ ,其中 $ {x_m} $ 为像素单元。

2)卷积

卷积层由多个卷积核(也称为过滤器)组成,每个卷积核都是一个小的矩阵。卷积核通过在输入数据上滑动,并与输入数据的局部区域进行卷积运算来提取特征。卷积运算是通过将卷积核的权重与输入数据的对应元素相乘,并将结果相加得到的。卷积的重要参数包括:

卷积核的数量,决定了卷积层提取的特征数量。

卷积核的大小,决定了卷积核的感受野大小,即卷积核能够看到输入数据的区域大小。

步长(stride),决定了卷积核在输入数据上滑动的步长大小。

红外图像的卷积操作,可以表示为:

$ {y_{ij}} = \sum\limits_{u = 1}^m {\sum\limits_{v = 1}^n {{f_{ij}}} } *{X_{i - u,j - v}} \text{,} $

式中 $ {f_{ij}} $ 为卷积核函数。

3)池化

卷积神经网络的池化层作用是进行特征选择,同时还具有抑制噪声的作用,池化层的神经网络模型如下:

$ \left\{ {\begin{array}{*{20}{c}} {{S_j} = \displaystyle\sum\limits_{i = 0}^{m - 1} {{\omega _{ij}}{x_i} + {b_j}} },\\ {{x_j} = f\left( {{S_j}} \right)} 。\end{array}} \right.$

式中: ${\omega _{ij}}$ 为节点 $i$ $j$ 之间的权值; ${b_j}$ 为节点 $j$ 的阈值; ${x_j}$ 为节点的输出值;为池化函数[3]

4)激活和输出

激活函数通常被应用在卷积层之后,用于引入非线性特征。激活函数的选择要根据具体任务需求和网络结构进行调整,以提高网络的性能和表达能力。常用的激活函数有ReLU函数、sigmoid函数等,其中ReLU函数将负数映射为0,正数保持不变,公式为f(x) = max(0, x)。ReLU函数具有简单的计算和快速收敛的特点,被广泛应用于卷积神经网络中。

3 基于卷积神经网络的船舶红外图像探测技术 3.1 船舶红外图像的灰度均衡预处理技术研究

由于船舶红外图像中包含多种噪声,这些噪声引起图像灰度的不均衡,引入灰度均衡方程,提高红外图像的灰度特性。

定义灰度变换函数 $ f\left( x \right) $ 如下:

$ {F_d}\left( x \right) = \frac{{f\left( x \right)}}{s} \cdot {D_A} + f\left( x \right) \cdot {D_B}。$

式中: $ {D_A} $ 为输入红外图像的像素, $ {D_B} $ 为输出红外图像的像素。灰度均衡化的概率密度函数为:

$ \rho \left( x \right) = \frac{1}{{{A_0}}}h\left( x \right) 。$

式中: $ {A_0} $ 为图像的面积, $ h\left( x \right) $ 为灰度直方图。

均衡化后的图像概率密度函数为 $ {\rho _t}\left( x \right) $ ,可得到图像灰度均衡方程如下:

$ S\left( x \right) = \int_0^t \frac{{{\rho _t}\left( u \right)}}{{{\rho _{}}\left( u \right)}}{\rm{d}}u = \frac{1}{{{A_0}}}\int {h\left( u \right)} {\rm{d}}u 。$

图3为均衡处理前后红外图像的灰度直方图对比。

图 3 均衡处理前后红外图像的灰度直方图对比 Fig. 3 Contrast grayscale histograms of infrared images before and after equalization processing
3.2 船舶红外图像背景抑制预处理技术

随着红外探测器的技术发展,红外探测的距离和成像质量得到了很大的提高,但是红外探测技术仍有以下问题:

1)红外目标探测受到天气条件的影响。在雨雪、雾霾等恶劣天气下,红外探测器的探测距离和精度会受到限制[4]

2)红外目标探测对目标的热辐射敏感,因此在目标温度较低或热辐射较弱的情况下,探测器的灵敏度会降低,对于没有热源或热辐射的目标,无法进行有效探测。

3)红外目标探测器的分辨率较低,无法提供高清晰度的图像,对于目标的细节和特征无法进行准确识别。

4)红外目标探测器的探测距离有限,对于远距离目标的探测和跟踪能力较弱。当红外探测器与目标距离较远时,目标在成像面可能只有十几个像素,此时,红外成像质量受背景杂波的干扰非常大,必须要进行一定的背景抑制才能突出目标的能量,

5)红外目标探测器的探测范围受到视场角的限制,只能在有限的范围内进行目标探测和跟踪,探测速度较慢,对于快速移动的目标难以进行准确探测和跟踪。

6)红外目标探测器的能耗较高,需要较大的电力供应和散热系统,增加了系统的复杂性和成本。

针对船舶红外图像的背景抑制,采用高通滤波算法进行背景抑制,定义原始图像 $ f\left( x \right) $ ,离别后的图像 $ g\left( x \right) $ ,高通滤波可表示为:

$ g(x,y) = {\eta ^{ - 1}}\{ \eta [f(x,y)] \cdot H(u,v)\} 。$

式中: $ {\eta ^{ - 1}} $ $ \eta $ 分别为傅里叶变换与逆变换; $ H(u,v) $ 为高通滤波器[5],滤波器的传递函数、幅值和频率响应分别为:

$ \begin{gathered} {H_1}(u,v) = \left\{ {\begin{array}{*{20}{l}} {0,}&{D(u,v) \leqslant {D_0}} ,\\ {1,}&{D(u,v) > {D_0}} 。\end{array}} \right. \\ {H_2}(u,v) = \frac{1}{{1 + [\sqrt 2 - 1]{{\left[ {{D_0}/D(u,v)} \right]}^4}}} ,\\ {H_3}(u,v) = 1 - \exp \left( { - {D^2}(u,v)/2D_0^2} \right)。\\ \end{gathered} $

图4对比了几种红外图像的背景抑制效果图。可见,基于高通滤波算法的背景抑制技术可以有效抑制背景像素灰度,突出目标像素灰度。

图 4 几种红外图像的背景抑制效果图 Fig. 4 Background suppression effect of several infrared images
3.3 基于卷积神经网络的船舶红外图像边缘检测方法

针对船舶红外图像的边缘检测,采用基于灰度质心法的边缘检测技术,灰度质心法能够实现船舶红外图像的中心定位,以灰度值作为权值,计算红外图像边缘轮廓内像素坐标的加权平均值。

基于灰度质心法的边缘检测流程为:

1)卷积神经网络的阈值初始化

定义输入层第i个神经元的阈值为 $ {S_i}\left( t \right) $

2)红外图像输入

设定图像为 $ X = {\left( {{x_1},{x_2},...{x_m}} \right)^{\rm{T}}} $

3)红外图像卷积处理

计算神经元之间的距离为下式:

$ d = \sqrt {\sum\limits_{i = 1}^m {{x_i}\left( t \right) - {\delta _i}{{\left( t \right)}^3}} } \text{,} $

其中, $ {\delta _i}\left( t \right) $ 为第i个神经元的权值[6],然后结合下式权值修正公式完成像素卷积:

$ {\delta _{ij}}\left( {t + 1} \right) = \left\{ {\begin{array}{*{20}{c}} {\delta _i}\left( t \right) + f\left( t \right)\left[ {{x_i}\left( t \right) - {\delta _i}\left( t \right)} \right],& i \in {S_i}\left( t \right),\\ {\delta _i}\left( t \right),& i \notin {S_i}\left( t \right)。\end{array}} \right. $

其中, $ f\left( t \right) $ 为像素的特征函数。

4)边缘检测

灰度质心法的边缘检测模型为:

$ \left\{ {\begin{aligned} & {{u_c} = \frac{{\displaystyle\sum\limits_{(i,j) \in s} {{w_{i,j}}i} }}{{\displaystyle\sum\limits_{(i,j) \in s} {{w_{i,j}}} }}} ,\\ & {{v_c} = \frac{{\displaystyle\sum\limits_{(i,j) \in s} {{w_{i,j}}j} }}{{\displaystyle\sum\limits_{(i,j) \in s} {{w_{i,j}}} }}} 。\end{aligned}} \right.$

式中: $ ({u_c},{v_c}) $ 为红外图像识别区域的中心坐标; $ (i,j) $ 为像素点的坐标;S为标志点区域; $ {w_{i,j}} $ 为目标像素点 $ (i,j) $ 的灰度值。

5)图像输出

基于卷积神经网络的船舶红外图像边缘检测流程如图5所示。

图 5 基于卷积神经网络的船舶红外图像边缘检测流程 Fig. 5 Edge detection process of ship infrared image based on convolutional neural network
4 结 语

海上船舶红外成像探测技术具有非常大的应用潜力,本文针对红外成像技术的图像处理进行了深入研究,从图像噪声过滤、背景抑制、图像边缘检测等内容出发,结合卷积神经网络算法,实现了船舶红外图像的高效、准确处理。

参考文献
[1]
刘志东. 改进神经网络的船舶红外图像边缘检测方法[J]. 舰船科学技术, 2023, 45(7): 166-169. DOI:10.3404/j.issn.1672-7649.2023.07.032
[2]
王璐烽. 船舶监控红外图像处理中多通道SDN控制器改进设计[J]. 舰船科学技术, 2021, 43(20): 196-198. DOI:10.3404/j.issn.1672-7649.2021.10A.066
[3]
贾晓霞. 基于船舶红外图像的耦合Sine混沌映射加密方法[J]. 舰船科学技术, 2021, 43(16): 175-177. DOI:10.3404/j.issn.1672-7649.2021.8A.059
[4]
余永武. 红外图像和神经网络在船舶目标识别中的应用[J]. 舰船科学技术, 2021, 43(12): 175-177. DOI:10.3404/j.issn.1672-7649.2021.6A.059
[5]
喻会. 基于红外图像的海上船舶特征识别算法研究[J]. 舰船科学技术, 2020, 42(4): 40-42.
YU Hui. Research on feature recognition algorithm of maritime ships based on infrared image[J]. Ship Science and Technology, 2020, 42(4): 40-42.
[6]
方玲玲, 赵婉彤, 王相海. 船舶红外成像目标跟踪研究进展[J]. 计算机辅助设计与图形学学报, 2017, 29(10): 1776−1785.