舰船科学技术  2024, Vol. 46 Issue (3): 174-177    DOI: 10.3404/j.issn.1672-7649.2024.03.032   PDF    
基于深度神经网络的船舶图像识别检索研究
赵圆圆, 李月军, 李昌庆, 李春红, 梁丽莎     
湛江科技学院 智能制造学院,广东 湛江 524000
摘要: 对船舶图像进行快速准确识别在军民领域都有广泛应用,随着船舶种类的增多、图像质量的提高,传统的卷积神经网络进行船舶图像识别需耗费大量时间。本文对深度神经网络的原理进行分析,并在此基础上研究基于深度神经网络的船舶图像识别流程,对船舶图像预处理技术进行研究,建立船舶图像训练集和测试集,对YOLOV2、卷积神经网络和本文算法的平均识别时间和识别准确率进行分析测试,最后研究3种算法的训练次数对识别准确率的影响。本文研究的深度神经网络船舶图像识别算法,在平均识别时间以及识别准确率上具有一定优势。
关键词: 深度神经网络     图像识别     图像预处理     测试    
Research on ship image recognition and retrieval based on deep neural network
ZHAO Yuan-yuan, LI Yue-jun, LI Chang-qing, LI Chun-hong, LIANG Li-sha     
Intelligent Manufacturing College, Zhanjiang University of Science and Technology, Zhanjiang 524000, China
Abstract: Fast and accurate recognition of ship images is widely used in both civil and military fields. With the increase of ship types and the improvement of image quality, it takes a lot of time to adapt the traditional convolutional neural network to ship image recognition. In this paper, the principle of deep neural network is analyzed, and on this basis, the ship image recognition process based on deep neural network is studied, the ship image preprocessing technology is studied, the ship image training set and test set are established, and the average recognition time and recognition accuracy of YOLOV2, convolutional neural network and the algorithm in this paper are analyzed. Finally, the influence of the training times of the three algorithms on the recognition accuracy is studied. The deep neural network ship image recognition algorithm studied in this paper has certain advantages in average recognition time and recognition accuracy.
Key words: deep neural network     image recognition     image preprocessing     test    
0 引 言

船舶目标识别在军民领域均有广泛应用。在民用领域,特别是在全球海洋经济快速发展的情况下,近海船舶数量日益增多,通过快速地船舶目标识别可对航线上的船舶进行有效监控,从而为船舶管理和调度提供数据基础。在军事领域,对舰船目标的快速识别能为导弹以及己方舰船提供坐标指引,为决策的制定提供帮助。

船舶目标识别的难度主要有2个,一是船舶类型众多,不管是民用领域还是军事领域,类型众多就决定了船舶的特征存在很大差异性,这就让基于特征识别的目标检测算法难以发挥应有作用;二是在一些特定领域要求检测速度快,并要求有较高的检测精度,因而单纯依靠船舶特征数据库很难实现这一点。目前,船舶目标识别是国内外研究的热点。赵其昌等[1]提出一种基于深度学习方法的光学遥感舰船目标图像识别。王志旭[2]对高分辨率SAR船舶图像进行识别,对YOLO V5算法进行改进,发现在识别效率以及准确度上YOLO V5改进算法比传统CNN识别效率和准确度均有较大改进。马浩为等[3]对海上雾霾环境的船舶图像识别进行研究,通过改进多尺度特征融合网络达到了较高识别精度。这些研究成果表明,使用深度神经网络及其改进算法均能对船舶图像识别达到较高的准确率,但对于船舶图像识别及检索而言速度仍然较慢,因而需研究一种能均衡检测时间和检测精度的船舶图像识别方法。本文提出了一种基于深度神经网络的船舶图像识别检索系统,对不同算法的船舶图像识别准确率以及识别时间进行对比研究,提升系统对船舶图像的识别效率,达到检测时间和检测精度的均衡化。

1 深度神经网络算法 1.1 深度神经网络结构

相对于卷积神经网络而言,本文采用深度神经网络对船舶图像进行识别检索,其主要原因在于虽然卷积神经网络只需较少的船舶图片样本就可以实现对目标的识别,但在对图像样本特征的提取上非常依赖人工提取,因而如果船舶种类多,其特征也不尽相同。特别是随着卫星获取的图片质量越来越高,不同船舶包含的特征信息也会越来越多,如果仍然采用卷积神经网络就会耗费大量的时间,同时也缺乏适应性。在采用深度神经网络后,在输入端输入一定数量的标准格式船舶图像后,在输出端即可获取不同船舶的特征,因而节省了大量的船舶特征提取时间[4]

深度神经网络是在神经网络的基础上发展而来,图1为深度神经网络的基本结构,包括输入层、隐藏层和输出层。隐藏层可有多个[5],如图中有3个隐藏层。深度神经网络已被广泛应用在图像处理中,深度神经网络非常依赖于训练样本图像的质量,因而在构建模型时需建立训练集和测试集,并设置合适的损失函数、训练次数等参数,以保证深度神经网络对图像的识别能够达到一个较好的效果。

图 1 深度神经网络基本结构 Fig. 1 Basic structure of deep neural network

不同隐藏层的学习速度不同,改变训练次数,即epoch的次数,得到不同训练次数下隐藏层1~隐藏层3的学习速度,结果如图2所示。可发现训练次数超过70次左右时,并不能改变学习速度,因而即使对于有3个隐藏层的深度神经网络而言,单纯增加训练次数不能帮助整个网络提升学习速度。在对船舶进行图像识别时,可通过将神经网络相关参数设置好后进行仿真,仿真结果可对最终确定训练次数进行有效指导。

图 2 训练次数和学习速度的关系 Fig. 2 Relationship between training frequency and learning speed
1.2 深度神经网络算法

假设隐藏层和输出层的输出为a,深度神经网络中的激活函数为δz),隐藏层2的输出为$ {a}_{1}^{2},{a}_{2}^{2},\cdots,{a}_{n}^{2} $b为对应的偏倚参数,则有:

$ \begin{gathered} a_1^2 = \sigma (z_1^2) = \sigma (\omega _{11}^2{x_1} + \omega _{12}^2{x_2} + \omega _{13}^2{x_3} + b_1^2),\\ a_2^2 = \sigma (z_2^2) = \sigma (\omega _{11}^2{x_1} + \omega _{22}^2{x_2} + \omega _{23}^2{x_3} + b_2^2) ,\\ \cdots \\ a_n^2 = \sigma (z_n^2) = \sigma (\omega _{n1}^2{x_1} + \omega _{n2}^2{x_2} + \omega _{n3}^2{x_3} + b_n^2)。\\ \end{gathered} $ (1)

第3层的输出为$ a_1^3 $,则有:

$ a_1^3 = \sigma (z_1^3) = \sigma (\omega _{11}^3{x_1} + \omega _{12}^3{x_2} + \omega _{13}^3{x_3} + b_1^3) \text{。} $ (2)

将式(1)与式(2)推广,假设当前深度神经网络存在l层,神经元的数量为n,则第l层的第j个神经元输出应当满足以下关系[6]

$ a_j^l = \sigma (z_j^l) = \sigma \left(\sum\limits_{k = 1}^n {\omega _j^l} a_k^{l - 1} + b_j^l \right) \text{,} $ (3)

因而在实际构建深度神经网络时,可根据输入层、隐藏层以及输出层的基本情况,按照以上公式进行递进推导,从而得到最终输出。

2 基于深度神经网络的船舶图像识别检索 2.1 图像预处理

在使用深度神经网络对船舶图像进行识别检索前需将图像调整到软件中预设的图片大小,同时需对获取的图片进行图像加强和滤波处理,具体而言包括以下步骤[7]

步骤1 初始化,将图像大小统一处理为400×400,并对图像进行二值化处理;

步骤2 对图像采用均值滤波处理,去除图像中的噪声。图3为对某船舶图像的处理结果,可发现,噪声得到了有效抑制,为后续船舶特征提取及识别奠定了基础;

图 3 均值滤波处理 Fig. 3 Mean filtering

步骤3 对船舶图像边缘进行检测,提取船舶图像中船舶的有效特征,得到如图4所示结果。

图 4 船舶目标边界检测 Fig. 4 Ship target boundary detection
2.2 船舶图像识别

基于深度神经网络的船舶图像识别基本流程,如图5所示。

图 5 基于深度神经网络的图像识别流程 Fig. 5 Image recognition process based on deep neural network

1)建立船舶图像集

为了对船舶图像进行有效识别,需建立数量庞大的船舶图像集,本文所采用的图像集来源于Google Earth,部分图像集合如图6所示。

图 6 船舶图像集 Fig. 6 Ship image set

2)模型训练

选择图像集中400张图像作为训练集,其余400张作为测试集,深度神经网络的图像处理过程如图7所示。其中,模型学习速率设定为0.002,学习衰减率设置为0.0003。每500次训练后将模型保存一次。

图 7 深度神经网络图片处理过程 Fig. 7 Deep neural network image processing

3)船舶图像识别测试

将剩余400张船舶图像组成的测试集使用已经训练完成的测试集进行测试,并记录测试结果。同时对YOLOV2、卷积神经网络和本文算法的测试结果进行对比,将识别时间和识别准确率作为对比参数,得到的结果如表1所示。可发现,本文建立的深度神经网络在船舶图像识别上具有较高准确率,同时在识别时间上也有小幅提升。

表 1 不同算法船舶图像识别对比 Tab.1 Comparison of ship image recognition with different algorithms

图8为训练次数对识别准确率的影响曲线。研究不同的训练次数对识别准确率的影响,可发现当训练次数超过2000次后对船舶图像的识别准确率几乎无法提升。

图 8 3种算法训练次数对识别准确率的影响 Fig. 8 The influence of training times of three algorithms on recognition accuracy
3 结 语

对船舶图像进行快速准确识别在军民领域都有广泛应用,传统的卷积神经网络虽然在小样本训练领域具有一定优势,但船舶图像特征需人工提取。随着船舶种类的增多、图像质量的提高,必须采取一种提升船舶图像识别效率的方法。本文对深度神经网络的原理进行分析,并在此基础上研究了基于深度神经网络的船舶图像识别流程,建立了船舶图像训练集和测试集,对YOLOV2、卷积神经网络和本文算法的平均识别时间和识别准确率进行研究。本文研究的深度神经网络船舶图像识别算法,在平均识别时间以及识别准确率上具有一定优势。

参考文献
[1]
赵其昌, 吴一全, 苑玉彬. 光学遥感图像舰船目标检测与识别方法研究进展[J]. 航空学报, 2023, 49(4): 1−34.
ZHAO Qi-chang, WU Yi-quan, YUAN Yu-bin. Research progress of ship target detection and recognition methods in optical remote sensing images [J]. Journal of Aeronautics, 2023, 49(4): 1−34.
[2]
王志旭. 合成孔径雷达图像目标检测识别方法研究[D]. 昆明: 云南师范大学, 2023.
[3]
马浩为, 张笛, 李玉立, 等. 基于改进YOLOv5的雾霾环境下船舶红外图像检测算法[J]. 交通信息与安全, 2023, 41(1): 95−104.
MA Hao-wei, ZHANG Di, LI Yu-li, et al. Ship infrared image detection algorithm based on improved YOLOv5 in haze environment [J]. Traffic Information and Safety, 2023, 41 (1) : 95−104.
[4]
宋嘉乐, 杨德振, 刘彤, 等. 复合翼无人机平台的下视红外船舶识别算法[J]. 激光与红外, 2022, 52(11): 1649−1656.
SONG Jia-le, YANG De-zhen, LIU Tong, et al. Down-looking infrared ship recognition algorithm for composite wing UAV platform [J]. Laser and Infrared, 2022, 52 (11) : 1649−1656.
[5]
申浩, 荆一昕. 高分辨率遥感船舶图像细粒度检测方法[J]. 舰船科学技术, 2022, 44(5): 114−117.
SHEN Hao, JING Yi-xin. Fine-grained detection method for high-resolution remote sensing ship images [J]. Ship Science and Technology, 2022, 44 (5) : 114−117.
[6]
孟浩, 田洋, 孙宇婷, 等. 全局注意力关系网络的小样本船舶识别[J]. 仪器仪表学报, 2021, 42(12): 220−227.
MENG Hao, TIAN Yang, SUN Yu-ting, et al. Small sample ship recognition of global attention relation network [J]. Instruments Journal, 2021, 42 (12) : 220−227.
[7]
周林宏, 杨戈, 李娜, 等. 基于自适应图像增强和图像去噪的水面航行船舶识别方法[J]. 船舶工程, 2021, 43(S2): 101−105.
ZHOU Lin-hong, YANG Ge, LI Na, et al. A ship identification method based on adaptive image enhancement and image denoising [J]. Ship Engineering, 2021, 43 (S2) : 101−105.