舰船科学技术  2001, Vol. 44 Issue (6): 157-160    DOI: 10.3404/j.issn.1672-7649.2022.06.033   PDF    
深度学习在舰船前方障碍物图像识别中的应用
李先锋1,2, 徐森2, 花义明3     
1. 江苏大学 电气信息工程学院,江苏 镇江 212013;
2. 盐城工学院 信息工程学院,江苏 盐城 224051;
3. 国家电投能源科技工程有限公司,上海 200233
摘要: 在舰船前方障碍物图像识别中,传统的图像识别系统漏检概率高、检测性能较差,难以满足舰船安全航行要求。深度学习是一种智能化技术,将其应用到障碍物图像识别中可以提高图像信息筛选、计算和检测效率。本文介绍深度学习中的神经网络模型和卷积神经网络,以及深度学习在舰船前方障碍物图像识别中的检测方法。基于传统深度学习算法的不足,提出改进后的Faster R-CNN方法在障碍物图像识别中的应用,并通过对比实验进行论证,实验结果表明改进后的图像识别模型具备检测精度高的应用优势。
关键词: 深度学习     舰船     前方障碍物     图像识别    
Application of deep learning in image recognition of obstacles ahead of ships
LI Xian-feng1,2, XU Sen2, HUA Yi-ming3     
1. School of Electronic and Information Engineering, Jiangsu University, Zhenjiang 212013, China;
2. School of Information Engineering, Yancheng Institute of Technology, Yancheng 224051, China;
3. SPIC Energy Technology and Engineering Co., Ltd., Shanghai 200233, China
Abstract: In the image recognition of obstacles ahead of the ship, the traditional image recognition system has a high probability of missed detection and poor detection performance, which is difficult to meet the requirements of safe navigation of ships. Deep learning is an intelligent technology, and its application to obstacle image recognition can improve the efficiency of image information screening, calculation and detection. This paper introduces the neural network model and convolutional neural network in deep learning, and the detection method of deep learning in the image recognition of obstacles in front of ships. Based on the shortcomings of traditional deep learning algorithms, an improved Faster R-CNN method is proposed in the application of obstacle image recognition is demonstrated by comparison experiments. The experimental results show that the improved image recognition model has the application advantages of high detection accuracy.
Key words: deep learning     ships     obstacles ahead     image recognition    
0 引 言

目前,深度学习已经广泛应用于图像识别检测领域,在图像特征提取和智能化检测方面发挥出了巨大的应用优势。在舰船航行中,前方障碍物是影响航行安全性的重要因素,所以有必要建立起前方障碍物识别检测系统,准确识别障碍物的尺寸大小,提高识别精度,以便于快速做出应对策略。基于此,在舰船前方障碍物图像识别中可以应用深度学习构建检测模型,适应多尺度障碍物的准确检测要求[1-3]

1 深度学习概述

深度学习是人工智能技术的重要技术之一,能够通过大量的数据训练分析和预测输入数据的特征,提取出目标特征,保证计算和预测结果的准确性。目前,神经网络是深度学习应用最为广泛的形式。

1.1 神经网络模型

神经网络模型由多个神经元组成,包括输入层、隐藏层和输出层,每个神经元节点可以通过前向传播或反向传播完成参数更新,不断学习数据特征。在前向传播中,神经网络的每一个中间层都代表一个参数,3层神经网络中仅有一层隐藏层,激活函数使用sigmoid函数,表达式为:

$ \sigma(t)=\frac{1}{1+\mathrm{e}^{-t}} \text{。} $

反向传播需在神经网络学习中设置损失函数,运用交叉熵函数求解损失,通过降低损失函数达到更新参数的目的。函数表达式为:

$ {L}\left({y}, {y}^{\prime}\right)=-y\mathrm{log} {y}^{\prime}-(1-{y}) \log \left(1-{y}^{\prime}\right) \text{。} $

式中:yy'分别为输入数据的真实标签、预测类别,在计算中引入激活函数,函数导数的计算公式为:

$ \sigma(t)=\frac{1}{1+{\rm{e}}^{-t}}\left(1-\frac{1}{1+{\rm{e}}^{-t}}\right) \text{。} $

从公式中可以看出,需要对参数初始赋值,保证反向传播得到正常求解,这样才能达到学习的目的[4-6]

1.2 卷积神经网络

卷积神经网络以深度神经网络为基础加入卷积运算,通过削减深度网络参数量提高神经网络学习效率。在这一过程中,主要涉及卷积层、池化层和全连接层的联合运行。卷积层主要负责完成绝大多数的特征提取计算,通过卷积运算计算出输入矩阵与卷积元素之和,使运算过程遍历整个矩阵,最终输出结果。在舰船前方障碍物图像识别中,可以根据图像上的像素点对应找出图像区域范围,结合卷积核的长度决定感受视野大小,感受视野越大,提取的图像信息越多,易增大计算量[7-10]。为提高计算性能,需要在卷积运算中跳过一些位置,同时还要避免出现卷积丢失边缘位置信息的情况,所以一般会通过填充操作方法解决这一问题。

2 深度学习在舰船前方障碍物图像识别中的检测方法 2.1 预处理模型

针对实际图像识别检测处在的局限性,提出预处理模型,通过该模型可在分割图像的基础上完成识别,由此能够提高图像检测效率。模型构建的过程中,需要先分割图像,根据预先确定好的尺寸,将图像分割成若干个网格,对分割后的图片编号,调整边界图片的尺寸大小,编好号的图片,输入到训练完毕的网络预选,据此分辨出带有舰船的图片,并将这部分图片送入目标检测网络。在预处理模型中,分割与拼接是关键环节,正常情况下尺寸较大的舰船前方障碍物图像,因参数超限,所以不能直接输入深度学习网络进行目标检测。同时,图像中没有目标的场景输入后,会导致计算资源浪费,检测时间也会增加。基于此,可以先分割图像,为满足输入需要,将图像分割为一定尺寸的网格,从左上角对分割后的图片编号,由于按左上角对齐,所以右边和底边可能无法整切,这样一来,切割后的图片尺寸便无法达到规定要求。对此可以采取调整图片大小的方法进行重塑,随后将切割好的图片送入深度学习网络,找出带有舰船目标的图片,送入目标检测网络,获得检测结果。最后按编号拼接图片,调整大小的图片恢复成最初的尺寸,此时图像的切割与拼接处理便正式完成。

2.2 图像识别网络

图像识别分为语义级、细粒度和实例级三类,其特点是后一种类型比前一种类型更加精细。按目标检测网络场景的需求,对图片的输入尺寸进行调整,使其达到切割后的尺寸,同时做实例类目标识别,采用复杂程度不高的网络结构即可。为使网络进一步简化,并减少实际计算量,通过卷积的方法,在通道上降维,以此来达到减少网络参数的目的。依据输出特性,将Relu函数改为Sigmoid函数,使输入映射至0−1的区间内,如图1所示。

图 1 Relu函数与Sigmoid函数在0−1区间内的映射情况 Fig. 1 Mapping between relu function and sigmoid function in 0−1 interval

目标识别网络将输入的图片分为有舰船和无舰船两类,前者会被送入网络做精细检测,后者会被送入图片拼接阶段,识别结果如图2所示。

图 2 基于深度学习网络的舰船障碍物识别结果 Fig. 2 Recognition results of ship obstacles based on deep learning network
2.3 检测方法改进

以原始的舰船前方障碍物图像作为深度学习网络的输入时,因该图像的像素比较高,故此需要先对图像进行网格分割,并对分割后的图片依次编号,边缘无法对齐的图像进行调整尺寸大小的操作,随后将图片输入到预识别网络。输出的图片被分为有舰船和无舰船目标两类,将前者送入网络后完成识别与定位,后者按编号直接拼接,此前需要将调整尺寸大小的边界图片全部复原。通过预处理模型与目标检测网络相结合,能够对大尺寸的舰船前方障碍物图像进行检测,借助预识别网络,可以筛选出每个网格场景,快速建立需要进行目标检测的网格,检测效率大幅度提升,节约大量的计算资源。由此可见,经过改进后的检测方法,在舰船前方障碍物图像识别中具有良好的适用性。

3 深度学习在舰船前方障碍物图像识别中的检测网络模型构建

在舰船前方障碍物图像识别中,为提高识别检测的有效性,提出运用基于改进Faster R-CNN方法构建检测网络模型,以达到预期检测效果。

3.1 改进后的图像识别检测网络结构

基于改进Faster R-CNN方法的图像识别检测技术主要应用范围为舰船前方障碍物识别,在识别检测中需要先将障碍物的图像输入到卷积网络,提取图像信息的特征值,生成共享特征图集,再运用GA-RPN制作共享特征图的预测锚框,得到Rols,借助特征图生成融合特征图。之后,采用双重任务机制分类预测锚框,完成图像特征的位置归位。在图像识别检测模型中,需要运用特征金字塔网络,确保检测方法能够适用于不同尺寸障碍物的目标检测,检测识别效率如图3所示。通过该结构生成的图像信息具有多尺度的特征,能够满足多尺度障碍物的识别检测要求。

图 3 检测识别效率 Fig. 3 Detection and recognition efficiency
3.2 GA-RPN

在深度学习中,锚框是建立学习核心区域的重要元素,锚框的形状和数量直接影响图像识别检测网络模型的运行性能。为提高模型中锚框的召回率,提出运用GA-RPN代替传统的RPN,减少冗余锚框。在该结构中,将锚框尺寸作为参数,借助网络开展自主学习,锚框参数包括中心点坐标,用于表示锚框高度和宽度。在锚框位置信息中,需引入双任务机制,将更多的空间信息调入到全连接层和卷积层中,基于双任务机制的卷积层识别准确率曲线如图4所示。在卷积层完成锚框定位回归任务后,有助于提高图像识别准确率。

图 4 基于双任务机制的卷积层识别准确率曲线 Fig. 4 Convolutional layer recognition accuracy curve based on dual task mechanism

双任务机制可以分解为卷积分支部分和全连接分支部分,其中卷积分支部分能够获取更具有价值的特征信息,全连接分支部分可以预测全部障碍物的图像类别,协助完成前方障碍图像回归任务。卷积分支需要改变通道数,控制参数量,将原本256个通道数增加到1024个,建立起矩阵运算模型,满足多个通道数的学习需求。

3.3 舰船前方障碍物图像识别检测方法的对比实验

设置实验环境为Ubuntul6.04操作系统,将图像数据库随机分为70%训练集、20%验证集和10%测试集,并借助CPU提高训练速度。基于深度学习的前方障碍物图像识别检测模型识别准确率曲线如图5所示。图像识别模型训练损失随着训练过程演进而不断减小,模型各项参数也在随之变化,表明图像识别达到了不断学习目标物体特征的目的。

图 5 基于深度学习的前方障碍物图像识别检测模型识别准确率曲线 Fig. 5 Recognition accuracy curve of front obstacle image recognition detection model based on deep learning

检测结果显示,基于Faster R-CNN算法、SSD算法的图像识别模型均存在不同程度的虚警、漏警。基于深度学习的障碍物图像识别模型在不同阈值下的准确率分布曲线如图6所示,基于Faster R-CNN的障碍物图像识别模型在不同阈值下的PR曲线如图7所示,基于SSD的障碍物图像识别模型在不同阈值下的PR曲线如图8所示。本文提出的图像识别模型拥有更高的识别精确率更高。

图 6 基于深度学习的障碍物图像识别模型在不同阈值下的准确率分布曲线 Fig. 6 Accuracy distribution curve of obstacle image recognition model based on deep learning under different thresholds

图 7 基于Faster R-CNN的障碍物图像识别模型在不同阈值下的PR曲线 Fig. 7 PR curves of obstacle image recognition model based on fast r-cnn under different thresholds

图 8 基于SSD的障碍物图像识别模型在不同阈值下的PR曲线 Fig. 8 PR curves of obstacle image recognition model based on SSD under different thresholds
4 结 语

在舰船前方障碍物图像识别中,将深度学习中的卷积神经网络应用到图像识别检测模型构建中,满足大尺寸图像信息的高效率识别检测要求。为进一步提升图像识别检测的鲁棒性和泛化性能,需要采用改进后的Faster R-CNN方法构建图像识别网络模型,实验证实此模型的检测效率明显优于其他模型。

参考文献
[1]
张文. 基于灰关联分析的舰船障碍物自动识别系统[J]. 舰船科学技术, 2018(12A): 196-198.
[2]
朱孟伟. 基于VR虚拟现实技术在舰船航行轨迹中的应用[J]. 舰船科学技术, 2019(22): 31-33.
[3]
牛红光, 李军, 姜汉新. 基于MGS的海上井架及障碍物查询与显示系统实现[J]. 海洋测绘, 2008(1): 65-67,79. DOI:10.3969/j.issn.1671-3044.2008.01.019
[4]
马俊凯, 刘宏波, 王祥磊. 一种舰船内部视频监控无线传输方法研究与设计[J]. 舰船电子工程, 2017(7): 53-57. DOI:10.3969/j.issn.1672-9730.2017.07.014
[5]
吕进锋, 马建伟, 李晓静. 基于改进的随机路径图及和声算法的舰船航线规划[J]. 控制理论与应用, 2020(12): 2551-2559.
[6]
敖茂尧, 陈婷. 船舶自动舵系统中滑膜控制器的PID优化设计[J]. 舰船科学技术, 2018(12A): 181-183.
[7]
宋鹏汉, 辛怀声, 刘楠楠. 基于深度学习的海上舰船目标多源特征融合识别[J]. 中国电子科学研究院学报, 2021(2): 127-133. DOI:10.3969/j.issn.1673-5692.2021.02.004
[8]
夏文辉, 万剑华, 曲川萍. 基于深度学习的光学遥感影像舰船检测算法对比分析[J]. 海洋科学, 2021(5): 96-102. DOI:10.11759/hykx20201108009
[9]
侯笑晗 金国栋 谭力宁. 基于深度学习的SAR图像舰船目标检测综述[J]. 激光与光电子学进展, 2021(4): 45-56.
[10]
岳瞳, 杨宇. 基于深度学习的可见光图像舰船目标检测与识别[J]. 舰船电子对抗, 2021(2): 77-82,95.