舰船科学技术  2022, Vol. 44 Issue (14): 151-154    DOI: 10.3404/j.issn.1672-7649.2022.14.032   PDF    
基于卷积神经网络的船舶遥感图像目标检测
胡俊梅1,2, 李伟2     
1. 西安科技大学, 陕西 西安 710054;
2. 西安交通工程学院, 陕西 西安 710300
摘要: 本文分析基于卷积神经网络的2种目标检测方法,即两步目标检测法、单步目标检测法,并对多尺度卷积神经网络检测、遥感图像少样本学习的目标检测以及船舶遥感图像的方向目标检测3种类型的遥感图像目标检测模型进行分析。仿真实验表明,本文提出的目标检测方法能够提高船舶遥感图像检测精确度和时效性。
关键词: 卷积神经网络     船舶     遥感图像    
Target detection of ship remote sensing images based on convolutional neural network
HU Jun-mei1,2, LI Wei2     
1. Xi'an University of Science and Technology, Xi'an 710054, China;
2. Xi'an Traffic Engineering Institute, Xi'an 710300, China
Abstract: This paper analyzes two target detection methods based on convolutional neural network, namely two-step target detection method and single-step target detection method, and also for multi-scale convolutional neural network detection, remote sensing image few-sample learning target detection and ship remote sensing image detection. Three types of remote sensing image target detection models for direction target detection are analyzed. After simulation experiments are verified, the target detection method proposed in this paper can improve the accuracy and timeliness of ship remote sensing image detection.
Key words: convolutional neural network     ship     remote sensing image    
0 引 言

船舶遥感图像与近景图像的相似度较高,符合计算机视觉技术在图像识别检测中的应用条件。随着神经网络技术在计算机视觉领域的广泛应用,在船舶遥感图像处理时可以利用卷积神经网络解决传统目标检测中存在的样本标记少、检测精度低、方向检测错误率高等问题。通过创建目标检测模型,改进算法,从而提高遥感图像目标检测的准确性[1-2]

1 基于卷积神经网络的目标检测方法

在船舶遥感图像处理中,目标检测是识别图像位置、大小等信息的重要步骤。传统的目标检测方法需提取图像特征值,但是受图像候选区域质量较差的影响,会降低特征值提取的准确性[3]。为提高目标检测的鲁棒性,采用卷积神经网络解决特征提取问题。具体分为两大类算法,如图1所示。

1.1 两步目标检测法

两步目标检测在处理遥感图像中先提取特征,再分类回归,常用算法包括R-CNN,fast R-CNN,faster R-CNN,R-CNN是卷积神经网络在目标检测领域中的重大突破,促使目标检测精确性达到工业级别,在其算法框架中,用选择性搜索替代传统算法框架中的滑窗操作,候选特征提取采用卷积神经网络,并在分类回归中运用SVM分类法[4]。在选择性搜索中,可以利用算法确定图像目标位置,识别检测目标纹理、颜色、尺寸等初始特征,再通过数据筛选得出候选区域。对候选区域归一化处理,运用SVM分类特征值,当出现目标类别时采用回归算法进行回归。R-CNN算法的目标检测流程如图2所示。

Fast R-CNN是针对R-CNN缺点提出的改进算法,将其应用到目标检测领域可以生成候选区域2 000个,对整张图像进行前向卷积,提取出每一个区域的卷积特征,之后再利用ROI pooling操作归一化处理特征区域的特征图[5]。R-CNN算法和Fast R-CNN算法在目标检测中均存在选择性搜索效率偏低的问题,针对这一问题有学者提出改进后的算法Faster R-CNN,将区域提议网络连接到最后一层卷积层,得到区域候选映射特征图分类,再归一化处理特征图,能够有效提升目标检测图像特征值提取效率。

图 1 在图像目标识别中的卷积神经网络算法分类 Fig. 1 Classification of convolution neural network algorithm in image target recognition

图 2 遥感图像目标检测中R-CNN算法流程 Fig. 2 R-CNN algorithm flow in remote sensing image target detection
1.2 单步目标检测

单步目标检测无需选取候选区域,只需要采用卷积神经网络求解回归问题,提高检测时效性。单步目标检测的代表算法为YOLO算法,该算法将图像划分为网格,对应网格中的目标,检测出目标尺寸。YOLO算法的检测精确度偏低,后续有学者提出SSD算法,在划分网格的基础上生成长宽大小不一的边框,提高目标检测精度。SSD算法能够在网络不同层的特征图上生成default boxes,满足目标尺寸较小的检测要求。SSD算法用卷积层替代YOLO的全连接层,降低网络模型所需参数量,既保证检测时效性,又提高检测精度。

2 基于卷积神经网络的船舶遥感图像目标检测 2.1 多尺度卷积神经网络检测方法

多尺度卷积神经网络包括MS-OPN和AODN网络,分别代表多尺度目标预测和精确目标检测网络。多尺度卷积神经网络采用任意尺寸的遥感图像,输出具备深度特征的检测结果。在目标检测中,运用联整流线形单元,灵活组合卷积核,轻量化设计神经网络通道,快速抓取检测目标的图像特征[6]

本文采用Inception模块处理卷积通道,该模块的卷积层主要分为4种类型,如图3所示。在模块结构中,共有4个子序列,通过添加特征值能够对虚线框中的数据进行池化处理,在其余系列中设置不同的模块,形成3×3的卷积层串联。

图 3 Inception模块中的不同类型卷积通道分布结构图 Fig. 3 Distribution structure diagram of different types of convolution channels in inception module

在目标检测中配置MS-OPN预测网络,该网络能够在最深层的特征图上预测候选区,弥补目标尺寸多变性的不足和特征图分辨率偏低的弊端。在小尺寸检测目标的图像处理中,要用滤波器获取图像信息,密集排布目标,将目标划分为3种检测层,规格分别为3×3,5×5,7×7。为方便获取训练集,定义候选检测框样本,重叠度计算公式为:

$ \alpha = \frac{{area({B_i} \cap B_i^*)}}{{area({B_i} \cup B_i^*)}} \text{,} $

式中, $ area({B_i} \cap B_i^*) $ $ area({B_i} \cup B_i^*) $ 分别为矩形框交集与并集面积。在模型训练中采用Image-Net初始化网络参数,增加残差跨层连接操作,提高每一个卷积层的收敛速度,设定动量为0.9,学习率为0.00005,最小平衡参数为0.05,当迭代15000次后,输出训练结果,统一回归处理候选矩形区域数据。

2.2 遥感图像少样本学习的目标检测方法

在船舶遥感图像多类目标检测中,直接采用近景图像建立起训练模型难以保证检测结果的准确性,所以提出一种不依赖训练模型的少样本学习检测方法,提高检测精度。在目标检测中采用一系列密集连接模块,提取图像多层级深度特征,计算得出目标损失函数,进行网络收敛训练。在模型参数选取时采用特征复用策略,从头开始训练,密集排布舰船目标,构建船舶预测网络和鉴别网络。预测网络用敏感分数取代特征值,采用编码技术处理空间位置信息,得出实验结果。密集连接模块的卷积神经网络训练密集度分布图如图4所示。

图 4 密集连接模块的卷积神经网络训练密集度分布图 Fig. 4 Convolutional neural network training density distribution of densely connected modules

在密集连接网络的图像目标检测中,根据卷积神经网络层级类型选择不同的参数,检测存储空间性能。本文采用DCNN模型进行数据训练,在训练中要压缩网络参数,促使数据在多层级之间流动。第1层训练为非线性映射,对接下来的各层输出建立起复合函数,形成1×1和3×3的卷积权重矩阵,通过归一化处理检测数据激活神经元。在密集化处理中,输入损失函数进行训练,符合深层特征图,减少深层网络参数。当连接密集块后,在2组密集块之间形成过渡层,1×1的输出通道数量为192,增长率设定为36。

2.3 船舶遥感图像的方向目标检测方法

在检测船舶遥感图像的方向时,采用主动旋转滤波器获取方向响应特征值,回归处理目标位置信息,利用池化数据处理旋转特征不变的目标,精细分析检测数据。采用DCNN检测法进行目标分类和位置回归处理,其中目标分类需要处理旋转方向不敏感的特征值,如果图像出现旋转,则要区分开不同类目标,回归处理不同的位置变化,再根据目标姿态检测位置变化。在目标检测过程中,利用残差网络R-FCN提取特征值,将子网络中的数据对应不同的区域,提取位置变化区域数据进行目标分类。

在遥感图像的方向检测中,网络层越多,图像特征值提取能力越强,基于GoogleNet模型的残差块结构示意图如图5所示。检测时运用深度残差网络,将跨层连接短路结构引入到卷积层外,形成恒等映射,求解浅层网络模型,解决深层网络退化问题。当模型提取出遥感图像特征值后,第1层卷积核为7×7,数据经过池化层处理,得出中残差块数量。

图 5 基于GoogleNet模型的残差块结构示意图 Fig. 5 Structure diagram of residual block based on GoogleNet model

在残差网络提取特征值的基础上,采用滑动窗口预测舰船目标区域,根据深度特征值预测不同比例候选区域上的坐标,得到候选矩形框。当候选矩形框重叠时,得出负样本,将最大交集重叠度定义为正样本,舍弃检测值超过1的正样本。在方向检测网络中采用梯度下降法与目标分类法联合训练,精细分类目标网络,完成位置回归处理。

船舶目标检测方法实施步骤如下:Canny边缘检测,利用高斯滤波器过滤图像噪声,降低错误检测率,计算图像梯度和方向,运用非极大值去除梯度边缘,滤除弱边缘像素,完成孤立弱边缘检测;霍夫变换直线检测,提取二值图像中的数据,将边缘点映射到霍夫空间,获取局部最大值,得到传播主方向检测结果;对主方向检测结果进行抽样检测,要求主方向与船舷方向一致,处理存在差异的船舷角度,保留检测一致的直线;生成船舶目标斜框,按照船舶的长宽比锁定方向目标,得出斜框检测结果。

3 目标检测仿真实验 3.1 数据集构建

在仿真实验前建立船舶目标数据集,采用正框、斜框、像素级标注船舶目标,训练集包含小幅面遥感图像436幅,划分为多类分级,形成NUDT-OPTSHIP目标数据集,数据集构建步骤如下:下载遥感图像,从互联网上获取军港地理坐标,选定港口区域遥感图像,图像分辨率为2398×1989;标注舰船目标,利用LabelImg软件标注舰船目标,采用斜框标注法人工标记出正视图、俯视图。船舶遥感图像包括巡洋舰、航母、驱逐舰、护卫舰等多种船舶类型;扩充数据,采用水平裁剪方式处理大幅面遥感图像,任意选取某一船舶目标,对其遥感图像裁剪成小幅面图像,得到多角度分布的数据集,之后再进行水平垂直翻转、调色、变换角度等一系列操作,大规模扩充数据,保持不变的目标类别。本次实验的训练集与测试集的光学遥感图像比例为6∶4。

3.2 实验结果评价方法

本次实验结果评价指标选取平均精度、召回率曲线和F1分数,定量评估方法采用FRCN模型、DRBox模型、RRPN模型。对模型统一设定参数,在训练中对比分析不同评估模型对图像尺寸的输入要求,裁剪图像块尺寸,像素为512×512,采用正框目标检测法将训练集中的斜框标注转换为正框标注。对采用DRBOX,RRPN检测方法的检测目标采用斜框法标注数据,选取置信度分数,评价检测框重叠度是否高于阈值。

3.3 实验结果分析

采用正检测分类的准确率对船舶遥感图像目标检测的精确性进行验证。在实验中,用主动旋转滤波器替换常规卷积,保持全连接层不变。用真值斜框替代最小外接矩形,设定NMS阈值,船舶遥感图像不同目标检测方法下的真值曲线图如图6所示。

图 6 船舶遥感图像不同目标检测方法下的真值曲线图 Fig. 6 Ground-truth curves of ship remote sensing images under different target detection methods

可知,检测方法1优于检测方法2,当NMS阈值达到0.5时召回率呈现出下降趋势,其他3种方法基本在0.8时下降,由此表明本文提出的目标检测方法能够更加准确识别遥感图像目标位置和范围,提取残差网络中的图像特性,提高目标检测的精准度。与R-FCN整体相比,本文方法的召回率更高,说明本文方法能够提高船舶遥感图像检测的准确度。

船舶遥感图像目标检测在本文方法下的PR曲线图如图7所示。可以看出,本文方法与R-FCN的目标检测平均精度高于其他2种方法,表明卷积神经网络层数对目标检测精度起着决定性的作用。与R-FCN相比,本文方法平均精度提高4.9%,验证了本文方法在多方向旋转目标提取中的准确性优势。由于本文方法采用的VGG网络为16层,所以目标检测用时相对较长。

图 7 船舶遥感图像目标检测在本文方法下的PR曲线图 Fig. 7 The PR curve of ship remote sensing image target detection under this method
4 结 语

船舶遥感图像目标检测采用卷积神经网络构建少样本检测模型、方向检测模型,提高遥感图像智能化检测水平。在遥感图像检测中,选择适当的卷积神经网络算法,完成大规模遥感图像的数据挖掘,预测损失函数,面向多尺度变化检测遥感图像,保证船舶遥感图像检测的准确性。

参考文献
[1]
曾禹龙. 光学遥感图像舰船目标视觉显著性检测方法[J]. 电子设计工程, 2022, 30(8): 52-56. DOI:10.14022/j.issn1674-6236.2022.08.011
[2]
徐芳, 刘晶红, 王宣. 光学遥感图像海面船舶目标检测技术进展[J]. 光学精密工程, 2021, 29(4): 916-931. DOI:10.37188/OPE.2020.0419
[3]
陈跃. 基于光学遥感图像的船舶目标检测技术研究[J]. 舰船科学技术, 2016, 38(22): 121-123.
[4]
王伟. 基于遥感图像的船舶目标检测方法综述[J]. 电讯技术, 2020, 60(9): 1126-1132. DOI:10.3969/j.issn.1001-893x.2020.09.020
[5]
方梦梁, 黄刚. 一种光学遥感图像船舶目标检测技术[J]. 计算机技术与发展, 2019, 29(8): 136-141. DOI:10.3969/j.issn.1673-629X.2019.08.026
[6]
齐亮, 陈牮华, 董梁. 基于SRM分割和分层线段特征的船舶目标检测方法[J]. 江苏科技大学学报:自然科学版, 2020, 34(3): 34-40.