舰船科学技术  2022, Vol. 44 Issue (22): 158-161    DOI: 10.3404/j.issn.1672-7649.2022.22.031   PDF    
船舶采集图像智能分类研究
苑靖国     
天津海运职业学院,天津 300350
摘要: 为实现不同角度和不同距离下,船舶采集图像的智能分类,提出基于多尺度注意力深度卷积神经网络分类算法的船舶采集图像智能分类。将采集的船舶图像输入该网络中,网络的多尺度深度卷积层采用3个多尺度特征注意力模块结合深度残差模块,提取船舶采集图像不同层次的局部不变性特征;池化层对该特征转换处理后形成特征向量;全连接层池化层引入尺寸匹配函数融合特征向量,形成多尺度纹理特征向量并输入分类层,实现船舶采集图像智能分类。测试结果显示:该方法可实现不同船舶类别图像特征提取,gini指数结果均在0.963以上,可依据分类需求,实现不同角度以及距离条件下、不同的船舶图像类别的准确分类。
关键词: 分类算法     船舶采集图像     智能分类     局部不变性特征     多尺度     特征融合    
Research on intelligent classification of ship images based on classification algorithm
YUAN Jing-guo     
Tianjin Maritime Collage, Tianjin 300350, China
Abstract: In order to realize the intelligent classification of ship image acquisition under different angles and different distances, an intelligent classification of ship image acquisition based on multi-scale attention deep convolutional neural network classification algorithm is proposed. The collected ship images were input into the network, and the multi-scale deep convolution layer of the network used three multi-scale feature attention modules combined with the depth residual module to extract the local invariance features at different levels of the ship image acquisition. The pooling layer transforms the feature and forms the feature vector. In the pooling layer of the fully connected layer, the size matching function is introduced to fuse the feature vectors, and the multi-scale texture feature vectors are formed and input into the classification layer to realize the intelligent classification of ship image acquisition. The test results show that the proposed method can achieve image feature extraction of different ship categories, and the gini index results are all above 0.963. According to the classification requirements, the method can achieve accurate classification of different ship image categories under different angles and distances.
Key words: classification algorithm     image collection by ship     intelligent classification     local invariance feature     multi-scale     characteristics of the fusion    
0 引 言

为保证海上交通管理的效果,并且在降低人力和物力的情况下[1],提高管理效率,视频监控技术被大量应用在海上交通管理过程中。管理过程中会采集海量的视频图像,图像中包含海上所有船舶的航行情况,这些海量图像混合存储在一起。海上交通管理部门在监控船舶航行状态时,需在海量图像中搜索所需图像,降低了海上交通管理效果和效率[2]。图像分类是一种常见的图像处理方法。分类算法作为机器学习中的常用方法,在目标分类方面具有良好的应用效果,常用的典型分类算法有神经网络、支持向量机、决策树等。

为高效、可靠完成船舶采集图像的智能分类,杨晶东等[3]对此展开分析后,提出基于动态衰减EMA提出相关的图像分类算法。顾广华等[4]结合图像的分类需求,提出基于语义标签生成的相关图像分类方法。上述2种方法在应用过程中,均具有一定的图像分类能力。但是,由于海上环境较为复杂、采集视角也存在差异等,导致采集的图像背景复杂或者图像信息中特征反应不显著时,上述方法对船舶采集图像智能分类效果仍需进一步验证。本文提出基于分类算法的船舶采集图像智能分类方法,实现复杂环境下船舶图像的有效分类。

1 船舶采集图像智能分类 1.1 船舶图像智能分类方法框架

为了实现海量船舶采集图像的高效、可靠智能分类,区分不同类型的船舶,为海上交通管理提供可靠依据,提出基于多尺度注意力深度卷积神经网络的船舶采集图像智能分类方法。该网络是以卷积神经网络为基础,引入特征注意力模块和多尺度卷积操作以及深度残差网络,对海量船舶图像中的特征信息实行深入提取,获取更加可靠的特征提取结果,并采用特征实现船舶图像的智能分类。该方法的整体结构见图1。该网络整体包含5个层,分被为输入层、多尺度深度卷积层、池化层、全连接层以及分类层。采集的船舶图像由输入层输入后,多尺度深度卷积层采用3个多尺度特征注意力(feature attention module,FAM)模块结合深度残差模块,多尺度提取船舶采集图像不同层次的局部不变性特征,提取的3组特征结果通过深度卷积拼接处理后,形成一组新的多尺度特征。将该特征输入池化层进行特征转换处理,形成特征向量后输入全连接层,对特征进行融合处理。将融合后的特征输入softmax层中,实现船舶采集图像的智能分类。

图 1 船舶图像智能分类方法框架 Fig. 1 Intelligent classification method framework of ship image
1.2 船舶采集图像特征提取

采集船舶图像时,会同时采集海上所有不同类别船舶图像[5]。因此,在进行图像智能分类时,需通过网络中的FAM模块,提取船舶采集图像中的局部不变性特征,该特征能够描述图像中心像素和周围像素之间的关联,并且具有显著的旋转和灰度2种不变性特点[6]。该特征能够更好描述船舶图像类别。FAM模块主要是以注意力机制为核心,提取海量的图像中获取价值最高的局部不变性特征信息,为图像分类提供可靠依据[7]

输入的原始船舶采集图像用 $ I $ 表示,其由输入层出入FAM模块中,先通过卷积层处理后得出一组图像的局部不变性特征,用 $ Y $ 表示,其计算公式为:

$ {Y_i}{\text{ = }}\omega _i^{\rm{T}}I + {b_i}。$ (1)

式中: $ i $ 为第 $ i $ 个卷积核,且 $ i = 1,2,...,L $ 。其中, $ L $ 表示卷积核总数量; $ {\omega _i} $ 为权重; $ {b_i} $ 表示偏置项。

将式(1)的计算结果 $ {Y_i} $ 输入通道注意力(CAM)模块中,以此获取该通道的权重 $ {\omega _i} $ ,且 $ {\varpi _w} = CAM\left( {{Y_i},{\omega _i}} \right) $ ,将 $ {\omega _i} $ $ {Y_i} $ 实行相乘处理后,可得出一组新的多尺度局部不变性特征 $ {Y_a} $ 。将 $ {Y_a} $ 输入空间注意力(SAM)模块中,以此获取空间权重,用 $ {\omega _a} $ 表示,且 $ {\omega _a} = SAM\left( {{Y_a},{\omega _a}} \right) $ 。将 $ {\omega _a} $ $ {Y_a} $ 实行相乘处理后,得出一组新的多尺度局部不变性特征 $ {Y_c} $ 。对 $ I $ 实行1×1卷积处理后,依据卷积结果获取输出结果 $ {Y_i} $ ,其计算公式为:

$ {Y_i} = \omega _{1i}^{\rm{T}}I + {b_i}。$ (2)

$ {Y_i} $ $ {Y_c} $ 相加,并采用Relu函数 $ \sigma $ 激活后,得出FAM模块的最终输出结果,即多尺度局部不变性特征提取结果,其公式为:

$ {Y_e} = {Re} lu\left( {{Y_i} + {Y_c}} \right)。$ (3)

式中: $ e = 1,2,3 $ ,依次为3个特征注意力模块。

上述过程进行多尺度局部不变性特征提取时,需实行1×1卷积操作。为保证该特征细节的提取深度,在卷积过程中引入深度残差模块,实现深层次特征细节的提取,同时避免网络在进行不同层次局部不变性特征提取时发生网络退化现象。深度残差模块的表达公式为:

$ Y\left( I \right) = \varphi \left( I \right) + I 。$ (4)

式中: $ \varphi \left( I \right) $ 为残差函数; $ I $ 为原始传播采集图像集,两者之间需进行2次卷积计算,其计算公式为:

$ \varphi \left( I \right) = \sigma \left[ {\sigma \left( {I * {W_1} + {b_1}} \right) * {W_2} + {b_2}} \right]。$ (5)

式中: $ {W_1} $ $ {W_2} $ 为卷积核; $ {b_1} $ $ {b_2} $ 为偏置。

通过上述步骤即可实现传播采集图像的深层次局部不变性特征提取,并加强卷积层之间的特征传递效果。

1.3 船舶采集图像局部不变性特征池化处理

网络在进行船舶采集图像多尺度局部不变性特征深层次采集时,各个层提取的局部不变性特征图维度会存在差异。因为,为保证传播采集图像智能分类效果,在进行特征融合前,需对各层提取的多尺度纹理特征图实行维度处理,使所有特征图具有相同维度,引入尺寸匹配函数 $ f\left( \cdot \right) $ 完成。

3个特征注意力模块输出结果为 $ {Y_1} $ $ {Y_2} $ $ {Y_3} $ ,为保证3个多尺度局部不变性特征映射数量一致,采用数量为32的卷积核进行卷积运算。三者的局部不变性特征映射数量相同,均为32个。在此基础上,通过元素求和的方式完成该特征融合。池化层在进行多尺度局部不变性特征融合时,其计算公式为:

$ \tilde{\boldsymbol{ F}} = {\rm{Pooling}}\left[ {f\left( {{Y_1}} \right) + f\left( {{Y_2}} \right) + f\left( {{Y_3}} \right)} \right]。$ (6)

式中:Pooling为最大池化; $ \tilde {\boldsymbol{F}} $ 为融合后的多尺度纹理特征向量。

1.4 采集图像智能分类

将获取的船舶采集图像融合后的特征向量 $ \tilde {\boldsymbol{F}} $ 输入分类层(softmax)中,计算 $ Y $ 的概率分布结果,其计算公式为:

$ {P_i} = \frac{{{e^{{{\tilde F}_i}}}}}{{\displaystyle\sum\nolimits_{j = 1}^T {{e^{{{\tilde F}_i}}}} }}。$ (7)

式中: $ e $ 为softmax函数; $ i = 1,2,...,T $ $ T $ 为特征向量数量; $ j $ 为图像第 $ j $ 个类别。

船舶采集图像的分类结果为:

$ C\left( {I'} \right) = \mathop {\arg \max }\limits_{i = 1,2,...,T} {P_i}。$ (8)

式中, $ I' $ 为分类后的船舶采集图像。

2 实验结果分析

为验证本文方法对于船舶采集图像的智能分类效果,获取某海域的海上交通管理中心采集的海上船舶航行图像作为测试对象,进行相关测试。由于测试时间约束,随机抽取该中心的2000张船舶图像,该图像中共包含客船、货船、军舰、邮船以及快艇,共5类船舶,每个类别的传播图像数量为400张,图像的空间分辨率范围为0.5~3 m之间,图像像素为200万。网络参数设定:网络学习速率0.01,卷积层数量5,卷积核数量32。

为验证本文方法对于船舶采集图像多尺度局部不变性特征的提取效果,采用gini指数作为评价指标,该指标能够衡量提取的特征的重要程度,其取值在0~1之间,越接近1,表示提取的特征重要程度越高,方法的特征提取效果越好,该指标的计算公式为:

$ \left\{ \begin{aligned} &{\rm{ gini}}\left( I \right) = 1 - \sum\limits_{i = 1}^{{n_s}} {P_i^2} ,\\ &{\rm{gini}}\left( {I,F} \right) = \sum\limits_{j = 1}^m {\frac{{\left| {{I_j}} \right|}}{I}} {\rm{gini}}\left( {{I_j}} \right) 。\\ \end{aligned} \right. $ (9)

式中: $ {\rm{gini}}\left( I \right) $ 为图像 $ I $ 的基尼指数; $ {n_s} $ $ I $ 的分类数量; $ {\rm{gini}}\left( {I,A} \right) $ 为特征 $ F $ 分类至 $ I $ 的基尼指数; $ {I_j} $ 为第 $ j $ 个图像样本。

依据该公式计算本文方法在进行船舶图像特征提取过程中,随着图像像素的不断增加,对5种船舶图像特征提取的gini指数结果,见表1

表 1 船舶图像特征提取效果测试结果 Tab.1 Test results of ship image feature extraction effect

表1测试结果实行分析后可知:本文方法能够较好完成不同船舶类别图像特征提取,gini指数结果均在0.963以上。因此,本文方法在进行船舶图像特征提取时,能够较好地获取图像中的重要特征。

为验证本文方法对于船舶采集图像智能分类效果,按照分类需求,采用本文方法对抽取的2000张多种船舶图像实行分类。随机呈现2张船舶图像智能分类结果,见图2图3

图 2 客船和快艇的智能分类结果 Fig. 2 Intelligent classification results of passenger ships and speedboats

图 3 货船分类结果 Fig. 3 Classification results of cargo ships

图2图3测试结果分析后可知:本文方法应用后,能够依据分类需求,准确分类出不同的类型船舶图像,实现不同船舶类别分类。同时在不同角度以及距离条件下,均可区分图像中的船舶类别。因此,本文方法具有良好的船舶图像智能分类效果,为海上交通管理提供可靠依据。

3 结 语

海上交通的迅速发展,船舶类别数量的增加,使得海上交通管理面临较大挑战。为实现不同类别船舶的管理,需先可靠划分船舶类别。因此,本文基于分类算法的船舶采集图像智能分类方法,用于划分图像中不同类别的船舶,并对该方法的应用效果进行测试。测试结果表明,本文方法能够可靠提取采集的船舶图像特征,并且精准实现图像中不同类别船舶的分类,可为海上交通管理提供可靠依据。

参考文献
[1]
任永梅, 杨杰, 郭志强, 等. 基于多尺度卷积神经网络的自适应熵加权决策融合船舶图像分类方法[J]. 电子与信息学报, 2021, 43(5): 1424-1431.
REN Yongmei, YANG Jie, GUO Zhiqiang, et al. Self-adaptive entropy weighted decision fusion method for ship image classification based on multi-scale convolutional neural network[J]. Journal of Electronics & Information Technology, 2021, 43(5): 1424-1431.
[2]
徐频捷, 王诲喆, 李策, 等. 基于脉冲神经网络与移动GPU计算的图像分类算法研究与实现[J]. 计算机工程与科学, 2020, 42(3): 397-403.
XU Pinjie, WANG Huizhe, LI Ce, et al. Image classification algorithm based on spiking neural network and mobile GPU computing[J]. Computer Engineering and Science, 2020, 42(3): 397-403. DOI:10.3969/j.issn.1007-130X.2020.03.003
[3]
杨晶东, 朱锦图, 孙新博, 等. 基于动态衰减EMA的图像分类算法研究[J]. 小型微型计算机系统, 2020, 41(7): 1524-1529.
YANG Jingdong, ZHU Jintu, SUN Xinbo, et al. Research on image classification algorithm based on dynamic decay EMA[J]. Journal of Chinese Computer Systems, 2020, 41(7): 1524-1529. DOI:10.3969/j.issn.1000-1220.2020.07.030
[4]
顾广华, 曹宇尧, 李刚, 等. 基于语义标签生成和偏序结构的图像层级分类[J]. 软件学报, 2020, 31(2): 531-543.
GU GuangHua, CAO YuYao, LI Gang, et al. Image hierarchical classification based on semantic label generation and partial order structure[J]. Journal of Software, 2020, 31(2): 531-543.
[5]
张冀, 曹艺, 王亚茹, 等. 融合VAE和StackGAN的零样本图像分类方法[J]. 智能系统学报, 2022, 17(3): 593-601.
ZHANG Ji, CAO Yi, WANG Yaru, et al. Zero-shot image classification method combining VAE and StackGAN[J]. CAAI Transactions on Intelligent Systems, 2022, 17(3): 593-601.
[6]
朱海琦, 李宏, 李定文, 等. 基于生成对抗网络的单图像超分辨率重建[J]. 吉林大学学报(理学版), 2021, 59(6): 1491-1498.
ZHU Haiqi, LI Hong, LI Dingwen, et al. Single image super-resolution reconstruction based on generative adversarial network[J]. Journal of Jilin University(Science Edition), 2021, 59(6): 1491-1498.
[7]
丁国绅, 乔延利, 易维宁, 等. 基于光谱图像空间的改进SIFT特征提取与匹配[J]. 北京理工大学学报, 2022, 42(2): 192-199.
DING Guoshen, QIAO Yanli, YI Weining, et al. Improved SIFT feature extraction and matching based on spectral image space[J]. Transactions of Beijing Institute of Technology, 2022, 42(2): 192-199.