为保证海上交通管理的效果,并且在降低人力和物力的情况下[1],提高管理效率,视频监控技术被大量应用在海上交通管理过程中。管理过程中会采集海量的视频图像,图像中包含海上所有船舶的航行情况,这些海量图像混合存储在一起。海上交通管理部门在监控船舶航行状态时,需在海量图像中搜索所需图像,降低了海上交通管理效果和效率[2]。图像分类是一种常见的图像处理方法。分类算法作为机器学习中的常用方法,在目标分类方面具有良好的应用效果,常用的典型分类算法有神经网络、支持向量机、决策树等。
为高效、可靠完成船舶采集图像的智能分类,杨晶东等[3]对此展开分析后,提出基于动态衰减EMA提出相关的图像分类算法。顾广华等[4]结合图像的分类需求,提出基于语义标签生成的相关图像分类方法。上述2种方法在应用过程中,均具有一定的图像分类能力。但是,由于海上环境较为复杂、采集视角也存在差异等,导致采集的图像背景复杂或者图像信息中特征反应不显著时,上述方法对船舶采集图像智能分类效果仍需进一步验证。本文提出基于分类算法的船舶采集图像智能分类方法,实现复杂环境下船舶图像的有效分类。
1 船舶采集图像智能分类 1.1 船舶图像智能分类方法框架为了实现海量船舶采集图像的高效、可靠智能分类,区分不同类型的船舶,为海上交通管理提供可靠依据,提出基于多尺度注意力深度卷积神经网络的船舶采集图像智能分类方法。该网络是以卷积神经网络为基础,引入特征注意力模块和多尺度卷积操作以及深度残差网络,对海量船舶图像中的特征信息实行深入提取,获取更加可靠的特征提取结果,并采用特征实现船舶图像的智能分类。该方法的整体结构见图1。该网络整体包含5个层,分被为输入层、多尺度深度卷积层、池化层、全连接层以及分类层。采集的船舶图像由输入层输入后,多尺度深度卷积层采用3个多尺度特征注意力(feature attention module,FAM)模块结合深度残差模块,多尺度提取船舶采集图像不同层次的局部不变性特征,提取的3组特征结果通过深度卷积拼接处理后,形成一组新的多尺度特征。将该特征输入池化层进行特征转换处理,形成特征向量后输入全连接层,对特征进行融合处理。将融合后的特征输入softmax层中,实现船舶采集图像的智能分类。
采集船舶图像时,会同时采集海上所有不同类别船舶图像[5]。因此,在进行图像智能分类时,需通过网络中的FAM模块,提取船舶采集图像中的局部不变性特征,该特征能够描述图像中心像素和周围像素之间的关联,并且具有显著的旋转和灰度2种不变性特点[6]。该特征能够更好描述船舶图像类别。FAM模块主要是以注意力机制为核心,提取海量的图像中获取价值最高的局部不变性特征信息,为图像分类提供可靠依据[7]。
输入的原始船舶采集图像用
$ {Y_i}{\text{ = }}\omega _i^{\rm{T}}I + {b_i}。$ | (1) |
式中:
将式(1)的计算结果
$ {Y_i} = \omega _{1i}^{\rm{T}}I + {b_i}。$ | (2) |
将
$ {Y_e} = {Re} lu\left( {{Y_i} + {Y_c}} \right)。$ | (3) |
式中:
上述过程进行多尺度局部不变性特征提取时,需实行1×1卷积操作。为保证该特征细节的提取深度,在卷积过程中引入深度残差模块,实现深层次特征细节的提取,同时避免网络在进行不同层次局部不变性特征提取时发生网络退化现象。深度残差模块的表达公式为:
$ Y\left( I \right) = \varphi \left( I \right) + I 。$ | (4) |
式中:
$ \varphi \left( I \right) = \sigma \left[ {\sigma \left( {I * {W_1} + {b_1}} \right) * {W_2} + {b_2}} \right]。$ | (5) |
式中:
通过上述步骤即可实现传播采集图像的深层次局部不变性特征提取,并加强卷积层之间的特征传递效果。
1.3 船舶采集图像局部不变性特征池化处理网络在进行船舶采集图像多尺度局部不变性特征深层次采集时,各个层提取的局部不变性特征图维度会存在差异。因为,为保证传播采集图像智能分类效果,在进行特征融合前,需对各层提取的多尺度纹理特征图实行维度处理,使所有特征图具有相同维度,引入尺寸匹配函数
3个特征注意力模块输出结果为
$ \tilde{\boldsymbol{ F}} = {\rm{Pooling}}\left[ {f\left( {{Y_1}} \right) + f\left( {{Y_2}} \right) + f\left( {{Y_3}} \right)} \right]。$ | (6) |
式中:Pooling为最大池化;
将获取的船舶采集图像融合后的特征向量
$ {P_i} = \frac{{{e^{{{\tilde F}_i}}}}}{{\displaystyle\sum\nolimits_{j = 1}^T {{e^{{{\tilde F}_i}}}} }}。$ | (7) |
式中:
船舶采集图像的分类结果为:
$ C\left( {I'} \right) = \mathop {\arg \max }\limits_{i = 1,2,...,T} {P_i}。$ | (8) |
式中,
为验证本文方法对于船舶采集图像的智能分类效果,获取某海域的海上交通管理中心采集的海上船舶航行图像作为测试对象,进行相关测试。由于测试时间约束,随机抽取该中心的2000张船舶图像,该图像中共包含客船、货船、军舰、邮船以及快艇,共5类船舶,每个类别的传播图像数量为400张,图像的空间分辨率范围为0.5~3 m之间,图像像素为200万。网络参数设定:网络学习速率0.01,卷积层数量5,卷积核数量32。
为验证本文方法对于船舶采集图像多尺度局部不变性特征的提取效果,采用gini指数作为评价指标,该指标能够衡量提取的特征的重要程度,其取值在0~1之间,越接近1,表示提取的特征重要程度越高,方法的特征提取效果越好,该指标的计算公式为:
$ \left\{ \begin{aligned} &{\rm{ gini}}\left( I \right) = 1 - \sum\limits_{i = 1}^{{n_s}} {P_i^2} ,\\ &{\rm{gini}}\left( {I,F} \right) = \sum\limits_{j = 1}^m {\frac{{\left| {{I_j}} \right|}}{I}} {\rm{gini}}\left( {{I_j}} \right) 。\\ \end{aligned} \right. $ | (9) |
式中:
依据该公式计算本文方法在进行船舶图像特征提取过程中,随着图像像素的不断增加,对5种船舶图像特征提取的gini指数结果,见表1。
对表1测试结果实行分析后可知:本文方法能够较好完成不同船舶类别图像特征提取,gini指数结果均在0.963以上。因此,本文方法在进行船舶图像特征提取时,能够较好地获取图像中的重要特征。
为验证本文方法对于船舶采集图像智能分类效果,按照分类需求,采用本文方法对抽取的2000张多种船舶图像实行分类。随机呈现2张船舶图像智能分类结果,见图2和图3。
对图2和图3测试结果分析后可知:本文方法应用后,能够依据分类需求,准确分类出不同的类型船舶图像,实现不同船舶类别分类。同时在不同角度以及距离条件下,均可区分图像中的船舶类别。因此,本文方法具有良好的船舶图像智能分类效果,为海上交通管理提供可靠依据。
3 结 语海上交通的迅速发展,船舶类别数量的增加,使得海上交通管理面临较大挑战。为实现不同类别船舶的管理,需先可靠划分船舶类别。因此,本文基于分类算法的船舶采集图像智能分类方法,用于划分图像中不同类别的船舶,并对该方法的应用效果进行测试。测试结果表明,本文方法能够可靠提取采集的船舶图像特征,并且精准实现图像中不同类别船舶的分类,可为海上交通管理提供可靠依据。
[1] |
任永梅, 杨杰, 郭志强, 等. 基于多尺度卷积神经网络的自适应熵加权决策融合船舶图像分类方法[J]. 电子与信息学报, 2021, 43(5): 1424-1431. REN Yongmei, YANG Jie, GUO Zhiqiang, et al. Self-adaptive entropy weighted decision fusion method for ship image classification based on multi-scale convolutional neural network[J]. Journal of Electronics & Information Technology, 2021, 43(5): 1424-1431. |
[2] |
徐频捷, 王诲喆, 李策, 等. 基于脉冲神经网络与移动GPU计算的图像分类算法研究与实现[J]. 计算机工程与科学, 2020, 42(3): 397-403. XU Pinjie, WANG Huizhe, LI Ce, et al. Image classification algorithm based on spiking neural network and mobile GPU computing[J]. Computer Engineering and Science, 2020, 42(3): 397-403. DOI:10.3969/j.issn.1007-130X.2020.03.003 |
[3] |
杨晶东, 朱锦图, 孙新博, 等. 基于动态衰减EMA的图像分类算法研究[J]. 小型微型计算机系统, 2020, 41(7): 1524-1529. YANG Jingdong, ZHU Jintu, SUN Xinbo, et al. Research on image classification algorithm based on dynamic decay EMA[J]. Journal of Chinese Computer Systems, 2020, 41(7): 1524-1529. DOI:10.3969/j.issn.1000-1220.2020.07.030 |
[4] |
顾广华, 曹宇尧, 李刚, 等. 基于语义标签生成和偏序结构的图像层级分类[J]. 软件学报, 2020, 31(2): 531-543. GU GuangHua, CAO YuYao, LI Gang, et al. Image hierarchical classification based on semantic label generation and partial order structure[J]. Journal of Software, 2020, 31(2): 531-543. |
[5] |
张冀, 曹艺, 王亚茹, 等. 融合VAE和StackGAN的零样本图像分类方法[J]. 智能系统学报, 2022, 17(3): 593-601. ZHANG Ji, CAO Yi, WANG Yaru, et al. Zero-shot image classification method combining VAE and StackGAN[J]. CAAI Transactions on Intelligent Systems, 2022, 17(3): 593-601. |
[6] |
朱海琦, 李宏, 李定文, 等. 基于生成对抗网络的单图像超分辨率重建[J]. 吉林大学学报(理学版), 2021, 59(6): 1491-1498. ZHU Haiqi, LI Hong, LI Dingwen, et al. Single image super-resolution reconstruction based on generative adversarial network[J]. Journal of Jilin University(Science Edition), 2021, 59(6): 1491-1498. |
[7] |
丁国绅, 乔延利, 易维宁, 等. 基于光谱图像空间的改进SIFT特征提取与匹配[J]. 北京理工大学学报, 2022, 42(2): 192-199. DING Guoshen, QIAO Yanli, YI Weining, et al. Improved SIFT feature extraction and matching based on spectral image space[J]. Transactions of Beijing Institute of Technology, 2022, 42(2): 192-199. |