2. 濮阳职业技术学院,河南 濮阳 457000
2. Puyang Vocational and Technical College, Puyang 457000, China
我国海洋和内陆水域资源都十分丰富,因此需要对相关的港口以及航道等船舶密集的地方进行实时地监控,以便能够将水运资源的利用率达到最大化,提升监控管理人员的工作效率。因此,需要基于船舶的卫星图像,对海面上的船舶进行监测识别,以便能够更好地对水面上的船舶进行管理[1-2]。对于水面环境复杂的卫星图像,一般的船舶监测识别算法的鲁棒性都会比较差,而且无法满足船舶监测识别系统的实时性要求,但是随着语义分割技术的快速发展,在船舶目标检测算法中逐渐得到了广泛的使用[3]。图像语义分割技术的目标是对特定图像逐步地进行像素分割,将图像划分为具备相似特征的若干个区域,然后再进行图像分析以及视觉理解等操作[4]。图像的语义分割在对图像中的目标事物进行识别的时候,还会提供目标事物所在的位置信息,和通常的物体识别以及目标检测技术相比,图像语义分割算法的区别在于,其输出的结果是在像素上打上标记的图像,因此图像语义分割技术在船舶卫星图像中具有很高的使用价值。本文基于语义分割技术,研究舰船卫星图像的识别检测方法。
1 图像语义分割技术 1.1 图像分割方法传统的图像分割方法只是单纯地将图像划分成不一样的边缘小模块,但是并没有给各个模块赋予各自不同的语义[5]。对图像中各类事物进行语义的标注,同时将图像中带有标注语义的事物进行分割,这种方法即为图像语义分割。
和图像分割相比,图像语义分割是以像素分类为基础对图像中事务类别进行分割的,也就是将包含同类语义数据信息的像素归为同一类,最终获得一幅包含各类语义标注的切割图[6]。
传统图像分割方法可以分为归类同灰度区域以及寻找特征类似2种方法。归类同灰度区域的像素点方法主要有阈值分割以及边缘分割2种,寻找特征类似的像素点方法主要有区域生长以及聚类分割2种方法[7]。
图像的阈值分割法是利用事先设置好的阈值,大于等于阈值的,作为图像中需要检测的事物目标,比阈值小的,作为图像中的环境背景,公式为:
$ g\left( {i,j} \right) = \left\{ {\begin{array}{*{20}{c}} {1,f\left( {i,j} \right) \geqslant T},\\ {0,f\left( {i,j} \right) < T} 。\end{array}} \right. $ | (1.1) |
式中:T为图像中的像素灰度阈值;f(i,j)为图像的像素灰度数值;g(i,j)为图像中的检测事物或者环境背景;1为图像中的目标事物;0为图像中的环境背景。
以区域生长法为基础的图像分割技术是利用种子像素的生长趋势对图像的相关区域进行合并的,首先在图像中选择一个像素点当作种子,同时将该像素点的位置看成种子生长的起始点,然后以图像中的相关空间信息为基础制定生长规则,则可以将相邻具有相似特征的像素合并在一起,共同构成新的区域,按照这种方法不断循环迭代,最终实现图像中所有区域的像素点的比较,并停止生长。
1.2 基于深度学习的图像语义分割法船舶的卫星图像中包含了复杂的地物以及纹理结构,但是深度卷积神经网络无法精确地对地物的语义进行划分。这是因为深度卷积神经网络为了提升容错性、防止过度拟合,大多数情况下均使用了带步长的卷积以及平均池化等操作,以减少深度卷积网络参数的个数,这就导致经过网络处理之后的图像的尺寸比原始图像尺寸要小。对于图像语义分割的网络模型而言,网络模型处理之后的特征图像通常为原始图像的1/8~1/32。网络模型通常使用上采样或反卷积的方法提升处理之后特征图的尺寸,以便能够得到和原始图像一致的分割结果。
在船舶的卫星图像中,物体通常是由一系列的区域构成的,并且区域内部物体的纹理以及光照等因素的差异都比较小,但是深度语义分割模型的处理过程是对每个像素进行分类处理的,没有提供区域内部同属于一类物体的相关数据信息。为了解决深度卷积神经网络的这些问题,本文在深度卷积神经网络的基础上添加了一种区域投票方法,用于图像语义分割的后处理,这样可以提升船舶卫星图像的语义分割精度以及准确性,算法结构如图1所示。
可以看出,该图像语义分割网络模型对接收的图像进行语义分割操作,然后输出得分图,该得分图是由所有像素点的标签值构成的,这部分的处理为图像语义分割预处理。
因为船舶卫星图像中的事物、海面背景的像素颜色以及纹理等特点都类似,像素分割算法模型可以利用邻域内十分相似的像素,对图像中的事物以及背景进行子空间的分类划分。图像的像素分割算法可以提取图像中的各类冗余信息,因此一般用作图像的预处理操作。像素分割算法通常使用quick shift算法,该算法是基于mean shift算法演变而来的,其基本原理是通过一种迭代搜索模式,以概率密度为基础,将类似特征点的像素聚类成相同的模式,这种迭代搜索模式通常是先解算概率密度估计,也就是首先对相应空间中的N个数据进行Paren密度计算,公式为:
$ P\left( x \right) = \frac{1}{N}\sum\limits_{i = 0}^N {k\left( {x - {x_i}} \right),x \subseteq {R^d}} 。$ | (1.2) |
式中:k(x)为高斯核函数,当高斯核函数使用
$ {y_i}\left( {t + 1} \right) = \frac{{\displaystyle\sum\limits_{j = 1}^N {\psi \left( {\left\| {{y_i}\left( t \right) - {x_j}} \right.\left\| {_2^2} \right.} \right){x_j}} }}{{\displaystyle\sum\limits_{j = 1}^N {\psi \left( {\left\| {{y_i}\left( t \right) - {x_j}} \right.\left\| {_2^2} \right.} \right)} }}。$ | (1.3) |
和mean shift算法相比,quick shift在对密度Pi进行估计的时候,需要将数据点朝密度递增的方向移动,公式为:
$ {p_i} = \frac{1}{N}\sum\limits_{j = 1}^N {\phi \left( {{D_{ij}}} \right)} 。$ | (1.4) |
对于像素子空间S而言,空间中的像素最终的标签值可以表示为:
$ \Pr ed\left( S \right) = k,if\# label\left( k \right) \gt \# label\left( i \right),\forall i \in \left[ {0,{N_c} - 1} \right] 。$ | (1.5) |
根据熵的理论,像素子空间S的熵的计算方法,可以表示为:
$ H\left( S \right) = - \sum\limits_{i = 0}^{{N_c} - 1} {p\left( {label\left( i \right)} \right)\log \left( {p\left( {label\left( i \right)} \right)} \right)} 。$ | (1.6) |
式中,P(label(i))的计算方法,如下式:
$ p\left( {label\left( i \right)} \right) = \frac{{\# label\left( i \right)}}{M}。$ | (1.7) |
式中:M为像素子空间中的像素的数量;Nc为像素种类个数;label(i)为像素的第i个种类;P(label(i))为第i种像素的数量和总的像素点的数量的比值。
根据不同的熵值,则可以得到不同的像素子空间,如下式:
$ F\left( S \right) = \left\{ {\begin{array}{*{20}{c}} {1,}&{\begin{array}{*{20}{c}} {\rm if}&{H\left( S \right) < {{T}}},\end{array}} \\ {0,}&{\rm otherwise} 。\end{array}} \right. $ | (1.8) |
式中:当F(S)=1的时候,意味着该像素空间S为正确的子空间;当F(S)=0的时候,则该像素空间为错误的子空间。此外,需要对错误的像素子空间进行进一步分析,使所有的像素子空间均含有单类别的像素点。
1.3 图像语义分割评价标准在对图像进行语义分割的时候,通常使用像素精度、平均交并比以及平均像素精度3种评价标准来衡量图像分割的精度。像素精度是指在图像语义分割过程中分割正确的像素点的个数和参加分割的像素点总数之间的比值;平均像素精度是指不同类型的像素分割正确的数量占同类型像素参与分割总数百分比之和的平均值;平均交并比是指图像分割之后得到的结果与实际的交并集之比。图像语义分割的像素精度PA、平均像素精度MPA以及平均交并比MIoU的计算方法,如下式:
$ PA = \frac{{\displaystyle\sum\limits_{i = 0}^k {{P_{ii}}} }}{{\displaystyle\sum\limits_{i = 0}^k {\displaystyle\sum\limits_{j = 0}^k {{P_{ij}}} } }}\text{,} $ | (1.9) |
$ MPA = \frac{1}{{k + 1}}\sum\limits_{i = 0}^k {\frac{{{P_{ii}}}}{{\displaystyle\sum\limits_{j = 0}^k {{P_{ij}}} }}} \text{,} $ | (1.10) |
$ MIoU = \frac{1}{{k + 1}}\displaystyle\sum\limits_{i = 0}^k {\frac{{{P_{ii}}}}{{\displaystyle\sum\limits_{j = 0}^k {{P_{ij}}} + \displaystyle\sum\limits_{j = 0}^k {{P_{ji}}} - {P_{ii}}}}} 。$ | (1.11) |
式中:k为图像中的像素类型;k+1为图像中的像素类型加上环境背景。
2 舰船卫星图像识别技术 2.1 目标舰船数据集构建及实验指标当前用于船舶检测识别的数据集一般有DOTA、DIOR以及HRSC2016等。本文用于实验的数据集一部分出自HRSC2016,另一部分出自谷歌地球。本文使用旋转标注框的方式对检测目标进行标记。每艘船舶都由(x,y,w,h,angel)5个参数来表示,其中(x,y)为中心坐标;w为宽度;h为高度;angel为角度。船舶卫星图像检测识别实验的指标主要有精确率、召回率以及均值平均度。
精确率是检测正确的船舶目标占所有船舶目标的比例,计算公式为:
$ P = \frac{{TP}}{{TP + FP}}。$ | (2.1) |
召回率是检测正确的船舶目标占标注的实际船舶目标的比例,计算公式为:
$ R = \frac{{TP}}{{TP + FN}}。$ | (2.2) |
以精确率和召回率为基础,可以绘制出精确率-召回率曲线图,对该曲线进行积分,则可以获得平均精度的值,计算公式如下式:
$ AP = \int_0^1 {P\left( R \right)} {\rm{d}}R 。$ | (2.3) |
对所有检测目标的平均精度求解平均值,则结果为均值平均精度,公式为:
$ mAP = \frac{{\sum {AP} }}{N}。$ | (2.4) |
为解决角度回归方法中的角度周期以及边的交换问题,同时考虑到尺度特征无法充分利用的问题,因此基于语义分割技术,并使用角度分类的船舶检测识别算法对船舶进行检测识别。本文研究不同的高斯函数半径对船舶卫星图像检测性能的影响。
从高斯函数的数学公式可以看出,高斯函数的分布会受到函数半径大小的影响,因此在使用高斯函数作为窗口的时候,一定要考虑函数半径对算法的影响,在本次测试实验中,分别在函数半径为2、4、6、8的情况下进行检测,一旦检测到角度值,则通过CSL函数解算出角度类别损失。
图2给出了在不同函数半径的情况下,角度分类损失值的变化情况。可以看出,随着网络训练时间的不断推移,角度分类的损失值会不断地变小直至平稳,并且函数半径的大小对角度分类损失值的影响区别不大。
图3给出了不同的高斯函数半径的情况下,损失值总和的变化曲线。可以看出,随着时间的推移,函数半径为8的情况下,损失值总和最大。因此在船舶卫星图像的检测训练过程中,高斯函数的窗口半径越大,那么损失值总和也就越大。
图4给出了在不同高斯函数窗口半径下,mAP的变化情况。可以看出,当高斯函数的窗口半径越小的时候,角度信息越难检测,当高斯函数的窗口半径等于0的时候,则完全无法被检测到。当高斯函数的窗口半径等于4的时候,mAP的值最大,因此收敛速度最快。
在实际的工程应用中,船舶的卫星图像中包含了很多的冗余信息,需要检测识别的目标船舶只占整个图中的小部分,因此,在复杂的水面环境中,如何才能快速且精确地监测识别出船舶,并定位出船舶的位置,这是船舶卫星图像识别技术的难点。在船舶卫星图像中对船舶进行精确的定位是正确识别船舶的第一步,只有在最短的时间内将船舶卫星图像的复杂水面背景环境过滤掉,才能精准无误地对卫星图像中的船舶进行定位,并且识别出船舶的种类以及所在的精确位置。随着船舶的卫星遥感图像的数量越来越多,如何精确地对大量的船舶卫星遥感图像进行自动化的识别分析,成为迫切需要处理的问题。图像语义分割的目标是对图像的每个区域都标记上不一样的语义标签,这样可以获得船舶卫星遥感图像的细粒度分析结果。本文基于语义分割技术,检测和识别方法进行研究。
[1] |
刘星璇, 饶世钧, 洪俊. 中低分辨率遥感影像舰船目标识别方法[J]. 舰船电子工程, 2018, 38(16): 21-25. DOI:10.3969/j.issn.1672-9730.2018.06.006 |
[2] |
王彦情, 马雷, 田原. 光学遥感图像舰船目标检测与识别综述[J]. 自动化学报, 2011, 37(9): 1029-1039. |
[3] |
刘勇, 姚力波, 吴昱舟, 等. 静轨光学卫星与自动识别系统的目标点迹关联与误差校正[J]. 电子与信息学报, 2018, 40(7): 1546-1552. |
[4] |
张晓, 王莉莉. 基于多分类器融合的卫星图像舰船目标识别[J]. 通信技术, 2019, 52(9): 2143-2148. DOI:10.3969/j.issn.1002-0802.2019.09.013 |
[5] |
孙明珠, 贾丽, 吴翎. 高分辨率SAR卫星图像舰船目标识别可用性分析[J]. 佳木斯大学学报, 2021, 39(1): 131-133. |
[6] |
李家起, 江政杰, 姚力波, 等. 一种基于深度学习的舰船目标融合识别算法[J]. 舰船电子工程, 2020, 40(9): 31–35.
|
[7] |
邬厚民. 基于人工智能技术的舰船图像语义分割算法[J]. 舰船科学技术, 2020, 42(16): 58-60. |