舰船科学技术  2022, Vol. 44 Issue (20): 165-168    DOI: 10.3404/j.issn.1672-7649.2022.20.034   PDF    
Grabcut算法在无人机影像船舶目标识别的应用
苏立平     
聊城大学 东昌学院,山东 聊城 252000
摘要: 近年来,基于无人机的海上探测与侦察技术获得了迅速发展,利用无人机进行海上船舶目标的识别已经成为一项热点研究,基于图像的目标识别也是其中的重点和难点。传统的图像分割包括边缘检测、聚类分割等,本文结合Grabcut算法和卷积神经网络技术,开发一种新型船舶影响目标识别技术,在提高图像目标识别效率的基础上也提高了目标识别的精度,具有实际应用价值。
关键词: Grabcut算法     无人机     目标识别     图像分割    
Application of grabcut algorithm to ship target recognition in UAV image
SU Li-ping     
Dongchang College, Liaocheng University, Liaocheng 252000, China
Abstract: In recent years, the sea detection and reconnaissance technology based on UAV has achieved rapid development. The recognition of ship targets at sea using UAV has become a hot research work, and the target recognition based on image is also one of the key and difficult points. Traditional image segmentation includes edge detection, clustering segmentation, etc. This paper combines Grabcut algorithm and convolutional neural network technology to develop a new ship impact target recognition technology, which improves the accuracy of target recognition on the basis of improving the efficiency of image target recognition, and has important practical application value.
Key words: Grabcut algorithm     UAV     target recognition     image segmentation    
0 引 言

随着无人机在海洋、自然资源监管等领域应用程度的加深,在海事监管和军事侦察领域使用无人机进行监控成为一种必要的手段,特别是当前在俄乌争端中大量使用无人机使得无人机在战场侦察中的作用也越来越重要。传统的船舶定位与监管只能依靠卫星遥感图像进行,即海面的SAR图像,利用卫星的遥感图像能够获取整个海域的船舶目标状态,但由于卫星分辨率和卫星距离问题,SAR图像的目标精度相对不高。

与卫星遥感影像相比,基于无人机的海上船舶目标影像探测有分辨率高、清晰度高、时效性好、灵活性高等优点。此外,海上无人机可以根据任务的不同挂载不同的探测系统,比如将高清摄像头与合成孔径雷达集成在一起,使无人机既具有高清的海域船舶目标图像,又能够利用雷达的穿透力获取目标的距离等详细信息[1]

本文研究一种基于Grabcut图像算法的无人机影像船舶目标识别技术,介绍了传统图像分割与Grabcut图像算法的区别及无人机影像船舶目标识别的关键环节。

1 基于聚类分析的船舶目标识别的图像分割技术

在基于图像的目标识别领域,图像分割技术是其中的重要环节,利用图像分割技术可以缩小目标图像的处理范围,从而提升目标的识别效率。

图像分割算法的种类很多,比如通过图像特征色彩、轮廓形状等属性进行图像分割,按照图像灰度值不连续性等特征进行图像分割等。其中,灰度值的不连续性是相对常用的一种图像分割算法,图像中目标与背景的差异体现在灰度值的突变上,因此利用灰度值的不连续性进行图像分割有利于下一步的船舶目标识别。

基于聚类算法的图像分割技术的基本流程如图1所示。

图 1 基于聚类算法的图像分割技术 Fig. 1 Image segmentation technology based on clustering algorithm

基于聚类算法的图像分割技术如下:

步骤1 图像序列的输入,定义图像序列集合为:

$ X = (x_1,{x_2},...,{x_m}) \text{。} $

式中: $x_{i}$ n×n维的像素数据,分类矩阵 $ U = \left[ {{\delta _m}} \right] $ 将图像序列集合划分为p类。

定义图像分割的目标函数为:

$ K = \sum\limits_{i = 1}^p {\sum\limits_{j = 1}^m {{{\left[ {{\delta _m}} \right]}^l}{{\left| {{x_i} - {p_0}} \right|}^2}} } \text{,} $

式中: $ l $ 为迭代次数; $ {p_0} $ 为聚类中心的像素数据。

步骤2 计算图像的聚类中心:

$ {c_{ij}} = \dfrac{1}{{\displaystyle\sum\limits_{i = 1}^m {{{\left[ {{\delta _m}} \right]}^m}} }}\displaystyle\sum\limits_{i = 1}^m {{\delta _m}^l{x_i}} \text{。} $

步骤3 计算不同图像序列的像素协方差矩阵如下式:

$ {A_i}_j = \dfrac{{\displaystyle\sum\limits_{i = 1}^m {{\delta _m}^l{{\left( {{x_i} - {c_i}_j} \right)}^{\rm{T}}}} }}{{\displaystyle\sum\limits_{i = 1}^m {{{\left[ {{\delta _m}} \right]}^m}} }} \text{。} $

步骤4 根据协方差矩阵和隶属度函数进行像素的分类,实现图像的分割过程[2]

2 Grabcut算法在无人机影像船舶目标识别的应用研究 2.1 无人机影像的Grabcut图像背景模型选择

在Grabcut图像算法中,背景模型的选择是重要环节,无人机拍摄的船舶图像背景模型为海面背景,背景模型的精确度间接决定了船舶目标识别的精度。

图像的空间特征包括HSV,RGB等。其中,HSV空间是指图像的色调H、亮度S、颜色的明暗程度V,图像的RGB空间是指红(R)、绿(G)、蓝(B)3个颜色通道的变化,在基于Grabcut图像算法的目标识别中,需要将图像的RGB空间转换为HSV空间,转换过程如下:

给定RGB颜色空间的值 $ \left( {r,g,b} \right) \in \left[ {0,1} \right] $ ,max为 $ \left( {r,g,b} \right) $ 最大值,min为 $ \left( {r,g,b} \right) $ 最小值,转换公式为:

$ \begin{split} & H = \left\{ {\begin{array}{*{20}{l}} {{0^\circ }}&{\max = \min },\\ {{{60}^\circ } \times \dfrac{{{g} - {b}}}{{\max - \min }} + {0^\circ }}&{\max = r{\text{ and }}g \geqslant {\text{b}}} ,\\ {{{60}^\circ } \times \dfrac{{{{g}} - {{b}}}}{{\max - \min }} + {{360}^\circ }}&{\max = r\;{{ {\rm{and}}\; g}} < b} ,\\ {{{60}^\circ } \times \dfrac{{{{b}} - {{r}}}}{{\max - {\text{min}}}} + {{120}^\circ }}&{\max = {{g}}},\\ {{{60}^\circ } \times \dfrac{{{{r}} - {{g}}}}{{\max - {\text{min}}}} + {{240}^\circ }}&{\max = {{b}}} 。\end{array}} \right.\\ & {{S}} = \left\{ \begin{array}{*{20}{l}} 0& \max = 0,\\ \dfrac{{\max - \min }}{{\max }}& {\text{max}} > 0。\end{array} \right.\\ & { V} = \max 。\end{split} \text{} $

海面背景模型的选择流程如图2所示。

图 2 海面背景模型的选择流程 Fig. 2 Selection process of sea surface background model

背景模型的选择包括模型的特征值计算、模型数据库的比对与调用、模型选择等环节。

2.2 无人机影像的Grabcut图像动态模板匹配

模板匹配是基于Grabcut图像算法的重要环节,动态模板的匹配是将无人机不同时间、不同成像条件的目标图像进行空间对准,动态模板匹配的原理示意图如图3所示。

图 3 动态模板匹配的原理示意图 Fig. 3 Schematic diagram of dynamic template matching

无人机船舶图像的动态模板匹配过程为:

步骤1 模板区域选择

从无人机船舶图像中选取某一个连通域[3],记为 $ {S_{ij}} $ ,连通域起始像素为 $ ({x_{}},{y_{}}) $

步骤2 计算相似度

选取无人机拍摄的第二帧图像区域 $ {T_{ij}} $ ,定义其起始像素坐标为 $ ({x'_{}},{y'_{}}) $ ,计算相似度SSD

$ SSD(i,j) = {\rm{max}}\left( {\sum\limits_{x = 1}^m {\sum\limits_{y = 1}^n {{{\left[ {{S_{ij}}(x,y) - {T_{ij}}(x',y')} \right]}^2}} } } \right) \text{。} $

步骤3 平方差和标准差匹配

计算模板图像连通域 $ {S_{ij}} $ 和图像区域 $ {T_{ij}} $ 的平方差与标准差,如下式:

$ \begin{gathered} \sigma (x,y) = \sum\limits_{} {{{\left[ {S\left( {{x^{}},y} \right) - T\left( {{x^\prime },{y^\prime }} \right)} \right]}^2}} ,\\ \delta (x,y) = \frac{{\sum\limits_{}^{} {} {{\left[ {{\text{S}}\left( {x,{y^{}}} \right) - T\left( {{x^\prime },{y^\prime }} \right)} \right]}^2}}}{{\sqrt {\left( {\sum\limits_{}^{} {} S{{\left( {{x^{}},y} \right)}^2} \cdot \sum\limits_{}^{} {} T{{\left( {{x^\prime },{y^\prime }} \right)}^2}} \right)} }} 。\\ \end{gathered} $

当方差与标准差越接近0,则证明图像的动态模板匹配性越高。

步骤4 重复搜索第k+1个模板,直到实现目标图像与模板的动态匹配。

2.3 基于深度学习和Grabcut算法的无人机影像船舶目标识别

本文开发一种基于深度学习和Grabcut算法的图像识别技术,由于Grabcut算法在进行图像处理时需要手动标记背景模型和目标图像的灰度值,根据灰度值来完成图像的分割,因此,这种方式不仅需要额外的人力,当处理的图像较多时,出现错误的概率也会随之升高。因此,本文提出一种基于深度学习卷积神经网络的算法,利用卷积神经网络强大的图像处理能力,减少人工操作。

图4为结合深度学习和Grabcut算法的船舶目标识别原理。

图 4 深度学习和Grabcut算法的船舶目标识别原理 Fig. 4 Principle of ship target recognition combining depth learning and grabcut algorithm

基于卷积神经网络和Grabcut算法图像处理步骤如下:

步骤1 神经网络的初始化

对卷积神经网络算法的隐含层权值初始化,定义输入层第i个神经元的权值为 $ {S_i}\left( t \right) $

步骤2 海上船舶无人机影像的输入

输入图像为 $X = {\left( {{x_1},{x_2},...{x_m}} \right)^{\rm{T}}}$ $ {x_m} $ 为图像的像素单元。

步骤3 背景模型选择与模板匹配

步骤4 图像的卷积处理

计算输入层神经元之间的距离为:

$ d = \sqrt {\sum\limits_{i = 1}^m {{x_i}\left( t \right) - {S_i}{{\left( t \right)}^3}} } \text{,} $

输入图像的像素卷积计算公式为:

$ {\delta _{ij}}\left( {t + 1} \right) = \left\{ {\begin{aligned} &{{\delta _i}\left( t \right) + f\left( t \right)\left[ {{x_i}\left( t \right) - {\delta _i}\left( t \right)} \right]\;i \in {S_i}\left( t \right)} ,\\ &{{\delta _i}\left( t \right)\;\;\;\;i \notin {S_i}\left( t \right)} 。\end{aligned}} \right. $

式中, $ {\delta _i}\left( t \right) $ 为卷积核。

卷积运算的示意图如图5所示。

图 5 卷积运算示意图 Fig. 5 Schematic diagram of convolution operation

步骤5 图像目标识别

使用Microsoft Visual Studio2010环境[4]搭建船舶目标识别仿真平台,并进行无人机影像船舶目标识别、背景模型选择、模板动态匹配等相关的仿真测试。

图6为某港口位置无人机影像的船舶目标识别示意图。

图 6 港口位置无人机影像的船舶目标识别示意图 Fig. 6 Schematic diagram of ship target recognition based on UAV image at a port
3 结 语

海上无人机目标探测技术近年来被越来越多的应用于军事领域、海上监管领域,无人机计算机视觉技术的目标检测也是当前研究的热点。本文介绍了传统的图像分割技术,基于此引入Grabcut图像处理算法,并利用卷积神经网络进行了算法的升级。在Microsoft Visual Studio2010环境中的测试结果表明,基于该算法的船舶目标识别具有良好的效果。

参考文献
[1]
吴立珍, 李宏男. 无人机小样本条件下遮挡和混淆目标识别方法[J]. 国防科技大学学报, 2022, 44(4): 13-21.
WU Li-zhen, LI Hong-nan. Recognition method of occluded and confused targets under small sample conditions of UAV[J]. Journal of National University of Defense Technology, 2022, 44(4): 13-21. DOI:10.11887/j.cn.202204002
[2]
董少敏, 马永政. 无人机红外遥感影像人体目标识别方法研究[J]. 经纬天地, 2022(3): 35-38.
DONG Shao-min, MA Yong-zheng. Research on human target recognition from UAV infrared remote sensing image [J]. Jingwei Tiandi, 2022 (3): 35-38
[3]
周永超, 陈小平. 基于YOLOv3的无人机目标识别与双目测距应用研究[J]. 单片机与嵌入式系统应用, 2022, 22(2): 64-67.
ZHOU Yong-chao, CHEN Xiao-ping. Research on the application of UAV target recognition and binocular ranging Based on YOLOv3[J]. Single Chip Microcomputer and Embedded System Application, 2022, 22(2): 64-67.
[4]
杨永铮, 邓梓轩. 基于无人机的目标识别和追踪系统设计[J]. 机电产品开发与创新, 2022, 35(1): 25-27.
YANG Yong-zheng, Deng Zi-xuan. Target recognition and tracking system design based on UAV[J]. Electromechanical Product Development and Innovation, 2022, 35(1): 25-27. DOI:10.3969/j.issn.1002-6673.2022.01.007