舰船科学技术  2022, Vol. 44 Issue (20): 169-172    DOI: 10.3404/j.issn.1672-7649.2022.20.035   PDF    
基于动态视频信息分析的海上舰船目标检测方法
杨帆     
青海师范大学 计算机学院,青海 西宁 810008
摘要: 海上作业工作中,通常通过机器视觉获取环境视频信息。其中,分析海上舰船目标是一项重要工作。为此,提出基于动态视频信息分析的海上舰船目标检测方法。首先使用差分处理方法去除动态视频图像中的噪声,并适应度增强背景光线。然后缩小运动目标检测区域,实时更新背景模型,降低背景对检测目标的影响。在划分海上舰船动态视频图像后,检测天空和海天线,构建海面背景的纹理模型。最后,去除天空与非海面纹理的像素点,即可得到海上舰船目标。实验结果表明,该方法的检测精度高,对动态视频检测响应速度快且去噪效果较好。
关键词: 动态视频信息     目标检测     图像差分     背景模型     海上舰船目标    
A method of ship target detection based on dynamic video information analysis
YANG Fan     
School of Computer, Qinghai Normal University, Xining 810008, China
Abstract: In offshore operations, environment video information is usually obtained through machine vision. Among them, the analysis of ship targets at sea is an important work. Therefore, this study proposes a method of ship target detection based on dynamic video information analysis. First, the difference processing method is used to remove the noise in the dynamic video image, and the fitness is used to enhance the background light. Then the moving object detection area is reduced, and the background model is updated in real time to reduce the impact of the background on the detected object. After dividing the dynamic video images of ships on the sea, the sky and sea antennas are detected to build a texture model of the sea background. Finally, by removing the pixels of the sky and non sea surface texture, the ship target on the sea can be obtained. The experimental results show that the method has high detection accuracy, fast response to dynamic video detection and good denoising effect.
Key words: dynamic video information     target detection     image difference     background model     marine ship target    
0 引 言

运动目标检测是计算机视觉以及数字化视频图像信息处理等项目的重点研究内容。这其中,视频信息智能处理是必不可少的环节。相关领域使用动态视频图像实时监测海上变化,以便及时做好应对措施。其中,舰船目标检测对保障海上安全有着积极意义和作用[1],既可以提高海域管理能力、降低海事纠纷的发生率,也能够及时报警和救援发生事故的船只、实时监测海洋环境。

对海上舰船目标的检测实质上是对运动目标进行检测。赵浩光等[2]通过构建多尺度显著图选取最优显著图,利用图像膨胀法得到其中的极大值点,运用k-means算法划分出目标像素点,最后对邻近区域像素点进行精细分割,实现对海上舰船目标的检测。杨龙等[3]利用特征检测框架提取舰船特征,深入融合获取的特征信息,得到信息最完整的特征预测图。然后利用训练策略对特征进行训练,输出最简练且完整的舰船特征,实现对海上舰船目标的检测。但是以上2种方法在对海上舰船目标检测过程中,未构建海面背景的纹理模型,易导致检测效果差、图像变化响应速度慢以及图像去噪差的问题。

为了解决以上问题,本文提出基于动态视频信息分析的海上舰船目标检测方法。

1 海上舰船动态视频信息预处理和分析 1.1 动态视频图像差分处理

动态视频由大量帧图像拼接而成,因此,对动态视频去噪就是对很多帧图像去噪[4]。运动目标检测需要超高清图像,即保证边缘信息的完整性,但大多去噪方法是以图像清晰度作为代价进行去噪,因此本文选用差分法对图像进行处理。这种方法不仅仅可以去除图像中的大部分噪声,同时可以粗略排除掉毫无用处的静止背景区域,并在一定程度上优化背景和光线的变化。

假设在需要检测的动态视频中,随机选取相邻的2幅图像,将其标记为 $ f\left( {x,y,t} \right) $ 以及 $ f\left( {x,y,t - 1} \right) $ ,2幅图像经过差分处理后,生成差分图像 $ D\left( {x,y,\Delta t} \right) $ ,其表达式为:

$ D\left( {x,y,\Delta t} \right) = \left| {f\left( {x,y,t} \right) - f\left( {x,y,t - 1} \right)} \right| 。$ (1)

若检测目标的运动速度相对较慢,舰船目标出现的范围变化较小,此时会构成与随机噪声相似的孤立点。为降低目标检测丢失的概率,提取相邻的3帧图像进行两两相减,完成运动轨迹的累计,即3帧差分处理,这一方法得到小范围的目标运动区域。

假设有3帧图像,分别为 $ f\left( {x,y,t - 1} \right) $ $ f\left( {x,y,t} \right) $ 以及 $ f\left( {x,y,t + 1} \right) $ ,根据差分处理法生成的差分图像 $ D'\left( {x,y,\Delta t} \right) $ 的表达式为:

$ D'\left( {x,y,\Delta t} \right) = {\left| {f\left( {x,y,t} \right) - f\left( {x,y,t - 1} \right)} \right|^2} 。$ (2)

在阈值 $ t $ 下分割差分图像 $ D'\left( {x,y,\Delta t} \right) $ ,生成二值化图像 $ BD\left( {x,y,\Delta t} \right) $ ,其表达式为:

$ BD\left( {x,y,\Delta t} \right) = \left\{ \begin{gathered} 255,{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} D'\left( {x,y,\Delta t} \right) \geqslant t ,\\ 0,{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} D'\left( {x,y,\Delta t} \right) < t。\\ \end{gathered} \right. $ (3)

分割后二值化图像的白色区域即为海上舰船图像的运动区域。

1.2 背景模型更新

在应用差分法处理后,图像虽然对背景已经有一定的处理,但效果不明显。为了使背景模型对外界光线的适应程度上升到最大,需要及时对背景模型做出调整,更新得到全新的背景模型。由于部分背景运动是相对的,则图像背景可能是运动的也可能是静止的,所以在对舰船目标检测的过程中,极有可能将运行的背景中非目标视为所要检测的目标。但这种情况也仅仅会持续一段时间,所以背景中非目标不会一直被视为需要检测的运动目标,此时就需要及时更新背景模型。有时舰船目标因长时间的静止,检测过程中有可能将其视为前景或是某段时间内将其视为背景的一部分,此时也需要更新背景模型将这种情况消除。

首先对图像中没有舰船运动目标的区域进行光线更新,经过更新后的区域图像表达式为:

$ {B_{n + 1}}\left( {x,y} \right) = \alpha {B_n}\left( {x,y} \right) + \left( {1 - \alpha } \right){I_n}\left( {x,y} \right) 。$ (4)

式中: $ {B_{n + 1}}\left( {x,y} \right) $ 代表第 $ n + 1 $ 帧图像的背景值; $ {B_n}\left( {x,y} \right) $ 代表第 $ n $ 帧图像的背景值; $ \alpha $ 代表更新系数; $ {I_n}\left( {x,y} \right) $ 代表图像的亮度值。

在实际检测过程中,因前景和背景之间的亮度值非常相似,因此会忽略部分前景目标,若此时对背景进行更新会生成完全错误的背景模型,直接影响最终的检测结果。所以在更新背景模型时,需要选择最近时间段内无前景像素的图像进行处理,更新计算过程为:

$ {B'_{n + 1}}\left( {x,y} \right) = \alpha {B_n}\left( {x,y} \right) + \frac{{\left( {1 - \alpha } \right){I_n}\left( {x,y} \right)}}{N} 。$ (5)

式中: $ {B'_{n + 1}}\left( {x,y} \right) $ 代表无前景的背景更新模型; $ N $ 代表无前景的图像数量。

根据式(5)得到的背景模型,对光线的适应性很强,会加快舰船目标检测效率。

2 海上舰船目标检测 2.1 确定天空和海天线

针对于带有天空和海天线的图像,天空背景相对来说更加简单和平滑,根据图像子块DCT域能量特征分割算法对天空图像进行处理。

假设原始图像经转换后成为LUV空间内图像,此时图像的亮度分量为 $ L $ ,图像的大小为 $ m' \times n' $ ,将其分解成 $ 8 \times 8 $ 的子块,此时每块图像的大小为 $ \dfrac{{m'}}{8} \times \dfrac{{n'}}{8} $ ,在DCT的帮助下对每个子块进行转换,其中DCT变换系数的计算公式为:

$ \begin{gathered} F\left( {u,v} \right) = \\ \frac{{\displaystyle\sum\limits_{x=y = 0}^7 {uv \times } \cos \frac{{\left( {2x + 1} \right)u \text{π} + \left( {2y + 1} \right)v \text{π} }}{{16}}}}{{4f\left( {x,y} \right)}}。\\ \end{gathered} $ (6)

式中: $ F\left( {u,v} \right) $ 代表DCT变换系数; $ f\left( {x,y} \right) $ 代表子块的像素亮度值; $ u,v $ 代表不同坐标像素能量值。当 $ u = 0,v = 0 $ 时,能量值为直流系数。当 $ u,v = 1,2, \cdots ,7 $ 时,能量值为交流系数。根据式(6)图像即可完成DCT变换。

由于天空背景比海面更加简单且平坦,所以子块交流系数总能量平均值的计算公式为:

$ E = \frac{1}{{63}}\sum\limits_{i = 1}^{63} {\left| {{A_{{c_i}}}} \right|} 。$ (7)

式中: $ E $ 代表交流系数总能量平均值; $ 63 $ 代表交流系数数量; $ {A_{{c_i}}} $ 代表交流系数。

因天空较为平坦简单,因此天空的能量 $ E $ 值较小,因此根据阈值 $ T $ 可分辨出图像内天空以及海天线,即小于阈值 $ T $ 的区域即为天空,否则为海天线,进而完成天空和海天线的区域检测

2.2 提取海面背景纹理

即使采集图像的设备在不断运动,但海面的纹理特征还是带有均匀性以及一致性,为此需要构建海面动态背景纹理模型。

经过DCT变换能量更加有方向性,为纹理特征提取奠定基础,已知DCT域图像子块是由直流分量 $ {R_0} $ 、水平纹理 $ {R_1} $ 、对角纹理 $ {R_2} $ 以及垂直纹理 $ {R_3} $ 构成,其中 $ {R_1} $ $ {R_2} $ $ {R_3} $ 对应的能量可以视为纹理特征,将其结合后生成特征向量 $ X $ ,则子图像块的能量 $ {E_k} $ 计算式为:

$ {E_k} = {\sum\limits_{{R_k}} {\left( {{A_{ij}} - {{\bar A}_k}} \right)} ^2} 。$ (8)

式中: $ {A_{ij}} $ 代表DCT子块的变换因子; $ {\bar A_k} $ 代表区域 $ {R_k} $ 的能量平均值; $ k $ 代表常数项。

根据DCT变换系数的算术均值得出图像纹理的变化,以此即可得出海面动态背景纹理。

2.3 海面背景纹理模型构建

因海面子块的纹理带有一致性,根据上述得出的纹理特征向量结果,基于自适应模糊 $ c $ 均值聚类算法构建海面动态背景纹理模型。

假设海面背景中共有 $ N' $ 个DCT子块,且所有子块的特征向量为 $ {X_i} $ ,若聚类数 $ c $ 的有效性函数计算公式为:

$ \left\{ \begin{gathered} l\left( c \right) = \frac{{\displaystyle\sum\limits_{i = 1}^c {{{\left\| {{v_i} - \bar x} \right\|}^2}} }}{{\left( {c - 1} \right)}} \times \frac{{\left( {N' - c} \right)}}{{\displaystyle\sum\limits_{i = 1}^c {\displaystyle\sum\limits_{j = 1}^{N'} {u_{ij}^M} } \left\| {{X_j} - {v_i}} \right\|}} ,\\ \bar x = \frac{{\displaystyle\sum\limits_{i = 1}^c {\displaystyle\sum\limits_{j = 1}^{N'} {u_{ij}^M} } {X_j}}}{{N'}}。\\ \end{gathered} \right. $ (9)

式中: $ l\left( c \right) $ 代表有效性函数; $ {u_{ij}} $ 代表第 $ j $ 个样本是第 $ i $ 种特征向量的隶属度; $ {v_i} $ 代表第 $ i $ 种特征的聚类中心向量; $ M $ 代表平滑因子; $ \bar x $ 代表聚类数的平均值; $ {X_j} $ 代表第 $ j $ 个样本的特征向量。由此得出海面纹理模型构建如下:

首先对每种参数进行初始化,定义迭代精度 $ \varepsilon \gt 0 $ ,聚类数 $ c = 2 $ $ l\left( 1 \right) = 0 $

根据设定更新模糊矩阵 $ u_{ij}^k $ ,其表达式为:

$ u_{ij}^k = \sum\limits_{r = 1}^c {{{\left( {\dfrac{{d_{ij}^k}}{{d_{ri}^k}}} \right)}^{ - \frac{2}{{M - 1}}}}} 。$ (10)

式中: $ {d_{ij}} $ 代表欧氏距离; $ r $ 代表常数因子; $ k $ 代表迭代次数。得到对应的聚类中心矩阵 $ {V^{k + 1}} $ ,更新计算公式为:

$ {V^{k + 1}} = \sum\limits_{j = 1}^{N'} {{{\left( {u_{ij}^k} \right)}^M}} {X_j} 。$ (11)

当更新后的 $ {V^{k + 1}} $ 和原始矩阵 $ {V^k} $ 之间的差值小于阈值 $ \varepsilon $ ,则停止迭代,并计算出函数 $ l\left( c \right) $ ,此时即完成聚类,否则需要进一步迭代,直到矩阵之差小于阈值 $ \varepsilon $ 为止。最后将所有聚类结果结合即为海面背景纹理模型。

2.4 舰船目标检测

在对舰船目标检测过程中利用DCT能量检测出海天线以上的目标区域,即DCT平均总能量 $ E \gt T $ ,则该区域即为检测结果。

海天线以下位置只需要计算出特征向量以及欧式距离,当欧式距离小于阈值则该区域为海面背景,否则就是舰船目标区域,将2种情况的目标区域进行结合即可完成海上舰船目标检测。

3 实验结果与分析 3.1 动态视频图像去噪效果

对3种方法的去噪效果进行测试,海上舰船运动目标所处环境始终是户外,受到外景光线等影响,图像内不可避免出现噪声,在检测过程中要对图像进行去噪处理,去噪的结果也直接影响最终的检测能力。随机选取某个动态视频内的一帧,对比3种方法的去噪效果,结果如图1所示。

图 1 3种方法的去噪能力 Fig. 1 Denoising ability of three methods

对比3种检测方法得出的结果与原始图像后发现,本文方法的去噪效果强于其余2种方法,经过本文方法去噪后的图像细节信息等更加清晰,有利于舰船目标检测。

3.2 检测效果

在海上动态视频中进行舰船目标检测,随机抽取出1帧图像,利用3种目标检测方法对其中的目标进行检测,直观得出最佳的目标检测方法,实验结果如图2所示。

图 2 不同方法的检测效果 Fig. 2 Test results of different methods

对比3种方法的检测结果后发现,显著性的舰船目标检测方法可以检测出舰船目标的大致轮廓,但边缘细节信息检测不完整;SAR图像舰船目标检测方法的缺点是检测不到部分较小的部位;反观本文方法,无论是边缘的细节信息或是船只较小的部位均能准确的检测到。这是因为本文方法在检测过程中,利用差值法对原始动态视频进行去噪处理,保证了图像的清晰度,也粗略地加强了图像内光线的适应性,进而提高本文方法的检测效果。

3.3 对动态视频图像变化的检测响应速度计算

舰船在运动过程中,有光线的影响必定会出现倒影,倒影是影响舰船检测速度的一大因素。因此检测算法会对图像进行分割处理,分割结果直接影响目标检测响应速度。通常情况下,检测过程,需要多帧图像才能保证最终的检测结果效果是最佳,但这也会降低检测效率,即对图像变化的响应较慢。因此,检测过程中使用的图像帧数量,可用于评价每种方法响应速度,实验结果如表1所示。

表 1 3种方法所需的图像数/帧 Tab.1 Number of images/frame required by the three methods

在实验过程中,保证每组实验下3种方法的检测效果以及实验环境均相同,仅仅对比3种方法所需的图像帧数,即记录需要多少帧图像方法才能得到最终的效果,可将其视为响应速度。为了降低偶然性,随机选取光线以及环境均不相同的10组实验样本,利用3种方法对其进行检测。

根据表1可知,本文方法在每组实验下检测出想要的效果,所需的图像帧数均远远小于其余2种方法,说明本文方法的响应速度可观。这是因为本文方法实时更新图像背景模型,确保图像对光线的适应能力是最强的。

4 结 语

海上舰船运动目标检测有重要的意义,本文提出基于动态视频信息分析的海上舰船目标检测方法,解决了海上舰船检测效果差、对动态视频变化响应速度慢以及去噪效果差的问题,可有效监管海上情况,及时做出救援等行动。

参考文献
[1]
周安然, 谢维信, 裴继红. 傅里叶域内双背景模型的海上红外序列图像目标检测[J]. 信号处理, 2022, 38(1): 164-173. DOI:10.16798/j.issn.1003-0530.2022.01.019
[2]
赵浩光, 王平, 董超, 等. 结合多尺度视觉显著性的舰船目标检测[J]. 光学精密工程, 2020, 28(6): 1395-1403.
[3]
杨龙, 苏娟, 黄华, 等. 一种基于深层次多尺度特征融合CNN的SAR图像舰船目标检测算法[J]. 光学学报, 2020, 40(2): 132-140.
[4]
盖杉, 鲍中运. 基于深度学习的高噪声图像去噪算法[J]. 自动化学报, 2020, 46(12): 2672-2680.