运动目标检测是计算机视觉以及数字化视频图像信息处理等项目的重点研究内容。这其中,视频信息智能处理是必不可少的环节。相关领域使用动态视频图像实时监测海上变化,以便及时做好应对措施。其中,舰船目标检测对保障海上安全有着积极意义和作用[1],既可以提高海域管理能力、降低海事纠纷的发生率,也能够及时报警和救援发生事故的船只、实时监测海洋环境。
对海上舰船目标的检测实质上是对运动目标进行检测。赵浩光等[2]通过构建多尺度显著图选取最优显著图,利用图像膨胀法得到其中的极大值点,运用k-means算法划分出目标像素点,最后对邻近区域像素点进行精细分割,实现对海上舰船目标的检测。杨龙等[3]利用特征检测框架提取舰船特征,深入融合获取的特征信息,得到信息最完整的特征预测图。然后利用训练策略对特征进行训练,输出最简练且完整的舰船特征,实现对海上舰船目标的检测。但是以上2种方法在对海上舰船目标检测过程中,未构建海面背景的纹理模型,易导致检测效果差、图像变化响应速度慢以及图像去噪差的问题。
为了解决以上问题,本文提出基于动态视频信息分析的海上舰船目标检测方法。
1 海上舰船动态视频信息预处理和分析 1.1 动态视频图像差分处理动态视频由大量帧图像拼接而成,因此,对动态视频去噪就是对很多帧图像去噪[4]。运动目标检测需要超高清图像,即保证边缘信息的完整性,但大多去噪方法是以图像清晰度作为代价进行去噪,因此本文选用差分法对图像进行处理。这种方法不仅仅可以去除图像中的大部分噪声,同时可以粗略排除掉毫无用处的静止背景区域,并在一定程度上优化背景和光线的变化。
假设在需要检测的动态视频中,随机选取相邻的2幅图像,将其标记为
$ D\left( {x,y,\Delta t} \right) = \left| {f\left( {x,y,t} \right) - f\left( {x,y,t - 1} \right)} \right| 。$ | (1) |
若检测目标的运动速度相对较慢,舰船目标出现的范围变化较小,此时会构成与随机噪声相似的孤立点。为降低目标检测丢失的概率,提取相邻的3帧图像进行两两相减,完成运动轨迹的累计,即3帧差分处理,这一方法得到小范围的目标运动区域。
假设有3帧图像,分别为
$ D'\left( {x,y,\Delta t} \right) = {\left| {f\left( {x,y,t} \right) - f\left( {x,y,t - 1} \right)} \right|^2} 。$ | (2) |
在阈值
$ BD\left( {x,y,\Delta t} \right) = \left\{ \begin{gathered} 255,{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} D'\left( {x,y,\Delta t} \right) \geqslant t ,\\ 0,{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} D'\left( {x,y,\Delta t} \right) < t。\\ \end{gathered} \right. $ | (3) |
分割后二值化图像的白色区域即为海上舰船图像的运动区域。
1.2 背景模型更新在应用差分法处理后,图像虽然对背景已经有一定的处理,但效果不明显。为了使背景模型对外界光线的适应程度上升到最大,需要及时对背景模型做出调整,更新得到全新的背景模型。由于部分背景运动是相对的,则图像背景可能是运动的也可能是静止的,所以在对舰船目标检测的过程中,极有可能将运行的背景中非目标视为所要检测的目标。但这种情况也仅仅会持续一段时间,所以背景中非目标不会一直被视为需要检测的运动目标,此时就需要及时更新背景模型。有时舰船目标因长时间的静止,检测过程中有可能将其视为前景或是某段时间内将其视为背景的一部分,此时也需要更新背景模型将这种情况消除。
首先对图像中没有舰船运动目标的区域进行光线更新,经过更新后的区域图像表达式为:
$ {B_{n + 1}}\left( {x,y} \right) = \alpha {B_n}\left( {x,y} \right) + \left( {1 - \alpha } \right){I_n}\left( {x,y} \right) 。$ | (4) |
式中:
在实际检测过程中,因前景和背景之间的亮度值非常相似,因此会忽略部分前景目标,若此时对背景进行更新会生成完全错误的背景模型,直接影响最终的检测结果。所以在更新背景模型时,需要选择最近时间段内无前景像素的图像进行处理,更新计算过程为:
$ {B'_{n + 1}}\left( {x,y} \right) = \alpha {B_n}\left( {x,y} \right) + \frac{{\left( {1 - \alpha } \right){I_n}\left( {x,y} \right)}}{N} 。$ | (5) |
式中:
根据式(5)得到的背景模型,对光线的适应性很强,会加快舰船目标检测效率。
2 海上舰船目标检测 2.1 确定天空和海天线针对于带有天空和海天线的图像,天空背景相对来说更加简单和平滑,根据图像子块DCT域能量特征分割算法对天空图像进行处理。
假设原始图像经转换后成为LUV空间内图像,此时图像的亮度分量为
$ \begin{gathered} F\left( {u,v} \right) = \\ \frac{{\displaystyle\sum\limits_{x=y = 0}^7 {uv \times } \cos \frac{{\left( {2x + 1} \right)u \text{π} + \left( {2y + 1} \right)v \text{π} }}{{16}}}}{{4f\left( {x,y} \right)}}。\\ \end{gathered} $ | (6) |
式中:
由于天空背景比海面更加简单且平坦,所以子块交流系数总能量平均值的计算公式为:
$ E = \frac{1}{{63}}\sum\limits_{i = 1}^{63} {\left| {{A_{{c_i}}}} \right|} 。$ | (7) |
式中:
因天空较为平坦简单,因此天空的能量
即使采集图像的设备在不断运动,但海面的纹理特征还是带有均匀性以及一致性,为此需要构建海面动态背景纹理模型。
经过DCT变换能量更加有方向性,为纹理特征提取奠定基础,已知DCT域图像子块是由直流分量
$ {E_k} = {\sum\limits_{{R_k}} {\left( {{A_{ij}} - {{\bar A}_k}} \right)} ^2} 。$ | (8) |
式中:
根据DCT变换系数的算术均值得出图像纹理的变化,以此即可得出海面动态背景纹理。
2.3 海面背景纹理模型构建因海面子块的纹理带有一致性,根据上述得出的纹理特征向量结果,基于自适应模糊
假设海面背景中共有
$ \left\{ \begin{gathered} l\left( c \right) = \frac{{\displaystyle\sum\limits_{i = 1}^c {{{\left\| {{v_i} - \bar x} \right\|}^2}} }}{{\left( {c - 1} \right)}} \times \frac{{\left( {N' - c} \right)}}{{\displaystyle\sum\limits_{i = 1}^c {\displaystyle\sum\limits_{j = 1}^{N'} {u_{ij}^M} } \left\| {{X_j} - {v_i}} \right\|}} ,\\ \bar x = \frac{{\displaystyle\sum\limits_{i = 1}^c {\displaystyle\sum\limits_{j = 1}^{N'} {u_{ij}^M} } {X_j}}}{{N'}}。\\ \end{gathered} \right. $ | (9) |
式中:
首先对每种参数进行初始化,定义迭代精度
根据设定更新模糊矩阵
$ u_{ij}^k = \sum\limits_{r = 1}^c {{{\left( {\dfrac{{d_{ij}^k}}{{d_{ri}^k}}} \right)}^{ - \frac{2}{{M - 1}}}}} 。$ | (10) |
式中:
$ {V^{k + 1}} = \sum\limits_{j = 1}^{N'} {{{\left( {u_{ij}^k} \right)}^M}} {X_j} 。$ | (11) |
当更新后的
在对舰船目标检测过程中利用DCT能量检测出海天线以上的目标区域,即DCT平均总能量
海天线以下位置只需要计算出特征向量以及欧式距离,当欧式距离小于阈值则该区域为海面背景,否则就是舰船目标区域,将2种情况的目标区域进行结合即可完成海上舰船目标检测。
3 实验结果与分析 3.1 动态视频图像去噪效果对3种方法的去噪效果进行测试,海上舰船运动目标所处环境始终是户外,受到外景光线等影响,图像内不可避免出现噪声,在检测过程中要对图像进行去噪处理,去噪的结果也直接影响最终的检测能力。随机选取某个动态视频内的一帧,对比3种方法的去噪效果,结果如图1所示。
对比3种检测方法得出的结果与原始图像后发现,本文方法的去噪效果强于其余2种方法,经过本文方法去噪后的图像细节信息等更加清晰,有利于舰船目标检测。
3.2 检测效果在海上动态视频中进行舰船目标检测,随机抽取出1帧图像,利用3种目标检测方法对其中的目标进行检测,直观得出最佳的目标检测方法,实验结果如图2所示。
对比3种方法的检测结果后发现,显著性的舰船目标检测方法可以检测出舰船目标的大致轮廓,但边缘细节信息检测不完整;SAR图像舰船目标检测方法的缺点是检测不到部分较小的部位;反观本文方法,无论是边缘的细节信息或是船只较小的部位均能准确的检测到。这是因为本文方法在检测过程中,利用差值法对原始动态视频进行去噪处理,保证了图像的清晰度,也粗略地加强了图像内光线的适应性,进而提高本文方法的检测效果。
3.3 对动态视频图像变化的检测响应速度计算舰船在运动过程中,有光线的影响必定会出现倒影,倒影是影响舰船检测速度的一大因素。因此检测算法会对图像进行分割处理,分割结果直接影响目标检测响应速度。通常情况下,检测过程,需要多帧图像才能保证最终的检测结果效果是最佳,但这也会降低检测效率,即对图像变化的响应较慢。因此,检测过程中使用的图像帧数量,可用于评价每种方法响应速度,实验结果如表1所示。
在实验过程中,保证每组实验下3种方法的检测效果以及实验环境均相同,仅仅对比3种方法所需的图像帧数,即记录需要多少帧图像方法才能得到最终的效果,可将其视为响应速度。为了降低偶然性,随机选取光线以及环境均不相同的10组实验样本,利用3种方法对其进行检测。
根据表1可知,本文方法在每组实验下检测出想要的效果,所需的图像帧数均远远小于其余2种方法,说明本文方法的响应速度可观。这是因为本文方法实时更新图像背景模型,确保图像对光线的适应能力是最强的。
4 结 语海上舰船运动目标检测有重要的意义,本文提出基于动态视频信息分析的海上舰船目标检测方法,解决了海上舰船检测效果差、对动态视频变化响应速度慢以及去噪效果差的问题,可有效监管海上情况,及时做出救援等行动。
[1] |
周安然, 谢维信, 裴继红. 傅里叶域内双背景模型的海上红外序列图像目标检测[J]. 信号处理, 2022, 38(1): 164-173. DOI:10.16798/j.issn.1003-0530.2022.01.019 |
[2] |
赵浩光, 王平, 董超, 等. 结合多尺度视觉显著性的舰船目标检测[J]. 光学精密工程, 2020, 28(6): 1395-1403. |
[3] |
杨龙, 苏娟, 黄华, 等. 一种基于深层次多尺度特征融合CNN的SAR图像舰船目标检测算法[J]. 光学学报, 2020, 40(2): 132-140. |
[4] |
盖杉, 鲍中运. 基于深度学习的高噪声图像去噪算法[J]. 自动化学报, 2020, 46(12): 2672-2680. |