舰船科学技术  2022, Vol. 44 Issue (19): 134-137    DOI: 10.3404/j.issn.1672-7649.2022.19.026   PDF    
基于视觉信息融合技术的水面船只检测技术开发
包琳     
大连海洋大学,辽宁 大连 116023
摘要: 无人船艇作为一种新兴船舶,不论在军事领域还是商业领域都具有非常重要的价值。本文的研究方向是水面无人船目标检测技术开发,分别介绍了毫米波雷达目标探测技术和计算机视觉目标识别技术的原理,基于2种目标探测手段,开发一种基于信息融合的水面船舶目标检测技术,从时间配准和空间配准等方面进行详细阐述。
关键词: 无人船     目标检测     信息融合技术     雷达     计算机视觉    
Development of surface ship detection technology based on visual information fusion technology
BAO Lin     
Dalian Ocean University, Dalian 116023, China
Abstract: As a new kind of ship, unmanned ship has very important value in both military and commercial fields. The research direction of this paper is the development of ship target detection technology for surface unmanned ships. The principles of millimeter wave radar target detection technology and computer vision target recognition technology are introduced respectively. Based on the two target detection methods, a surface ship target detection technology based on information fusion is developed, which is described in detail from the aspects of time registration and space registration.
Key words: unmanned ship     target detection     information fusion technology     radar     computer vision    
0 引 言

无人船借助远程遥控和自主控制器实现水面的无人作业,由于其显著的成本优势和灵活特性,在军事、商业领域获得了广泛的重视,尤其以水面船只等目标探测的无人船,已经成为一个重要研究方向。本文针对无人船的目标探测技术,主要做以下工作:

1)解析水面无人船的激光雷达目标探测技术,介绍激光雷达系统的基本原理,对激光雷达的信号进行数学建模;

2)研究水面无人船基于计算机视觉技术的目标探测技术,对计算机视觉的图像分割、图像滤波[1]、特征提取等内容重点进行介绍;

3)提出一种基于视觉信息融合技术的水面船只目标检测技术,重点介绍激光雷达探测信号和计算机视觉信号的融合方法,从时间序列和空间配准等方面进行详细研究。

1 无人船的激光雷达目标检测技术

在水面无人船中装载量最大的目标探测设备为超声波雷达、毫米波雷达和激光雷达传感器等,其中,毫米波雷达传感器的传输介质为24 GHz频率的毫米波,能够实现微波制导,具有体积小、空间分辨率高等优点。激光雷达传感器的信息传输介质为激光,其工作原理是向目标发射激光束,然后解析目标的激光回波信号,经过数字信号处理后就可以获得目标的距离、方位、高度、速度等参数[2]

由于毫米波雷达传感器的穿透能力和抗干扰能力强,因此,本文在设计基于视觉信息融合技术的目标检测技术时,采用的研究对象为毫米波雷达。

图1为毫米波雷达传感器的工作原理图。

图 1 毫米波雷达传感器的工作原理图 Fig. 1 Working principle diagram of millimeter wave radar sensor

如图,毫米波雷达传感器系统主要包括雷达收发前端、接收天线、发射天线、控制电路、数字信号处理器、雷达信号发生器等。

控制电路产生的线性调频信号模型可表示为:

$ f\left( t \right) = rect{\left( {\frac{t}{T}} \right)^{j\sqrt 2 \text{π} \left( {{f_0} + \frac{k}{2}{t^3}} \right)}} \text{。} $

其中: $ rect\left( {\frac{t}{T}} \right) $ 为矩形信号; $ {f_0} $ 为毫米波雷达信号的载波频率[3],矩形信号的表达式如下:

$ rect\left( {\frac{t}{T}} \right) = \left\{ {\begin{array}{*{20}{c}} {0,\;\;\;\;\;\;\left| {\dfrac{t}{T}} \right| \leqslant 1},\\ {1,\;\;\;\;\;\;\;\;{\rm{other}}} 。\end{array}} \right. $

毫米波雷达系统的目标探测区域坐标表示为:

$ \left\{ {\begin{array}{*{20}{l}} {{L_s}=\dfrac{1}{2}{R_0}\cos {\theta _\alpha }\cos {\theta _r} - {R_0}\sin {\theta _\alpha }} ,\\ {{\rm{W}}={R_0}\cos {\theta _\alpha } - {R_0}\sin {\theta _\alpha }} 。\end{array}} \right. $

其中: $ {R_0} $ 为毫米波雷达与目标的距离; $ {\theta _\alpha } $ 为雷达信号的发射方位角, $ {\theta _r} $ 为雷达的接收方位角。

毫米波雷达的信号模型如下:

$ f\left( t \right) = a\left( t \right)\cos \left[ {\sqrt 2 \text{π}i {f_0}t + \varphi \left( t \right)} \right]rect{\left( {\frac{t}{T}} \right)^{j\sqrt 2 \text{π} \left( \begin{subarray}{l} 0 \\ {h_0} + \frac{k}{2}{t^3} \end{subarray} \right)}} \text{。} $

其中: $ a\left( t \right) $ 为毫米波幅值函数; $ {f_0} $ 为毫米波信号的初始频率; $ \varphi \left( t \right) $ 为毫米波的相位函数;T为毫米波雷达信号的周期。

2 无人船的计算机视觉目标探测技术

基于计算机视觉的目标探测技术是近年来的一种新兴技术,而高性能计算机和图像学理论的发展为这一技术提供了保障。

无人船利用摄像头等图像采集设备获取海上目标的视频和图像,然后通过图像的分析和处理进行目标的定位与提取。基于计算机视觉的目标探测对硬件设备的要求较高,但目标探测的精度也相对于毫米波雷达更高。

无人船的计算机视觉目标探测流程如图2所示。

图 2 无人舰船的计算机视觉目标探测流程 Fig. 2 Computer vision target detection process of unmanned ship

1)目标视频和图像获取

包含目标的视频图像获取,是进行目标探测的第一步,视频和图像的分辨率直接决定了目标探测的精度。因此,本文无人船采用50倍可变焦镜头,分辨率可达到1080 P。

2)图像的预处理

目标视频图像识别的重要因素是图像的色度信号和亮度信号,首先,进行图像的颜色空间分解。使用YUV(颜色、亮度、灰度)颜色空间进行无人船探测目标图像的分解,空间转换公式如下:

$ \left[ {\begin{array}{*{20}{c}} Y \\ U \\ V \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {0.257}&{0.504}&{0.098} \\ {0.439}&{ - 0.368}&{ - 0.071} \\ { - 0.148}&{ - 0.291}&{0.439} \end{array}} \right]\left[ {\begin{array}{*{20}{l}} R \\ G \\ B \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} {16} \\ {128} \\ {128} \end{array}} \right] \text{。} $

基于计算机视觉技术的目标探测易受到噪声信号的干扰,比如海上的雾气、太阳光反射等,因此,在目标识别前需要对图像进行噪声处理。使用高斯线性滤波算法进行图像的降噪,高斯滤波函数模型如下:

$ g(i,j) = \exp \left[ { - \frac{{\left( {{i^2} + {j^2}} \right)}}{{2{\sigma ^2}}}} \right] \text{。} $

式中: $ \sigma $ 为滤波标准差, $ \sigma $ 越大,则滤波的带宽越宽,可过滤。

3)图像背景滤波

背景滤波是将视频图像中前后两帧中相同的背景像素进行过滤和消减,主要采用差分算法,判断前后两帧差值与设定的阈值关系,当低于阈值时,可将图像背景消减,得到二值化图像。

视频图像的差分算法如下:

$ {f_r}(x,y,t) = \left\{ {\begin{array}{*{20}{l}} {{f_e}(x,y,t)},&{\left| {{f_e}(x,y,t) - {f_b}(x,y,t)} \right| \geqslant T},\\ 0,&{\left| {{f_e}(x,y,t) - {f_b}(x,y,t)} \right| < T} 。\end{array}} \right. $

式中: $ {f_e}(x,y,t) $ 为含有目标信息的当前帧图像; $ {f_r}(x,y,t) $ 为含有目标的背景图像;T为设定的阈值。图像背景滤波算法的原理如图3所示。

图 3 图像背景滤波算法的原理 Fig. 3 Principle of image background filtering algorithm

4)图像分割和目标识别

对前文处理的目标图像进行边缘图像分割和特征提取,可以获得被测目标的完整信息。

3 基于视觉信息融合技术的无人船水面船只检测技术 3.1 雷达与计算机视觉探测技术的信息融合算法

基于计算机视觉技术的目标探测技术精度更高,但易受海上气象噪声的干扰;基于毫米波雷达的目标探测精度略低,但信号穿透能力强,能够实现全天候的目标探测。因此,文中重点研究将雷达与计算机视觉探测技术的信息融合算法,既能提升目标探测的精度,又能降低探测过程的噪声。

输入到统计决策模型或非线性滤波器(贝叶斯决策规则,扩展卡尔曼滤波器EKF,无损卡尔曼滤波器UKF)中,以获得融合结果。

信息融合是在特征的层级上进行融合,将雷达和视觉探测提取的目标特征进行运算,在时间序列和空间配准等维度实现融合,如图4所示。

图 4 雷达与计算机视觉探测的信息融合算法 Fig. 4 Information fusion algorithm of radar and computer vision detection

雷达和视觉传感器信息融合过程采用LEE滤波算法提高信号精度,滤波器的模型如下式:

$ R\left( t \right) = \frac{{w\left( t \right) + 1}}{{I\left( t \right)\left( {1 - w\left( t \right)} \right)}} \text{。} $

其中: $ W\left( t \right) $ 为权重函数; $ W\left( t \right) = 1 - \dfrac{{{\sigma _0}^2}}{{{\sigma _i}^2\left( t \right)}} $ $ {\sigma _0} $ 为雷达噪声均值; $ {\sigma _i} $ 为图像噪声方差; $ I\left( t \right) $ 为目标图像的像素。

模型噪声方差满足:

$ \int\limits_R {\left| {\frac{{{\sigma _0}}}{{{\sigma _i}}}} \right|^2}{\rm{d}}t \leqslant \infty \text{。} $

LEE滤波器的小波变换能够提高噪声滤波的带宽,如下式:

$ F\left( {s,t} \right) = \left\{ {f\left( t \right),R\left( t \right)} \right\} = \frac{1}{{\sqrt s }}\int\limits_{}^{} {f\left( t \right)} R\left( {\frac{{t - \alpha }}{s}} \right){\rm{d}}t 。$

其逆变换为:

$ R\left( {s,t} \right) = \frac{1}{{{\alpha ^2}}}\int\nolimits_{ - \infty }^\infty {w\left( t \right)F\left( {s,t} \right)} R\left( {\frac{{t - \alpha }}{s}} \right){\rm{d}}t \text{。} $

式中:s,t为小波变换因子。

3.2 无人船水面船只目标检测的时空对准

毫米波雷达与视觉探测器的融合可分为时间配准和空间配准,分别如下:

1)时间配准

无人船毫米波雷达采样周期为8 ms,视觉传感器的采样频率为2 ms,在信息融合过程中需要保证2种传感器在时间上的同步,水面船只探测的时间配准示意图如图5所示。

图 5 水面船只探测的时间配准示意图 Fig. 5 Schematic diagram of time registration for surface ship detection

2)空间配准

毫米波雷达与视觉传感器的目标探测空间参考不同,因此需要进行空间配准,建立空间配准坐标系如图6所示。

图 6 空间配准坐标系 Fig. 6 Spatial registration coordinate system

毫米波雷达空间的点p坐标 $ \left( {{X_w},{Y_w},{Z_w}} \right) $ ,视觉传感器中对应坐标 $ \left( {u,v,l} \right) $ ,可得转换关系为:

$ \left[ {\begin{array}{*{20}{c}} u \\ v \\ l \end{array}} \right] = M\left[ {\begin{array}{*{20}{c}} {{X_w}} \\ {{Y_w} - m} \\ {{Z_w}} \\ 1 \end{array}} \right]\dfrac{1}{{{Z_w}}} = M\left[ {\begin{array}{*{20}{c}} {\dfrac{{R \times \sin \alpha }}{{{\text{n}} + R \times \cos \alpha }}} \\ {\dfrac{{ - h - m}}{{{\text{n}} + R \times \cos \alpha }}} \\ l \end{array}} \right] \text{。} $

式中: $ m $ 为映射长度; $ \alpha $ 为坐标系相对倾角; $ R $ 目标距离。

4 结 语

本文提出一种将毫米波雷达与视觉传感器相结合的水面船只目标探测算法,能够提高无人船的目标探测性能。

参考文献
[1]
王萍. 基于数据特征的在线健康社区信息融合模式研究[J]. 现代情报, 2022, 42(8): 28-36+167.
WANG Ping. Research on Information Fusion Mode of Online Healthy Community Based on Data Characteristics[J]. Modern Intelligence, 2022, 42(8): 28-36+167. DOI:10.3969/j.issn.1008-0821.2022.08.004
[2]
赵海萍. 无线传感器网络中的可靠信息融合模型研究[J]. 微型电脑应用, 2022, 38(7): 121-123+153.
ZHAO Hai-ping. Research on Reliable Information Fusion Model in Wireless Sensor Networks[J]. Microcomputer Application, 2022, 38(7): 121-123+153. DOI:10.3969/j.issn.1007-757X.2022.07.034
[3]
张付东. 基于人工智能与多传感器信息融合的电缆火灾预警算法[J]. 电子设计工程, 2022, 30(6): 86–90.
ZHANG Fu-dong. Cable fire early warning algorithm based on artificial intelligence and multi-sensor information fusion [J]. Electronic Design Engineering, 2022, 30(6): 86–90.