舰船科学技术  2024, Vol. 46 Issue (12): 174-177    DOI: 10.3404/j.issn.1672-7649.2024.12.031   PDF    
基于特征融合的无人船目标识别系统设计
颜悦, 游学军, 吕太之     
江苏海事职业技术学院 信息工程学院,江苏 南京 211170
摘要: 通过特征融合可获取全面的目标特征信息,利于提升目标识别的稳定性,为此设计基于特征融合的无人船目标识别系统。利用无人船搭载红外热成像仪与可见光摄像头,采集目标红外与可见光图像;通过处理器和可编程逻辑控制器,设计特征提取模块,用于提取红外与可见光图像的无人船目标特征;特征融合模块利用典型相关分析理论,融合红外与可见光图像的无人船目标特征;目标识别模块通过径向基函数网络,结合特征融合结果,输出无人船目标识别结果。实验结果证明,该系统可有效采集无人船目标的红外与可见光图像,完成特征提取;该系统具备较优的特征融合效果,并精准实现无人船目标识别。
关键词: 特征融合     无人船     目标识别     可编程逻辑     典型相关分析    
Design of unmanned ship target recognition system based on feature fusion
YAN Yue, YOU Xuejun, LV Taizhi     
School of Information Engineering, Jiangsu Maritime Institute, Nanjing 211170, China
Abstract: Through feature fusion, comprehensive target feature information can be obtained, which is conducive to improving the stability of target recognition. Therefore, an unmanned ship target recognition system based on feature fusion is designed. Infrared and visible images of the target are collected by the unmanned ship equipped with infrared thermal imager and visible light camera. Based on the processor and programmable logic controller, a feature extraction module is designed to extract the target features of the unmanned ship in infrared and visible images. The feature fusion module uses the theory of canonical correlation analysis to fuse the target features of the unmanned ship in infrared and visible images. The target recognition module outputs the target recognition result of unmanned ship through radial basis function network and feature fusion result. Experiments show that the system can effectively collect infrared and visible images of unmanned ship targets and complete feature extraction. The system has better feature fusion effect and accurately realizes the target recognition of unmanned ship.
Key words: feature fusion     unmanned ship     target recognition     programmable logic     canonical correlation analysis    
0 引 言

无人船不仅能自主航行,还具备环境感知、目标识别与跟踪、智能决策等多种功能[1],因此在海洋探测、环境监测、军事侦察等领域具有广阔的应用前景。目标识别系统为无人船的重要组成部分,它直接关系到无人船在各种复杂环境下的安全性和有效性[2]。因此,设计一套高效、稳定、可靠的无人船目标识别系统具有重要的理论意义和实际应用价值。

倪桦等[3]利用激光雷达采集目标的距离和深度信息,采用摄像头采集目标的纹理和颜色信息,并进行预处理和特征提取;通过深度学习模型对提取的特征进行训练和优化,实现目标的实时识别和分类。摄像头虽可提供丰富的纹理和颜色信息,但在光照条件不佳或存在遮挡的情况下,其性能会受到严重影响。例如,在夜晚或雾霾天气中,摄像头的成像质量会大幅下降,导致目标特征信息缺失或失真。王哲昊等[4]通过提取目标的角域特征,结合粒子群算法进行特征选择与优化,实现目标的准确识别。角域特征能有效地描述目标形状和结构信息,而粒子群算法则能自适应地调整特征权重,提高识别性能。角域特征主要关注目标的形状和结构信息,对于目标的纹理、颜色等表面特性则考虑较少,在某些复杂场景下,角域特征无法全面描绘目标特征信息,导致系统的识别性能受到影响。刘可佳等[5]通过构建并优化卷积神经网络模型,实现目标的精确识别。优化过程包括网络结构的调整、参数的优化以及训练策略的选择,旨在提升系统识别精度。卷积神经网络在处理图像数据时,主要关注图像的局部特征,通过卷积核在图像上的滑动来提取特征。这种局部感知的特性使网络能学习到图像的层次化表示,但却忽略了一些全局或整体的特征信息。因此,在某些情况下,系统可能无法捕捉到目标的完整特征,导致识别结果不够准确。

通过融合不同类型的特征,可更全面地捕捉到目标丰富特征信息,有助于系统在复杂多变的航行环境中,如不同光照条件、波浪干扰或目标遮挡等情况下,依然能准确、稳定地识别目标。为此,设计基于特征融合的无人船目标识别系统,提高无人船在复杂环境下的目标识别能力。

1 基于特征融合的无人船目标识别系统设计 1.1 无人船目标特征提取模块

利用无人船搭载红外热成像仪器与可见光摄像头,采集无人船附近目标物体的红外与可见光图像。同时采集红外与可见光图像,无人船可充分利用这2种图像类型的优势,实现全天候的目标识别。在白天或光线良好的条件下,可见光图像可提供丰富的细节信息,帮助无人船准确识别目标。在夜间或恶劣天气下,红外图像则能确保无人船仍然能够捕捉到目标。通过特征提取模块,分别提取2种类型图像的无人船目标特征,为后续无人船目标识别提供全面的特征信息。特征提取模块的结构如图1所示。

图 1 无人船目标特征提取模块 Fig. 1 Unmanned ship target feature extraction module

该模块中主要包含处理器与可编程逻辑控制器2个部分。通过USB接口连接红外热成像仪与可见光摄像头,用于接收无人船搭载的红外热成像仪与可见光摄像头,采集的无人船附近目标物体的红外图像与可见光图像。利用UART实现特征提取模块与系统中其余模块之间的串行通信,用于无人船目标图像特征的传输和指令接收。通过DDR存储器存储从红外热成像仪和可见光摄像头捕获的图像数据,以及处理过程中的中间结果和最终特征提取结果[6]。通用外设接口用于连接外部设备。处理器中通过DDR控制器控制DDR存储器的读写操作,确保图像数据与图像特征在处理器和存储器之间的高效传输。AXI接口(AXI-HP和AXI-GP)负责提供高速数据传输通道,实现高速数据传输和高效的数据交换。可编程逻辑控制器中,AXI互联矩阵的主要作用是使特征提取模块中多个设备之间能高效地进行数据交互。VDMA负责从处理器中读取无人船目标红外图像与可见光图像数据。FAST为一种加速的特征提取算法,用于从红外图像与可见光图像中,快速提取无人船目标的关键特征。Sobel为一种用于边缘检测的算子,用于提取红外图像与可见光图像中目标的轮廓和边缘特征。通过HDMI接口,将提取的红外图像与可见光图像特征,传输至显示器上进行显示。

1.2 无人船目标特征融合模块

提取红外图像与可见光图像特征为:$ \left( {{x_i},{y_i}} \right),i = 1,2, \cdots ,N $,均值为$ \left( {\bar x,\bar y} \right) $。利用典型相关分析理论,融合特征时,就是搜索获取一对投影方向$ a $$ b $,投影$ a\left( {{x_i} - \bar x} \right) $$ b\left( {{y_i} - \bar y} \right) $间的相关性达到峰值。利用最大化准则函数L(a,b),确定$ a $$ b $,公式如下:

$ L\left( {a,b} \right) = \displaystyle\frac{{{a^{\text T}} b \displaystyle\frac{{\displaystyle\sum\limits_{i = 1}^N {\left( {{x_i} - \bar x} \right){{\left( {{y_i} - \bar y} \right)}^{\text T}}} }}{{N - 1}}}}{ {\sqrt {{ a^{\text T}} a \displaystyle\frac{{\displaystyle\sum\limits_{i = 1}^N {\left( {{x_i} - \bar x} \right) {{\left( {{x_i} - \bar x} \right)}^{\text T}}} }}{{N - 1}}} \sqrt {{ b^{\text T}} b \displaystyle\frac{{\displaystyle\sum\limits_{i = 1}^N {\left( {{y_i} - \bar y} \right) {{\left( {{y_i} - \bar y} \right)}^{\text T}}} }}{{N - 1}}} }} 。$ (1)

其中,$ {\mathrm{T}} $为转置符号。

$ X $$ Y $协方差矩阵为PxxPyy$ X $$ Y $的互协方差矩阵为Pxy。将式(1)替换为如下优化问题:

$ \begin{array}{l} \max {a^{\mathrm{T}}}b{P_{xy}} 。\\ s.t. \\ \left\{ \begin{array}{l} {a^{\mathrm{T}}}a{P_{xx}} = 1 ,\\ {b^{\mathrm{T}}}b{P_{yy}} = 1 。\\ \end{array} \right. \end{array} $ (2)

通过Lagrange乘数法,变更式(2)得到:

$ \left\{ \begin{gathered} \frac{{a{P_{xy}}{P_{yx}}}}{{{P_{yy}}}} = {\gamma ^2}{P_{xx}}a ,\\ \frac{{b{P_{yx}}{P_{xy}}}}{{{P_{xx}}}} = {\gamma ^2}{P_{yy}}b 。\\ \end{gathered} \right. $ (3)

其中,$ \gamma $为广义特征值。

求解式(3)中全部的投影方向$ {a_k} $$ {b_k} $$ k = 1,2, \cdots ,M $,并将其作为无人船目标特征向量,便可获取$ X $$ Y $间的相关特征对$ \left( {a_1^{\mathrm{T}}{x_i},b_1^{\mathrm{T}}{y_i}} \right),\left( {a_2^{\mathrm{T}}{x_i},b_2^{\mathrm{T}}{y_i}} \right), \cdots , \left( {a_M^{\mathrm{T}}{x_i},b_M^{\mathrm{T}}{y_i}} \right) $,同时$ {\gamma _k} = \mu \left( {a_k^{\mathrm{T}}{x_i},b_k^{\mathrm{T}}{y_i}} \right) $$ \mu $为相关系数。

式(3)中,选择前$ l $个最大特征值相应的特征向量,建立变换矩阵$ {\boldsymbol{U_x}} $$ {\boldsymbol{U_y}} $,即$ {\boldsymbol{U_x}} = \left( {{a_1},{a_2}, \cdots ,{a_l}} \right) $$ {\boldsymbol{U_y}} = \left( {{b_1},{b_2}, \cdots ,{b_l}} \right) $,通过并行策略,完成红外图像与可见光图像特征融合,特征融合公式如下:

$ Z = {\left( \begin{gathered} _{}{U_x} \\ i \cdot U_y^T \\ \end{gathered} \right)^{\mathrm{T}}}\left( \begin{gathered} X \\ Y \\ \end{gathered} \right) 。$ (4)
1.3 无人船目标识别模块

利用目标识别模块,结合特征融合结果$ Z $,通过径向基函数(RBF)网络,得到无人船目标识别结果。RBF网络经由输入层将1.2节得到的无人船目标特征融合结果$ Z $,输入至隐层,该层中第个单元的输出结果为:

$ {g_j} = {e^{ - {{\left\| { \frac{{Z - {q_j}}}{{{\delta _j}}}} \right\|}^2}}} 。$ (5)

式中:$ {q_j} $为隐层单元中心;$ {\delta _j} $为单元宽度。

输出层输出的无人船目标识别结果:

$ {y_\tau } = \sum\limits_{\tau = 1}^\eta {\sum\limits_{j = 1}^h {{w_{\tau j}}{g_j}} } 。$ (6)

式中:$ {w_{\tau j}} $为权值;$ h $$ \eta $为隐层与输出层的单元数量。

RBF网络权值更新的目标函数为:

$ J\left( t \right) = 0.5\sum\limits_{v = 1}^V {{{\left[ {{y_v}\left( t \right) - {{\hat y}_v}\left( t \right)} \right]}^2}} 。$ (7)

式中:$ t $为迭代次数;$ {{v}} $为无人船目标特征样本数量;第$ v $个特征样本对应的无人船目标识别结果,以及期望结果为$ {y_v}\left( t \right) $$ {\hat y_v}\left( t \right) $。权值更新公式为:

$ {w_{\tau j}}\left( {t + 1} \right) = {w_{\tau j}}\left( t \right) - c\frac{{\partial J\left( t \right)}}{{\partial {w_{\tau j}}\left( t \right)}}。$ (8)

其中,$ c $为学习率。

2 实验结果与分析

本文搭建的无人船目标识别系统分析实验的实验环境,实验中,该无人船附近包含3个物体,分别为瓶子、渔船与浮漂。无人船搭载的可见光摄像头型号为DS-CAM-V1,红外热成像仪型号为DS-IR-T1。无人船的长、宽、高为3.5 m、1.8 m、0.8 m,自重在25 kg左右,续航时间超过8 h,最大航速大于25 kn。在该实验环境中,利用本文系统采集该无人船附近目标物体的红外图像与可见光图像,采集结果如图2所示。分析可知,本文系统可有效控制红外热成像仪,与可见光摄像头,采集无人船附近目标物体的红外图像,以及可见光图像,为后续无人船目标识别提供数据支持。

图 2 无人船目标红外与可见光图像采集结果 Fig. 2 Acquisition results of infrared and visible light images of unmanned ship targets

利用本文系统在红外图像与可见光图像中,提取无人船目标的特征,以可见光图像无人船附近目标物体的边缘特征为例,特征提取结果如图3所示。分析可知,本文系统可有效在可见光图像中,提取无人船附近目标物体的边缘特征,且提取的边缘特征清晰、连续,利于提升后续无人船目标识别精度。

图 3 特征提取结果 Fig. 3 Feature extraction results

利用本文系统图像特征进行特征融合,以浮漂与渔船目标的特征融合结果为例,特征融合结果如图4所示。分析可知,本文系统可有效完成可见光图像与红外图像的特征融合,对于不同无人船附近目标物体的特征融合结果来说,2个目标的归一化特征值整体变化趋势基本相同,但具体数值完全不同,说明本文系统融合后的特征具备较优区分性,即特征融合效果较优。

图 4 特征融合结果 Fig. 4 Feature fusion results

利用本文系统对该无人船目标进行识别,目标识别结果如图5所示。分析可知,经过本文系统识别后,发现该无人船附近包含3个目标,分别为瓶子、浮漂与渔船,与实际情况完全相符,说明本文系统可精准识别无人船目标。

图 5 无人船目标识别结果 Fig. 5 Target recognition results of unmanned ship
3 结 语

设计基于特征融合的无人船目标识别系统,能够在无人船航行过程中,实时检测并识别出周围的目标物体,如其他船舶、浮标、障碍物等。通过对这些目标物体的准确识别,无人船可做出正确决策,避免碰撞,确保航行安全。同时,本文系统还可为无人船提供丰富的环境信息,帮助无人船更好地适应各种复杂的航行环境。

参考文献
[1]
初庆栋, 尹羿博, 龚小旋, 等. 基于双偶极向量场的欠驱动无人船目标跟踪制导方法[J]. 中国舰船研究, 2022, 17(4): 32-37.
CHU Qingdong, YIN Yibo, GONG Xiaoxuan, et al. Method for target tracking and guidance of under-actuated unmanned surface vehicle based on two-dimensional dipolar vector field[J]. Chinese Journal of Ship Research, 2022, 17(4): 32-37.
[2]
何志强, 专祥涛, 梁杰, 等. 基于区域人工势场的无人船目标跟踪策略研究[J]. 中国造船, 2023, 64(1): 236-245.
HE Zhiqiang, ZHUAN Xiangtao, LIANG Jie, et al. Research on target tracking strategy of unmanned surface vessel based on regional artificial potential field[J]. Shipbuilding of China, 2023, 64(1): 236-245. DOI:10.3969/j.issn.1000-4882.2023.01.021
[3]
倪桦, 关巍, 张显库. 基于激光雷达与摄像头的无人船目标感知与测距[J]. 船舶工程, 2022, 44(9): 107-113.
NI Hua, GUAN Wei, ZHANG Xianku. Target perception and location of unmanned ship based on lidar and camera[J]. Ship Engineering, 2022, 44(9): 107-113.
[4]
王哲昊, 简涛, 黄晓冬, 等. 基于角域特征PSO的海面目标HRRP识别方法[J]. 系统工程与电子技术, 2023, 45(6): 1642-1650.
WANG Zhehao, JIAN Tao, HUANG Xiaodong, et al. HRRP recognition method for sea surface targets based on angular domain feature PSO[J]. Systems Engineering and Electronics, 2023, 45(6): 1642-1650.
[5]
刘可佳, 马荣生, 唐子木, 等. 采用优化卷积神经网络的红外目标识别系统[J]. 光学精密工程, 2021, 29(4): 822-831.
LIU Kejia, MA Rongsheng, TANG Zimu, et al. Design of infrared target recognition system with optimized convolutional neural network[J]. Optics and Precision Engineering, 2021, 29(4): 822-831. DOI:10.37188/OPE.20212904.0822
[6]
孙祎芸, 樊臻, 董山玲, 等. 基于双流对称特征融合网络模型的海洋船舶目标识别[J]. 控制理论与应用, 2022, 39(11): 2009-2018.
SUN Yiyun, FAN Zhen, DONG Shanling, et al. Marine ship target recognition using two-stream symmetric feature fusion convolutional neural network[J]. Control Theory & Applications, 2022, 39(11): 2009-2018. DOI:10.7641/CTA.2022.20007