0 引　言

水下目标的精确检测与跟踪是海洋资源开发的重要前提，在海床建模、海底勘探、水下航行等领域应用广泛^[1]。声呐成像基于水声信息，具有穿透性与实时性，相比于光学成像更适用于水下多目标跟踪任务。然而，由于水下环境复杂、通信效果差，声呐成像存在分辨率较低、清晰度差、噪声过大等问题，从而降低了水下多目标跟踪的精度^[2]。本文针对声呐图像背景噪声大、跟踪模型处理速度慢等问题，提出低检测置信度下的轻量水下多目标跟踪算法。

随着深度学习技术的发展，基于特征检测的跟踪方法逐渐成为主流的水下多目标跟踪方法。该方法对于水下杂波与虚警也存在较好的抵抗性，且能够通过深层次、多维度的特征提取与融合弥补声呐图像的缺陷。黄松威等^[3]基于粒子滤波算法提出水下声呐目标跟踪方法。该方法通过对图像噪声的降低与图像边缘的改善增强声呐图像质量，在此基础上得到了更准确的目标跟踪结果。针对水下鱼类的实时跟踪，Zhai等^[4]构建目标跟踪模型强化在线目标跟踪（Strong Simple Online Realtime Tracking，StrongSORT），该模型对目标检测网络进行轻量化改进，同时利用广义交并比匹配改进目标跟踪算法，提高了多目标跟踪的准确性与稳定性。Zhao等^[5]基于YOLOv5构建深度在线实时跟踪（Deep Simple Online Realtime Tracking，Deep SORT）目标跟踪算法，对潜水员单一类别完成水下跟踪，但Deep SORT算法的目标检测模块与特征重识别模块相互独立，这不仅带来了运行速度降低的问题，也一定程度上影响了跟踪精度。

水下声呐视频图像存在噪声严重、清晰度低等缺陷，跟踪模型难以在低检测置信度条件下准确定位目标。此外，水下设备存在运算性能限制，跟踪模型的部署需要进行轻量化处理。针对以上问题，本文提出一种水下多目标跟踪算法YOLO-Fair MOT，其主体结构如图1所示。轻量化YOLOv5利用通道-空间混合注意力降低背景噪声干扰，生成目标检测结果，同时结合深度可分离卷积降低模型尺寸。低检测置信度跟踪模型基于卡尔曼滤波器对目标状态进行预测，并引入Byte数据匹配与广义交并比匹配算法，进行实时轨迹匹配与更新，同时提升对低置信度目标的跟踪准确率。

1 轻量化YOLOv5水下多目标检测模型

声呐图像存在特征模糊、噪声大等缺点，造成检测精度不足、背景混淆等问题，不利于后续的目标跟踪。本文结合深度通道-空间混合注意力模块与深度可分离卷积构建轻量化YOLOv5水下多目标检测模型，实现低成像条件下水下目标的快速、准确识别，模型结构如图2所示。

主干网络对检测图像进行特征提取。图像经切片模块进行特征图像的快速分割，随后通过4层不同深度的特征提取卷积网络提取目标特征。卷积网络基于深度可分离卷积进行构建，达到控制参数量、加速特征提取过程的效果。主干网络引入通道-空间混合注意力模块，赋予检测目标区域以更高的权重，有利于模型对关键信息的提取。最终经过串联池化层，输出3种尺度不同的特征层。

颈部网络承接主干网络，通过路径聚合网络进行进一步特征融合。颈部网络在正向特征金字塔结构的基础上结合倒置特征金字塔，通过上下采样与特征拼接，融合3个特征层的多维特征，以丰富特征表达。

头部网络结合热力图分支、宽高分支以及偏移分支构对特征图进行分类与回归，获取最终的目标检测结果。通过回归参数的计算，3种分支获取检测框的分类信息、检测框宽高以及中心点坐标。此时分支损失函数${L_{{{\mathrm{heat}}}}}$、${L_{{{\mathrm{size}}}}}$、${L_{{{\mathrm{offset}}}}}$为：

${\begin{aligned} & L_{\mathrm{heat}}= \\ &-\frac{1}{N}\sum\limits_{xy}^{ }\left\{ {\begin{aligned} &(1-\bar{M}_{xy})^{\alpha}\ln(\bar{M}_{xy})，M_{xy}=1，\\ &(1-\bar{M}_{xy})^{\beta}(M_{xy})^{\alpha}\ln(1-\bar{M}_{xy})，M_{xy}\ne1，\end{aligned}} \right.\end{aligned}}$

(1)

${L_{{{\mathrm{size}}}}} = \frac{1}{N}\sum\limits_{k = 1}^N {\left| {{{\bar s}_{{p_k}}} - {s_k}} \right|} ,$

(2)

$L_{\mathrm{offset}}=\frac{1}{N}\sum\limits_p^{ }\left|\tilde{O}_{\tilde{p}}-\left(\frac{p}{R}-\tilde{p}\right)\right|。$

(3)

式中：$N$为正样本个数；${\bar M_{xy}}$、${M_{xy}}$分别为目标点处预测热力值与实际热力值；${\tilde O_{\tilde p}}$与${s_k}$分别为宽高的预测值与实际值；${\tilde O_{\tilde p}}$为偏移量预测值；$p$为中心点坐标。

检测网络训练一般采用预生成锚框模板，再通过回归参数生成的方式获取目标检测框。然而锚框机制会在跟踪中带来身份信息的错误分配，产生网络混乱现象。检测模型生成一系列位置锚框对同一目标进行重复识别，并分配不同的身份信息。此时相同的检测框会持有不同的身份信息，进而使跟踪轨迹出现歧义，降低跟踪的成功率^[6]。为了保证准确识别的同时降低锚框机制带来的网络歧义，本文通过无锚框的检测分支构建头部网络，通过检测框参数的回归跳过锚框的生成过程，克服过量锚框生成导致的网络歧义增加、跟踪成功率降低的问题。

1.1 通道-空间随机混合注意力模块

本文引入注意力机制增强轻量化YOLOv5模型特征提取能力，其结构如图3所示。原始特征图$F$(C×H×W)输入混合注意力模块，通过特征分组并行计算模型注意力。该模块的输出为通道与空间2种维度的权重结合特征图。

通道注意力分支通过并行最大池化层$\mathrm{Max}Pool$与平均池化层$\mathrm{Avg}Pool$。通过全连接层$fc$对特征通道数进行压缩，并使用$\mathrm{Relu}$函数激活，恢复原始通道数。并行获取的特征图叠放后，通过$\mathrm{sigmoid}$激活函数获取每个通道的权重。通道注意力机制的数学表达式为：

$\begin{split} M_C(F)= & \mathrm{sigmoid}(fc(\mathrm{Relu}(fc(\mathrm{Max}Pool(F))))+ \\ &fc(\mathrm{Relu}(fc(\mathrm{Avg}Pool(F)))))。\end{split}$

(4)

式中：${M_C}(F)$(C×1×1)为输出通道特征图。

类似地，空间注意力机制通过并行最大池化层$\mathrm{Max}Pool$与平均池化层$\mathrm{Avg}Pool$，获取空间权重。随后通过7×7卷积改变特征图尺寸，最后通过$\mathrm{sigmoid}$函数进行激活。空间注意力机制表达式如下：

${M_S}(F) = \sigma ({f^{7 \times 7}}([\mathrm{Max}Pool(F);\mathrm{Avg}Pool(F)])) 。$

(5)

式中：${M_S}(F)$(1×H×W)为输出空间特征图。

同时为了确保运算速度与信息流通，混合注意力模块使用分组与重排机制，在通道重洗模块$Shuffle$中将上述并行输出结果进行随机打乱，确保内部信息融合与流通，最终输出的特征图$F '$如下：

$F'=Shuffle([M_C(F);M_S(F)])。$

(6)

声呐图像缺乏颜色特征，存在噪声干扰，导致目标与背景边界模糊。原始检测模型缺乏背景与目标间的区分手段，导致检测精确度降低。注意力机制通过池化操作整合特征图的特征信息，并计算通道权重与空间权重，使模型在目标位置与通道处有更高响应，而削弱背景处响应。此时轻量化YOLOv5模型能够克服背景噪声影响，在低成像条件下精确定位目标位置。

1.2 深度可分离卷积

深度可分离卷积结构如图4所示。该卷积结构分为深度卷积与逐点卷积。深度卷积核为分组的单通道换卷积核。通过分组卷积的形式，减少了卷积核通道数，降低了模型参数，提升了计算效率。而由于深度卷积的单通道特性，输出特征图仅具备单通道特征，且不同通道之间无关联。逐点卷积核为多通道1×1的标准卷积核，其作用为改变输出特征图通道数，同时生成新特征。逐点卷积在保持原有征图尺寸的同时，对特征图卷积运算结果进行多通道累加，产生新的融合特征。

设输入标准卷积的特征图尺寸为$L \times L \times {C_1}$，卷积核尺寸为$k \times k \times {C_2}$。标准卷积的计算代价为：

$f_{\mathrm{standard}}=k\times k\times C_1\times C_2\times L\times L。$

(7)

在与标准卷积等效的条件下，深度卷积核尺寸为$k \times k \times 1$，卷积核数量为${C_1}$；逐点卷积的卷积核尺寸为$1 \times 1 \times {C_2}$，卷积核数量为1。深度可分离卷积视为深度卷积与逐点卷积的组合，因此其计算代价为两者计算代价的叠加：

$f_{\text{depthwise}}=k\times k\times C_1\times L\times L+1\times1\times C_1\times C_2\times L\times L。$

(8)

相对于标准卷积，深度可分离卷积的计算代价之比为：

${\begin{aligned}[b] & \frac{f_{\mathrm{depthwise}}}{f_{\mathrm{standard}}} =\\ & \frac{k \times k \times {C_1} \times L \times L + 1 \times 1 \times {C_1} \times {C_2} \times L \times L}{k \times k \times {C_1} \times {C_2} \times L \times L} \approx \frac{1}{C_2} + \frac{1}{k^2} 。\end{aligned}}$

(9)

本文采用深度可分离卷积代替标准卷积，以控制模型大小、提升检测速度^[7]。相比于标准卷积，深度可分离卷积对卷积过程进行分解，将卷积层分解为独立的深度卷积与逐点卷积，大幅减小模型冗余参数与计算量。当卷积核大小$k = 3$时，深度可分离卷积计算量约为标准卷积的1/9，这表明深度可分离卷积的计算效率与轻量化程度均优于标准卷积。

2 水下多目标跟踪算法YOLO-Fair MOT

Fair MOT跟踪算法是一种视觉领域通用的多目标跟踪算法，通过合并检测模型与重识别模型，有效提高模型跟踪速度。本文利用轻量化YOLOv5代替Fair MOT原始检测模型，构建水下多目标跟踪算法YOLO-Fair MOT。同时针对原始跟踪算法难以保证轨迹完整与连续的问题，本文从水下低检测置信度的前提出发，结合广义交并比匹配算法与Byte数据匹配算法，对低置信度目标进行额外匹配运算，保证跟踪过程中轨迹的完整性。低检测置信度水下多目标跟踪算法YOLO-Fair MOT流程如图5所示。

2.1 卡尔曼滤波器运动模型的构建

YOLO-Fair MOT模型结合卡尔曼滤波器的预测结果与目标检测网络的检测结果，推理出目标在连续图像中的最优位置。设存在跟踪目标${{\boldsymbol{x}}_k}$，使用八维向量描述目标的位置与运动信息：

$\boldsymbol{x}_k=(x,y,a,h,\dot{x},\dot{y},\dot{a},\dot{h})^{\mathrm{T}}。$

(10)

式中：${{\boldsymbol{x}}_k}$为目标当前状态，包括预测框坐标、纵横比与高度，以及参数对应的速度信息。

假设$k + 1$时刻的系统状态与第$k$帧的系统状态有关，则可以列出系统在第$k$帧的状态方程与观测方程：

${{\boldsymbol{x}}_{k + 1}} = {{\boldsymbol{F}}_{k + {1}}}{{\boldsymbol{x}}_k} + {{\boldsymbol{w}}_{k + {1}}} ,$

(11)

$\boldsymbol{z}_{k+1}=\boldsymbol{H}_{k+1}\boldsymbol{x}_{k+1}+\boldsymbol{v}_{k+1}。$

(12)

式中：${{\boldsymbol{w}}_{k + {1}}}$、${{\boldsymbol{v}}_{k + 1}}$分别为预测与观测过程的噪声矩阵；${{\boldsymbol{F}}_{k + {1}}}$、${{\boldsymbol{H}}_{k + 1}}$分别为预测矩阵与观测矩阵。

在实际跟踪过程中实际的轨迹运动状态${{\boldsymbol{x}}_k}$与噪声${{\boldsymbol{w}}_{k + 1}}$未知，此时通过状态新息与卡尔曼增益对噪声进行估计：

${{\boldsymbol{\tilde z}}_{k + 1}} = {{\boldsymbol{z}}_{k + 1}} - {{\boldsymbol{\bar z}}_{k + 1}} = {{\boldsymbol{z}}_{k + 1}} - {{\boldsymbol{H}}_{k + {1}}}{{\boldsymbol{\bar x}}_{\bar k + 1}} ,$

(13)

$\boldsymbol{w}_{k+1}=\boldsymbol{K}_{k+1}\boldsymbol{\tilde{z}}_{k+1}。$

(14)

式中：${{\boldsymbol{K}}_{k + 1}}$为卡尔曼增益；${{\boldsymbol{\tilde z}}_{k + 1}}$为状态新息。

此时根据卡尔曼增益将噪声量引入预测环节，卡尔曼增益应使最优推理状态的协方差矩阵最小，根据协方差矩阵的定义得：

$\begin{split} {{\boldsymbol{P}}_{k + 1}} = & {{\boldsymbol{P}}_{\bar k + 1}} - {{\boldsymbol{K}}_{k + 1}}{{\boldsymbol{H}}_{k + 1}}{{\boldsymbol{P}}_{\bar k + 1}} - {{\boldsymbol{P}}_{\bar k + 1}}{\boldsymbol{K}}_{k + 1}^{\mathrm{T}}{\boldsymbol{H}}_{k + 1}^{\mathrm{T}} +\\ & {{\boldsymbol{K}}_{k + 1}}({{\boldsymbol{H}}_{k + 1}}{{\boldsymbol{P}}_{\bar k + 1}}{\boldsymbol{H}}_{k + {1}}^{\mathrm{T}} + {{\boldsymbol{R}}_{k + 1}}){\boldsymbol{K}}_{k + {1}}^{\mathrm{T}}。\end{split}$

(15)

式中：${{\boldsymbol{P}}_{\bar k + 1}}$为$k + 1$帧的预测误差协方差矩阵；${{\boldsymbol{R}}_{k + 1}}$为观测噪声的协方差矩阵。

对${{\boldsymbol{P}}_{\bar k + 1}}$对角线上的元素求导，得到卡尔曼增益为：

${{\boldsymbol{K}}_{k + 1}} = {{\boldsymbol{P}}_{\bar k + 1}}{\boldsymbol{H}}_{k + 1}^{\mathrm{T}}{({{\boldsymbol{H}}_{k + 1}}{{\boldsymbol{P}}_{\bar k + 1}}{\boldsymbol{H}}_{k + 1}^{\mathrm{T}} + {{\boldsymbol{R}}_{k + 1}})^{ - 1}}。$

(16)

基于卡尔曼增益可以根据预测量与观测量推理出第$k + 1$时刻的轨迹分布如下：

${{\boldsymbol{\bar x}}_{\bar k + 1}} = {{\boldsymbol{x}}_{\bar k + 1}} + {{\boldsymbol{K}}_{k + 1}}({{\boldsymbol{\bar z}}_{k + 1}} - {{\boldsymbol{H}}_{k + 1}}{{\boldsymbol{\bar x}}_{\bar k + 1}}) ,$

(17)

$\boldsymbol{P}_{k+1}=(\boldsymbol{E}-\boldsymbol{K}_{k+1}\boldsymbol{H}_{k+1})\boldsymbol{P}_{\overline{k}+1}。$

(18)

式中：${{\boldsymbol{\bar x}}_{\bar k + 1}}$、${{\boldsymbol{P}}_{k + 1}}$分别为卡尔曼滤波器推理出的最优状态与其协方差矩阵。

2.2 低检测置信度下的匹配策略

在低检测置信度条件下，水下跟踪目标存在外形模糊与位置突变的问题，导致检测结果与跟踪结果交并比低于阈值。但两者实际距离较小，跟踪结果仍可视为正确轨迹单元，将其舍弃不合理。对此，本文采用广义交并比计算非重叠区域中心距离，避免了原匹配策略对正确跟踪轨迹的排除。广义交并比$GIOU$的表达式为：

$GIOU=IOU+\frac{A\cup B}{C}-1。$

(19)

式中：$A$与$B$分别为2个不同的边界框；$C$为包含$A$与$B$的最小凸闭合框。

YOLO-Fair MOT的匹配策略如图6所示。跟踪模型基于卡尔曼滤波器生成跟踪轨迹，随后通过级联匹配与2次Byte匹配筛选正确的跟踪结果^[8]。级联匹配比较目标与检测结果形状特征的相似度，而Byte匹配以广义交并比为匹配阈值，对两者的位置重合程度进行度量。由于原始匹配策略仅涉及高置信度目标，在检测置信度较低的水下环境中，这种不完全匹配策略使得部分正确但检测低置信度较低的目标无法参与匹配，带来轨迹中断、身份信息频繁切换等问题。Byte数据匹配算法通过2次级联的广义交并比匹配，先后评估高置信度与低置信度检测结果的轨迹匹配性，保证低置信度目标参与匹配过程。同时由于低置信度目标仅参与第2次Byte匹配，降低了错误的低置信度目标影响，保证了匹配过程的准确性。

综上所述，针对低检测置信度条件下，跟踪算法难以充分利用低检测置信度目标的问题，本文基于广义交并比与Byte数据匹配算法优化匹配策略，减少正确水下跟踪目标的错误筛除，以此提高跟踪过程的准确性。

3 实验结果及分析

为验证YOLO-Fair MOT算法的性能，以水下声呐视频为研究对象，构建包含水下多目标跟踪数据集进行实验验证。数据集包含6条持续时间为10～65 s不等的水下声呐视频作为原始数据^[9]，共计1776张不同类型的水下声呐图像。图像尺寸为2050×1080，包含格栅、轮胎、板材、金属框架、蟹笼5种跟踪类别。同时通过图像增强环节进一步提升图像质量与数据集丰富度，最终生成了7064张连续声呐图像。按训练集（64%）、验证集（16%）和测试集（20%）的方式进行数据集划分，采用本文YOLO-Fair MOT目标跟踪算法进行跟踪实验，分析其跟踪性能。

跟踪对比实验结果如图7所示。本文比较了Deep SORT、DLA34-Fair MOT以及YOLO-Fair MOT这3种目标跟踪算法的实际跟踪结果。根据第10帧的跟踪结果，3种算法均成功跟踪当前场景下的目标，但YOLO-Fair MOT算法的跟踪置信度更高，且未产生身份切换的问题。根据第144帧的跟踪结果，由于场景中存在的水下目标较多，Deep SORT算法出现了错误跟踪，Fair MOT算法对同一水下框体与轮胎分配了新ID，而本文算法则保证了复杂水下场景跟踪的正确性与连续性。根据第356帧的跟踪结果，场景内出现与背景相混淆的水下目标，这些目标的检测置信度较低。相比之下，YOLO-Fair MOT算法成功地跟踪全部水下目标，且身份切换的次数更少。

同时为了定量分析YOLO-Fair MOT水下多目标跟踪算法的性能提升，本文采用跟踪准确度MOTA、跟踪精确度MOTP、IDF1分数与模型速度FPS分析跟踪模型效果。根据实验结果（见表1），本文YOLO-Fair MOT跟踪算法在跟踪准确度、跟踪精确度与持续跟踪能力上均得到了提升。同时由于目标检测模型的轻量化处理，模型的处理速度也有所提高。

4 结　语

本文针对水下成像条件与设备性能限制，设计低检测置信度的轻量化水下多目标跟踪算法YOLO-Fair MOT。通道-空间混合注意力机制赋予噪声背景与检测目标不同的权重，达到了抑制噪声影响的效果。深度可分离卷积将特征提取过程的卷积运算分解重构，减少了冗余参数，保证了跟踪模型的轻量性。跟踪算法采用广义交并比进行轨迹筛选，提升了轨迹筛选精度，同时添加Byte数据匹配算法，通过额外轨迹匹配防止正确轨迹单元因置信度低被筛除。最终在自建水下多目标跟踪数据集中进行了实验验证，结果证明YOLO-Fair MOT跟踪算法能够在检测置信度较低的条件下，准确获取目标区域位置以及运动轨迹。