A multi-UAV collaborative system and federated learning for target detection and tracking based on federated learning
-
摘要: 本文提出了一种多无人机协作系统，旨在在各种环境中实现高效且可靠的目标检测与跟踪。该系统利用先进的协调算法和联邦学习技术来提升性能，确保无人机之间的高覆盖率、低冗余度和有效的任务分配。通过大量仿真实验和实证实验验证了系统在简单与复杂场景(如开阔地与密集的城市区域、夜间与雨天等挑战性条件下)的强大性能。文章使用覆盖率、冗余率、任务分配均衡性、响应时间和跟踪连续性等关键指标来评估系统的有效性。结果表明，系统在较简单的环境中表现优异，同时在更具挑战性的条件下也能保持稳健的性能，但仍存在进一步优化的空间。本文最后讨论了系统的部署策略以及未来工作的方向，特别是在动态和GPS信号缺失环境下提高系统的适应性。Abstract: This paper presents a multi-UAV collaborative system designed to achieve efficient and reliable target detection and tracking. The system employs and federated learning techniques to ensure balanced task allocation across different operational environments with high coverage rate, low redundancy and high efficiency. Extensive simulations and real-world experiments were conducted to evaluate the system's performance in various scenarios, including open fields and complex urban areas under challenging conditions such as nighttime and rainy weather. Key metrics such as coverage rate, redundancy rate, task allocation balance, response time, and tracking continuity were used to assess the system’s effectiveness. The results demonstrate that while the system excels in simpler environments, it maintains robust performance in more demanding conditions, highlighting areas for further optimization. The paper concludes with discussions on deployment strategies and future research directions, particularly focusing on enhancing system adaptability in dynamic and GPS-denied environments.
-
随着无人机技术的迅猛发展，无人机已广泛应用于军事、物流、农业和环境监测等领域，尤其在目标检测与跟踪任务中展现出巨大潜力[1]。无人机因其灵活性、低成本和快速部署能力，能够在广阔区域内高效执行监控和跟踪任务。例如，在边境安全中，无人机被广泛用于监控和跟踪非法越境活动。通过实时检测和跟踪目标，无人机显著提高了监控的效率和安全性[2]。
然而，单一无人机在执行任务时，覆盖范围和处理能力受到限制，难以应对复杂动态的环境。为了解决这一问题，多无人机协作系统应运而生。多个无人机之间的协调工作，可以显著提高任务的执行效率，扩大监控范围，并通过分布式感知和决策能力完成复杂任务。此外，无人机集群能够动态分配任务和优化飞行路径，以适应多变的环境，从而提高整体系统的鲁棒性和灵活性[3]。
尽管多无人机协作系统具有许多优势[4-6]，但仍面临诸多挑战。如何有效整合来自多个无人机的多视角数据，确保高精度的目标检测与跟踪，仍是一个亟待解决的问题。虽然光流跟踪法KLT(Kanade Lucas Tomasi)跟踪器[7]、基于卷积神经网络(convolutional neural network, CNN)的检测器[8-9](例如 YOLO(you only look once) [10])和分布式卡尔曼滤波[11]等算法在某些情况下是有效的，但它们受到通信需求繁重和非线性动态环境中适应性差的阻碍。这些限制凸显了多无人机协作方法需要改进，特别是在隐私、通信负载和适应性方面。此外，在多无人机协作任务中，每架无人机都可能采集到包含敏感信息的数据。传统的集中式数据处理方法要求将所有数据上传到中央服务器，增加了数据隐私泄露的风险，且高昂的通信成本也限制了系统的实际应用。
已有许多研究致力于提高多无人机系统在复杂环境中的任务执行效率和目标跟踪精度。例如，姚元志[12]提出了一种基于任务分配优化的协作无人机系统，通过引入动态任务分配策略，有效提高了系统的任务完成率。张艺龄等[13]提出了一种基于视觉和传感器融合的多视角数据处理框架，能够在复杂场景中显著提升目标检测的精度和鲁棒性。曹腾飞等[14]开发了一种多无人机的分布式控制算法，旨在通过分布式计算和资源共享，优化无人机间的协同工作，从而提升系统在大规模任务中的性能。此外，多无人机系统中数据隐私保护和通信成本也是关键挑战。针对这些问题，一些研究提出了基于分布式学习和协同数据处理的框架，以减少通信开销并提高数据隐私保护水平[15]。然而，这些方法在处理多视角、多模式数据的整合方面仍存在局限性，难以在高动态环境中保持高效协作。
为了应对这些挑战，本文提出了一种基于联邦学习的多无人机协作目标检测与跟踪系统。通过在无人机之间共享模型参数而非原始数据，联邦学习能够有效减少通信开销并保护数据隐私。本文的系统设计旨在提升多无人机协作系统在复杂环境中的性能，包括提高目标检测和跟踪的准确性，增强系统在动态环境中的适应性，以及优化任务分配和资源利用。
本文结构如下：首先，介绍现有的多无人机协作系统和目标检测与跟踪方法，并分析其局限性。接着，详细描述所提出的系统架构和方法，包括数学公式和算法细节。然后，通过仿真和实证实验验证系统的性能。最后，总结本文的主要贡献，并讨论未来的研究方向。
1. 系统架构
本文提出的无人机协同目标跟踪框架如图1所示，旨在利用无人机网络进行协同目标跟踪，通过联邦学习来增强模型性能，同时确保数据隐私。该系统由多个无人机、中央服务器和分布式通信网络的协调过程组成。每架无人机都配备了摄像头和边缘计算单元，这些无人机能够使用CNN独立检测和跟踪其视野内的目标。中央服务器从多个无人机聚合模型参数，更新全局模型，并将增强后的模型重新分发给各无人机的过程中，扮演着联邦学习协调中心的关键角色。该框架依赖于混合通信方式，其中无人机使用点对点(peer-to-peer, P2P)网络进行直接数据共享，并通过集中通信链路向服务器发送模型更新[16]。P2P通信允许无人机之间进行低延迟的跟踪数据交换，而中央服务器通信则确保了安全且高效的模型聚合与再分发。
图 1 无人机协同目标跟踪框架Fig. 1 Multi-UAV collaborative object tracking framework
下载:
全尺寸图片
该框架通过协调过程确保了多架无人机之间的高效协同目标跟踪，并通过联邦学习集成机制不断改进模型性能。每架无人机都配备了摄像头和处理单元，能够捕捉实时视觉数据，并使用CNN独立检测和跟踪目标。与传统的原始数据共享不同，无人机在捕获的数据上本地训练模型，而不共享原始数据。动态协同跟踪机制优化了无人机之间的协作，无人机通过发送更新的模型参数至中央服务器，而非原始跟踪数据。服务器聚合这些参数以创建全局模型，该模型受益于所有无人机在不同数据环境中遇到的多样化数据。然后，将该全局模型重新分发给每架无人机，通过融合网络的集体知识来增强其跟踪能力。随着环境条件的变化，无人机继续调整其本地模型，并定期将更新发送回服务器进行聚合，从而确保全局模型始终保持有效。混合通信基础设施结合了模型更新的点对点交换和集中聚合，确保了低延迟和高效的模型改进，使系统在动态环境中具备了鲁棒性和可扩展性。
2. 联邦集成机制
在传统的多无人机协作系统中，通常需要将所有数据上传至中央服务器进行集中处理。这种方法不仅增加了通信成本，还可能导致数据隐私问题。为了解决这一问题，本文引入了联邦学习机制[17-20]，使得无人机能够在本地进行模型训练，而不需要共享原始数据。本文的联邦学习集成机制，采用了关键技术来优化无人机网络内的模型传输和分发。模型量化通过将32位浮点参数转换为8位或16位定点格式来减小模型的大小，这种压缩方法在资源受限的环境中保持计算精度的同时，最大限度地减少了传输带宽的需求。Paxos协议则确保了模型分发过程中的一致性。在聚合模型参数后，中央服务器作为“提议者”使用Paxos协议，保证所有无人机接收到相同版本的全局模型，即使某些无人机在通信中遇到问题，这防止了网络中各无人机之间的模型性能不一致。本文还采用了增量更新策略，仅传输相对于前一个版本的模型参数变化部分，而不是整个模型，这种方法显著减少了数据传输量，加快了更新速度，提高了系统的响应能力。
在每一轮训练中，假设第
$ i $ 架无人机的本地数据集为$ {D_i} $ ，其损失函数为$ {L_i}\left( {\boldsymbol{\theta}} \right) $ ，其中$ {\boldsymbol{\theta}} $ 为模型参数。每架无人机通过最小化本地损失函数来更新其模型参数：$$ {\boldsymbol{\theta}} _i^{t + 1} = {\boldsymbol{\theta}} _i^t - \eta \nabla {L_i}\left( {{\boldsymbol{\theta}} _i^t} \right) $$ 式中：
$ \eta $ 为学习率，$ t $ 表示训练轮次。每架无人机将更新后的模型参数
$ {\boldsymbol{\theta}} _i^{t + 1} $ 上传至中央服务器。中央服务器接收所有无人机上传的模型参数，并使用加权平均的方法聚合这些参数，得到新的全局模型参数：$$ {{\boldsymbol{\theta}} ^{t + 1}} = \sum\limits_{i = 1}^N {\frac{{\left| {{D_i}} \right|}}{{\displaystyle\sum _{j = 1}^N \left| {{D_j}} \right|}}} {\boldsymbol{\theta}} _i^{t + 1} $$ 式中：
$ N $ 为参与训练的无人机数量，$ \left| {{D_i}} \right| $ 表示第$ i $ 架无人机的数据集大小。中央服务器将聚合后的全局模型参数$ {{\boldsymbol{\theta}} ^{t + 1}} $ 分发至各无人机，用于下一轮本地训练。3. 动态协同跟踪机制
为确保多无人机系统在复杂环境中的高效性，本文设计了一种动态协同跟踪机制。该机制基于实时评估的任务状态(如目标位置、无人机电量和信号强度等)动态调整任务分配和跟踪策略。
每架无人机定期评估自身状态和目标状态，并计算任务优先级。任务优先级计算公式为
$$ {P_i} = {w_1} \times {E_i} + {w_2} \times {S_i} + {w_3} \times {T_i} $$ 式中：
$ {P_i} $ 为第$ i $ 架无人机的任务优先级，$ {E_i} $ 为剩余电量，$ {S_i} $ 为信号强度，$ {T_i} $ 为任务紧急性，$ {w_1},{w_2},{w_3} $ 为权重系数。根据任务优先级，各无人机动态调整跟踪策略。当目标从一架无人机的视野移出时，系统通过共享的全局模型和任务状态信息，自动将跟踪任务交给另一架能够覆盖该目标的无人机，确保目标跟踪的连续性。
各无人机根据环境变化和跟踪效果，动态调整本地模型参数，并在任务完成后将调整后的模型参数反馈至中央服务器，用于下一轮联邦学习的全局模型更新。
本文针对无人机场景特点对CNN进行修改，使用Ghost卷积替代标准卷积，并将这个全新的模型作为本文的目标检测模型，并在各无人机上部署经过知识蒸馏之后的轻量化版本以适应边缘计算资源的限制。目标检测模型的损失函数为交叉熵损失函数，定义为
$$ \begin{gathered} L\left( {\boldsymbol{\theta}} \right) = - \frac{1}{M}\sum\limits_{i = 1}^M \left[ {y_i}\log \left( {f\left( {{{\boldsymbol{x}}_i};{\boldsymbol{\theta}} } \right)} \right) + \right. \\ \left. \left( {1 - {y_i}} \right)\log \left( {1 - f\left( {{{\boldsymbol{x}}_i};{\boldsymbol{\theta}} } \right)} \right) \right] \end{gathered} $$ 式中：
$ M $ 为样本数量，$ {{\boldsymbol{x}}_i} $ 为输入图像，$ {y_i} $ 为目标标签，$ {\boldsymbol{\theta}} $ 为模型参数，$ f\left( {{{\boldsymbol{x}}_i};{\boldsymbol{\theta}} } \right) $ 为模型输出。在目标跟踪部分，本文设计了一个基于卡尔曼滤波[21-23]和深度学习的多目标跟踪框架。该框架采用卡尔曼滤波算法对目标的位置和速度进行预测，并结合本文设计的模型的检测结果进行数据关联。为适应无人机视角下的特殊场景，系统特别考虑了目标尺度变化的影响，同时引入了外观特征描述器来解决目标遮挡和相似目标干扰问题。通过建立目标运动模型，该框架能够有效处理目标的匀速运动、加速运动等多种运动模式。在状态更新阶段，系统通过融合检测结果和预测结果，实现目标状态的最优估计，并采用自适应噪声调节机制来提高系统对突变运动的响应能力。同时，设计了完善的轨迹管理策略，有效处理目标出现、消失等场景。
卡尔曼滤波的状态更新方程为
$$ {\hat {\boldsymbol{x}}_{k|k}} = {\hat {\boldsymbol{x}}_{k|k - 1}} + {K_k}\left( {{{\boldsymbol{z}}_k} - {\boldsymbol{H}}{{\hat {\boldsymbol{x}}}_{k|k - 1}}} \right) $$ 式中：
$ {\hat {\boldsymbol{x}}_{k|k}} $ 为时刻$ k $ 的状态估计，$ {K_k} $ 为卡尔曼增益，$ {{\boldsymbol{z}}_k} $ 为观测值，$ {\boldsymbol{H}} $ 为观测矩阵。4. 实验和结果分析
本文实验分为仿真实验和实证实验两个阶段，目的是全面验证本文提出的目标检测与跟踪算法的有效性和实用性。首先，本文在受控环境中通过模拟实验测试算法的基本性能，以确定其在模拟场景中的鲁棒性；然后在实际环境中进行类似的实验，进一步评估算法在实际飞行任务中的性能和预测。这种双重验证策略旨在反映不同环境中跨算法和条件的广泛适用性和可靠性。本文在实验中使用了3个数据集：UAVDT、DOTA 和 VisDrone。
4.1 仿真实验
4.1.1 实验设置
使用配备 NVIDIA GeForce RTX 3060 GPU、Intel(R) Core(TM) i5-10400F CPU @ 2.90 GHz 和 12 GB VRAM 的台式计算机进行了模拟实验。模拟实验在Gazebo平台上进行，利用机器人操作系统 (robot operating system) 进行无人机飞行控制和任务模拟。PX4 SITL(软件在环)用于飞行控制模拟，而 QGroundControl 用于规划和执行虚拟飞行任务。在实验中使用了3个数据集：UAVDT[24]、DOTA[25]和VisDrone[26]。
UAVDT 该数据集主要用于测试算法在复杂交通场景中检测和跟踪车辆和行人的能力。实验涵盖了各种天气条件、飞行高度和视角，使本文能够评估算法在不同环境中的稳健性。
VisDrone 该数据集用于评估算法在复杂城市环境中的性能。它包括广泛的目标类型(例如行人、车辆和自行车)和各种飞行条件(例如白天、夜间和多云天气)，深入了解算法在现实场景中的适应性和准确性。
DOTA 该数据集专为航拍图像中的物体检测而设计，包括各种复杂场景，其中有建筑物、船舶、车辆和飞机等物体。具有多个带注释物体类别的高分辨率图像使其适合评估算法在高分辨率设置下的检测能力和精度。
4.1.2 实验过程
为全面评估所提出算法的性能，本文设计了系统性的对比实验。针对YOLOv3和YOLOv11等模型在无人机上部署的挑战，采用了“模型量化”技术进行优化。通过后训练量化(post-training quantization, PTQ)策略，将这些模型的参数和运算从32位浮点(FP32)精度转换为8位整型(INT8)精度。此举显著减小了模型体积，提升了推理速度并降低了功耗，使模型更适用于无人机平台。基于此，为确保对比公平，本文将经过量化处理的YOLOv3、YOLOv11，以及同样适配的SSD(single shot multibox detector)部署在本文设计的多无人机协作框架下，采用相同的通信架构和协同策略。通信开销主要考虑传输的特征图大小、状态信息量及协同决策控制信息量。为确保评估可靠性，本文在UAVDT、VisDrone和DOTA 3个标准数据集上进行了全面测试。
表1给出了算法在不同场景下的性能表现。在UAVDT数据集晴天10 m高度场景下，本文算法的检测精度达92.5%，跟踪精度达88.7%，相比于采用相同通信架构的YOLOv3和YOLOv11分别提升了2和1百分点。在处理效率方面，本文算法的平均帧处理时间为25~30 ms，帧率稳定在40~45帧/s，优于其他对比算法。值得注意的是，通过优化特征提取和传输策略，本文算法在UAVDT和VisDrone数据集上的通信开销分别减少了约20%和25%。在具有挑战性的场景测试中，如VisDrone数据集的夜间城市环境(检测精度88.2%)和DOTA数据集的高分辨率航拍图像(检测精度94.8%)，本文算法都展现出了良好的环境适应性。这些实验结果验证了本文提出的检测跟踪算法在精度、效率和通信效率等方面的综合优势。
表 1 不同数据集上的检测和跟踪算法比较Table 1 Comparison of detection and tracking algorithms on different datasets数据集 天气状况 飞行高度/m 算法 检测精度/% 跟踪精度/% 每帧处理时间/ms 帧率/(帧/s) 通信开销/MB UAVDT 晴朗 10 本文方法 92.5 88.7 25 40 15 UAVDT 晴朗 10 YOLOv3 90.3 85.4 28 36 20 UAVDT 晴朗 10 SSD 88.7 82.6 30 33 22 UAVDT 晴朗 10 YOLOv11 91.2 87.1 29 38 18 UAVDT 雨天 10 本文方法 85.3 81.4 30 33 18 UAVDT 雨天 10 YOLOv3 82.1 77.8 32 31 24 UAVDT 雨天 10 SSD 80.5 75.2 34 29 26 UAVDT 雨天 10 YOLOv11 82.9 78.8 33 31 21 VisDrone 多云 15 本文方法 88.2 83.7 28 36 16 VisDrone 多云 15 YOLOv3 86.0 80.9 31 32 22 VisDrone 多云 15 SSD 83.4 78.3 33 30 24 VisDrone 多云 15 YOLOv11 87.1 79.9 29 34 24 DOTA 晴朗 20 本文方法 94.8 91.2 22 45 12 DOTA 晴朗 20 YOLOv3 92.6 87.9 25 40 18 DOTA 晴朗 20 SSD 90.0 84.3 27 37 20 DOTA 晴朗 20 YOLOv11 91.4 88.0 24 39 17 4.2 实证实验
4.2.1 实验设置
实证研究的主要目标是验证所提算法在现实环境中的性能，特别关注无人机在实际飞行任务中执行物体检测和跟踪的能力。这些实验旨在评估算法在不同环境条件下的适应性和实时性能。在这项研究中，本研究部署了一支由8架定制无人机组成的机队，每架无人机都配备了 NVIDIA Jetson Nano 作为边缘计算平台(见图2)。
图 2 无人机集群Fig. 2 UAVs group下载:
全尺寸图片
Jetson Nano 具有 128 核 Maxwell GPU 和 4 GB RAM，运行 JetPack SDK 4.4，支持深度学习模型的部署和推理。无人机采用 PX4 开源飞行控制系统，配备 Raspberry Pi Camera V2，能够以30帧/s的速度捕捉 1080P (“P” 代表逐行扫描)视频。无人机由 4S LiPo 电池供电，可提供 20~25 min的飞行时间，可在高度动态的环境中实现高效的物体检测和跟踪。多架无人机之间的协作促进了分布式计算和通信，从而增强了系统的覆盖范围和任务执行的稳健性。每架 Jetson Nano 都在 Ubuntu 18.04 上运行，使用 TensorFlow 2.3.0 和 PyTorch 1.6.0 进行深度学习任务推理。无人机通过 QGroundControl 进行控制和任务规划，确保它们遵循预定义的路径和速度来执行物体检测和跟踪任务。无人机通过低延迟网络进行通信，协调任务并共享数据，以保持目标跟踪的连续性和准确性。
4.2.2 实验过程
为了提升模型在真实环境中的表现，本文首先在 UAVDT 数据集上对模型进行预训练，该数据集包含丰富的目标类别和场景，从而提升模型的泛化能力。然后将预训练好的模型部署到无人机系统中，作为实际飞行任务的初始模型。在实证研究过程中，本文利用无人机实时采集的图像数据对模型进行进一步微调，使其适应各种环境下物体检测和跟踪的具体需求。研究在多种真实场景中进行，包括开阔地、市区和郊区环境(如图3 所示)。每种环境都在不同的光照和天气条件下进行测试，例如晴天、多云、夜间、雨天和有雾天气。无人机的飞行高度为 10 ~20 m，飞行速度为 3 m/s。多架无人机之间的协作模拟了涉及多个目标的复杂大规模场景，进一步验证了算法的性能。在整个实验过程中，8架无人机协同收集了大量的实时图像和视频数据，涵盖了各种环境和条件下的物体检测和跟踪任务。收集的数据经过手动注释，生成“地面实况”数据集，包括目标物体的边界框和类别信息。然后使用这些地面实况数据集来评估算法的检测准确率、跟踪准确率和召回率，进一步验证其在现实环境中的性能。
图 3 无人机集群不同光照条件下城市地区物体追踪的比较Fig. 3 Comparison of object tracking in an urban area under different lighting conditions下载:
全尺寸图片
4.2.3 实验结果
表2表明该算法在不同场景下均能有效运行。在阳光充足的开阔场地，该算法实现了 93.4% 的高检测准确率、89.6% 的跟踪准确率和 91.2% 的召回率，每帧处理时间为 28 ms，帧率为 42帧/s。通信开销最小，为 12 MB。然而，在夜间的城市地区，该算法遇到了更多挑战，检测准确率下降到 89.4%，跟踪准确率下降到85.0%，召回率下降到87.6%。处理时间增加到每帧 34 ms，通信开销上升到 18 MB。这些结果证明了该算法的适应性，即使在更具挑战性的环境中也能保持合理的性能。
表 2 本文算法在真实实验中的性能评估Table 2 Performance evaluation of the proposed algorithm in real-world experiments环境 条件 飞行高度/m 检测准确率/% 跟踪准确率/% 召回率/% 每帧处理时间/ms 帧率/(帧/s) 通信开销/MB 开阔地 晴朗 10 93.4 89.6 91.2 28 42 12 开阔地 多云 10 91.2 87.1 89.5 30 40 14 开阔地 雨天 10 89.8 85.3 87.9 32 38 16 城市地区 晴朗 15 92.5 88.2 90.8 29 41 13 城市地区 多云 15 89.9 86.7 88.4 31 39 15 城市地区 夜晚 15 89.4 85.0 87.6 34 36 18 城市地区 雨天 15 88.0 83.2 85.9 35 35 19 城市地区 雾 20 86.5 82.4 84.3 36 34 20 郊区 晴朗 20 91.7 87.4 89.9 30 40 15 郊区 多云 20 90.2 86.1 88.7 32 38 16 郊区 夜晚 20 88.9 84.6 86.8 34 36 17 郊区 雨天 20 87.5 83.1 85.4 35 34 19 图3通过对比城市环境下晴天(图3(a))与夜晚(图3(b))的物体追踪结果，展示了无人机目标检测与跟踪算法在不同光照条件下的表现。在光照充足的晴天条件下，算法能够较好地识别道路上的车辆和行人，检测框相对准确。然而，在物体密集、存在遮挡或目标距离较远时，仍可能出现少量漏检。当场景切换至光照条件更具挑战性的夜晚，图像整体变暗，依赖人工光源，虽然算法依然能检测到部分车辆和行人，但由于对比度降低、眩光和阴影等因素，漏检车辆的情况更为明显。这张对比图直观地反映了算法在不同光照下的工作能力，同时也揭示了在复杂和低光照环境中目标检测面临的挑战，这与实验中通过数据预训练和微调来提升模型适应性的目标相符，并为后续量化评估算法性能提供了参考。
研究结果还证明了照明和天气等环境因素对算法性能的重大影响。例如，在雾蒙蒙的城市条件下，检测准确率下降到 86.5%，跟踪准确率下降到 82.4%，处理时间延长到每帧 36 ms。尽管面临这些挑战，系统仍继续有效运行，但是通信开销增加。实证结果证实了所提算法的几个优点：它在最佳条件下的高精度，加上在具有挑战性的场景中的稳健性能，凸显了它的适应性；多架无人机的协同使用提高了系统效率，特别是在覆盖大面积和管理多个目标方面。然而，该算法的性能在恶劣条件下会下降，处理时间更长，通信开销更高。这表明，虽然该算法在通常情况下很稳健，但进一步的改进可以提高其在极端环境下的性能，并减轻通信限制的影响。
此外，本文还介绍了多无人机协作系统的实验评估，重点关注其在目标检测、跟踪、任务分配和整体协调效率方面的表现。这些实验旨在评估系统在各种环境条件和操作场景下的有效性，实验结果在表3中给出。
表 3 多无人机协同系统性能测试结果Table 3 Performance metrics of the Multi-UAV collaborative system环境 任务完成时间/s 覆盖率/% 冗余率/% 任务分配平衡/% 响应时间/ms 跟踪连续性/% 开阔地 300 95.2 5.8 87.5 150 98.7 城市地区 420 88.7 12.4 80.3 200 93.4 郊区 350 92.5 8.3 84.7 180 96.2 开阔地（夜晚） 310 94.1 6.5 86.2 155 97.5 城市地区（夜晚） 440 86.3 14.7 78.4 220 91.7 郊区（夜晚） 370 90.6 9.1 82.1 190 94.8 开阔地（雨天） 330 93.4 7.2 85.5 165 96.8 城市地区（雨天） 460 85.1 15.8 77.3 230 90.1 郊区（雨天） 380 89.2 10.3 81.5 200 93.6 冗余率/% 该指标表示多架无人机检测同一目标的频率。在空旷的田野中，冗余率较低，为 5.8%，表明有效协调且重叠最小。然而，在更复杂的环境中，例如雨天或夜间的城市地区，冗余率增加到 15.8%，表明由于重叠检测而可能效率低下。
任务分配平衡/% 该指标衡量了无人机之间任务分配的均匀性。在空旷的场地，平衡度为 87.5%，表明任务分布均匀，可实现高效运行。在更具挑战性的环境中，例如夜间或雨中的城市地区，平衡度下降到 77.3%，表明某些无人机的负载比其他无人机更重，可能会降低整个系统的效率。
响应时间/ms 该指标衡量无人机之间任务切换或协调的平均延迟。空旷场地的响应时间很快，为 150 ms，使系统能够迅速适应环境变化。然而，在城市夜间场景中，响应时间增加到 230 ms，反映出协调速度较慢，并且在保持实时性能方面可能存在挑战。
跟踪连续性/% 该指标衡量无人机之间交接时目标跟踪的无缝性。在空旷的场地，系统实现了98.7%的高连续性，表明交接平稳，跟踪稳定。在更复杂的环境中，例如雨天或夜间的城市地区，连续性下降到 90.1%，表明在目标切换期间会出现短暂中断，但系统通常保持有效跟踪。
实验结果证明了本文的多无人机系统的强大性能，特别是在开放环境中，它实现了高覆盖率和高效协调。即使在夜间城市地区等复杂场景中，该系统也能保持稳定的任务分配和跟踪连续性，证明了其适应性和可靠性。这些结果证实了系统的有效性，同时也突出了在具有挑战性的条件下进一步优化的机会。
5. 结束语
本文提出了一种基于多无人机协作与联邦学习的目标检测与跟踪系统，通过减少通信开销和保护数据隐私，显著提升了复杂环境下的任务执行效率和鲁棒性。实验结果表明，系统在不同场景下均表现出色，但在极端环境(如夜间或恶劣天气)中仍存在性能下降的问题。与传统集中式方法相比，本系统创新性地结合了联邦学习和动态协同机制，优化了通信负载和模型一致性，提高了检测与跟踪的适应性和效率。这为无人机在实际任务中的部署提供了理论与实践支持，特别适用于安全监控和搜索救援等场景。未来研究可聚焦于动态任务分配算法优化、通信延迟降低及更复杂环境中的系统适应性提升，以进一步拓展系统的应用价值。
-
图 1 无人机协同目标跟踪框架
Fig. 1 Multi-UAV collaborative object tracking framework
下载:
全尺寸图片
图 2 无人机集群
Fig. 2 UAVs group
下载:
全尺寸图片
图 3 无人机集群不同光照条件下城市地区物体追踪的比较
Fig. 3 Comparison of object tracking in an urban area under different lighting conditions
下载:
全尺寸图片
表 1 不同数据集上的检测和跟踪算法比较
Table 1 Comparison of detection and tracking algorithms on different datasets
数据集 天气状况 飞行高度/m 算法 检测精度/% 跟踪精度/% 每帧处理时间/ms 帧率/(帧/s) 通信开销/MB UAVDT 晴朗 10 本文方法 92.5 88.7 25 40 15 UAVDT 晴朗 10 YOLOv3 90.3 85.4 28 36 20 UAVDT 晴朗 10 SSD 88.7 82.6 30 33 22 UAVDT 晴朗 10 YOLOv11 91.2 87.1 29 38 18 UAVDT 雨天 10 本文方法 85.3 81.4 30 33 18 UAVDT 雨天 10 YOLOv3 82.1 77.8 32 31 24 UAVDT 雨天 10 SSD 80.5 75.2 34 29 26 UAVDT 雨天 10 YOLOv11 82.9 78.8 33 31 21 VisDrone 多云 15 本文方法 88.2 83.7 28 36 16 VisDrone 多云 15 YOLOv3 86.0 80.9 31 32 22 VisDrone 多云 15 SSD 83.4 78.3 33 30 24 VisDrone 多云 15 YOLOv11 87.1 79.9 29 34 24 DOTA 晴朗 20 本文方法 94.8 91.2 22 45 12 DOTA 晴朗 20 YOLOv3 92.6 87.9 25 40 18 DOTA 晴朗 20 SSD 90.0 84.3 27 37 20 DOTA 晴朗 20 YOLOv11 91.4 88.0 24 39 17 表 2 本文算法在真实实验中的性能评估
Table 2 Performance evaluation of the proposed algorithm in real-world experiments
环境 条件 飞行高度/m 检测准确率/% 跟踪准确率/% 召回率/% 每帧处理时间/ms 帧率/(帧/s) 通信开销/MB 开阔地 晴朗 10 93.4 89.6 91.2 28 42 12 开阔地 多云 10 91.2 87.1 89.5 30 40 14 开阔地 雨天 10 89.8 85.3 87.9 32 38 16 城市地区 晴朗 15 92.5 88.2 90.8 29 41 13 城市地区 多云 15 89.9 86.7 88.4 31 39 15 城市地区 夜晚 15 89.4 85.0 87.6 34 36 18 城市地区 雨天 15 88.0 83.2 85.9 35 35 19 城市地区 雾 20 86.5 82.4 84.3 36 34 20 郊区 晴朗 20 91.7 87.4 89.9 30 40 15 郊区 多云 20 90.2 86.1 88.7 32 38 16 郊区 夜晚 20 88.9 84.6 86.8 34 36 17 郊区 雨天 20 87.5 83.1 85.4 35 34 19 表 3 多无人机协同系统性能测试结果
Table 3 Performance metrics of the Multi-UAV collaborative system
环境 任务完成时间/s 覆盖率/% 冗余率/% 任务分配平衡/% 响应时间/ms 跟踪连续性/% 开阔地 300 95.2 5.8 87.5 150 98.7 城市地区 420 88.7 12.4 80.3 200 93.4 郊区 350 92.5 8.3 84.7 180 96.2 开阔地（夜晚） 310 94.1 6.5 86.2 155 97.5 城市地区（夜晚） 440 86.3 14.7 78.4 220 91.7 郊区（夜晚） 370 90.6 9.1 82.1 190 94.8 开阔地（雨天） 330 93.4 7.2 85.5 165 96.8 城市地区（雨天） 460 85.1 15.8 77.3 230 90.1 郊区（雨天） 380 89.2 10.3 81.5 200 93.6 -
[1] SHAN Jinhuan, JIANG Wei, HUANG Yue, et al. Unmanned aerial vehicle (UAV)-based pavement image stitching without occlusion, crack semantic segmentation, and quantification[J]. IEEE transactions on intelligent transportation systems, 2024, 25(11): 17038−17053. doi: 10.1109/TITS.2024.3424525 [2] AL RADI M, ALMALLAHI M N, AL-SUMAITI A S, et al. Progress in artificial intelligence-based visual servoing of autonomous unmanned aerial vehicles (UAVs)[J]. International journal of thermofluids, 2024, 21: 100590. doi: 10.1016/j.ijft.2024.100590 [3] ALAMI R, HACID H, BELLONE L, et al. SOREO: a system for safe and autonomous drones fleet navigation with reinforcement learning[J]. Proceedings of the AAAI conference on artificial intelligence, 2023, 37(13): 16398−16400. doi: 10.1609/aaai.v37i13.27058 [4] PEI Jiaming, YU Zhi, LIU Wenxuan, et al. Clustered federated learning multi-classifier for non-IID scenario in drone devices[C]//Proceedings of the 5th International ACM Mobicom Workshop on Drone Assisted Wireless Communications for 5G and beyond. Sydney: ACM, 2022: 79−84. [5] MU Junsheng, ZHANG Ronghui, CUI Yuanhao, et al. UAV meets integrated sensing and communication: challenges and future directions[J]. IEEE communications magazine, 2023, 61(5): 62−67. doi: 10.1109/MCOM.008.2200510 [6] LI Yiting, FAN Qingsong, HUANG Haisong, et al. A modified YOLOv8 detection network for UAV aerial image recognition[J]. Drones, 2023, 7(5): 304. doi: 10.3390/drones7050304 [7] NGUYEN X T, JEON G, VY V, et al. A hybrid approach for vision-based structural displacement measurement using transforming model prediction and KLT[J]. Mechanical systems and signal processing, 2025, 223: 111866. doi: 10.1016/j.ymssp.2024.111866 [8] SAMY I, POSTLETHWAITE I, GU Dawei. Neural network based sensor validation scheme demonstrated on an unmanned air vehicle (UAV) model[C]//2008 47th IEEE Conference on Decision and Control. Cancun: IEEE, 2008: 1237−1242. [9] WU Ying, CHEN Mou, LI Hongyi, et al. Event-triggered-based adaptive NN cooperative control of six-rotor UAVs with finite-time prescribed performance[J]. IEEE transactions on automation science and engineering, 2024, 21(2): 1867−1877. doi: 10.1109/TASE.2023.3241182 [10] CUI Beibei, LIANG Liang, JI Baofeng, et al. Exploring the YOLO-FT deep learning algorithm for UAV-based smart agriculture detection in communication networks[J]. IEEE transactions on network and service management, 2024, 21(5): 5347−5360. doi: 10.1109/TNSM.2024.3424232 [11] SONG Zhe, ZHANG Yi, YU Yang, et al. Cooperative positioning algorithm based on manifold gradient filtering in UAV-WSN[J]. IEEE sensors journal, 2024, 24(8): 12676−12688. doi: 10.1109/JSEN.2024.3369701 [12] 姚元志. 区块链赋能的移动边缘计算辅助无人机系统性能优化研究[D]. 南昌: 南昌大学, 2024. YAO Yuanzhi. Research on performance optimization of UAV system assisted by blockchain enabled mobile edge computing[D]. Nanchang: Nanchang University, 2024. [13] 张艺龄, 张正华, 肖胜川, 等. 基于分布式控制的多无人机协作喷洒技术[J]. 信息技术, 2024, 48(4): 59−63, 69. ZHANG Yiling, ZHANG Zhenghua, XIAO Shengchuan, et al. Collaborative spraying technology of multiple-UAVs based on distributed control[J]. Information technology, 2024, 48(4): 59−63, 69. [14] 曹腾飞, 尹润天, 朱亮, 等. 个性化位置隐私保护技术综述[J]. 计算机科学, 2025, 52(5): 307−321. doi: 10.11896/jsjkx.240600067 CAO Tengfei, YIN Runtian, ZHU Liang, et al. Survey of personalized location privacy protection technologies[J]. Computer science, 2025, 52(5): 307−321. doi: 10.11896/jsjkx.240600067 [15] 苗可. 基于新型纵向联邦学习的隐私保护物联网数据共享方案[J]. 物联网技术, 2024, 14(9): 60−63, 68. MIAO Ke. Privacy protection data sharing scheme for internet of things based on new vertical federated learning[J]. Internet of Things technologies, 2024, 14(9): 60−63, 68. [16] 王华华, 黄烨霞, 李玲, 等. 无蜂窝网络中的联邦学习用户调度与资源优化[J/OL]. 计算机工程, 2024: 1−18. (2024−09−12). http://kns.cnki.net/KCMS/detail/detail.aspx?filename=JSJC20240911003&dbname=CJFD&dbcode=CJFQ. WANG Huahua, HUANG Yexia, LI Ling, et al. Federated learning user scheduling and resource optimization in cellular-free networks[J/OL]. China industrial economics, 2024: 1−18. (2024−09−12). http://kns.cnki.net/KCMS/detail/detail.aspx?filename=JSJC20240911003&dbname=CJFD&dbcode=CJFQ. [17] PEI Jiaming, LIU Wenxuan, LI Jinhai, et al. A review of federated learning methods in heterogeneous scenarios[J]. IEEE transactions on consumer electronics, 2024, 70(3): 5983−5999. doi: 10.1109/TCE.2024.3385440 [18] PEI Jiaming, XUE Rubing, LIU Chao, et al. Toward Byzantine-resilient secure AI: a federated learning communication framework for 6G consumer electronics[J]. IEEE transactions on consumer electronics, 2024, 70(3): 5719−5728. doi: 10.1109/TCE.2024.3385015 [19] YANG Qiang, LIU Yang, CHEN Tianjian, et al. Federated machine learning[J]. ACM transactions on intelligent systems and technology, 2019, 10(2): 1−19. [20] 林瑞阳, 杨东升, 邱锋. Unscented卡尔曼滤波对目标位置预测[J]. 现代电子技术, 2014, 37(1): 34−37. doi: 10.3969/j.issn.1004-373X.2014.01.011 LIN Ruiyang, YANG Dongsheng, QIU Feng. Target position prediction of unscented Kalman filter[J]. Modern electronics technique, 2014, 37(1): 34−37. doi: 10.3969/j.issn.1004-373X.2014.01.011 [21] 徐琦, 蔡聪, 王熠钊. 一种基于数据融合的机动目标跟踪预测算法[J]. 系统仿真学报, 2011, 23(11): 2444−2448. XU Qi, CAI Cong, WANG Yizhao. Forecast algorithm for tracking moving targets based on data fusion[J]. Journal of system simulation, 2011, 23(11): 2444−2448. [22] MAHFOUZ S, MOURAD-CHEHADE F, HONEINE P, et al. Target tracking using machine learning and Kalman filter in wireless sensor networks[J]. IEEE sensors journal, 2014, 14(10): 3715−3725. doi: 10.1109/JSEN.2014.2332098 [23] HUANG Yecheng, CHEN Jiaxin, HUANG Di. UFPMP-det: toward accurate and efficient object detection on drone imagery[J]. Proceedings of the AAAI conference on artificial intelligence, 2022, 36(1): 1026−1033. doi: 10.1609/aaai.v36i1.19986 [24] XIA Guisong, BAI Xiang, DING Jian, et al. DOTA: a large-scale dataset for object detection in aerial images[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 3974−3983. [25] ZHU Pengfei, WEN Longyin, DU Dawei, et al. VisDrone-DET2018: the vision meets drone object detection in image challenge results[C]//Computer Vision–ECCV 2018 Workshops. Cham: Springer International Publishing, 2019: 437−468. [26] ABADI M. TensorFlow: learning functions at scale[C]//Proceedings of the 21st ACM SIGPLAN International Conference on Functional Programming. Nara: ACM, 2016: 1.
