基于联邦学习的无人机监控技术：结合相机视觉与雷达点云数据融合，提升感知辅助通信能力

《Digital Communications and Networks》：Federated learning for UAV surveillance with camera vision and radar point cloud data fusion to enhance sensing-assisted communication

　　张志博|蔡开全|赵亮|陈蕾艳|刘洪硕|赵鹏
北京航空航天大学电子与信息工程学院，北京100191

**摘要**
随着低空经济的迅速发展，无人机（UAV）已被越来越多地应用于各种民用领域。然而，其大规模部署对现有的监控和通信基础设施带来了巨大挑战。本文提出了一种基于联邦学习（FL）的无人机监控框架，该框架融合了相机视觉和雷达点云数据以增强感知辅助通信。每个客户端使用多模态数据进行本地模型训练，服务器则汇总参数以构建一个保护隐私的全局模型。一个轻量级的多模态神经网络共同处理雷达和视觉数据，以实现高效的无人机检测。在DeepSense数据集和真实世界测试平台上的实验分别取得了90.41%和97.95%的平均精度。通信仿真进一步表明，与仅使用相机的基线相比，该框架的平均信道容量提高了6%，证实了所提出的基于FL的多模态融合框架在提高无人机检测精度和通信效率的同时，为未来的智能低空网络系统提供了可扩展的解决方案。

**1. 引言**
随着无人机（UAV）技术在民用领域的快速发展，无人机在农业监测、物流配送和城市检查等低空应用中变得越来越重要[1]、[2]、[3]、[4]。这些应用展示了无人机在提高运营效率、扩展任务范围和促进跨领域智能自动化方面的潜力。随着无人机系统向大规模自主操作发展，它们预计将成为未来低空空域基础设施的重要组成部分。然而，无人机的大规模部署为通信和管理基础设施带来了新的挑战[5]。低空无人机操作的特点是高移动性、小雷达截面以及频繁的环境遮挡，这些因素使得稳定可靠的通信变得困难[6]。在这种动态场景下，空地对地信道的快速变化阻碍了准确且即时的信道状态信息（CSI）的获取[7]、[8]、[9]，从而限制了传统通信方案的性能。为了解决这些挑战，感知辅助通信作为一种有前景的范式应运而生，它将环境感知与无线传输紧密结合[10]、[11]。通过利用机载传感器（包括相机和雷达）的多模态感知数据，基站可以感知周围环境并相应地调整传输策略。这种基于感知的方法将传统通信设计扩展到了即时CSI之外，使得在复杂的低空空域中进行智能和上下文感知的决策成为可能。在无人机通信场景中，感知辅助波束成形尤为重要[12]，因为基于感知的先验知识可以在不利条件下指导高效的波束选择和可靠的链路维护。

在集成化的低空无人机通信和监控场景中，多模态感知有望为波束管理提供更稳定的环境先验，但其实际部署仍然具有挑战性。相机视觉和雷达点云在本质上是互补的。前者为无人机识别和情境感知提供了丰富的外观和语义细节，而后者对光照的敏感度较低，可以直接提供距离和速度等几何和运动相关的线索[13]、[14]。然而，由于密集的二维图像与稀疏的三维点之间的显著跨模态异质性，以及在校准误差、时间同步性和低空环境中频繁遮挡的情况下保持可靠的跨模态关联和一致输出的需求，有效的融合并非易事[15]、[16]。此外，城市环境中的实际监控系统通常由多个地理分布的节点组成，其中感知数据往往由不同的服务提供商或个人用户拥有。为了提高多模态融合性能，尽可能利用这些分布式观测数据是可取的。然而，隐私限制和有限的回程容量使得原始多模态数据难以集中，这就需要一种协作学习机制，能够在不共享原始数据的情况下优化模型，以提高在不同场景下的鲁棒性和泛化能力[17]。

受此启发，本文提出了一种基于联邦学习（FL）的网络，该网络整合了相机视觉和雷达点云数据，专门用于低空无人机监控，以增强感知辅助通信。我们的解决方案旨在提高识别空中威胁的监控精度和响应能力。具体贡献如下：
(1) 我们提出了一种感知辅助波束选择方案，旨在提高无人机通信容量。通过利用机载相机和雷达传感器的多模态感知数据，该框架融合了语义和几何环境信息，并结合通过卡尔曼滤波精炼的时间运动先验，从而在复杂和动态场景中实现自适应且不依赖于CSI的波束优化。
(2) 设计了一个轻量级的端到端多模态融合网络，用于整合相机视觉和雷达点云数据。红色、绿色和蓝色（RGB）图像张量以及雷达的距离、速度和方位（RVA）点分别通过专用骨干网络进行处理，它们的特征在颈部模块中通过特征集中机制进行融合。检测头在RGB图像上输出边界框，以提高可解释性和情境感知能力。
(3) 开发了一个FL框架，以确保隐私保护和协作模型优化。多个客户端并行进行本地训练，而中央服务器使用加权策略汇总它们的模型参数，构建一个高精度的全局模型，同时减少本地计算开销并提高泛化能力。
(4) 所提出的方法在DeepSense数据集上进行了评估，并在真实的雷达和视觉集成平台上进行了进一步验证。实验结果表明，该方法优于现有的基线，证实了其在未来低空空域网络中智能无人机监控的有效性和潜力。

本文的其余部分组织如下：第2节回顾了相关工作。第3节描述了整体系统结构和基于FL的框架，其中全局模型参数是从本地模型汇总而来的。第4节详细介绍了以相机图像和雷达点云数据为输入的本地模型。第5节展示了评估结果，证明了所提方案的有效性。最后，第6节总结了本文。

**2. 相关工作**
2.1. 视觉-雷达感知
视觉系统具有高分辨率和丰富的颜色信息，在对象识别和行为分析方面表现出色[18]、[19]。例如，DeepSense数据集支持通过训练在RGB图像上的卷积神经网络（CNN）进行无人机定位[20]。同时，也提出了基于注意力的轻量级结构用于无人机姿态估计和跟踪[21]。在[22]中，使用了可见光数据集和Faster-RCNN、Cascade-RCNN等算法进行无人机检测。然而，视觉系统的被动特性限制了它们在不同光照条件下的鲁棒性，使其不适合全天候监控[23]。另一方面，雷达感知具有主动检测能力，能够在各种天气和低能见度条件下可靠运行[24]。尽管分辨率较低且识别能力有限，雷达提供了诸如位置和速度等关键目标信息，补充了基于视觉的感知[25]。例如，基于波束成形的雷达系统已用于使用距离-多普勒频谱对无人机进行分类[26]，相干阵列雷达实现了精确的无人机群定位[27]，基于深度学习的脉冲-多普勒雷达实现了高效的无人机检测[28]。此外，合成微多普勒频谱已被用于训练用于实际识别任务的鸟-无人机分类器[29]。因此，融合视觉和雷达感知是实现鲁棒低空无人机监控的有效手段。

2.2. 张量和点云
相机视觉和雷达感知谱都以张量形式表示。彩色图像的张量由三维数组表示，其中每个像素包含RGB通道中的强度值，这些通道共同定义了图像中每个点的颜色[30]。雷达传感器记录目标与雷达之间的距离、目标相对于雷达的径向速度以及目标的方位角，编码了目标的空间分布和动态特性[31]。在从多维张量直接进行目标检测时，通常使用CNN提取关键信息以输出目标的检测框。在[32]中提出了Mask R-CNN的区域提议网络（RPN）用于无人机目标检测，其中所有目标都被检测为矩形边界。在[33]中引入了一种改进的YOLOv5结构，具有高效的多尺度特征融合功能用于目标检测。此外，在[34]中，使用Faster R-CNN从雷达系统的距离-速度谱中提取目标。在[35]中，对从海面反射的卫星导航信号的时间延迟多普勒谱进行了分析，利用残差网络（ResNet）有效感知海面高度。在[36]中，结合了距离-速度、距离-角度和速度-角度谱，利用CNN在基于DeepSense数据集的感知辅助通信系统中实现波束预测。近年来，对雷达谱进行阈值判断后获得的测量点集受到了越来越多的关注，因为它直接反映了参数估计信息，被称为感知点云。在2023年的一项研究[37]中，研究人员为自动驾驶雷达系统开发了一个异常检测网络以识别幽灵目标。在[38]中研究了用于解决海杂波中雷达目标检测的点云网络，通过全局和局部特征提取来识别目标。值得注意的是，点云数据可以直接反映关键特征，从而从数据维度减少和网络轻量化方面带来了一系列优势。

2.3. 集成感知和通信的联邦学习
空域目标监控技术传统上涉及大量数据的深入处理和分析[39]。这一过程存在敏感信息泄露的风险，可能对安全构成威胁。同时，这些技术对存储和能源的高需求给必须广泛部署并追求极端能效的物联网（IoT）设备带来了巨大的成本负担[40]。为了解决这些挑战，FL作为一种分布式训练范式，确保了数据隐私，同时显著降低了网络复杂性和运营成本。FL架构允许客户端设备在各自的边缘环境中自主训练模型，消除了数据共享的需要。上传到中央服务器的训练参数被整合成一个统一模型[41]。这种策略加强了数据隐私和安全性，同时通过跨节点的并行处理优化了学习效率。此外，通过减少网络中的数据传输，FL降低了网络的复杂性和相关运营成本，有效解决了单个模型在处理大规模数据集时可能遇到的瓶颈[42]。

最近，许多基于FL的视觉和雷达系统已被研究和部署。提出了一个带有轻量级Dense-MobileNet模型的空地空气感知框架，用于监测和预测空气质量[43]。对于基于雷达的手势识别应用，测试了一种基于FL的神经网络作为更节能的方法[44]。在[45]中引入了具有雷达心跳率和活动监测功能的FedRadar，它可以广泛检测多个健康指标并保护隐私。此外，FL越来越多地被认为是集成感知和通信（ISAC）的关键推动者。Zhou提出了一种用于雷达辅助波束选择的联邦迁移学习方法，其中利用雷达特征来改进波束预测，而无需共享原始感知数据，从而在动态环境中提高隐私性和鲁棒性[46]。除了波束管理之外，Liu引入了一个多任务FL框架，用于分布式联合感知和通信资源分配[47]，而Pala应用了联邦深度强化学习来优化可重构智能表面（RIS）增强的卫星-地面集成ISAC网络[48]。为了进一步提高隐私性和通信效率，Hu开发了一种具有ISAC的差分隐私无线FL框架[49]，Du研究了用于空中FL的集成感知、通信和计算设计[50]。这些工作共同表明，FL可以在分布式ISAC系统中实现可扩展和隐私保护的协作。

**3. 系统模型和提出的方案**
在本节中，我们首先描述了一个采用波束成形技术的感知辅助无人机通信系统，然后提出了一种基于FL的监控框架，以提高单帧无人机检测性能。
3.1. 感知辅助通信和波束成形设计
如图1所示，我们研究了一个配备多模态感知模块的无人机的基于波束的通信系统。无人机在复杂的三维环境中与地面终端建立高速率波束链接。然而，由于无人机位置和姿态的快速变化以及障碍物引起的遮挡，难以获得准确和及时的CSI。因此，传统的依赖CSI的波束成形方法在这种高度动态的场景中可能会遭受性能下降和不可忽视的延迟。这激发了感知辅助通信的概念，在这种通信中，当信道状态信息（CSI）不可靠或过时时，利用环境感知来为波束管理提供上下文感知的先验信息，从而在低空三维环境中的移动性和遮挡情况下实现及时的波束选择和跟踪。下载：下载高分辨率图像（275KB）下载：下载全尺寸图像图1. 感知辅助通信波束成形的场景。为了提高通信的鲁棒性和适应性，我们引入了一种多模态感知机制，整合了相机视觉和雷达点云数据。视觉数据提供了环境的语义信息，如目标分布、方向和运动模式，而雷达点云包含几何信息，包括距离、角度和空间结构。通过融合这些模态，可以建立一种同时捕捉语义和几何特征的联合感知表示，为波束选择提供强大的先验信息。在时间槽t的波束通信过程中，接收到的信号可以表示为(1)yt=wtHxt+nt，其中wt表示时间t的波束成形向量，xt是传输信号，nt表示加性高斯白噪声（AWGN）。给定一个时变信道增益矩阵Ht，时间t的可实现信道容量定义为[46](2)Ct=log2(1+|Htwt|2P0σ2)，其中P0表示发射功率，σ2表示噪声功率。设B={w1,w2,?,wK}表示候选波束的离散集合。无人机旨在选择一系列波束向量{wt}t=1T，以最大化所有时间槽的总信道容量。考虑到从视觉数据中提取的语义特征st和从雷达点云中提取的几何特征gt，波束选择问题可以表述为(3)max{wt}t=1T∑t=1TCt(wt;st,gt)，s.t.wt∈B，t=1,2,?,TCt(wt; st, gt)表示在给定视觉和雷达先验下选择波束wt所实现的信道容量。这种表述使得无人机能够在没有显式CSI的情况下进行时变的多模态特征驱动波束决策，从而实现环境适应性波束优化，并为动态和复杂场景中的智能通信提供了理论基础。在每个时间步t，视觉模态提供语义特征st，而雷达模态贡献几何特征gt。这些特征通过多模态融合网络F(?·?)进行融合，得到图像平面上一组融合的边界框：(4)Btfuse=F(st,gt)={bt(1),bt(2),?,bt(Mt)}，其中每个融合边界框bt(m)=[xt(m),yt(m),wt(m),ht(m),ct(m)]编码了来自两种模态的空间位置、大小和置信度[21]。为了在帧间保持目标身份，会在帧t?1和帧t之间的检测结果之间执行数据关联步骤。随后，应用卡尔曼滤波器来细化每个目标的时间演化并抑制噪声或检测抖动。跟踪目标的状态向量定义为(5)xt=[xt,yt,vx,t,vy,t]T，其动态遵循线性运动和观测模型：(6)xt=Axt?1+wtzt=Hxt+vt，其中A和H表示状态转移和观测矩阵，wt和vt分别表示高斯过程和测量噪声。卡尔曼滤波器的递归更新表示为[15](7){x^t|t?1=Ax^t?1|t?1Pt|t?1=APt?1|t?1AT+QKt=Pt|t?1HT(HPt|t?1HT+R)?1x^t|t=x^t|t?1+Kt(zt?Hx^t|t?1)Pt|t=(I?KtH)Pt|t?1)，从而得到时间平滑的目标轨迹Ti={bi1,bi2,?,biT}。精细化的目标轨迹Ti为通信感知波束成形提供了运动一致的先验。因此，波束优化问题重新表述为(8)max{wt}t=1T∑t=1TCt(wt;Tt)，s.t.wt∈B，t=1,2,?,T，其中Tt封装了每个时间槽t的融合和时间精细化的目标信息。通过结合这些跨帧先验，系统在波束决策过程中实现了时间信息的增强，显著提高了动态场景中波束选择的鲁棒性和准确性。3.2. 基于联邦学习的无人机监控框架为了进一步提高单帧目标检测能力，我们提出了一个基于FL的无人机监控框架，如图2所示。我们考虑了一种新颖的本地无人机监控模型，并提出了一种基于FL的网络训练方案。所提出的FL驱动的无人机检测方法包括一个中央服务器和多个客户端，它们协作细化一个共享的全局模型，同时保持数据局部性和隐私保护。中央服务器初始化全局模型参数并将其分配给所有客户端。每个客户端使用这些参数在其本地数据集上进行训练，产生本地更新，然后上传到服务器。作为中央协调者，服务器执行全局聚合，将客户端更新合成一个统一的全局模型。然后将聚合模型传播回客户端，从而启动后续的迭代训练周期。下载：下载高分辨率图像（298KB）下载：下载全尺寸图像图2. 基于FL的系统。在此过程中，每个客户的雷达和视觉骨干独立运行，处理雷达和相机输入以提取代表性特征集并构建本地模型。这些本地模型随后经过颈部特征集中处理，该模块将不同的特征向量合并成一个协调的特征表示。最后，统一特征集被输入到检测头部，执行最终的无人机检测任务。头部利用边界框精确定位和勾勒出检测范围内的无人机。整个基于FL的无人机监控方案能够准确识别和定位无人机。我们首先基于FL框架说明模型训练方法。最初，服务器用参数向量θ0初始化一个全局模型，然后每个客户端从全局模型下载参数。随后，每个客户端使用各自的数据集Dm进行本地训练。本地训练旨在通过解决优化挑战来细化模型参数，该挑战由(9)Δθm=argminθ{1|Dm|∑s=1|Dm|?(fθ(xms),yms)+λR?(θ)}表示。这里，θ表示由服务器在每轮广播的全局模型初始化的可训练模型参数。更新Δθm是在Dm上学习的本地参数变化，即Δθm?θm?θt，用于服务器端的聚合。在这个公式中，?表示损失函数，R?(θ)表示正则化项，λ是正则化系数。系数λ控制模型复杂性并减轻过拟合。当客户端侧的训练结束时，精细化的模型参数θm被上传回服务器。然后服务器进行模型聚合阶段，采用加权聚合策略合并每个客户端贡献的模型更新。全局模型根据联邦平均（FedAvg）算法进行更新，数学上可以表示为(10)θt+1=θt+1M∑m=1MwmΔθm，其中wm对应于分配给客户端m的权重，该权重由数据量或客户端对整体模型的贡献重要性决定。聚合过程动态调整客户端权重wm，以反映数据大小或相关性，从而提高模型的泛化能力。此外，正则化项R?(θ)的加入有助于增强模型对未见数据的鲁棒性，特别是在客户端数据分布不均匀的情景中。聚合后的模型参数θt+1被分发回客户端，启动新的本地训练周期。服务器在每次聚合后评估模型的收敛情况，并根据验证集性能或梯度范数指标做出是否停止训练的决策。所提出的FL框架有效地平衡了数据隐私和协作学习，通过正则化和自适应加权提高了无人机检测性能。这种方法不仅提高了模型的泛化能力，还增强了其在实际无人机监控场景中的鲁棒性（见图3）。下载：下载高分辨率图像（977KB）下载：下载全尺寸图像图3. 提出的本地模型结构。4. 网络模块和模型训练所提出的全局和本地模型共同构成了一个统一的无人机检测框架，该框架在定制的神经网络架构中整合了相机视觉和雷达点云数据。整个网络架构包括三个主要组件，即骨干网络、颈部和检测头部。骨干网络整合了雷达和视觉子网络，每个子网络专门处理其相应的输入模态。颈部执行多模态特征融合，将两个子网络的中间表示合并成一个统一的潜在特征空间。融合的特征随后被传递到检测头部，检测头部预测边界框以定位观测区域内的无人机。每个网络模块的设计及其相应的训练过程在以下小节中描述。4.1. 雷达点云和雷达骨干设计毫米波雷达通过连续传输线性调频连续波（LFMCW）信号来检测空中无人机。雷达通过处理接收到的回波来估计散射点的距离、径向速度和方位角。LFMCW雷达传输频率线性变化的信号，将接收到的回波与传输波形混合产生拍频信号。拍频与目标距离保持线性关系，通过快速傅里叶变换（FFT）等数字信号处理技术实现精确的距离估计。对于速度估计，LFMCW雷达应用多普勒原理从测量的频率偏移来确定目标的径向速度。角度估计使用相控阵天线结合基于子空间的算法（如多信号分类（MUSIC）来提取目标角度信息。当目标由多个散射点组成时，这些散射点集合被称为目标点云。点云中的每个点可以用其在三维空间中的空间坐标x=[x,y,z]T来表征。这些坐标反映了无人机的位置。此外，速度分量v=[vx,vy,vz]T描述了无人机沿坐标轴的运动。从无人机的坐标和速度分量可以表示以下关键参数。距离R表示雷达到散射点的视线距离，径向速度V表示投影到视线上的散射点速度，与散射点的位置相关(11)R=x2+y2+z2(12)V=x·vx+y·vy+z·vzR。此外，方位角A和仰角E表示为(13)A=arcsin(yx2+y2)(14)E=arcsin(zR)这些参数为无人机的空间定位和运动分析提供了重要线索。因此，每个空气散射点可以形成一个感知点元组Pi=[x,y,z,R,V,A,E]T。在每个感知帧中，所有感知点形成一个点云集合Pi={P1,...,Pi,...,PNi}，其中Ni是第i个感知帧中的点数。我们假设最大点数为Ni?≤?N。雷达骨干网络旨在从每个感知帧的雷达点云数据中提取高级特征。通过堆叠和采样点云集Pi，我们获得一个输入特征矩阵P(0)，表示雷达点云数据。一维（1D）卷积层用于有效捕获雷达点云数据中的空间分布，促进分层特征提取。通过第j个1D卷积层fconv1D,j(?·?)的变换，使用共享参数可以表示为(15)P(j)=σlrelu[BN(fconv1D(P(j?1))]，BN(?·?)是一个批量归一化层，用于加速训练过程，减少对初始化参数的敏感性，并帮助防止梯度消失或梯度爆炸的问题。σlrelu[?·?]表示LeakyReLU激活函数，它引入非线性以增强网络表达无人机运动模式的能力。用α表示一个小常数，LeakyReLU激活函数表示为(16)σlrelu(x)={x,x>0αx,x≤0。经过多个特征提取阶段后，每个点被投影到一个高维特征空间。然后，使用最大池化（MP）层来聚合云中多个点的特征，捕获全局空间信息。获取雷达骨干输出P(radar)的网络处理过程可以表示为一个大小为64?×?1?×?1的张量：(17)P(radar)=Lr3(σlrelu[Lr2(σlrelu[Lr1(MP{P(K)})])]，其中Lrl表示第l个线性层用于特征集成，J=3。所提出的雷达骨干有效地捕获了点云数据的全局和局部空间特征，同时避免了直接扁平化和密集层，从而实现了从原始雷达输入的端到端学习。4.2. 相机视觉数据和视觉骨干设计在这项工作中，我们专注于低空无人机的检测，利用RGB成像技术构建视觉数据集。RGB成像过程通过RGB光谱通道捕获场景，每个通道记录光强度以合成全彩图像。静态RGB图像作为深度神经网络的输入，为网络提供了丰富的颜色和亮度数据，这对于网络的熟练特征提取和模式识别能力至关重要。采用基于ResNet架构的深度CNN来执行低空无人机的精确视觉特征提取。网络设计采用了残差学习框架，通过跳跃连接增强了深度网络的训练稳定性和整体性能。输入的视觉图像由一个三维（3D）张量 I∈RC×W×H 表示，其中 C、W 和 H 分别表示通道数、图像宽度和图像高度。初始的卷积层对输入图像 I 应用一个 7×7 的核，步长 s=2，填充 p=3，接着是批量归一化、ReLU 激活函数，以及一个 3×3 的最大池化层用于下采样，步长 sp=2。整个过程可以简洁地表示为：
(18) R1 = MP(σrelu(BN(fconv2D(I; c=64, k=7, s=2, p=3))); kp=3, sp=2, pp=1
其中 fconv2D(·; c, k, s, p) 表示一个输出通道数为 c、核大小为 k×k、步长为 s、填充为 p 的 2D 卷积操作，BN(·) 是批量归一化，σrelu(·) 是 ReLU 激活函数，MP(·; kp, sp, pp) 表示一个核大小为 kp、步长为 sp、填充为 pp 的最大池化操作。

网络的核心由多个残差块组成，每个残差块包含两个步长为 s=1、填充为 p=1 的 3×3 卷积层，这些层逐步增加特征深度。残差块的操作可以表示为：
(19) U1 = R1 + BN(fconv2D(σrelu(BN(fconv2D(R1; c=64, k=3, s=1, p=1))); c=64, k=3, s=1, p=1)
其中跳跃连接将输入特征 R1 添加到输出特征中，形成残差映射 U1。后续残差块的结构遵循类似的配置。随着网络深度的增加，特征图的深度逐渐增加，卷积层中的输出通道数也相应地进行调整。下一个块可以表示为：
(20) U2 = U1 + BN(fconv2D(σrelu(BN(fconv2D(U1; c=64, k=3, s=1, p=1))); c=64, k=3, s=1, p=1)
其中 U1 和 U2 分别代表残差块的输入和输出特征图。跳跃连接通过逐元素加法实现了有效的梯度传播和特征重用。

此外，我们还有：
(21) U3 = BN(fconv2D(σrelu(BN(fconv2D(U2; c=128, k=3, s=1, p=1))); c=128, k=3, s=1, p=1)) + fconv2D(U2; c=128, k=1, s=2, p=0)
其中第一项对应于两个连续的 3×3 卷积层，带有批量归一化和 ReLU 激活函数，而第二项表示一个 1×1 卷积，用于在下采样过程中调整跳跃连接中的空间和通道维度。这里，空间分辨率减半，通道数从 64 增加到 128，以确保残差加法的维度一致性。所有后续层都遵循类似的设计，最终产生一个张量大小为 512×20×20 的最终视觉主干输出 P(vision)。

这种设计策略优化了特征提取，并通过残差学习提高了训练效率和检测性能，为低空无人机检测任务提供了有效的解决方案。

4.3. 网络颈部和头部设计
我们设计了一个多模态网络架构，通过一个专门的颈部模块和一个专为无人机检测定制的检测头部来整合雷达和视觉特征。这种设计策略不仅优化了特征提取过程，还通过融合多模态数据和多尺度特征显著增强了深度网络的表示能力，为无人机检测任务提供了有效的深度学习解决方案。请注意，雷达主干的输出表示为 P(radar)，尺寸为 64×1×1，视觉主干的输出表示为 P(vision)，尺寸为 512×20×20，我们建议将它们复制并连接成一个更大的张量。首先将雷达输出在空间上复制以匹配视觉输出的尺寸，然后进行连接，构建尺寸为 576×20×20 的张量 Tneck：
(22) Tneck(0) = concat(P(vision), I20×20?(P(radar)))
随后，应用一个 1×1 卷积层将通道数减少到 288：
(23) Tneck(1) = fconv2D(Tneck(0); c=288, k=1, s=1, p=0)
然后，应用三个连续的 5×5 最大池化操作，保持张量大小：
(24) Tneck(2) = MP(Tneck(1); kp=5, sp=1, pp=2)
(25) Tneck(3) = MP(Tneck(2); kp=5, sp=1, pp=2)
(26) Tneck(4) = MP(Tneck(3); kp=5, sp=1, pp=2)
然后我们将张量聚合起来，形成尺寸为 576×20×20 的颈部输出 Tneck：
(27) T = concat(Tneck(1), Tneck(2), Tneck(3), Tneck(4))
特征聚合在检测头部进行，使用两个连续的模块，每个模块由卷积、批量归一化和 LeakyReLU 激活层组成。这些模块可以表示为：
(28) Y1 = σlrelu(BN(fconv1D(T; c=512, k=1, s=1, p=0))
(29) Y = σlrelu(BN(fconv1D(Y1; c=512, k=1, s=1, p=0)))
我们使用两个最终的卷积层来获得最终网络，根据对象概率和回归值确定无人机的检测边界框。这些层用于预测对象存在的可能性，表示为 Pobj，以及定义边界框的回归值，表示为 Preg。对象概率图 pobj 来自一个使用 Sigmoid 激活函数的卷积层，为每个网格单元分配一个介于 0 和 1 之间的概率分数，反映了在该单元内检测到无人机的置信度。获得 pobj 的过程可以表示为：
(30) pobj = σsigmoid[fconv2D(Y; c=1, k=512×1, s=1, p=0)]
此外，preg 由另一个卷积层预测，用于调整边界框的中心坐标 (bx, by) 以及宽度 bw 和高度 bh。获得 preg 的过程相应地为：
(31) preg = σsigmoid[fconv2D(Y; c=1, k=512×4, s=1, p=0)]
在获取这些预测值之后，我们通过对对象概率施加预定的阈值来启动细化过程。这个阈值过滤掉低置信度的预测，以减少误报。只有当 pobj 超过阈值时，才会保留预测。随后，我们对剩余的预测应用非最大值抑制（NMS），这是一种有效的后处理技术，用于消除冗余和重叠的边界框预测。在 NMS 过程中，选择置信度最高的预测作为参考框，然后根据设定的阈值消除其他高度重叠的预测。这个迭代过程持续进行，直到所有预测都被彻底评估。最终输出包括在每个帧中准确定位无人机的非重叠、高置信度的边界框。

4.4. 损失函数和模型训练
考虑到低空场景中的无人机检测问题，我们定义了以下两个损失函数：对象置信度损失和边界框回归损失。对象置信度损失量化了预测置信分数和真实置信分数之间的差异。对于第 q 个预测框，对象置信度损失 Lobj(q) 使用二元交叉熵损失函数独立计算，定义为：
(32) Lobj(q) = ?(yobj(q)log(y^obj(q)) + (1?yobj(q))log(1?y^obj(q)))
我们表示 yobj(q) 是第 q 个预测框的真实对象置信标签，y^obj(q) 是模型预测的对象置信度。

边界框回归损失评估预测边界框和真实边界框之间的空间差异。我们采用广义交并比（GIoU）损失来评估预测边界框和真实边界框之间的空间重叠。对于第 q 个预测框，边界框回归损失 Lbox(q) 定义为：
(33) Lbox(q) = 1?GIoUbboxpred(q), bboxgt(q))
GIoU 考虑了两个边界框相对于它们的最小包围矩形的交集、并集和相对位置。设两个边界框 A 和 B 的中心坐标分别为 (bx(A), by(A)) 和 (bx(B), by(B))，宽度分别为 bw(A), bw(B)，高度分别为 bh(A), bh(B)。使用左上角和右下角坐标来计算交集面积 A∩B 和并集面积 A∪B。然后获得包含 A 和 B 的最小包围矩形 Cmin，并从其角坐标计算其面积 Area(Cmin)。因此，A 和 B 之间的 GIoU 定义为：
(34) GIoU(A, B) = Area(A∩B) / (Area(A∪B) + Area(Cmin))
总损失函数 Ltotal 是对象置信度损失和边界框回归损失的加权组合。我们有：
(35) Ltotal = λobj·1Bt ∑q=1BtLobj(q) + λbox·1Bt ∑q=1BtLbox(q)
其中 Bt 表示第 t 次局部迭代中的预测框数量，λobj 和 λbox 是权重系数，根据任务和数据集特性进行调整。

基于 FL 的模型按照算法 1 进行训练，其中 Maxg 表示全局训练的最大迭代次数，Maxe 表示局部训练的最大迭代次数，bsize 表示用于局部模型更新的批量大小。

下载：下载高分辨率图像（178KB）
下载：下载全尺寸图像
算法 1. 基于 FL 的无人机监控算法。

5. 性能评估
在本节中，我们展示了所提出系统的性能评估。所有实验结果如下总结。实验是在配备有 Intel(R) Core(TM) i9-10900K CPU @3.7GHz 和 NVIDIA GeForce RTX 3080 GPU（带有 12GB 专用内存）的工作站上进行的。

5.1. 在 DeepSense 数据集上的性能评估
如图 4 所示，DeepSense 数据集的 Scenario 23 代表了一个低空无人机监控环境。视觉数据由分辨率为 960×540 的 RGB 相机捕获。为了评估视觉和雷达的集成性能，使用目标感知算法生成雷达点云，无人机位置来自全球定位系统。数据集包含 11,387 个样本，其中 80% 用于网络训练，剩余 20% 用于测试。
下载：下载高分辨率图像（422KB）
下载：下载全尺寸图像
图 4. DeepSense 数据集场景，包含雷达点云和相机图像 [20]。
部署了三个客户端节点进行联邦训练，每个全局轮次进行三次局部训练迭代。批量大小设置为 8，学习率设置为 0.001。在模型聚合过程中，使用一个逐渐衰减的权重因子，从 1.0 开始，逐渐减少到最小值 0.1，每次迭代乘以衰减因子 0.96。三个客户端的损失曲线如图 5 所示。随着训练的进行，所有局部客户端模型都逐渐收敛。
下载：下载高分辨率图像（132KB）
下载：下载全尺寸图像
图 5. 在 DeepSense 数据集上的训练过程中客户端的损失。
全局模型在测试集上进行评估，每个全局迭代结束时也测量每个客户端的性能。平均精度曲线如图 6 所示。可以观察到由于数据异质性，客户端性能有所不同，但所有模型最终都会收敛。全局模型的最终精度为 90.41%。定性检测结果如图 7 所示，其中黑色矩形表示真实标签，红色框表示检测到的无人机。两个样本的置信度均为 0.99。这些结果表明，所提出的无人机监控方案在 DeepSense 数据集上实现了高检测性能。
下载：下载高分辨率图像（154KB）
下载：下载全尺寸图像
图 6. 在 DeepSense 数据集上的测试过程中的平均精度。
下载：下载高分辨率图像（157KB）
下载：下载全尺寸图像
图 7. DeepSense 数据集上的实际检测结果。

5.2. 在真实测试上的性能评估
为了进一步验证所提出的框架，我们开发了一个真实世界的实验测试平台，如图 8 所示。硬件设置包括一个 77GHz 的毫米波雷达、一个彩色相机和一台主机计算机。所有传感器都通过 USB 接口连接到主机计算机。开发了一个自定义的数据采集程序，同时从雷达和相机传感器收集数据。此外，我们实现了一个自开发的同步模块，用于在雷达帧和相机图像之间进行时间对齐，以便每个训练样本包含时间对齐的雷达和视觉观测数据。相机分辨率设置为 640×480，收集的雷达点云包含七维特征。在输入神经网络之前，每个 RGB 图像都使用基于插值的方案调整大小，以保持视觉内容的同时确保张量大小固定。数据收集频率为 1 Hz，共收集了 1,850 个样本用于模型训练和评估。收集的雷达点云如图 9 所示。密集的中心区域对应于无人机反射，而稀疏的边缘点主要由多路径效应和雷达杂波引起。对于点云预处理，我们应用了感兴趣区域过滤步骤，移除了预定义空间范围外的点，以抑制无关的杂波，仅保留用于后续融合和学习的信息点。
下载：下载高分辨率图像（248KB）
下载：下载全尺寸图像
图 8. 我们的无人机监控测试平台。
下载：下载高分辨率图像（97KB）
下载：下载全尺寸图像
图 9. 收集的雷达点云。
训练过程中的损失曲线如图 10 所示。由于客户端之间的数据分布不同，局部训练期间的损失值有所不同。全局训练迭代结束后，所有客户端都收敛了。三个客户端的平均精度测试结果如图 11 所示，表明所提出的模型最终达到了 97.95% 的平均精度。三个客户端的测试结果分别为 98.16%、97.84% 和 98.70%。最终全局模型的定性检测性能如图 12 所示，两个代表性样本的置信度分数分别为 0.90 和 0.88。这些结果证实了所提出的无人机监控框架在真实世界实验中表现出色。
下载：下载高分辨率图像（150KB）
下载：下载全尺寸图像
图 10. 在我们收集的数据上的训练过程中的客户端损失。
下载：下载高分辨率图像（159KB）
下载：下载全尺寸图像
图 11. 在我们收集的数据上的测试过程中的平均精度。
下载：下载高分辨率图像（258KB）
下载：下载全尺寸图像
图 12. 在我们收集的数据上的实际检测结果。
为了进一步证明所提出的相机和雷达融合框架的优势，我们将其性能与几种基线方法、主干扩展变体和代表性检测器进行了比较。结果列在表 1 中。我们将我们的方法与不使用FL的方法进行了比较，由于没有使用全面的数据，检测的平均精度仅达到了95.89%。与仅使用摄像头的方法相比，联邦和非联邦变体的平均精度分别达到了90.84%和83.31%。由于这些方法的性能低于我们提出的雷达和视觉融合方案，因此验证了结合雷达数据进行辅助检测的有效性。此外，骨干网络规模的测试结果表明，减少骨干网络的容量会导致性能明显下降，而增加骨干网络的容量并不会带来进一步的提升。我们还将提出的方法与包括YOLO-UAV [33] 和关键点增强型R-CNN [32] 在内的代表性检测器进行了比较，结果表明提出的方法仍然具有更高的准确性。

表1. 性能比较

| 方法 | 平均预测精度 (%) |
|-----------------|------------|
| 提出的联邦方法 | 97.95 |
| 非联邦方法 | 95.89 |
| 仅使用摄像头的联邦方法 | 90.84 |
| 仅使用摄像头的非联邦方法 | 83.31 |
| 提出的联邦方法（通道数0.5×9） | 96.70 |
| 提出的联邦方法（通道数2×9） | 97.82 |
| 提出的联邦方法（层数0.5×9） | 96.95 |
| 提出的联邦方法（层数2×9） | 97.75 |
| 提出的联邦方法（隐藏维度0.5×9） | 96.55 |
| 提出的联邦方法（隐藏维度2×9） | 97.70 |
| YOLO-UAV [33] | 94.60 |
| 关键点增强型R-CNN [32] | 96.20 |

如图13所示，在4.9GHz频率下，带宽为5MHz时，通道容量随着发射功率和感知精度的提高而增加。提出的联邦摄像头和雷达方案实现了97.95%的感知精度，与非联邦摄像头和雷达基线相比，通道容量平均提高了0.8%；并且在整个评估的发射功率范围内，与YOLO-UAV和关键点增强型R-CNN相比，分别进一步提高了1.3%和0.7%的通道容量。此外，它的性能比仅使用摄像头的联邦和非联邦配置分别高出约2.9%和6.4%，这表明提高感知精度有效地增强了波束对齐，从而提高了通信效率。

下载：下载高分辨率图片（273KB）
下载：下载全尺寸图片

图13. 通信性能比较

6. 结论

本文提出了一个基于FL的无人机监控框架，该框架整合了摄像头视觉和雷达点云数据，以增强低空空中交通管理的感知辅助通信。该框架采用了一种去中心化的训练策略，其中本地客户端独立更新模型参数，然后这些参数在中央服务器上汇总，从而实现了在保护隐私的同时进行协作学习。设计了一个轻量级的多模态神经网络，该网络结合了雷达和视觉子网络，并在颈部模块中实现了特征融合，在头部模块中实现了无人机检测。在DeepSense数据集和真实世界的雷达和视觉测试平台上进行的实验评估显示，平均精度分别达到了90.41%和97.95%。此外，通信模拟表明，提出的联邦摄像头和雷达融合框架在平均通道容量上比仅使用摄像头的基线提高了多达6%，证实了其在复杂低空环境中提高无人机检测精度和通信效率的有效性。未来，我们将在更多实际和多样的低空场景中通过实地实验进一步验证所提出的框架。

CRediT作者贡献声明：

张志博：撰写——原始草稿、可视化、方法论、调查、概念化。
蔡开全：撰写——审阅与编辑、监督、调查。
赵亮：撰写——审阅与编辑、监督、调查。
陈蕾艳：可视化、方法论。
刘洪硕：可视化、方法论。
赵鹏：撰写——审阅与编辑、可视化、监督、方法论、调查、概念化。