基于深度度量学习的无人机开放集识别技术

《Physical Communication》：Open set recognition for drone based on deep metric learning

本文提出基于深度度量学习的无人机开放集识别方法，通过多尺度时间频谱特征提取网络学习低维嵌入表示，结合三重损失和中心损失优化特征分布，并设计自适应阈值距离分布分类器（AT-DDC）动态确定决策阈值，显著提升已知类平均准确率（KA）3.5%，降低未知类识别率（TUR）1.40%，同时减少阈值误差8.68%。

　　

Jiangfeng Hong|Jiakai Liang|Chao Wang|Keqiang Yue|Wenjun Li

中国杭州，杭州电子科技大学，浙江集成电路与智能硬件协同创新中心，310018

摘要

随着无人机技术的快速发展及其广泛应用，一些潜在的安全问题逐渐显现。然而，在实际应用中，大多数无人机识别方法都是基于封闭集假设的，这限制了有效应对未知无人机类别的能力。为了解决这个问题，本文提出了一种基于深度度量学习的开放集识别方法。具体来说，我们设计了一个多尺度时频特征提取网络，该网络从无人机（UAV）射频信号的时频谱（TFS）中学习并提取低维嵌入表示。在后续的特征优化阶段，我们联合使用三元组损失和中心损失来细化特征分布。此外，我们直接使用优化后的类中心与特征向量之间的距离作为分类的基础，从而形成了一种简单且易于部署的原型距离基础识别规则，避免了引入额外的可训练分类器模块，并且不需要在测试时进行迭代聚类来形成原型。最后，我们提出了一种自适应阈值距离分布分类器（AT-DDC），它通过分析特征向量与类中心之间的距离动态确定最优决策阈值，从而实现了无人机的开放集识别。与现有方法相比，所提出方法的平均准确率（KA）在所有场景中提高了3.5%。同时，真正未知率（TUR）仅降低了1.40%，决策阈值与最优阈值之间的平均绝对百分比误差（MAPE）降低了8.68%，这证明了所提出方法在无人机开放集识别中的优异性能。

引言

无人机技术的快速发展和广泛应用推动了各个行业的进步，但由于其潜在的安全风险，也给公共安全和社会秩序带来了重大挑战。在当前的无人机识别技术框架中，采用了多种技术，如雷达（[1]）、视觉（[2]）、声学（[3]）和射频（RF）。其中，基于RF的识别方法由于其对环境和天气条件的强适应性以及在复杂城市环境中的优势而受到了广泛关注和研究投入。然而，大多数使用RF技术的无人机识别研究主要集中在封闭集场景上，假设测试信号属于与训练样本相同的类别。在实际应用中，这是不充分的，因为它无法涵盖所有可能的无人机类型。因此，无人机的开放集识别（OSR）研究至关重要。

距离度量学习因其广阔的应用前景而受到了广泛关注和深入研究，在k最近邻分类（[4]）、图像检索（[5]）和聚类（[6]）等领域发挥着关键作用。在特征空间中，适当定义距离度量可以确保同一类别内的样本比不同类别的样本有更紧密的聚类。然而，传统的度量学习在分类或聚类任务之前需要预处理和特征提取步骤，这需要专门的知识，并且与分类结构独立运行，极大地限制了进一步的发展。随着深度学习技术的快速发展，将深度学习与度量学习相结合，产生了深度度量学习（DML）。深度学习通过神经网络自动从原始数据中提取关键特征，从而创建新的数据表示，有助于学习嵌入特征的相似性并实现更高层次的抽象（[7]）。目前，将DML与无人机RF信号结合以解决无人机OSR问题的研究仍然有限。

无人机OSR面临许多挑战：1）在开放集场景下已知类别准确率的下降。现有模型容易受到未知类别的干扰，在开放和动态环境中导致已知类别识别的准确性显著下降。2）表示和区分未知类别的瓶颈。现有方法缺乏有效的机制来学习未知类别的表示，并且无法充分建模类别之间的相对语义关系，这导致了未知类别识别准确性的瓶颈。3）确定决策阈值的难度。一些现有的OSR方法依赖于对未知类别的先验知识来确定最优边界阈值。然而，在实际应用中获取这样的先验知识是不切实际的。

本文提出了一种基于深度度量学习的开放集识别方法来解决上述问题。我们使用多尺度特征提取网络从无人机RF信号的时频谱（TFS）中提取特征，并将它们映射到嵌入空间。随后，利用三元组损失和中心损失来增强类内紧凑性和类间可分性，并直接使用样本特征向量与学习到的类中心之间的距离作为分类的基础，从而形成简单高效的决策规则。此外，我们提出了一种自适应阈值距离分布分类器（AT-DDC），它根据开放空间风险置信度动态确定决策阈值，从而解决了阈值确定的问题。总体而言，本工作的核心贡献总结如下：

•

提出了一种多尺度时频特征提取网络，能够从时频表示中提取多尺度特征信息，并将其投影到低维嵌入空间中，从而实现无人机RF信号时频谱的多尺度特征向量嵌入。

•

通过利用三元组损失增强类间可分性和中心损失促进类内紧凑性的互补优势，我们构建了一个以原型为中心的特征优化和识别框架。我们不引入显式的分类头，而是直接在原型空间中进行识别，使用中心损失优化的中心作为类原型，从而形成简单高效的基于距离的识别规则。这种设计避免了额外的可训练决策层，消除了测试时迭代聚类的需要；识别仅需要计算嵌入与固定数量的K个类中心之间的距离。

•

基于特征向量与类中心之间的独特距离分布，AT-DDC根据开放空间风险置信度自适应确定决策阈值，从而实现更稳定和平衡的已知无人机分类和未知无人机识别结果。

本文的其余部分组织如下：第2节回顾了有关无人机识别和深度度量学习的相关工作。第3节对所提出的方法进行了系统分析。第4节详细介绍了将所提出的方法与最先进方法和基准方法进行比较的实验评估。最后，第5节总结了这项工作。

部分片段

深度度量学习

近年来，随着深度学习技术的快速发展，DML在各种计算机视觉任务中取得了显著的成功，包括面部图像嵌入（[8]）、人员重新识别（ReID）（[9]）、图像检索（[10]）和细粒度分类（[11]）。Hadsell等人[12]、Chopra等人[13]是最早提出将孪生网络与对比损失结合以学习复杂相似性度量的研究者之一。这种方法涉及将成对数据输入到

系统模型

本文提出的基于深度度量学习的无人机开放集识别方法如图1所示。它主要由多尺度特征提取网络（MFE-Net）、融合度量损失和自适应阈值距离分布分类器（AT-DDC）组成，具体描述如下。

实验设置

我们在真实的Spectrogram数据集DroneRFb-Spectra（[29]上进行实验，该数据集包含24个RF信号类别，涵盖七个品牌（例如DJI、VBar和FrSky）。每个TFS样本是通过短时傅里叶变换（STFT）从50毫秒的原始I/Q数据生成的，并以标准化的512×512光谱格式发布。在这项工作中，我们遵循数据集协议，直接使用发布的512×512表示进行所有方法的处理，而不引入额外的任务特定

结论

本文提出了一种基于深度度量学习的无人机开放集识别框架，有效克服了传统方法在识别未知无人机类别方面的局限性，并在开放集条件下保持了强大的鲁棒性。通过构建多尺度特征提取网络MFE-Net，该框架实现了无人机射频信号TFS的多尺度特征提取，并将其有效地映射到判别性嵌入空间中。通过利用

CRediT作者贡献声明

Jiangfeng Hong：撰写——原始草稿、可视化、软件、概念化。Jiakai Liang：验证、方法论。Chao Wang：验证、监督、调查。Keqiang Yue：形式分析、概念化。Wenjun Li：资源、资金获取。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

Wenjun Li报告称获得了杭州电子科技大学的财务支持。如果有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。