一种半监督多模态融合方法，用于在标签稀缺的情况下实现自动调制分类

《Digital Signal Processing》：A semi-supervised multimodal fusion approach for automatic modulation classification with label scarcity

半监督多模态融合框架通过Mean Teacher一致性学习和跨域注意力机制提升电磁环境下的调制分类性能，实验表明在低信噪比和10%标注数据条件下较SOTA方法提升2.9%-4.58%。

　　

魏凯马|张朵娜|王超凡|卢圆瑶|丁文瑞

中国北方工业大学人工智能与计算机科学学院

摘要

在现实电磁环境中，标签稀缺对数据驱动的自动调制分类（AMC）构成了一个关键挑战。为了解决这一限制，我们提出了半监督多模态融合（SS-MMF）框架，该框架结合了均值教师一致性学习和多模态特征融合，以利用大规模未标记数据。SS-MMF引入了基于注意力的多模态融合（ABM-Fusion）模块，通过辅助引导的门控机制，自适应地整合时域、频域和时频表示，从而在抑制噪声干扰的同时利用互补信息。此外，还引入了调制感知门控卷积（MA-GConv）模块来增强局部特征区分能力，而加性注意力机制则用于捕捉长距离依赖关系。大量实验表明，在有限的监督下，SS-MMF的性能始终优于现有方法，在RadioML2016.10a、RadioML2016.10b和RadioML2018.01a数据集上分别实现了4.58%、3.50%和2.90%的提升，而这些数据集仅包含10%的标记数据，并且在信噪比（SNR）较低和标签稀缺的情况下仍保持稳定的性能。

引言

自动调制分类（AMC）能够在几乎没有先验知识的情况下，实现通信信号调制方案的盲识别，它是下一代智能生态系统（如6G网络）和大规模物联网（IoT）的基石[1]。通过支持信号解调、频谱感知和干扰管理，AMC促进了异构通信节点之间的高效协议适应和协作交互[2]。通过准确的调制识别和动态资源分配，AMC提高了频谱效率。在具有大规模连接性和快速时变信道的复杂电磁环境中，强大的AMC对于减轻干扰和操作不确定性至关重要，这对于可靠的下一代通信系统来说是不可或缺的[3]。

传统的AMC方法主要分为基于似然的AMC（LB-AMC）[4]和基于特征的AMC（FB-AMC）[5]。尽管LB-AMC通过统计推断理论上可以达到最佳准确率，但其巨大的计算负担和对精确信道参数估计的严格依赖限制了其在动态环境中的泛化能力。相反，FB-AMC虽然计算效率高，但仍然严重依赖于人工设计的特征，导致在非理想信道条件下的性能下降。为了解决这些限制，基于深度学习的AMC（DL-AMC）作为一种有前景的替代方案出现，它能够从原始信号中自动学习区分性表示。著名的架构包括卷积神经网络（CNNs）[6]、循环神经网络（RNNs）[7]和图神经网络（GNNs）[8]。CNNs在捕捉局部时空模式方面表现良好，但由于其受限于较小的感受野，往往难以建模长距离依赖关系。同样，RNNs可以利用时间相关性，但计算复杂度高且训练不稳定；而GNNs尽管具有结构化建模能力，但在动态信号表示方面经常面临挑战。最近，基于Transformer的架构[9]通过利用自注意力机制进行全局上下文建模，展示了在AMC方面的优越潜力，相比传统架构具有明显优势。

尽管DL-AMC在性能上取得了显著提升，但在现实电磁环境中的实际效果仍受到两个基本挑战的制约：(1) 由于严重的噪声、干扰和动态信道条件，获取可靠的调制注释本质上非常耗时。因此，标记数据往往稀缺，而大量未标记信号却很容易获得。在如此有限的监督下，深度模型容易过拟合，现有的监督学习或标准半监督学习（SSL）方法难以有效利用未标记数据，尤其是在标记数据与未标记数据的比例严重不平衡时。(2) 不同信号表示域之间的区分性信息分布不均，时域信号捕获幅度和相位变化，频域表示强调全局频谱结构，时频表示则表征局部非平稳行为。相比之下，大多数现有的AMC方法依赖于单域建模或静态融合策略，这限制了跨域的有效交互，并阻碍了局部调制特性和全局结构依赖关系的联合学习，尤其是在噪声主导的环境中。

为了解决上述挑战，提出了半监督多模态融合（SS-MMF）框架。该框架结合了均值教师一致性学习和多模态特征融合，以利用大规模未标记数据。为了解决标签稀缺导致的表示学习问题，我们开发了一种协同的SSL策略。该策略在均值教师结构内利用高质量的、具有调制感知能力的输入特征，使区分性表示能够与一致性正则化有效交互。这种设计在低信噪比（SNR）环境下促进了更稳定的特征学习和更有效地利用大规模未标记数据。为了解决跨域建模的不足，SS-MMF引入了自适应的多模态融合机制。通过注意力引导的融合和门控卷积，模型同时捕获了互补的局部特征和长距离结构依赖关系。

本文的主要贡献总结如下：

(1) 提出了一种AMC特定架构与均值教师范式之间的协同整合。所提出的SS-MMF与均值教师师生机制高度兼容，在训练过程中两者相互增强。这种协同作用在有限的监督下促进了更稳定的多模态特征表示，有效利用了大规模未标记信号，并提高了在低SNR电磁环境中的鲁棒性和泛化能力。

(2) 提出了一种用于联合局部-全局调制建模的多模态表示学习方案。该方法利用时域、频域和时频域表示，利用它们的互补特性，包括相位-幅度变化、频谱结构和局部非平稳模式。注意力引导的融合机制实现了自适应的跨域交互，同时减少了冗余，从而在低SNR条件下提高了噪声鲁棒性和对相似调制类型的区分能力。

(3) 引入了一种考虑一致性的损失函数，以提高优化稳定性并增强从未标记样本中学习的可靠性。实验结果表明，在仅使用10%标记数据的情况下，所提出的方法在RadioML2016.10a、RadioML2016.10b和RadioML2018.01a数据集上分别实现了4.58%、3.50%和2.90%的提升。

部分摘录

完全监督的AMC方法

基于监督的深度学习AMC已经从手动特征工程发展为端到端的表示学习，涵盖了CNN、RNN和混合架构。最近的混合设计结合了注意力和基于图的建模，以增强表示能力，反映了从单模态模型向统一架构的转变，用于复杂的时空建模。

早期的研究主要使用CNN和RNN架构来建模局部空间变化和序列

方法

所提出的SS-MMF框架的整体架构如图1所示。该框架基于标准的均值教师范式，包括一个带有EMA更新和一致性正则化的师生架构。在此基础上，进一步引入了多模态调制感知表示学习流程，通过分层特征建模自适应地融合和增强多模态特征。这种紧密的集成使得

与其他模型的比较

将所提出的SS-MMF框架的分类性能与六种最先进的方法进行了基准测试：三种完全监督（FS）模型DTSG-Net [33]、CDAT-32 [34] 和 PET-CGDNN [35]，它们在完整数据集（100%标记数据）上进行了训练；以及三种半监督（SS）方法TcssAMR [24]、S2ESR [36] 和 SSRCNN [37]，它们仅使用了10%的标记数据进行训练。图5展示了RML2016.10a、RML2016.10b和RML2018.01a数据集的分类准确率与SNR的关系。

结论

在本文中，我们提出了SS-MMF，这是一种协同的半监督框架，它将均值教师一致性学习与多模态特征融合架构相结合。通过结合基于注意力的多模态融合和调制感知门控卷积，所提出的方法显著增强了信号表示的区分能力，同时有效抑制了噪声干扰。在RML2016.10a、RML2016.10b和RML2018.01a数据集上的广泛实验验证了

CRediT作者贡献声明

魏凯马：概念化、方法论、软件开发、数据整理、研究、初稿撰写。张朵娜：监督、撰写与编辑、项目管理。王超凡：数据整理、验证。卢圆瑶：数据整理、可视化。丁文瑞：数据整理、资源准备。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。