在无人机辅助的集成传感与通信系统中，利用多模态三分支语义融合网络进行电磁信号识别

《Digital Signal Processing》：Electromagnetic Signal Recognition Using Multimodal Tri-branch Semantic Fusion Network in the UAV-assist Integrated Sensing and Communication Systems

调制识别与多模态融合网络在低信噪比环境下的性能提升研究。摘要：提出MTF-Net架构，通过三分支融合时间频率分析与统计特征学习，提升低SNR下无人机非法信号识别精度。主分支使用DCRBlocks处理二进制时间频率图像，辅助分支通过ETFormer模块提取时空特征，最终实现多尺度特征增强与全局语义优化。

　　
当前，集成感知与通信（ISAC）系统的普及催生了无人机信号识别领域的重大挑战。传统自动调制识别（AMR）方法在低信噪比（SNR）环境下性能严重衰减，且难以适配资源受限的边缘计算设备。这一瓶颈严重制约着安全UAV生态系统的规模化部署，因为现代通信系统需要实时且鲁棒的调制识别能力来应对动态电磁环境中的频谱拥挤和恶意干扰。

研究团队提出的MTF-Net架构创新性地整合了三种技术路径：首先，通过二进制时间频率图像（B-TFIs）的预处理将复杂信号转化为高对比度的视觉模态，显著降低计算复杂度。其次，主分支采用可扩展的Dilated Convolution-Residual Blocks（DCRBlocks）结构，在保持实时处理能力的同时，通过多级间隔卷积捕获从毫秒级到秒级的长期时域特征。这种设计突破了传统卷积神经网络在长周期信号建模中的局限，特别是在处理雷达信号中的线性调频（LFM）和通信信号中的连续相位频移键控（CPFSK）时，能精准识别相位轨迹的细微变化。

值得关注的是，该框架引入了双重辅助分支机制。第一分支通过时间能量积分向量（TEIV）提取频谱包络的统计特性，第二分支利用频谱能量积分向量（SEIV）捕捉瞬时幅度分布。这两个1维特征向量通过轻量级Transformer模块进行深度建模，其创新点在于采用可分离卷积结构，在保持每层仅进行1次矩阵乘法运算的前提下，仍能有效捕捉跨频段关联。这种设计使得模型在边缘设备上的功耗降低约40%，同时将特征表达维度压缩至原始信号的1/8，解决了传统多分支系统存在的维度灾难问题。

在特征融合层面，MTF-Net开发了动态权重调整机制。系统通过比较三个分支输出的特征相似度，自动分配不同权重的融合结果。实验数据显示，这种自适应融合策略相比固定权重融合方法，在SNR低于-10dB时识别准确率提升达27.6%。特别是在混合信号识别场景（同时包含雷达和通信调制），融合后的特征向量空间维数仅增加15%，却使跨模态误判率下降至3.2%以下。

该方法的工程实现展现出显著优势。主分支的Dilated Convolution模块通过引入动态间隔参数，使得在处理宽频带雷达信号（如100MHz采样率）时，卷积核的覆盖范围从传统方案的固定尺寸转变为可扩展的滑动窗口。这种自适应机制使模型在识别Barker序列等尖锐脉冲信号时，时域分辨率提升至纳秒级，误码率控制在0.1%以内。辅助分支的ETFormer模块采用双通道注意力机制，在保持FLOPs低于1.2M的前提下，成功建模了信号频谱与时间轴的复杂非线性关系。

实验验证部分采用包含8类调制信号（3类雷达波形+5类通信信号）的基准测试集，信号经过-30dB至+10dB动态SNR范围扰动。与传统单分支模型相比，MTF-Net在最低SNR=-25dB时仍保持92.3%的识别准确率，超过现有最佳方案（88.7%）4.6个百分点。在边缘计算场景测试中，该架构在Jetson Nano平台上的推理速度达到120帧/秒，内存占用仅为同类模型的60%，特别适合部署在无人机机载设备等资源受限环境中。

该研究对频谱安全领域具有重要实践价值。通过构建异构特征互补机制，MTF-Net在保障运算效率的前提下，实现了对新型抗干扰调制（如混合QAM-OFDM波形）的识别突破。测试数据显示，当遭遇30%以上的信号叠加干扰时，传统方法准确率骤降至65%以下，而MTF-Net仍能保持89.2%的稳定性能。这种鲁棒性提升源于特征空间的维度扩展策略——在关键频段采用高分辨率B-TFI，而在非敏感区域切换为低维投影特征，形成动态特征分配机制。

在算法可扩展性方面，MTF-Net设计了模块化接口。主分支支持通过调整间隔参数（dilations）适配不同采样率（从1MHz到100MHz），而辅助分支的投影矩阵可根据信号类型进行参数化调整。这种设计使得模型能够无缝扩展到多频段协同工作场景，例如同时处理5G通信和毫米波雷达信号。测试表明，在四通道异构信号输入情况下，系统整体吞吐量仍保持每秒2000个波形的处理能力。

该研究的技术路线对智能频谱管理具有重要启示。通过将物理层特征（如SPWVD预处理）与深度学习架构有机融合，MTF-Net开创了"特征工程引导的深度学习"新范式。在训练过程中，系统自动优化特征提取和融合的平衡点，使得在SNR=-15dB时，模型所需训练样本量仅为传统方法的1/3。这种自适应性学习机制显著提升了模型在真实复杂环境中的泛化能力。

研究团队还特别关注了实际部署中的边缘计算挑战。通过将Transformer模块中的注意力机制替换为可分离卷积结构，使得每个辅助分支的运算量降低至原始设计的18%。在资源受限的无人机平台测试中，该架构在保持97.4%识别精度的同时，仅消耗总计算资源的23%，留出足够余量支持多传感器数据融合等附加功能。这种计算效率与性能的平衡为ISAC系统的实际部署提供了可行性保障。

在跨领域应用方面，该框架展现出强大的适应性。在模拟城市电磁环境测试中，MTF-Net成功实现了对30米范围内8种无人机信号的实时识别（采样率100kHz），误报率低于0.5%。当遭遇GPS信号干扰时，系统通过动态权重调整机制，优先启用雷达分支的特征，使识别准确率保持在91%以上。这种环境自适应能力使其成为智慧城市安全监测的理想工具。

研究团队在实验设计上采用了创新的对比方法。除常规性能指标（准确率、召回率、F1值）外，特别引入了特征可解释性评估指标——基于激活图热力图分析，MTF-Net的关键特征识别准确率比传统方法提高12.3%。在对抗样本测试中，系统对幅度欺骗攻击的检测率高达98.7%，超过现有最佳模型（89.4%）近10个百分点，这得益于其多尺度特征融合机制能有效捕捉异常样本的统计分布偏移。

未来工作方向主要集中在动态特征空间构建和跨模态知识迁移。研究团队计划引入可学习的特征选择机制，根据实时电磁环境动态调整特征组合权重。此外，正在探索将视觉Transformer模块引入通信信号识别，通过跨模态预训练提升特征表达的泛化能力。这些扩展方向有望将当前模型的应用范围从单一频段扩展到多频段协同工作，并提升对新型调制技术的适应能力。

该研究成果标志着AMR技术从单一信号处理向多模态智能感知的范式转变。通过融合时间频率分析、统计特征学习和轻量化Transformer架构，MTF-Net不仅解决了传统方法在低SNR和高动态环境中的性能瓶颈，更为重要的是建立了可扩展的智能频谱管理框架。这种技术路径对构建自主防撞系统、频谱资源优化配置等关键应用具有重要参考价值，为6G异构网络中的安全通信保障提供了新的技术储备。