用于边缘端高效Transformer语义通信的自适应令牌合并技术

《IEEE Open Journal of the Communications Society》：Adaptive Token Merging for Efficient Transformer Semantic Communication at the Edge

　　

摘要：

大规模变换器在现代语义通信中起着核心作用，但其高昂的计算和通信成本阻碍了其在资源有限的边缘设备上的应用。本文提出了一种无需训练的自适应标记合并框架，这是一种新颖的机制，通过根据每层的相似性阈值选择性地合并语义上冗余的标记，从而在运行时压缩变换器表示。与以往的固定比例压缩方法不同，我们的方法将合并操作直接与输入数据的冗余程度相关联，从而实现无需重新训练即可平衡效率与任务相关性的自适应调整。我们将合并策略的寻找视为一个多目标优化问题，并利用贝叶斯优化来近似处理准确性、推理成本和通信成本之间的帕累托最优平衡。在ImageNet分类任务中，我们的方法在每秒浮点运算次数减少30%的情况下，仍能保持与未修改的变换器相同的准确性，且通信成本低于原来的20%；在视觉问答任务中，我们的方法在计算成本仅为全LLaVA模型三分之一、带宽需求仅为十分之一的情况下，就能展现出与全模型相当的性能。最后，我们证明这种自适应合并方法在不同信道条件下都具有稳定性，并且具有固有的隐私保护优势，能够显著降低模型逆向攻击的效果。我们的框架为在资源受限的边缘智能场景中部署强大的变换器模型提供了一种实用且灵活的解决方案。