通过混合频谱门控技术解锁变压器中的频域特性

《Expert Systems with Applications》：Unlocking the Frequency Domain in Transformers via Hybrid Spectral Gating

　　

黄志高|陈沐生|郑世岩

• •
  基于频率的头部权重调整增强了Transformer的注意力机制。
• •
  混合频谱门控技术将静态头部先验与动态FFT线索相结合。
• •
  混合权重调整在结构化文本上的效果最为显著，并非适用于所有数据集。
• •
  多种子和截止值分析提升了模型的鲁棒性和可解释性。
• •
  该方法增加的参数极少，但会带来一定的运行时开销。