DCHF_T：面向Transformer模型的多维自适应压缩方法——突破计算瓶颈，赋能自然语言处理高效部署

本文创新性提出多维自适应压缩框架DCHF_T，通过动态令牌压缩（DTC）、注意力头剪枝与轻量化前馈网络（FFN）的协同优化，实现Transformer模型在计算效率与性能间的精准平衡。采用多目标进化搜索策略，在GLUE基准测试中显著降低FLOPs（浮点运算量）与参数规模，为资源受限场景下的自然语言处理（NLP）模型部署提供系统解决方案。

　　

Highlight

• •

  我们提出多维压缩框架DCHF_T，通过联合压缩冗余令牌、注意力头和神经元，有效解决现有单维压缩的局限性。

• •

  为帮助模型聚焦任务相关输入序列部分，我们提出动态压缩机制，采用可学习选择策略识别信息量最大令牌，并保留被丢弃令牌的信息。

• •

  为更好适配多样化计算预算，我们引入多目标进化搜索方法，在给定约束下实现模型精度与计算效率的最优权衡。

• •

  在GLUE基准的8项任务中实验表明，DCHF_T显著降低浮点运算量（FLOPs）并加速训练与推理，同时保持模型精度。相较基线模型，本方法在精度与效率间达成最优平衡，并显著减少参数数量。

DCHF_T

本节我们首先概述DCHF_T方法的整体流程，继而详细描述各模块。

Datasets and metrics（数据集与评估指标）

我们在HuggingFace平台实现所提框架，并使用GLUE基准进行评估。该基准包含单句任务（如情感分类SST-2、语法正确性判断CoLA）与文本对任务（如自然语言推理MNLI/QNLI、文本蕴含识别RTE、句子相似度QQP/MRPC、语义文本相似度STS-B）。评估采用任务特定指标：STS-B使用斯皮尔曼相关系数，其余任务使用准确率（Accuracy）。

Conclusion（结论）

本文提出集成令牌压缩、注意力头剪枝与神经元剪枝的多维自适应压缩方法（DCHF_T）。DCHF_T利用可训练动态令牌压缩（DTC）在训练期间选择信息最丰富的令牌表征，使模型聚焦任务相关输入序列部分，同时通过融合机制保留被丢弃令牌的信息，从而减少剪枝导致的关键信息损失。此外，我们...