基于能量加权监督的多模态文档蒸馏增强方法：提升模型效率与鲁棒性

本文提出能量加权监督（EWS）框架，通过动态调整硬标签与软标签损失的权重，有效解决多模态文档蒸馏中高能量样本误导问题，显著提升学生模型性能且无需额外训练开销，为资源受限设备部署提供新思路。

　　

亮点

本研究提出能量加权监督（EWS），通过能量感知的损失调制机制，显著提升多模态文档蒸馏的效能与鲁棒性。

背景

能量函数E(·)将样本划分为高能量（低置信度）与低能量（高置信度）组。在命名实体识别（NER）任务中，每个样本x_i对应一个词元序列，模型输出逐词元预测结果。样本x_i的能量分值反映了其预测置信度水平。

实验结果

通过对比DistilBERT、PKD、TinyBERT及EnergyKD等前沿蒸馏方法，验证了EWS作为即插即用模块对各类基线的提升效果。所有实验均采用六层学生模型，其教师模型为LayoutLMv3-base。

结论

能量加权监督（EWS）通过动态调节软硬标签监督的平衡，显著增强多模态文档模型的蒸馏效果，尤其在挑战性数据集FUNSD上表现突出。