面向鲁棒性红外小目标检测：特征增强与灵敏度可调框架

本文提出能量加权监督（EWS）框架，通过基于能量分数的样本分层机制动态调整硬标签（hard-label）和软标签（soft-label）损失的平衡，有效解决知识蒸馏（KD）中高能量样本误导问题，在多模态文档理解任务中显著提升学生模型性能且无需额外训练开销。

　　

¹Highlight亮点聚焦

我们提出能量加权监督（EWS）——一种通用监督增强框架，基于能量样本分层机制动态调整硬标签与软标签损失的权重平衡，使学生模型更可能获得准确校正的监督信号，无需额外数据增强或训练开销。

²Multi-Modal Document Models多模态文档模型

文档智能模型的发展主要由多模态预训练架构推动，例如LayoutLM系列和DocFormer。这些模型联合编码文本内容、空间布局和视觉特征以促进文档理解。LayoutLMv³通过整合掩码语言建模（MLM）、掩码图像建模（MIM）和新提出的词-块对齐目标扩展了先前方法。

³Background研究背景

在我们的方法中，利用能量分数将模型预测分为高能量和低能量组。这些分数由能量函数E(·)定义，为每个输入样本分配标量值以反映模型预测置信度。在命名实体识别（NER）任务中，每个样本x_i对应 token 序列，模型输出每个 token 的预测序列。

⁴Experimental Results实验结果

为评估方法的有效性，我们对比了最先进的知识蒸馏方法，包括DistilBERT、PKD、TinyBERT和EnergyKD。每种方法均采用从LayoutLMv³-base蒸馏的六层学生模型。我们进一步将EWS作为插件扩展应用于各基线以评估其性能提升。

⁵Conclusion研究结论

本研究通过提出能量加权监督（EWS）为多模态文档模型的知识蒸馏提供了新方法，其基于每个样本的能量分数动态调整软硬标签监督的平衡。EWS兼容基于logit和基于特征的蒸馏方法，并在多样数据集上持续提升性能。值得注意的是，在更具挑战性的FUNSD数据集上，EWS实现了显著增益。