《Big Data and Cognitive Computing》：Improving Entity Understanding for Vision-Language Pre-Training via Active Learning
编辑推荐：
尽管许多研究人员使用预训练模型以更好地解决下游任务，但对更有效预训练方法的进一步探索仍然必要，尤其是高质量训练数据更难获取的多模态预训练领域。本研究旨在提升多模态预训练中的知识学习效果。部分研究基于掩码实体模型（Masked Entity Model, MEM
尽管许多研究人员使用预训练模型以更好地解决下游任务，但对更有效预训练方法的进一步探索仍然必要，尤其是高质量训练数据更难获取的多模态预训练领域。本研究旨在提升多模态预训练中的知识学习效果。部分研究基于掩码实体模型（Masked Entity Model, MEM）训练将实体知识注入语言预训练模型，即随机掩码实体并由模型恢复，但因未考虑哪些实体对学习更具价值，且多模态训练数据中部分实体与视觉内容无关，此类方法无法保证良好性能。本研究针对视觉-语言（Vision-Language）预训练模型，提出一种基于主动学习（Active Learning）的掩码实体模型预训练方法——ActiveMEM。该方法主动掩码重要且具信息量的实体（即对模型既信息丰富又不确定之实体）供模型恢复，从而促使模型从数据中提取更有价值的知识。研究人员在三个预训练数据集和四个下游数据集上对所提方法进行评测，实验结果证明了该方法的有效性。
论文解读：《Improving Entity Understanding for Vision-Language Pre-Training via Active Learning》——发表于Big Data and Cognitive Computing
一、研究背景与问题提出
视觉-语言预训练（Vision-Language Pre-Training, VLP）中掩码语言建模（Masked Language Model, MLM）常以均匀随机方式掩码token或整词，现有掩码实体模型（Masked Entity Model, MEM）虽将命名实体作为掩码单元以注入知识，却普遍采用随机掩码策略，未考量：(1) 多模态语境下实体与图文上下文的相关性——部分文本实体与图像内容无关或弱相关，随机掩码此类实体对跨模态对齐贡献低；(2) 预训练过程中模型状态（model state）的动态变化——模型对已掌握"容易"实体的重复掩码学习效率低下，应对当前状态下预测不确定（困难）的实体重点训练。此外，主动学习（Active Learning）多用于下游任务标注样本筛选，鲜见将其引入VLP预训练阶段的掩码策略设计。因此，研究人员开展此项研究，提出ActiveMEM方法，依据图文跨模态相关性与模型预测不确定性动态选择实体进行MEM预训练，并在多个基准上验证其有效性，证明在同等数据与架构下单靠更优挖掘预训练数据即可提升下游表现。
二、关键技术方法概述
研究人员以METER为多模态基准架构（视觉编码器为CLIP-ViT，文本编码器为RoBERTa），在WIT、COCO、CC3M三个数据集上做预训练，文本实体通过命名实体识别结合Wikipedia条目匹配标注。ActiveMEM流程为每步预训练时对输入文本：(1) 计算各实体跨层平均跨模态注意力（cross-modal attention）得分，取Top?m（文中m=5）高分实体构成候选集?_cand；(2) 将候选实体暂掩码做前向推理得各实体预测损失（反映模型不确定性），选Top?k（文中k=2）高损失实体真正掩码；(3) 以MEM目标（恢复原始实体token）更新参数。消融实验分别去除注意力筛选（w/o attention）与去除损失筛选（w/o loss）对比。预训练后于VQA?v2、OK?VQA、A?OKVQA、SNLI?VE四个下游任务微调评测，各实验重复三次取均值。
三、研究结果
3.1 实验主结果（Section 4.4 Performance of various masking strategies on four downstream tasks）
研究人员将ActiveMEM与Token?Random、ContentWords?Random、Whole?Random、Span?Random在三种预训练数据集—四种下游任务对照。结果表明：ActiveMEM在各预训练数据集及各下游任务上均一致优于所有基线；尤其在实体丰富的WIT预训练后提升明显，证实依据跨模态相关性与模型不确定性动态掩码实体能更有效注入实体知识并改善跨模态理解。
3.2 消融实验（Section 4.5 Ablation results）
去掉基于跨模态注意力的"重要实体"筛选（w/o attention）性能下降幅度大于去掉基于损失的"有趣实体"筛选（w/o loss），说明跨模态注意力筛选对识别图文相关实体更为关键；两组件同时使用时性能最优，验证需联合筛选重要（important）与有趣/困难（interesting）实体。即使仅保留注意力筛选而无损失筛选，仍优于随机掩码基线。
3.3 超参数m分析（Section 4.6 Analysis of Hyperparameter m）
研究人员对比候选集大小m=5与m=10，m=5时下游表现更优，引入过多候选实体（m过大）会稀释重要实体比例导致性能下降，故后续实验取m=5。
3.4 超参数k分析（Section 4.7 Analysis of hyperparameter k）
在含多实体的WIT数据集上对比最终掩码数k=1、k=2、k=3（m固定为5），k=2优于k=1与k=3，表明适度增加掩码实体数有助于学习但过量无额外增益，文中选定k=2。
3.5 定性分析（Section 4.8 Qualitative Analysis）
对WIT样本中实体"Abbey"可视化跨层平均跨模态注意力热图，ActiveMEM所得注意力正确聚焦图像中对应区域，而Token?Random等方法注意力分散，说明ActiveMEM助模型习得更好的跨模态实体—区域对齐能力。
四、讨论与结论总结
讨论部分指出：现有VLP常靠扩大模型或数据量提性能，本研究则从更好挖掘现有数据角度提出ActiveMEM，将实体掩码建模为预训练阶段主动样本选择问题，联合跨模态相关性与模型不确定性做动态掩码，是将主动学习范式引入多模态预训练的早期探索。该方法不引入额外可训练参数或辅助网络，仅增加一次用于实体筛选的前向传播（可利用推理阶段反向传播机制，开销较小），可与课程学习、难例挖掘等互补结合。未来可拓展至多模态及更广任务域。
结论（翻译Section 6）：针对多模态预训练，本研究提出一种基于主动学习的掩码实体模型（MEM）预训练方法ActiveMEM，依据多模态上下文与模型状态主动掩码重要且有学习价值的实体供模型恢复。实验表明所提方法在四个下游任务上可提升预训练模型性能。本研究是对在预训练阶段应用主动学习的初步探索，未来计划将该方案扩展至含额外模态的模型以进一步增强多模态表征学习，并考察ActiveMEM在更广泛任务与领域中的可扩展性与泛化能力。
