面向仇恨与宣传模因的可解释检测：结合思维链监督的强化学习自适应方法

《Machine Learning with Applications》：Adapting reinforcement learning with chain-of-thought supervision for explainable detection of hateful and propagandistic memes

　　

虽然基于推理的多模态大语言模型（MLLMs）推动了视觉-语言理解的发展，但其在模因内容审核中的应用仍未得到充分探索。本研究提出了一种基于强化学习的后训练方法，该方法通过任务特定奖励和群组相对策略优化（GRPO），提升了基于推理的MLLMs的分类性能和基于参考的解释质量。具体而言，研究人员（i）在英语和阿拉伯语基准测试上，对现有MLLMs进行了系统的实证研究，评估其对仇恨与宣传模因的理解能力；（ii）通过知识蒸馏和多LLM细粒度宣传标注，利用弱监督的思维链（CoT）理由扩展了现有的模因数据集；（iii）引入了一个带有推理长度正则化的GRPO目标函数，该函数联合优化了分类准确率和解释质量；（iv）研究了在无标签模因上，利用基于共识的伪标签进行自训练GRPO（ST-GRPO）。在Hateful Memes和ArMeme基准上的实验表明，该方法在FHM准确率（最高提升+2.1%，从79.9%提升至82.0%）和ArMeme宏平均F1值（最高提升+7.6个百分点，从0.536提升至0.612，并提供解释；相比原始ArMeme基准提升+6.1）上优于先前报告的结果，同时还能生成自然语言解释。在ArMeme上，序列分类基线在原始准确率方面仍然更强，而研究人员的方法则提供了更均衡的各类别性能，并附带了解释。研究人员公开了其代码、数据扩展和评估资源。

论文解读文章

研究背景、问题与研究意义

社交媒体上充斥着将图像与文本结合的模因（memes），这种形式常被用于传播仇恨言论和宣传信息。由于此类有害意图往往隐藏于图像与文本的交互作用中，单一模态的分析难以有效识别。尽管基于推理的多模态大语言模型（Multimodal Large Language Models，MLLMs）在视觉-语言理解领域取得了进展，但其在模因内容审核这一主观性强、文化背景复杂的任务上的应用仍不充分。现有研究多集中于二分类任务，缺乏对模型推理过程和可解释性的关注，尤其是在跨语言（如阿拉伯语）和细粒度标注场景下的研究更为匮乏。因此，亟需一种能够联合优化分类性能与解释质量的系统性方法。

本研究旨在填补这一空白，通过引入强化学习（Reinforcement Learning，RL）的后训练技术，特别是群组相对策略优化（Group Relative Policy Optimization，GRPO），并结合思维链（Chain-of-Thought，CoT）监督，系统性地提升MLLMs在仇恨与宣传模因检测中的表现。此项研究对于构建更安全、更具可解释性的在线内容审核系统具有重要意义。

主要关键技术方法

1. 1.
   思维链蒸馏（Chain-of-Thought Distillation，CoTD）：利用更强的MLLM（GPT-4.1）为训练数据生成逐步的推理轨迹，作为弱监督信号。
2. 2.
   多LLM细粒度标注流程：针对阿拉伯语宣传模因数据集（ArMeme），采用双注释器（GPT-4.1和Llama-4-Scout）独立标注，再通过一个整合器（Gemini-3-Pro）合并结果的流程，构建细粒度的宣传技巧标签。
3. 3.
   三阶段训练流水线：包括监督微调（Supervised Fine-Tuning，SFT）预热、有监督的GRPO和自训练GRPO（Self-Training GRPO，ST-GRPO）。
4. 4.
   复合奖励函数：在GRPO框架下，联合优化分类正确性、输出格式合规性、基于参考的解释相似度（METEOR）和推理长度正则化（Rthink）。

研究结果

• •
  RQ1：细粒度标签的影响：在SFT预热阶段，加入细粒度标签（如受保护类别、攻击类型、宣传技巧）能持续提升性能。在FHM数据集上，宏平均F1值（macro-F1）从0.75提升至0.77；在ArMeme数据集上，提升更为显著，从0.43提升至0.51。
• •
  RQ2：思维链蒸馏的作用：在包含细粒度标签的SFT基础上，进一步添加蒸馏的CoT（CoTD）能带来额外增益。FHM的macro-F1从0.77提升至0.78，ArMeme的macro-F1从0.51提升至0.54。
• •
  RQ3：多LLM标注的有效性：对于ArMeme数据集，采用多LLM细粒度标注流程，使SFT阶段的macro-F1从0.43提升至0.51，获得了8.0个百分点的绝对提升。验证集上的结果表明，整合后的标注比任一单源LLM的标注更接近人工标注。
• •
  RQ4：GRPO与SFT的比较：在CoTD预热的基础上，结合推理长度奖励（Rthink）进行GRPO训练，性能进一步提升。在FHM上达到0.80的macro-F1，在ArMeme上达到0.597的macro-F1。这表明GRPO相较于单独的SFT更优，且SFT预热和长度正则化对训练稳定性至关重要。
• •
  RQ5：自训练GRPO（ST-GRPO）的效果：ST-GRPO的效果呈现混合性。它在ArMeme上将macro-F1从0.597提升至0.612，但在FHM上却导致macro-F1下降了1.0个百分点。这可能是因为FHM的无标签数据池来自不同的英语模因数据集，存在数据分布不匹配的问题。

讨论与结论

讨论部分：本研究系统地探讨了GRPO在多模态推理中的应用，特别是在跨语言、细粒度和自训练场景下的表现。研究发现，细粒度监督和CoT蒸馏均能有效提升SFT性能，而GRPO则能在此基础上进一步优化。然而，ST-GRPO的成功与否可能高度依赖于无标签数据的分布与目标域的一致性。此外，在ArMeme数据集上，尽管本方法在macro-F1上表现出色，但传统的序列分类基线在原始准确率上仍有优势，这暗示了在追求解释性和类别平衡时可能需要权衡的部分。

结论部分：研究人员提出了一种基于强化学习的后训练方法，通过任务特定奖励和GRPO，显著提升了基于推理的MLLMs在仇恨与宣传模因检测中的分类性能和解释质量。在英语仇恨模因（FHM）和阿拉伯语宣传模因（ArMeme）两个基准测试上，该方法均取得了超越先前报告的成果，证明了其在跨任务、跨语言环境下的泛化能力。研究人员的贡献包括：首次系统性地研究了GRPO在跨语言、细粒度和自训练设置下的多模态推理；开发了多LLM细粒度标注流程；引入了稳定RL优化的阈值推理长度奖励；并探索了无需人工标注的自训练GRPO。所有代码、数据和评估资源均已公开发布。