DICE：通过注意力嵌入融合技术解析多模态教科书问答中的因果证据

《Pattern Recognition》：DICE: Disentangling Causal Evidence for multimodal textbook question answering via attentive embedding fusion

　　

徐谷 | 余莉 | 章冰珂 | 王金桥 | 秦晓琳

• •
  我们提出的DICE框架解决了多模态RAG中的噪声与相关性之间的权衡问题。
• •
  我们提出的MAEF模块能够合成多视图语义，以实现鲁棒的早期融合。
• •
  因果证据分离机制通过MINE损失来隔离任务相关证据。
• •
  解耦的检索过滤器能够消除混淆因素，从而减少幻觉现象。
• •
  在CK12-QA、ScienceQA和AI2D基准测试中取得了最佳准确率。