一种跨模态差异感知融合方法，用于学习用于欺骗检测的判别性线索

《Knowledge-Based Systems》：A cross-modal discrepancy-aware fusion approach to learning discriminative cues for deception detection

　　

沈志豪|宋孔|张登攀|刘轩|马青平

摘要

在人际互动中准确检测欺骗行为对于减轻其社会危害和理解真实意图至关重要。然而，欺骗行为具有复杂性，并且在不同情境下并不表现出强烈的规律性，这给自动化欺骗检测带来了重大挑战。尽管已有大量研究致力于开发有效的多模态融合策略来进行欺骗检测，但其性能仍不尽如人意。众多心理学研究表明，人格特征与欺骗行为之间存在密切关联；同时，人们在实施欺骗行为时多模态行为之间的不一致性对于欺骗检测也非常关键。鉴于这两个尚未得到充分利用的线索，本研究创建了一个包含视频、音频和文本的多模态普通话数据集，并对其标注了欺骗标签和人格特征。我们提出了一种新型的“差异感知多模态融合网络”（DMFnet），该网络采用对比注意力机制，在特征融合过程中更加关注不同模态之间的差异信息。此外，通过引入利用人格信息的多任务学习框架，进一步提升了模型的整体性能和泛化能力。实验结果表明，与其它竞争模型相比，我们提出的模型在欺骗检测方面取得了良好的性能。消融实验也证实了对比注意力机制在多模态融合中的有效性；辅助的人格识别任务进一步显著提升了欺骗检测的性能。