摘要
大型预训练语言模型能够为自然语言推理任务生成流畅的自由文本解释，但这些解释可能包含冗余、无关或无依据的信息。在本文中，我们提出了一种基于柯西-施瓦茨混合信息瓶颈的忠实解释再生框架。该方法能够在压缩含噪声的解释的同时，保留与任务相关且有助于决策的信息。我们没有使用单模高斯先验，而是引入了高斯混合先验，并采用柯西-施瓦茨散度作为易于处理的压缩正则化手段。此外，还引入了一个注重忠实度的目标函数，以促使学习到的表示与任务决策保持一致。在自由文本解释基准测试上的实验表明，所提出的方法提升了解释的质量、简洁性以及忠实度，同时提供了一个基于信息论的压缩与保留框架。
