RMTrans：在潜在威胁下用于患者预后预测的强大多模态变换器

《ACM Transactions on Intelligent Systems and Technology》：RMTrans: Robust Multimodal Transformers for Patient Prognosis under Backdoor Threats

针对多模态Transformer在医疗应用中易受后门攻击的问题，提出RMTrans框架。通过图像预处理阶段引入基于补丁的局部特征抑制方法，减少局部过拟合，增强模型鲁棒性。融合多模态特征后，采用Vision Transformer进行疾病预测，在MIMIC-IV和CXR数据集上验证其优于现有基线的安全性和预测性能。

　　

摘要

Transformer模型凭借其自注意力机制和位置编码能力，在建模长距离依赖关系方面表现出色。这一特性使其在整合多模态信息（如临床记录和放射图像）以捕捉复杂疾病模式方面具有巨大潜力。然而，由于Transformer依赖于预训练的深度神经网络从大型数据集中提取特定模态的特征，因此容易受到后门攻击，这对其在医疗应用中的部署构成了重大挑战。为了解决这些安全问题，我们提出了一种基于Transformer的强大多模态框架RMTrans，该框架能够减轻包含后门触发机制的恶意影像数据对模型的影响，同时提升模型的鲁棒性。在影像数据预处理阶段，我们采用了一种高效的基于补丁的处理方法，使模型更倾向于学习全局特征而非过度拟合局部（补丁级别）的模式，从而确保训练过程的安全性和可靠性。随后，我们将多模态表示融合，并训练了一个视觉Transformer（ViT）用于疾病预测。在包括MIMIC-IV和CXR在内的真实世界数据集上进行的广泛实验验证了RMTrans的有效性。该框架的性能优于现有的最佳模型，证明了其作为多模态疾病预测的安全可靠解决方案的潜力。