CIMB-MVQA：针对医学视觉问答中模态特异性偏见的因果干预措施

《Medical Journal Armed Forces India》：CIMB-MVQA: Causal Intervention on Modality-specific Biases for Medical Visual Question Answering

针对医学视觉问答（Med-VQA）中视觉和语言模态的虚假关联问题，本文提出CIMB-MVQA框架，通过前门调整处理不可观测视觉偏差（对比学习、特征解耦、双语义遮蔽），后门调整策略抑制可观测语言偏差（全局语言偏差词典、视觉引导伪令牌注入），并构建因果图推理模块阻断非因果路径，显著提升准确性和因果可解释性，在多个基准测试和受控偏差数据集上验证了跨分布泛化能力。

　　在医疗领域，视觉问答系统（Medical Visual Question Answering, Med-VQA）正逐渐成为辅助临床决策的重要工具。这类系统通过分析医学影像与相关临床问题之间的关系，生成准确的答案，从而为医生提供支持。然而，Med-VQA 在实际应用中面临一个重要的挑战：模型往往依赖于数据集中的非因果线索，这些线索来源于数据偏差和结构上的混淆因素，从而影响了模型的稳健性和真实场景下的泛化能力。为了克服这一问题，本文提出了一种基于因果干预的框架——CIMB-MVQA，该框架旨在通过系统性地识别和处理模态特定的偏差，提升模型的准确性和因果可解释性。

传统的 Med-VQA 方法通常采用独立的图像和文本编码器，分别提取视觉和语言特征，然后通过多模态融合进行答案预测。尽管这些方法在某些基准测试中表现出良好的性能，但它们往往忽视了图像与文本之间潜在的因果关系，导致模型过度依赖数据中的统计相关性。这种依赖可能使模型在面对罕见疾病或多种病灶的情况时，无法做出准确的判断，甚至产生不稳定的预测结果。此外，模型在处理复杂临床问题时，可能会因为表面模式而产生注意力偏差，从而影响其在真实医疗场景中的可靠性。

为了解决上述问题，CIMB-MVQA 采用了因果推理的视角，构建了一个统一的因果建模框架。该框架包括两条干预路径：一条用于处理不可观察的视觉混淆因素，另一条用于处理可观察的语言混淆因素。通过这两条路径，模型能够在不同模态中识别并抑制非因果信号的传播，从而提升其在跨模态推理中的表现。对于不可观察的视觉混淆因素，CIMB-MVQA 引入了一种前门调整策略，该策略结合了对比学习、特征解耦和双语义掩码技术，以消除视觉模式中的冗余和非因果依赖。对于可观察的语言混淆因素，CIMB-MVQA 采用了一种后门调整策略，通过构建一个全局语言偏差字典来识别和消除偏倚的语言模式，同时利用视觉引导的伪标记注入机制，将关键的视觉线索嵌入到语言流中，从而减少语言主导性，增强视觉与语言之间的因果一致性。

此外，CIMB-MVQA 还引入了一种因果图推理模块，该模块能够在多个推理路径中显式地干预和抑制偏差传播的路径。通过这种结构化的因果建模，模型不仅能够更好地理解图像与语言之间的关系，还能够提升其在复杂临床问题上的推理能力。实验结果表明，CIMB-MVQA 在多个 Med-VQA 基准测试中显著提升了答案的准确性和因果可解释性。特别是在一个精心设计的不平衡数据集 VQA-RAD* 以及一系列受控偏移数据集上，CIMB-MVQA 表现出在真实偏倚条件下的稳健因果泛化能力，同时在跨分布泛化和因果可解释性方面也优于其他方法。

为了进一步验证 CIMB-MVQA 的有效性，本文还对多个 Med-VQA 数据集进行了评估。其中包括 VQA-Med 2019、VQA-RAD 和 SLAKE 等公开数据集。这些数据集覆盖了多种临床问题类型，包括封闭式问题（如“是”或“否”）和开放式问题（自由文本）。每个图像通常与多个问答对相关联，这些问答对涉及不同的临床问题，如影像类型、扫描平面、器官和异常性等。通过在这些数据集上的实验，本文展示了 CIMB-MVQA 在提升模型性能和可解释性方面的显著效果。

CIMB-MVQA 的核心贡献在于其系统性地定义了四种代表性的模态特定偏差来源，并提供了明确的因果建模目标和干预点。此外，该框架通过前门调整策略和后门调整策略，分别处理不可观察的视觉混淆因素和可观察的语言混淆因素。这些策略不仅提升了模型的准确性，还增强了其在不同模态之间的因果一致性。最后，CIMB-MVQA 在跨分布泛化和因果可解释性方面表现出色，这使得它在医疗应用中具有更高的可靠性和实用性。

本文的研究还涉及对现有方法的回顾与分析。许多早期的 Med-VQA 方法主要关注样本级别的反事实干预，例如通过编辑视觉内容来减少对共现结构的依赖，或者通过生成语言反事实来引导语义焦点。然而，这些方法缺乏系统性的因果建模，难以区分不同类型的偏差。一些更近期的方法则引入了前门或后门调整策略，但这些策略通常基于抽象变量依赖，限制了对具体偏差的控制。此外，某些方法通过构建跨模态因果图来显式地阻断偏差传播路径，但它们在处理视觉和语言混淆因素时缺乏对模态特定偏差的对称处理，限制了跨模态推理的可解释性。

在医疗领域，图像与文本之间的关系复杂且多变，因此需要一种更加系统的方法来处理这些关系。CIMB-MVQA 通过引入前门调整和后门调整策略，分别处理不可观察的视觉混淆因素和可观察的语言混淆因素，从而提升模型在不同模态之间的因果一致性。这种方法不仅能够减少模型对非因果线索的依赖，还能够增强其在真实医疗场景中的泛化能力。此外，CIMB-MVQA 还引入了一种因果图推理模块，该模块能够在多个推理路径中显式地干预和抑制偏差传播的路径，从而提升模型的稳健性和可靠性。

为了验证 CIMB-MVQA 的有效性，本文还设计了一系列受控偏移数据集和一个精心设计的不平衡数据集 VQA-RAD*。这些数据集能够帮助研究人员在不同分布条件下评估模型的性能，并在多个 Med-VQA 基准测试中进行比较。实验结果表明，CIMB-MVQA 在这些数据集上的表现优于其他方法，特别是在处理真实医疗场景中的偏差时，其稳健性和可解释性得到了显著提升。此外，CIMB-MVQA 还能够更好地应对跨模态推理中的挑战，从而提高其在医疗领域的应用价值。

在方法论上，CIMB-MVQA 采用了因果推理的视角，构建了一个统一的因果建模框架。该框架不仅能够处理视觉和语言模态中的混淆因素，还能够通过结构化的干预路径提升模型的准确性和可解释性。通过对比学习、特征解耦和双语义掩码技术，CIMB-MVQA 能够有效消除视觉模式中的冗余和非因果依赖。同时，通过构建一个语言偏差字典，CIMB-MVQA 能够识别和消除语言模式中的偏倚，并通过视觉引导的伪标记注入机制，将关键的视觉线索嵌入到语言流中，从而减少语言主导性，增强视觉与语言之间的因果一致性。

此外，CIMB-MVQA 还引入了一种语言感知的因果图推理模块，该模块能够在多个推理路径中显式地识别和抑制非因果信号的传播。这种模块的引入使得模型能够更全面地理解图像与语言之间的关系，并在不同模态之间建立更紧密的因果联系。通过这种结构化的因果建模，CIMB-MVQA 不仅能够提升模型的准确性和可解释性，还能够增强其在复杂临床问题上的推理能力。

在实验评估方面，CIMB-MVQA 在多个 Med-VQA 基准测试中表现出色。特别是在 VQA-RAD* 和一系列受控偏移数据集上，CIMB-MVQA 在处理真实偏倚条件下的表现优于其他方法。这些实验不仅验证了 CIMB-MVQA 在提升模型性能和可解释性方面的有效性，还展示了其在跨分布泛化和因果可解释性方面的优势。通过这些实验，本文进一步证明了 CIMB-MVQA 在医疗领域的应用价值。

总的来说，CIMB-MVQA 通过引入前门调整和后门调整策略，结合对比学习、特征解耦和双语义掩码技术，构建了一个统一的因果建模框架。该框架不仅能够有效处理不可观察的视觉混淆因素和可观察的语言混淆因素，还能够通过因果图推理模块提升模型的稳健性和可靠性。实验结果表明，CIMB-MVQA 在多个 Med-VQA 基准测试中显著提升了答案的准确性和因果可解释性，同时在跨分布泛化和因果可解释性方面也表现出色。这些结果表明，CIMB-MVQA 为 Med-VQA 提供了一种新的解决方案，具有重要的应用前景。