T2ID：通过双轴自适应补全和基于信度的集成方法，实现可靠的不完整模态诊断

《Medical Image Analysis》：T2ID: Towards trustworthy incomplete modality diagnosis via dual-axis adaptive completion and confidence-aware integration

　　我们提出了T2ID，这是一种多模态学习框架，能够在缺失模态情况下保持可靠性和鲁棒性。我们设计了DAA，这是一种新型的双轴自适应模态完成模块，包含层次化的决策路径。这种设计可以确保效率，并在需要时获得互补的多模态信息的自适应手段。我们还设计了DCC，这是一种动态的、协同的、具有信心感知的模态集成模块，它可以同时利用单模态信心和协同信心。这种设计可以确保可靠性，并明确捕捉模态之间的协同或冲突关系。在三个多模态医学图像数据集上的广泛实验表明，T2ID在多种缺失模态比例下的性能优于现有方法。此外，我们提供了可靠性分析，为所提出框架的可靠性提供了额外的证据。

引言
多模态医学成像已成为疾病诊断的强大工具，因为它可以提供单一模态无法获得的丰富且互补的诊断线索（Li等人，2024年）。临床专家通常更倾向于利用多模态证据（Watanabe等人，2022年；Haribabu等人，2023年）。然而，在现实世界的临床实践中，由于设备资源有限、扫描质量低以及严格的隐私法规等因素，往往难以获得完整的多模态数据。这一问题在医疗健康研究领域的AI中尤为突出，因为数据收集、传输和用于训练AI模型等方面由于伦理问题而高度敏感（R. Wu等人，2024年；Azad等人，2025年），如图1所示。因此，开发一个能够处理缺失模态的多模态AI诊断模型仍然是一个紧迫的挑战。近年来，缺失模态学习的进步大致可以分为基于完成的方法和不基于完成的方法。基于完成的方法尝试使用生成模型来重构缺失数据或其对应特征（Y. Wang等人，2023年；Chen等人，2023年；Fan等人，2025年）。尽管它们在一般的计算机视觉任务中取得了成功，但在医学成像领域却面临关键障碍。例如，由于医学数据的异质性和复杂性，它们往往会生成大量噪声，导致计算开销增大，并且由于其本质上不透明的生成过程而具有有限的可靠性（Farahani等人，2026年）。相比之下，不基于完成的方法（H. Wang等人，2023年；Yao等人，2024年；Z. Wu等人，2024年）侧重于提取模态共享信息，以学习对缺失模态输入不太敏感的鲁棒联合表示。通过捕捉跨模态的共享信息，这些方法旨在减轻缺失数据导致的性能下降。然而，它们主要强调模态之间的共性，而忽视了模态之间的交互方式，例如多模态数据是互补的、协同的还是冲突的。实际上，当多模态医学数据稀缺时，多模态模型的性能并不总是优于单模态模型（Kline等人，2022年）。当前的方法没有明确估计和解释跨模态交互，从而在设计可信且临床合理的框架方面存在显著差距。为了解决这些挑战，我们提出了T2ID，这是一个可信赖的不完整模态诊断框架，它选择性地执行模态完成和具有信心感知的集成。T2ID的关键新颖之处在于其对不完整模态的选择性和可靠处理方式。T2ID不会总是完成缺失的模态或完全避免完成，而是首先估计当前样本是否需要跨模态完成。当激活完成时，使用基于记忆库的检索策略来获取语义相关的互补特征，从而避免了生成重构的不稳定性和不透明度。此外，我们引入了动态协同信心感知集成（DCC）模块，以联合建模单模态信心和协同信心，同时捕捉模态特定的可靠性和跨模态交互的可靠性。这种设计使模型能够动态集成多模态诊断证据，以实现更可靠的结果。在三个多模态医学图像数据集上的广泛实验表明，T2ID在不同缺失率设置下始终优于现有的多模态和缺失模态方法，同时提高了鲁棒性和可靠性。本文的主要贡献如下：

我们提出了T2ID，这是一种多模态学习框架，能够在缺失模态情况下保持可靠性和鲁棒性。我们设计了DAA，这是一种新型的双轴自适应模态完成模块，包含层次化的决策路径。这种设计可以确保效率，并在需要时获得互补的多模态信息的自适应手段。我们设计了DCC，这是一种动态的、协同的、具有信心感知的模态集成模块，它可以同时利用单模态信心和协同信心。这种设计可以确保可靠性，并明确捕捉模态之间的协同或冲突关系。在三个多模态医学图像数据集上的广泛实验表明，T2ID在多种缺失模态比例下的性能优于现有方法。此外，我们提供了可靠性分析，为所提出框架的可靠性提供了额外的证据。

多模态医学成像作为一种强大的工具出现于疾病诊断中，因为它可以提供单一模态无法获得的丰富和互补的诊断线索（Li等人，2024年）。临床专家通常更倾向于利用多模态证据（Watanabe等人，2022年；Haribabu等人，2023年）。然而，在实际临床实践中，由于设备资源有限、扫描质量低以及严格的隐私法规等因素，往往难以获得完整的多模态数据。这个问题在医疗健康研究领域的AI中尤为突出，因为数据收集、传输和用于训练AI模型等方面由于伦理问题而高度敏感（R. Wu等人，2024年；Azad等人，2025年），如图1所示。因此，开发一个能够处理缺失模态的多模态AI诊断模型仍然是一个紧迫的挑战。最近在缺失模态学习方面的进展可以大致分为基于完成的方法和不基于完成的方法。基于完成的方法尝试使用生成模型来重构缺失数据或其对应特征（Y. Wang等人，2023年；Chen等人，2023年；Fan等人，2025年）。尽管它们在一般计算机视觉任务中取得了成功，但在医学成像领域却面临关键障碍。例如，由于医学数据的异质性和复杂性，它们往往会生成大量噪声，产生沉重的计算开销，并且由于其本质上不透明的生成过程而具有有限的可靠性（Farahani等人，2026年）。相比之下，不基于完成的方法（H. Wang等人，2023年；Yao等人，2024年；Z. Wu等人，2024年）侧重于提取模态共享信息，以学习对缺失模态输入不太敏感的鲁棒联合表示。通过捕捉跨模态的共享信息，这些方法旨在减轻由缺失数据导致的性能下降。然而，它们主要强调模态共性，而忽视了模态之间的交互方式，例如多模态数据是互补的、协同的还是冲突的。实际上，当多模态医学数据稀缺时，多模态模型的性能并不总是优于单模态模型（Kline等人，2022年）。当前的方法没有明确估计和解释跨模态交互，这在设计可信赖和临床合理的框架方面留下了显著空白。为了应对这些挑战，我们提出了T2ID，这是一个可信赖的不完整模态诊断框架，它可以选择性地执行模态完成和具有信心感知的集成。T2ID的关键新颖之处在于其对不完整模态的选择性和可靠处理方式。T2ID不会总是完成缺失的模态或完全避免完成，而是首先估计当前样本是否需要跨模态完成。当激活完成时，使用基于记忆库的检索策略来获取语义相关的互补特征，从而避免生成重建的不稳定性和不透明度。此外，我们引入了动态协同信心感知集成（DCC）模块，以联合建模单模态信心和协同信心，捕捉模态特定的可靠性和跨模态交互的可靠性。这种设计使模型能够动态集成多模态诊断证据，以实现更可靠的结果。在三个多模态医学图像数据集上的广泛实验表明，T2ID在不同缺失率设置下始终优于现有的多模态和缺失模态方法，同时提高了鲁棒性和可靠性。

多模态医学图像诊断旨在整合来自异构数据源的互补信息，以实现鲁棒和全面的表示。它在各个领域都取得了显著的成功，如跨模态检索（Jiang和Ye，2023年）、视觉问答（Sima等人，2024年）和医学图像诊断（Li等人，2024年）。早期研究集中在简单特征集成或联合嵌入空间上来整合多模态特征（Tang等人，2022年；Wang等人，2022年）。

问题定义
在多模态医学图像诊断中，每个患者的样本通常由多种成像模态表示。设X={x(1), x(2), …, x(V)}表示患者的多模态数据，其中x(v)对应于第v个模态。相关的标签y∈{1, …, C}表示疾病类别。实际上，由于各种因素，多模态数据的获取往往是不完整的。因此，只有部分模态X′?X是可用的。在这项工作中，给定一个包含V=2个模态的多模态数据集。

数据集
在本节中，我们在三个基准多模态数据集上评估了T2ID的性能：皮肤癌数据集（Seven-Point Checklist）（Kawahara等人，2018年）、与年龄相关的黄斑变性数据集（MMC-AMD）（Wang等人，2022年）和青光眼数据集（Harvard30k Glaucoma）（Luo等人，2024年）。这些数据集的详细特征在表1中呈现。具体来说，Seven-Point Checklist（SPC）数据集包括五种皮肤疾病：

讨论
实验总结：
在来自皮肤病学、眼科（AMD）和眼科（青光眼）的三个数据集中，实验结果表明，我们提出的T2ID框架在各种缺失模态情况下表现出优越的性能和鲁棒性。除了总体诊断性能外，进一步的可靠性分析也从不同角度支持了该框架的可靠性。对完成模块的分析表明，T2ID可以有选择地...

结论
在本文中，我们介绍了T2ID，这是一个在多种缺失模态条件下用于多模态医学图像诊断的强大且可靠的框架。T2ID利用双轴自适应模态完成策略来避免不必要的模态完成。此外，还提出了一种动态的、具有信心感知的模态集成机制，根据模态的可靠性和估计的信心得分来加权模态。在三个不同的公共数据集上的广泛实验表明，我们的CRedi...

作者贡献声明
Jing Li：写作 - 审查与编辑、撰写 - 原稿、验证、软件、方法论。
Qinkai Yu：写作 - 审查与编辑、方法论。
Feixiang Zhou：写作 - 审查与编辑、方法论。
Dongbo Zhang：写作 - 审查与编辑。
Bo Huang：写作 - 审查与编辑。
Yitian Zhao：写作 - 审查与编辑。
Deng-Ping Fan：写作 - 审查与编辑。
Huazhu Fu：写作 - 审查与编辑。
Yalin Zheng：写作 - 审查与编辑、监督。
Yanda Meng：写作 - 审查与编辑。

代码可用性
实现代码可在https://github.com/lijing-coder/T2ID获取。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢
本工作部分得到了Y.M的英国皇家学会国际交流基金（IEC\NSFC\242172）的支持。本工作还部分得到了Y.M的King Abdullah大学科学和技术基金会Baseline Research Fund BAS/1/1121-01-01的支持。

Jing Li | Qinkai Yu | Feixiang Zhou | Dongbo Zhang | Bo Huang | Yitian Zhao | Deng-Ping Fan | Huazhu Fu | Yalin Zheng | Yanda Meng