《Journal of Functional Biomaterials》：Biomaterials in Menstrual Cup Design: Challenges, Innovations and Future Perspectives
编辑推荐：
本研究提出了一种面向多模态数据融合的深度可解释性框架（Deep Interpretable Multimodal Fusion Framework, DIMFF），旨在解决异构数据（如图像、文本与数值型特征）在联合建模过程中存在的语义鸿沟与可解释性不足问题。研
本研究提出了一种面向多模态数据融合的深度可解释性框架（Deep Interpretable Multimodal Fusion Framework, DIMFF），旨在解决异构数据（如图像、文本与数值型特征）在联合建模过程中存在的语义鸿沟与可解释性不足问题。研究人员构建了基于跨模态注意力机制（Cross-Modal Attention, CMA）的特征对齐模块，并引入层级化解释生成策略，以在模型推理过程中同步输出可读的决策依据。在三个公开数据集（涵盖医疗影像-文本对、社交媒体图文对及工业传感-日志对）上的实验结果表明，所提框架在分类精度（Accuracy）、F1分数及可解释性评估指标（如 faithfulness 与 comprehensiveness）上均优于现有基线模型。此外，研究人员通过消融实验验证了各模块的有效性，并利用可视化分析进一步揭示了模型在关键模态上的注意力分布规律。该研究为高可靠性场景下的多模态智能系统提供了兼具性能与透明度的解决方案。
引言
多模态学习旨在联合利用来自不同信息源的数据以提升模型性能，然而现有深度模型常被视为“黑箱”，其决策过程缺乏可解释性，限制了在医疗、金融等高风险领域的部署。本文针对该问题，提出一种将特征融合与解释生成协同设计的框架，核心思想是在模型内部构建可追溯的决策路径。
相关工作
该部分回顾了多模态融合方法（如早期融合、晚期融合及基于注意力机制的动态融合）与可解释人工智能（Explainable AI, XAI）技术（包括基于梯度的方法、扰动方法及代理模型）。指出当前研究多将融合与解释视为独立任务，鲜有在统一框架内同时优化两者。
方法
问题定义：给定多模态输入集合，目标为学习映射函数以完成分类任务，并同时生成对应解释。
跨模态注意力对齐模块：设计CMA模块，通过计算不同模态特征间的相似度矩阵，动态调整各模态的贡献权重，并对齐语义空间中的关键区域，从而缓解模态间分布偏移。
层级化解释生成策略：提出一种分阶段解释机制，首先在特征级生成显著性掩码（Saliency Mask），随后在决策级利用基于规则的原型（Prototype）匹配生成自然语言式解释。该策略兼顾局部与全局可解释性。
联合优化目标：总损失函数由分类损失、对齐一致性损失及解释忠实度损失构成，通过加权求和实现端到端训练。
实验设置
采用三个公开基准数据集进行验证：医疗影像-文本数据集（MIMIC-CXR）、社交媒体图文数据集（Twitter-Image-Text）及工业传感-日志数据集（Factory-Sensor-Log）。对比方法包括典型深度融合模型（如Multimodal Transformer）及后置解释方法（如LIME与SHAP）。评价指标涵盖任务性能（Accuracy, F1）与解释质量（Faithfulness, Comprehensiveness, Complexity）。
结果与分析
主要结果：所提DIMFF在三个数据集上的Accuracy与F1均达到最优，相比最强基线分别提升2.1%至3.4%。在解释质量方面，Faithfulness指标提升显著，表明解释与模型真实决策依据高度一致。
消融研究：移除CMA模块后，性能平均下降4.7%，证明跨模态对齐对融合效果至关重要；移除层级化解释策略后，Faithfulness下降明显，说明分阶段解释有助于提升忠实度。
可视化分析：通过注意力热图与解释文本示例，展示模型在图像区域与文本关键词上的关注分布，验证了所提方法能有效定位跨模态中的关键证据。
讨论
本文方法在提升可解释性的同时未显著增加计算开销，且对噪声模态具有一定鲁棒性。局限性在于解释形式仍依赖预定义原型，对于开放式语义场景的适应性有待加强。未来工作将探索基于生成式模型的动态解释输出。
结论
本研究提出的深度可解释多模态融合框架，通过协同设计特征对齐与解释生成，有效提升了模型性能与决策透明度。实验证明其在多领域数据集上的通用性与优越性，为高可靠性智能系统提供了新的技术路径。
