多模态融合策略驱动的药物-药物相互作用提取方法研究

本研究针对药物-药物相互作用（DDI）检测中单一文本模态的局限性，创新性地整合分子结构图、化学式、图像及文本描述等多模态数据，系统评估早期、中期和晚期融合策略。结果表明，基于BioMedBERT和ViT的多模态模型显著提升检测准确率，其中预测级中期融合表现最优，为临床用药安全提供智能化解决方案。

　　

在临床实践中，联合用药已成为治疗复杂疾病的常规手段，但由此引发的药物-药物相互作用（DDI）可能导致药效改变甚至危及患者生命。尽管人工智能技术已广泛应用于医疗领域，现有DDI检测模型仍过度依赖文本数据，忽视分子结构图、化学式等关键模态信息，导致在专业性强、概念复杂的生物医学文本中表现欠佳。更棘手的是，多源异构数据的整合难题使得传统单一模态方法难以全面捕捉药物间的复杂作用机制。

为突破这一瓶颈，研究人员开发了基于深度学习的多模态融合框架。该研究创新性地将科学文献文本与分子结构图、化学式图像、药物描述等四类辅助信息相结合，采用BioMedBERT处理文本特征，Vision Transformer（ViT）解析分子图像，并通过早期（数据级）、中期（特征级/预测级）和晚期（决策级）三种融合策略进行系统比较。实验采用公开DDI数据集验证，结果显示多模态模型显著优于单模态基线，其中预测级中期融合的准确率提升最为显著。失败案例分析进一步揭示了模型在跨模态关联学习中的局限性，为后续优化指明方向。

关键技术方法包括：1）基于BioMedBERT的文本特征提取；2）ViT处理的分子图像编码；3）图神经网络（GNN）构建的分子结构表征；4）跨模态注意力机制实现特征对齐；5）三级融合策略的系统对比实验。

【主要结果】

1. 模型性能：多模态融合使F1值提升12.7%，预测级中期融合策略在交叉验证中表现最稳健。

2. 模态贡献分析：分子结构图与化学式组合对药效学相互作用检测提升显著（p<0.01），而文本模态在药代动力学作用识别中占优。

3. 失败案例：15.3%错误源于跨模态特征对齐偏差，尤以立体异构体结构识别问题突出。

这项研究首次系统论证了多模态融合在DDI检测中的优越性，建立的BioMedBERT-ViT-GNN混合架构为生物医学多模态学习提供了新范式。其临床意义在于：1）通过分子结构可视化分析增强模型可解释性；2）预测级融合策略可灵活适配不同医疗场景；3）开源代码库促进社区协作优化。未来工作需重点解决立体化学表征难题，并探索知识图谱增强的多模态预训练方法。论文发表于《Journal of Biomedical Informatics》，相关代码已开源。