通过综合临床记录，可以利用单模态皮肤科数据集训练出强大的多模态人工智能模型

《npj Digital Medicine》：Synthesized clinical notes enable training robust multimodal AI models from unimodal dermatology datasets

　　

摘要

多模态算法与基础模型在皮肤病变的自动化分析方面展现出巨大潜力，但由于高质量、大规模的图像文本数据集较为匮乏，这些技术难以应用于临床实践。大多数公开的皮肤科数据集规模较小、为单模态结构，且标签与元数据存在差异，这限制了有效模型的开发。大型语言模型可以为利用现有单模态数据集生成临床记录提供可能，但其应用会受到幻觉现象的制约，进而影响多模态模型的训练效果。本文研究并评估了利用现有大型语言模型及与真实图像配对的元数据来生成可靠临床记录的策略，旨在减少幻觉现象并提升模型在后续任务中的性能。我们在真实皮肤科图像与合成记录的配对数据上训练了多模态架构，并在15个数据集（6个内部数据集，9个外部数据集）上对其进行了跨模态检索和零样本学习任务的测试。结果表明，在特定的合成条件下，该架构的稳健性和泛化能力优于现有的最先进医疗基础模型。