ROP-VL：一个整合视网膜照片与临床知识用于早产儿视网膜病变的开放数据集

《Scientific Data》：ROP-VL: An Open Dataset Integrating Fundus Photograph and Clinical Knowledge for Retinopathy of Prematurity

　　

摘要

在用于早产儿视网膜病变（ROP）的先进人工智能（AI）发展过程中，由于缺乏能够将眼底彩色照片与构建强大视觉语言模型所需的专家临床知识相结合的公共数据集，这一进展受到了阻碍。我们推出了ROP-VL这一开放获取的数据集，旨在填补这一重要空白。该数据集包含来自1,116名婴儿的2,020张眼底彩色照片，涵盖了正常、A型ROP、激光治疗后的ROP以及ROP 1至5期等八种诊断类别。ROP-VL将这些图像与患者的生物医学元数据以及结构化的文本描述相结合，为多模态学习提供了必要的条件。我们通过训练四个仅基于图像的模型和一个视觉语言模型，来对ROP的发生和严重程度进行分类，以此进行技术验证。实验结果表明，利用整合后的结构化临床数据的视觉语言模型，始终能展现出更出色的性能。ROP-VL为开发更为强大、具备知识认知能力的AI提供了专门设计的资源，有助于推进ROP的自动化诊断。