基于融合图像与临床数据嵌入级过采样技术的多模态口腔癌检测方法

《Scientific Reports》：Multimodal oral cancer detection with embedding-level oversampling of fused image and clinical data

　　

摘要

口腔癌是一种恶性程度极高的疾病，往往在病情较晚时才被发现，从而导致患者生存率较低。现有的筛查方法受主观评估因素以及实际数据集中确诊癌症病例稀缺的限制。我们提出了一种多模态方法，将图像特征与基本临床信息相结合，以便更早地识别恶性病变，同时解决医疗数据集中常见的类别失衡问题。我们在包含标注过的口腔图像及患者相关元数据的数据集上训练了多种机器学习模型，并运用合成样本生成技术来提升癌症病例的表征质量。经过优化后的模型在宏观F1值和接收者操作特征曲线下面积方面表现优异，优于仅基于图像的基准模型。这些改进表明，在所评估的方案中，整合患者的上下文信息有助于提升模型的类别平衡性。这些研究结果反映了在所测试的多模态方案及不平衡学习方法下，模型性能的差异，有助于临床医生更早地发现口腔癌。我们的主要贡献在于在融合的图像-元数据空间中采用嵌入级过采样技术，该技术在保持潜在语义的同时提升了少数类数据的检测灵敏度。这些结果来自严格控制的单中心实验环境，因此更应被视为该方法论的探索性见解，而非可直接应用于更广泛临床场景的证据。这些结果反映了在所评估的实验环境中的性能差异。在受限的实验框架下，元数据整合被视为多模态表示的结构组成部分。