基于Transformer和图深度学习的扁平足多模态诊断

《BMC Medical Informatics and Decision Making》：Multimodal diagnosis of flatfoot using transformer and graph-based deep learning Models

　　

摘要

背景

扁平足是一种常见的肌肉骨骼疾病，如果在早期未被发现，可能导致姿势受损、活动能力下降和生活质量降低。传统诊断严重依赖对放射学和临床发现的人工解读，这可能耗时、主观且依赖于专家经验。本研究旨在开发一种多模态深度学习框架，整合互补的解剖和功能信息以实现扁平足自动分类。

方法

所提出的框架联合处理三种数据模态：（i）RGB 足底图像，（ii）步态期间收集的足底压力时间序列信号，以及（iii）生物力学角度测量。采用了三个特定模态的分支：Swin Transformer 用于提取足底形态的空间表示，双向长短期记忆 (BiLSTM) 网络用于建模时间足底压力动态，图卷积网络 (GCN) 用于表示生物力学测量之间的结构关系。特定模态的表示被投影到共同的潜空间中，并使用基于多头注意力的融合机制进行整合。该框架使用参与者级别的分层 10 折交叉验证进行了评估，数据来自一个临床获取的多模态数据集，包含来自 489 名独立参与者的 978 个足部级别样本。补充的公开可用压力相关数据仅在模型开发期间使用，并未作为独立的多个模态病例包含在最终评估中。

结果

所提出的多模态框架实现了 94.0% 的准确率，0.94 的 F1 分数，以及 0.96 的受试者工作特征曲线 (AUC) 下面积。视觉、时间和生物力学表示的整合展示了在统一的多个模态框架内结合互补信息进行扁平足分类的有效性。

结论

研究结果证明了基于 Transformer 和图的多模态深度学习在计算机辅助扁平足诊断方面的潜力。通过整合足底形态、时间压力动态和结构化生物力学信息，所提出的框架实现了高分类性能。需要进一步使用独立的多中心数据集进行外部验证以评估其泛化能力，未来的研究可能会将框架扩展到多类足部畸形评估。