
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于舌象与面象多模态融合的深度学习冠心病无创筛查研究
《Scientific Reports》:Explainable multimodal deep learning fusion of tongue and facial images for noninvasive coronary heart disease screening
【字体: 大 中 小 】 时间:2026年09月20日 来源:Scientific Reports 4.9
编辑推荐:
摘要冠心病(CHD)的早期筛查迫切需要便捷、无创且低成本的工具。在中医药学中,舌象与面象分别被认为能够反映心脏病理与全身血液循环,但将这两种模态融合后是否能显著提升CHD的检测效果尚不明确。本研究纳入了200名CHD患者和318名健康对照者,采集了标准化的配对舌象与面象图像。
冠心病(CHD)的早期筛查迫切需要便捷、无创且低成本的工具。在中医药学中,舌象与面象分别被认为能够反映心脏病理与全身血液循环,但将这两种模态融合后是否能显著提升CHD的检测效果尚不明确。本研究纳入了200名CHD患者和318名健康对照者,采集了标准化的配对舌象与面象图像。我们构建了一个轻量级U-Net(LightUNet)用于舌体分割,并采用MediaPipe FaceMesh对面像进行标准化处理。我们选用ResNet50和EfficientNet-B1两种深度学习骨干网络,采用双分支架构配合晚期拼接的方式融合所提取的特征。通过消融实验和5折分层交叉验证来量化多模态带来的增益,并采用Grad-CAM可视化决策依据。在独立测试集上,ResNet50多模态模型达到了0.9992的AUC和0.9756的F1分数,明显优于仅用舌象(F1 = 0.9524)和仅用面象(F1 = 0.9250)的基线模型。5折交叉验证证实了这些增益的稳定性,ResNet50的AUC为0.9980 ± 0.0027,EfficientNet-B1为0.9987 ± 0.0014,二者折间方差均极小。在Grad-CAM热图中,舌象分支持续在舌体中央及舌苔区域激活,而面象分支则聚焦于口周及颧颊区域。这一空间模式与中医"舌为心之苗"及"心其华在面"的理论高度契合。舌象与面象的双模态融合显著优于单模态分析,为无创CHD筛查提供了一种高效且可解释的计算方法。