基于舌象与面象多模态融合的深度学习冠心病无创筛查研究

《Scientific Reports》:Explainable multimodal deep learning fusion of tongue and facial images for noninvasive coronary heart disease screening

【字体: 大 中 小 】 时间:2026年09月20日 来源:Scientific Reports 4.9

编辑推荐:

   摘要冠心病(CHD)的早期筛查迫切需要便捷、无创且低成本的工具。在中医药学中,舌象与面象分别被认为能够反映心脏病理与全身血液循环,但将这两种模态融合后是否能显著提升CHD的检测效果尚不明确。本研究纳入了200名CHD患者和318名健康对照者,采集了标准化的配对舌象与面象图像。

  

摘要

冠心病(CHD)的早期筛查迫切需要便捷、无创且低成本的工具。在中医药学中,舌象与面象分别被认为能够反映心脏病理与全身血液循环,但将这两种模态融合后是否能显著提升CHD的检测效果尚不明确。本研究纳入了200名CHD患者和318名健康对照者,采集了标准化的配对舌象与面象图像。我们构建了一个轻量级U-Net(LightUNet)用于舌体分割,并采用MediaPipe FaceMesh对面像进行标准化处理。我们选用ResNet50和EfficientNet-B1两种深度学习骨干网络,采用双分支架构配合晚期拼接的方式融合所提取的特征。通过消融实验和5折分层交叉验证来量化多模态带来的增益,并采用Grad-CAM可视化决策依据。在独立测试集上,ResNet50多模态模型达到了0.9992的AUC和0.9756的F1分数,明显优于仅用舌象(F1 = 0.9524)和仅用面象(F1 = 0.9250)的基线模型。5折交叉验证证实了这些增益的稳定性,ResNet50的AUC为0.9980 ± 0.0027,EfficientNet-B1为0.9987 ± 0.0014,二者折间方差均极小。在Grad-CAM热图中,舌象分支持续在舌体中央及舌苔区域激活,而面象分支则聚焦于口周及颧颊区域。这一空间模式与中医"舌为心之苗"及"心其华在面"的理论高度契合。舌象与面象的双模态融合显著优于单模态分析,为无创CHD筛查提供了一种高效且可解释的计算方法。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号