《Array》：Explainable automated detection of heart valve diseases using deep multimodal fusion technique with PCG signals
编辑推荐：
心脏瓣膜疾病的早期准确检测在心血管诊断中至关重要。随着心音图（PCG）的引入，借助先进深度学习技术实现了心脏疾病的自动化诊断。在本论文中，研究人员提出了一种使用深度多模态早期融合架构的新型自动化PCG分类框架。所提方法通过深度多模态融合架构，集成了PCG的两种
心脏瓣膜疾病的早期准确检测在心血管诊断中至关重要。随着心音图（PCG）的引入，借助先进深度学习技术实现了心脏疾病的自动化诊断。在本论文中，研究人员提出了一种使用深度多模态早期融合架构的新型自动化PCG分类框架。所提方法通过深度多模态融合架构，集成了PCG的两种异质模态，即一维（1D）时域表示和二维（2D）时频表示。实验分析使用了两个公开PCG数据库：PhysioNet/Computing in Cardiology Challenge（CinC）2016数据库（二分类数据）和Yaseen心脏瓣膜疾病（HVD）数据库（多分类数据）。通过大量消融研究和与最新方法的全面评估，所提方法在HVD数据上实现了99.99%的高定量准确率，在CinC数据上达到92.78%，证明了所提方法的有效性。为确保所提方法的临床一致性可解释性，研究人员实施了可解释人工智能（XAI）技术，如局部可解释模型无关解释（LIME）、梯度加权类激活映射（Grad-CAM）和Shapley加法解释（SHAP）。为了衡量所提模型的一致性和显著性，进行了多项统计分析，结果显示校准结果良好，证明了所提模型在真实临床场景中的可靠性和泛化能力。总之，本研究引入了一个强大且可解释的诊断流程，能够高效地执行心脏瓣膜疾病分类，并提供可信赖的人工智能辅助。
**论文解读：基于深度多模态融合与可解释人工智能的心音图心脏瓣膜疾病自动检测**
**研究背景、现存问题与研究动机**
心血管疾病是全球主要死亡原因之一，其中心脏瓣膜疾病（HVD）的早期准确诊断对改善患者预后至关重要。非侵入性诊断技术中，心音图（PCG）通过记录和分析心脏之声，为临床医生提供瓣膜异常等结构性缺陷的关键信息。然而，传统人工听诊依赖经验且易受主观因素影响，而自动化PCG分类面临信号噪声、患者间差异大、复杂时间动态等挑战。现有深度学习研究多采用单一PCG表示（如一维时域信号或二维时频图像），但单一模态可能限制模型泛化能力，无法充分利用互补特征。此外，医疗应用要求模型不仅性能高，还需具备可解释性和可信度，以便临床医生理解诊断依据。为此，研究人员提出一种深度多模态早期融合框架，融合PCG的一维时域和二维时频表示，并集成多种可解释人工智能（XAI）技术，以提升检测准确性、鲁棒性和临床透明度。该研究发表在《Array》。
**主要关键技术方法**
研究人员使用了两个公开数据集：PhysioNet/Computing in Cardiology Challenge（CinC）2016数据库（二分类，正常/异常，来自764名受试者的3126条PCG记录）和Yaseen HVD数据库（多分类，含正常、二尖瓣反流、二尖瓣狭窄、二尖瓣脱垂、主动脉瓣狭窄五个类别，各200条记录）。关键技术包括：1）一维PCG模态下，采用CNN双向门控循环单元（CNN-BiGRU）结合自注意力机制提取时序特征；2）二维PCG模态下，通过同步挤压变换（SST）将信号转换为时频图像，并使用ResNet152V2或DenseNet201等卷积神经网络（CNN）进行图像分类，同样加入自注意力模块；3）多模态融合策略：早期融合（特征级拼接）和晚期融合（决策级加权平均）；4）可解释性方法：局部可解释模型无关解释（LIME）用于一维波形特征定位，梯度加权类激活映射（Grad-CAM）用于二维图像热力图，Shapley加法解释（SHAP）用于量化模态贡献。
**研究结果**
**1D PCG单模态结果**
通过比较多种循环神经网络（RNN）及其混合模型，发现CNN-BiGRU结合自注意力机制在CinC数据集上准确率达89.43%，在HVD数据集上达93.50%，显著优于其他架构。自注意力机制有效聚焦于心脏周期关键事件（如S1、S2心音及收缩期/舒张期异常振动）。
**2D PCG单模态结果**
比较五种图像变换（格拉姆角场GAF、递归图RP、马尔可夫转移场MTF、同步挤压变换SST、混沌图CT）与多种CNN架构，结果表明SST变换表现最优。在CinC数据上，ResNet152V2加注意力机制达到90.21%准确率；在HVD数据上，DenseNet201加注意力机制达到97.50%准确率。Grad-CAM热力图显示模型关注S1、S2区域及病理杂音对应的时频能量带。
**多模态融合结果**
融合一维和二维最优模型后，对于CinC数据集，晚期融合取得最高准确率92.78%；对于HVD数据集，早期融合达到99.99%准确率、精确率、特异性和敏感性。混淆矩阵显示极少误分类，t-SNE可视化证明融合特征空间具有更清晰的类间分离性。
**可解释性结果**
LIME分析表明，正常样本中模型聚焦于S1和S2区域，而异常样本（如主动脉瓣狭窄AS）的激活扩展到收缩中期杂音区等病理相关时段。Grad-CAM热图在二维SST图像上对应病理杂音的能量聚集区域。SHAP分析揭示一维和二维模态对融合模型输出的贡献比例接近1:1，且每个疾病类别均有特异性特征模式。
**统计分析与比较**
通过夏皮罗-威尔克正态性检验（p>0.05）、莱文方差齐性检验（p>0.05）、配对t检验及威尔科克森符号秩检验（p≈1），证实模型性能在交叉验证折间稳定一致，无显著变异。与现有方法比较，所提方法在CinC数据集上准确率高于多数既往研究（如CNN-BiLSTM的87.31%、Chaogram+InceptionV3的88.06%），在HVD数据集上超过Vision Transformer的99.90%和MACNN的99.80%等最新方法。
**讨论总结**
研究证实多模态融合在PCG分类中优于任何单一模态，且XAI技术提供了临床可理解的特征解释，增强了模型可信度。局限性包括：融合框架计算开销较大；固定长度输入可能无法完全捕捉长时听诊变化；仅基于两个公开数据集，真实临床异质性可能不足。未来工作将聚焦轻量化模型（如剪枝、蒸馏）、处理变长PCG信号、以及在更大规模临床数据上验证。
**结论部分翻译**
本论文提出了一种基于可解释深度多模态融合的框架，用于使用PCG信号自动检测心脏瓣膜疾病。通过将一维时域和二维时频两种异质PCG表示集成到早期和晚期融合框架中，所提方法能够有效捕获单一模态或隐式混合模型无法探索的互补性心脏动力学特征。详细的消融研究和与最新方法的全面比较展示了所提方法的鲁棒性。实验结果与分析表明，在HVD数据上达到99.99%的高诊断准确率、精确率、特异性和敏感性，超越了现有基于PCG的心血管疾病分类方法。该框架具备良好的诊断性能，并集成了多种可解释人工智能方法（LIME、Grad-CAM、SHAP），为模型预测提供了透明、面向临床的见解。除了可视化解释，还进行了量化模型性能评估和统计检验，验证了所学表示及其可解释输出的一致性和可靠性，增强了模型临床相关性的信心。总之，所提出的框架在准确性、可解释性和鲁棒性之间取得了良好平衡，为可信赖的人工智能辅助心脏听诊铺平了道路。未来工作可应用于轻量级模型优化、大规模临床验证和实时部署，以促进基于人工智能的心脏诊断的转化应用。
