用于神经疾病筛查的不完整多模态桡动脉脉搏融合可信证据图耦合

《Information Fusion》：Trustworthy Evidential Graph Coupling for Incomplete Multimodal Radial Pulse Fusion in Neurological Disorder Screening

　　

• •
  EGCR-Fuse 在缺失模态补全、图传播和证据型多模态融合之间形成闭环。
• •
  狄利克雷不确定性对异构图进行重新加权，而置信度加权耦合则精化模态证据。
• •
  静态泛化、条件固定支撑谱行为以及缺失信息限制与目标匹配诊断相结合。
• •
  在五个公共基准和两个桡动脉脉搏临床队列上的实验表明，该方法在严重缺失情况下具有鲁棒性。

引言

腕戴式桡动脉脉搏感知是一条诱人但脆弱的神经学筛查途径。轻度认知障碍 (MCI) 和重度抑郁症 (MDD) 的人群筛查需要低负担、可重复且适用于专科临床环境之外的感知工具。桡动脉脉搏采集在此场景下具有吸引力，因为它可以通过紧凑的腕戴设备执行，同时仍能捕获与血管调节和自主功能相关的生理变化。在桡动脉处，压电压力传感器记录机械脉搏波形 [1], [2]，而光电容积脉搏波 (PPG) 传感器记录同一血管的光学脉搏响应 [3]。这两个通道是互补的：压力反映局部动脉变形，而 PPG 反映光学测量下的血容量变化。最近的研究表明，此类脉搏衍生描述符对神经系统疾病具有信息量 [4]，使桡动脉脉搏感知成为传统评估的有前景的补充，而非临床诊断的替代品。然而，其临床价值不仅取决于平均准确率，还取决于当一个通道变得不可靠时模型是否保持可靠，以及它是否能在边界情况下表达不确定性。

这种可靠性要求难以实现，因为桡动脉脉搏数据天生是不完整且质量变化的。尽管压力传感器和 PPG 传感器被设计为一起采集，但实际的腕戴采集会受到运动伪影、传感器脱开、局部压力变化和患者特异性皮肤反应的影响；这些因素中的任何一个都可能使一个通道失效，即使另一个通道仍可使用 [3], [4], [5]。由此产生的缺失性不仅仅是一个记账问题。在神经学筛查中，类别边界可能很微妙，而失效的通道往往是其生理模式本应帮助区分边界样本的通道。因此，损坏或缺失的模态可能不仅会降低置信度，还可能主动将融合决策推向错误方向，除非模型知道该赋予恢复信息多少信任。

同样的困难广泛出现在多模态学习中。临床影像加电子健康档案 (EHR) 队列、可穿戴监测和多传感器采集流水线都面临着由成本、依从性、隐私约束、采集时间或设备故障引起的缺失、异步或低质量模态 [6], [7]。这就是为什么不完整多模态学习不仅是填补缺失特征的问题，也是可靠性感知信息融合的问题：模型必须决定传播哪些信息，不信任哪些恢复表示，以及每种模态应为最终预测贡献多少证据。在本文中，我们使用模态指代物理传感通道（如压力或 PPG）或标准多模态基准中的不同特征/视图；这使得相同的方法既可以在桡动脉脉搏队列上评估，也可以在受控的公共不完整多模态数据集上评估。

现有工作解决了这个问题的三个必要方面——缺失模态补全、图传播和不确定性感知融合——但通常将它们作为顺序阶段处理 [6], [8], [9]。补全方法重建或对齐缺失视图，证据方法主要在预测输出时量化不确定性，图方法根据特征几何传播信息。因此，可靠性通常在为时太晚的时候才被估计，无法调节产生表示的图。未解决的差距因此是图传播和证据可靠性之间缺乏反馈；详细的方法对比见第 2 节。

本文的核心思想是使图结构和证据置信度相互精化。EGCR-Fuse 建立在特定模态编码器、KNN 图构建、异质消息传递、狄利克雷证据头、Dempster-Shafer 融合和辅助对齐损失之上，并通过证据型图耦合精化 (EGCR) 协调它们。EGCR 将它们的相互作用从单向流水线转变为双向闭环。初步的证据衍生置信度首先对异构图进行重新加权，从而控制传播哪些样本 - 模态消息；图精化的表示随后确定最终的模态证据，而置信度加权的图对齐更新相同的表示空间。因此，证据可靠性塑造图传播，而由此产生的图上下文重塑进入融合的证据。

贡献。本文做出了三项主要贡献：

• •
  双向图 - 证据耦合。EGCR 引入了两个协调的集成点：证据衍生置信度在消息传递前调节邻接矩阵 (CP1)，并且置信度加权的图耦合目标作用于生成最终证据的后 GNN 表示 (CP2)。它们的联合操作形成了一个可靠性感知闭环，其中证据质量直接参与表示精化。
• •
  缺失模态理论。我们确立了一个静态拉梅克泛化界、一个条件固定支撑谱比较和一个基于 Fano 的缺失信息下界，并通过目标匹配诊断评估相关的对齐目标。
• •
  从基准到临床脉搏队列的评估。在五个公共多模态基准和两个桡动脉脉搏临床队列上，缺失率从 0.1 到 0.9 的实验表明，EGCR-Fuse 比插补和证据基准优雅地退化。 桡动脉脉搏 -MCI 和 桡动脉脉搏 -MDD 案例研究进一步展示了该方法在实际腕戴神经学筛查场景中的表现。

本文其余部分组织如下。第 2 节回顾相关工作并定位本方法。第 3 节介绍 EGCR-Fuse 框架。第 4 节提供理论分析。第 5 节报告实验结果，包括桡动脉脉搏案例研究、消融和敏感性分析。第 6 节结论。

章节摘要

相关工作

我们首先通过回顾桡动脉信号分析来确立临床动机，这是我们要案例研究的锚点，然后追溯三条交织的方法论线索，用于缺失模态下的可信多模态融合——缺失模态的插补和补全、证据型和不一致性感知融合、以及基于图的传播。对于每条方法论线索，我们隔离出限制其在联合问题上的建模承诺，并利用该观察来激发

方法论

我们现在提出 EGCR-Fuse 框架。EGCR-Fuse 通过证据型图耦合精化 (EGCR) 集成了模态编码、KNN 图构建、异质消息传递、狄利克雷证据预测和 DS 融合。EGCR 在双向闭环中组织并联合优化这些组件：证据可靠性调节图传播，而图精化的表示反过来更新用于融合的证据。第 3.1 节正式定义问题。第

理论分析

我们确立了三个正式结果：(i) 在显式类复杂性假设下的拉梅克复杂性泛化界 (定理 1)；(ii) 用于证据加权、对称归一化无向图的固定支撑谱比较 (引理 1)；以及 (iii) 随机缺失下的信息论下界 (定理 2)。其证明见下文及附录 A–C。然后我们通过优化层面的设计将这些结果与对齐目标联系起来

实验

我们在多个缺失率下的五个公共多模态基准和两个桡动脉脉搏临床数据集上评估 EGCR-Fuse。实验考察了预测性能、组件贡献、理论量、校准、损坏鲁棒性和超参数敏感性。

结论

我们提出了 EGCR-Fuse，一个双向框架，其中初步的狄利克雷置信度调节图传播，而图精化的表示通过置信度加权的图对齐确定最终证据。理论分析确立了静态拉梅克界、条件固定支撑谱比较和缺失信息下界，并将它们与通过目标匹配诊断评估的对齐目标联系起来。在五个公共基准上

CRediT 作者贡献声明

Shicheng Dai：写作 - 初稿，软件，方法学。David Zhang：写作 - 审阅与编辑，监督。

利益冲突声明

作者声明，他们没有已知的竞争财务利益或个人关系，这可能被认为会影响本论文报告的工作。

Shicheng Dai|David Zhang