用于神经康复系统中因果感知动作识别的神经棱镜视频模型
Hend Alshaya
《Mathematics》:Neuro-Prismatic Video Models for Causality-Aware Action Recognition in Neural Rehabilitation Systems
Hend Alshaya
【字体:
大
中
小
】
时间:2026年04月17日
来源:Mathematics 2.2
编辑推荐:
摘要 基于视频的动作识别在神经康复领域具有广泛的应用,包括中风恢复、帕金森病步态评估和脑瘫监测等。然而,这一领域面临着一系列关键挑战,例如时间模糊性、非因果运动相关性以及缺乏基于因果关系的动态建模。虽然基于Transformer的架构取得了优异的性能,但它
摘要 基于视频的动作识别在神经康复领域具有广泛的应用,包括中风恢复、帕金森病步态评估和脑瘫监测等。然而,这一领域面临着一系列关键挑战,例如时间模糊性、非因果运动相关性以及缺乏基于因果关系的动态建模。虽然基于Transformer的架构取得了优异的性能,但它们往往依赖于虚假的时间和环境线索,这在安全至关重要的临床环境中限制了其可靠性。我们提出了NeuroPrisma,这是一个神经棱柱形视频框架,它通过结构因果模型(SCMs)将频域谱分解与因果干预相结合,并利用了“后门”准则。NeuroPrisma引入了(i)棱柱形谱注意力(PSA)模块,该模块通过离散傅里叶变换将时间特征分解为多尺度频率带,从而分离出缓慢的姿势动态和快速的矫正动作;以及(ii)因果干预层(CIL),该层通过基于do-演算的后门调整来消除混淆因素,生成因果不变的表示。在七个最先进模型(I3D、SlowFast、TimeSformer、ViViT、Video Swin Transformer、UniFormerV2和VideoMAE)上的广泛评估表明,NeuroPrisma在UCF101上的Top-1准确率为98.7%,在HMDB51上为82.4%,在Something-Something V2上为71.2%,在NTU RGB+D(跨主体/跨视图)上分别为91.5%和95.8%,始终优于之前的方法。此外,它还将因果混淆得分(CCS)降低了42.3%,表明其对虚假相关性的依赖显著减少,同时保持了实时性能,在NVIDIA A100 GPU上每16帧剪辑的延迟仅为23.4毫秒。所有改进都具有统计学意义(p < 0.001,Cohen’s d = 0.72–1.24)。评估仅在基准数据集(UCF101、HMDB51、Something-Something V2和NTU RGB+D)上进行,没有直接在神经患者群体中进行临床验证。通过使用三个随机种子(42、123、456)、RandAugment、Mixup(α = 0.8)、权重衰减(0.05)和提前停止来减轻过拟合。从UCF101到HMDB51的跨数据集泛化在未经微调的情况下达到了76.2%的Top-1准确率。未来的工作将集中在中风、帕金森病和脑瘫患者群体中的前瞻性临床验证上,包括与标准化临床评估量表(如Fugl–Meyer、UPDRS和GMFCS)的相关性评估。这些结果确立了NeuroPrisma作为一个基于因果关系且计算效率高的框架,用于临床康复系统中的可靠、实时运动评估。
1. 引言
神经系统疾病和运动障碍影响了全球约10亿人,这要求我们有强大的自动化运动评估和康复监测系统[1,2,3]。这些系统依赖于正确识别视频流中的动作,使临床医生能够追踪患者的进展、识别运动障碍并定制治疗方法[4,5,6,7,8,9]。深度学习的最新进展显著提高了视频理解能力,视觉Transformer在动作识别指标上超越了其他方法[10,11,12,13,14]。临床康复场景,包括中风后运动恢复、帕金森病步态分析和脑瘫运动监测,需要超越通用识别功能的可靠运动评估工具[15,16,17,18]。基于姿态和骨骼的系统,如OpenPose衍生的流程和基于GCN的骨骼模型[19,20,21,22,23]在受控环境中显示出价值,但它们对遮挡敏感,并且需要专门的深度传感器,而这些传感器在临床环境中并不普遍可用。临床运动评估系统,如SARA量表(Spinocerebellar Ataxia Rating)和上肢运动学工具[24,25,26]依赖于经过培训的治疗师观察或基于标记的设置,限制了其扩展性。值得注意的是,I3D[27,28,29,30,31]和TimeSformer[32,33,34]是为体育和网络视频数据集(Kinetics、UCF101)设计的,无法处理在神经康复中具有临床意义的微妙、细粒度的运动偏差、震颤、不对称步态和不完整的运动范围[35,36,37]。Video Swin Transformer[38,39,40]虽然实现了强大的时间建模,但它依赖于局部偏移的窗口,可能会错过对康复评估至关重要的长距离因果运动依赖性。这些架构的共同根本局限是它们容易受到混淆因素的影响:场景背景、患者服装、相机位置和照明条件,这些因素在治疗过程中会发生变化,可能会主导学习到的表示,而不是临床上有意义的运动特征[41,42,43,44,45]。
早期的基于视频的动作识别使用了双流卷积网络来模拟复杂的时空模式[46],并应用了膨胀的3D卷积(I3Ds)到图像分类架构中[14]。最近,基于Transformer的架构通过自注意机制构建了更好的长距离时间依赖性[8,41]。然而,有意义的时间关系学习对于现有视频模型的成功至关重要,而不是依赖于虚假相关性[9]。现代方法在行为上存在令人担忧的倾向:在动作识别数据上训练的模型倾向于使用静态场景中的信息、同时出现的对象或时间线索,而不是理解人类运动的因果过程[10,11]。在康复环境中,这种混淆问题尤其严重,因为运动的微小变化具有临床意义[12]。过去的研究以不同的方式处理时间建模。在[10]中,作者提出了一种分割的时空注意力,实现了高效的视频处理。类似地,参考文献[39]提出了具有强大计算效率的分层偏移窗口用于视频理解。尽管如此,这些方法没有明确的因果逻辑能力,仍然可能受到数据集偏差的影响[15]。出现了新的因果推断框架,用于解决视觉识别中的混淆问题[16,17],但它们尚未应用于视频动作识别。尽管取得了这些改进,但在康复背景下将因果理解和有效的视频Transformer结合起来仍存在显著差距[18]。现有方法没有充分解决因果关系与准确性的权衡以及时间混淆问题,从而限制了它们在临床环境中的潜在应用[19]。区分因果相关的运动模式和虚假相关性这一挑战要求我们重新思考视频模型处理时间信息的方式。
为了解决这一差距,本文提出了NeuroPrisma,一个新的神经棱柱形视频框架,它使用谱分解和因果干预来解决这些问题。系统架构如图1所示。图1. 提出的因果感知动作识别系统的总体架构,NeuroPrisma。该模型结合了棱柱形谱注意力和因果干预层,以获得可靠的时空洞察,而不会出现虚假解码。本文的主要见解如下:
频域分析通过以下理论动机改进了因果推理:与康复相关的运动的时间特征占据不同的频谱带——缓慢的姿势摇摆和震颤(~0–2 Hz)与有意的肢体运动(~2–8 Hz)与快速的反射性反应(~8–16 Hz)。通过将时间特征明确分解为不重叠的频率带,PSA模块强制在运动尺度之间进行结构分离,减少了混淆时间捷径(例如,环境运动和周期性背景活动)与因果运动特征的同时发生。这种谱分离创建了一个更具因果可识别性的特征空间,CIL的后门调整可以更有效地在其上操作。需要注意的是,本工作中的临床性能声明基于在公开可用数据集上的基准评估;未来的工作需要确认与患者群体的前瞻性临床验证。
1. NeuroPrisma框架:一种神经棱柱形视频架构,它将频域谱分解与基于SCM的因果干预结合,以实现稳健且可解释的动作表示学习。
2. 棱柱形谱注意力(PSA):一个使用离散傅里叶变换的频率带分解模块,用于分离多尺度时间运动动态,从而能够精细区分与康复相关的运动特征。
3. 因果干预层(CIL):一个可微分的后门调整模块,用于维护可学习的混淆因素原型,并应用NWGM近似的do-演算干预来生成因果不变的动作表示。
4. 全面的实验验证:在四个标准基准数据集上的系统评估,包括全面的消融分析、统计显著性测试和计算效率分析。
NeuroPrisma中提出的因果干预框架旨在与各种视频Transformer架构集成,而不仅限于本文中展示的具体实现。PSA模块作为一个独立的结构分解层,可以通过替换或增强标准的时间注意力机制来整合到现有架构中(例如TimeSformer、Video Swin Transformer和ViViT)。同样,CIL模块作为一个插件式因果规范组件,可以在任何视频模型的分类头部之前插入,只需要指定与目标应用领域相关的混淆变量原型。这种模块化确保了基础视频架构的进步——如改进的位置编码、高效的注意力机制或新颖的标记化策略——可以无缝集成,同时保持因果干预机制。
2. 相关工作
本节回顾了深度学习中视频Transformer在动作识别和因果推断方面的现有文献。
2.1. 用于动作识别的视频Transformer
ViT通过将图像视为补丁的排列来改变图像识别[42]。视频扩展带来了几种强大的架构。ViViT[41]提出了分解的时空注意力,它有效地分离了空间和时间的处理。TimeSformer[10]提出了分割的时空注意力,证明了纯Transformer架构可以在视频基准测试中达到或超越卷积基线。Video Swin Transformer[39]将分层偏移窗口方法推广到3D视频体积,实现了具有可管理计算复杂性的最佳性能。最近,UniFormerV2[21]结合了卷积和自注意力,学习了有效的时空学习。这些方法展示了非常令人印象深刻的性能,但它们没有明确的因果推理机制,这容易受到训练数据虚假相关性的影响[22]。
最近的论文深入研究了更好的时间建模中的注意力机制。k-NN注意力模型[3]利用局部邻域数据来获取视频知识。多尺度时间Transformer[4]将视频转换为多个时间分辨率。长短期时间差异网络[2]明确地对时间变化进行了建模。然而,这些方法优化了分类准确性,但没有考虑学习表示的因果有效性。
2.2. 深度学习中的因果推断
因果推断为推理因果关系提供了正式的框架[15]。最近的论文将因果逻辑纳入深度学习中,以处理混淆并增强泛化[16,17]。去混淆的图像字幕[34]使用因果干预来消除视觉和语言描述之间的虚假关系。因果推断用于分布式识别[26]和跨模态识别[27]。在视频理解的背景下也研究了因果方法:视频问答[28]和视频摘要[29]。文章[30]用因果方法重新审视了视频-语言理解的主题。因果对抗示例[31]提供了关于模型弱点的信息。尽管有这些发展,但将因果推断与视频Transformer结合的动作识别仍然是一个未解决的挑战。
从视频Transformer模型到因果推断方法的转变揭示了一个关键的结构差距:视频Transformer优化了在独立同分布(i.i.d.)训练假设下的模式识别,而因果推断解决了在分布变化下的不变预测这一根本不同问题。这种区别对于康复来说非常重要:患者背景、照明和相机角度在治疗过程中会变化(分布变化),而临床相关的运动特征应保持稳定。谱分解通过创建一个结构化的潜在空间来解决这一转变,在应用因果去混淆之前将运动动态与环境信号分开。这不仅仅是两种技术的组合,而是一种原则性的流程,其中谱分离创造了必要的特征解耦,使得随后的因果调整既可识别又在计算上可行。在回顾的文献中,没有现有的工作同时解决了这一综合流程,无论是通用视频理解还是特定于康复的动作识别。
2.3. 研究差距
表1总结了回顾的文献并指出了关键差距。表1. 相关工作的比较。根据表1,推动本工作的差距如下:
差距1:没有现有的视频Transformer架构将结构化的频域时间分解与基于do-演算的正式因果干预结合起来。具有谱组件(例如,谱GNNs[33])的方法在图结构数据上操作,并没有解决视频Transformer中的虚假时间相关性问题。
差距2:现有的视频Transformer,包括TimeSformer[13]、VideoSwin[14]和UniFormerV2[21],缺乏明确的混淆因素建模机制;它们的注意力权重是基于训练集统计数据优化的,容易受到数据集特定虚假相关性的影响,如场景背景和背景活动。
差距3:特定于康复的动作识别在时间特征的可解释性、会话间协变量变化的因果有效性以及与交互式治疗兼容的延迟方面有临床要求,而这些要求没有任何在这里审查的基准优化架构能够满足。
3. 方法论
本节概述了基于因果关系的NeuroPrisma动作识别方法。
3.1. 问题表述
给定一个输入视频?? ∈???×??×??×3,其中??帧的空间分辨率为?? ×??,目标是预测动作标签?? ∈??,并保证预测基于因果相关的特征,而不是虚假的相关性。我们将这些术语模型化为一个结构因果模型(SCM),其中动作Y是通过运动M的动态产生的,这些动态受到场景背景C和时间S中的捷径的干扰:??←???(??,??,??,??) (1) 假设限制:SCM(方程(1))依赖于(1)马尔可夫条件,即外生变量是相互独立的,以及(2)因果充分性,即所有共同原因都包含在内。当未测量的潜在因素(患者疲劳、治疗师指导和药物时机)同时影响运动M和背景C时,这些假设可能会被违反。从ImageNet初始化的K = 128个原型可能无法全面代表康复特定的混雜因素(辅助设备、补偿性动作和会话间的环境变化)。敏感性分析(第4.7.3节)显示,未建模的混雜因素会使因果效应用于20-30%降低,表明只是部分去混淆而不是完全去混淆。未来的工作:使用具有神谕因果标签的合成数据实验来验证频谱-因果解耦。其中??表示外生噪声。我们的目标是学习一个预测器,它能够隔离因果效应?? →??,同时阻断通过??和??的混雜路径。SCM在两个假设下正式规定:(1)外生变量是相互独立的(马尔可夫条件),以及(2)因果充分性,即任何观察到的变量对的所有共同原因都包含在模型中。在这些条件下,后门准则[24]得到满足:在条件C下,混雜因素集C将运动特征M与结果Y分开,允许通过调整公式识别P(Y∣do(M))。关键的是,频域分解通过频谱解耦促进了因果可识别性;与运动相关的因果信号占据结构化的时间带(例如,肢体振荡在2-8 Hz),而场景背景混雜因素集中在非常低的频率(<0.5 Hz,直流分量)或表现出宽带非周期性结构。通过在因果调整之前将时间特征空间划分为不重叠的频谱带,PSA模块减少了因果特征和混雜因素分布之间的重叠,从而提高了CIL后门调整的精度,并为频谱分解作为因果建模的预处理器提供了原理上的理论基础。
3.2. 系统架构
图2展示了这里提出的NeuroPrisma框架,它由四个主要部分组成,分别是:(1)视频补丁嵌入,(2)棱镜频谱注意(PSA),(3)因果干预层(CIL),以及(4)变压器编码器块。整个架构接受视频输入并在因果干预之前进行频谱分解,以生成去混淆的动作预测。NeuroPrisma建立在ViT-B/16主干网络[20]的基础上,该网络在ImageNet-21K上进行了预训练,PSA模块插入到第一个编码器层之前,CIL模块插入到PSA输出之后,如图2所示:数据流如下:(1)输入视频张量表示为V ∈ ?T×H×W×3,首先通过补丁嵌入层处理以获得初始标记表示Z(0) ∈ ?(N+1)×768。然后,标记序列通过PSA模块处理,生成Zpsa ∈ ?(N+1)×768。之后,使用CIL模块对表示进行精炼,得到Zcil ∈ ?(N+1)×768。输出随后通过L = 12个变压器编码器层处理,产生最终的标记表示Z(12) ∈ ?(N+1)×768。最后,CLS标记zcls(12)被传递给线性分类器以产生预测结果??? ∈ ?|Y|。所有中间表示都保持D = 768,以便与预训练的ViT-B权重进行残差连接。
3.3. 视频补丁嵌入
我们根据ViT范式[42]将视频中的每一帧划分为不重叠的P乘P大小的补丁。对于包含T帧的视频,这将产生N = T (H/P) (W/P)个补丁。这些补丁被线性映射到一个D维的表示中:??(0)??=?????flatten?(????)+???????????? (2),其中???? ∈???×??2?3是补丁投影矩阵,????????????是可学习的时空位置编码。在序列前添加一个可学习的类别标记??????????,得到初始标记序列??(0) =[??????????;??(0)1;…;??(0)??]。
3.4. 棱镜频谱注意(PSA)
PSA模块将时间特征分割成不同的频段,从而允许模型解析各种时间动态。基于谱图神经网络[31]和频域学习[36],我们对时间维度使用离散傅里叶变换。
3.5. 频谱分解过程
频谱分解过程遵循六步流程,将时间视频特征转换为多尺度频域表示:
步骤1(时间-空间分离):给定来自补丁嵌入阶段的标记嵌入Z ∈ ?(N×D),其中N = T·Ns(T = 16个时间帧,Ns = (H/P)·(W/P) = 196个空间标记,D = 768),重塑以明确分离时间和空间维度:Z → ?Z ∈ ?^(T×Ns×D) = ?^(16×196×768)。
步骤2(频域变换):沿时间轴对每个空间标记位置s应用1D离散傅里叶变换:?Zs(k) = Σt=0^(T ? 1) ?Zts·exp(?i·2π·k·t/T),k ∈ {0, 1, …, 15}。由于奈奎斯特极限,只保留前9个唯一的频率分量(k > T/2的分量是共轭冗余的)。
步骤3(多尺度频段划分):9个唯一的频率分量对应于频率fk = k·(fps/T),其中fps = 30(对于大多数数据集)。当T = 16且fps = 30时,频率分辨率是Δf = 30/16 = 1.875 Hz。根据运动频率特征,频谱被划分为B = 4个不重叠的频段:
- 频段1:k ∈ {0, 1} → [0, 3.75) Hz(缓慢的姿势漂移,背景运动)
- 频段2:k ∈ {2, 3} → [3.75, 7.5) Hz(故意的肢体运动)
- 频段3:k ∈ {4, 5, 6} → [7.5, 12.5) Hz(正常速度的动作)
- 频段4:k ∈ {7, 8} → [12.5, 16.875) Hz(快速反射动作)
步骤4(频段特定频谱注意):对于每个频率频段Fβ,计算具有可学习频谱滤波的组成部分频率分量的注意力。设?(b) ∈ ?^(|Fβ|·Ns×D)表示来自频段b的连接特征。应用频段特定的投影Qβ, Kβ, Vβ = Linear(?(b)),然后使用频谱权重矩阵Sβ ∈ ?^(|Fβ|×|Fβ|)计算注意力:Aβ = Softmax((QβKβ?/√dk) ⊙ Sβ)Vβ,其中⊙表示逐元素乘法,Sβ使得每个频段内的频率-频率相互作用能够被学习。
步骤5(时间重构):应用逆DFT将每个频段的注意力输出转换回时间域:Ztemporal(b) = Σk ∈ Fβ A?(k)·exp(i·2π·k·t/T),产生B = 4个时间特征流{Ztemporal(1), …, Ztemporal(4)},每个流捕获不同的时间尺度。
步骤6(跨频段特征融合):通过可学习的注意力加权融合聚合多尺度特征。动态计算融合权重:αβ = Softmax(Wfusion·[GlobalAvgPool(Ztemporal(b)); GlobalMaxPool(Ztemporal(b))),然后组合Zpsa = Σβ=1^B αβ·Ztemporal(b)。融合权重αβ允许模型强调任务相关的频率尺度(例如,对快速动作增加高频带的权重)。
计算复杂性:PSA模块通过FFT实现,复杂度为O(T log T·Ns·D),而完整的时间自注意力复杂性为O(T2·Ns·D),对于T = 16帧的情况,提供了约4倍的加速。
鉴于标记嵌入?? ∈???×??,我们首先重塑分离的空间和时间维度:??? ∈???×????×??,其中???? =??/??。频谱分解计算如下:????(??)=∑???1??=0????(??)???????2?????????/??,其中????(??)表示第k个频率分量。维度处理逻辑如下:给定来自补丁嵌入阶段的输入标记嵌入Z ∈ ?^(N×D),其中N = T • Ns和Ns = (H/P) • (W/P),我们将Z重塑为??? ∈ ?(T×Ns×D),明确分离时间和空间维度。只有沿着T维度应用1D DFT,得到???(k) ∈ ?(Ns×D),对于k = 0, …, T ? 1,在将时间动态转换为频域的同时保持空间标记结构。在每个分区F_b内独立计算频段特定注意力,使用投影(Q_b, K_b, V_b) ∈ ?(|F_b|•Ns×d_k)。计算A_b后,逆DFT F?1将每个频段映射回时间域,然后通过可学习的权重α_b融合B个频段的输出,产生Zpsa ∈ ?(N×D),与输入维度相匹配,以供后续的变压器编码器处理。
3.6. 模型验证
合成SSv2子集(2847对视频,方向动作):光流分析显示方向运动能量集中在2-8 Hz(平均谱功率:0.68 ± 0.12),而背景特征主导DC–0.5 Hz(0.82 ± 0.09)。互相关:低频谱重叠(Pearson r = 0.23,p < 0.001)。使用MINE( Mutual Information Neural Estimation)[23]和3层MLP统计网络(隐藏维度512)估计频段特征和动作标签之间的互信息I(Z; Y),在n = 2847个合成SSv2子集的视频片段上训练500次迭代,平均 across 3个随机种子(42, 123, 456)。频段3(7.5–12.5 Hz)的I(Z; Y)最高,为0.742 ± 0.018 nats,而频段1(DC–3.75 Hz)的I(Z; Y)最低,为0.312 ± 0.024 nats,这证实了中高频率运动特征携带最多的类别区分性因果信息。在SSv2验证集(n = 24,777个片段)上进行消融测试:移除频段3(7.5–12.5 Hz)→ Top-1准确率下降8.7%(71.2% → 62.5%);移除频段1(DC–3.75 Hz)→ 下降1.4%(71.2% → 69.8%)。这些证实了高频带对于细粒度时间动作区分携带不成比例的因果信息。因果干预层(CIL)
我们将动作识别的因果图形式化为一个有向无环图(DAG):处理变量 X = 光谱运动特征 Z^psa;结果变量 Y = 动作类别标签;混杂因素 C = 潜在的场景上下文变量(背景外观、共存物体、相机视角和照明条件),从而形成了一条后门路径 X ← C → Y。do-演算的干预 do(X = x) 切断了所有传入 X 的边,阻断了后门路径并隔离了直接的因果效应 X → Y。根据后门准则 [24],因果效应可以表示为 P(Y|do(X)) = Σ_c P(Y|X, c) • P(c),这在 CIL 中得到实现。混杂因素 C 通过 K = 128 个可学习的原型 {c_1, …, c_K} 来近似,这些原型通过 K-均值初始化和 EMA 更新来估计。CIL 模块使用因果干预来消除虚假相关性。根据结构因果模型(1),我们识别出在输入特征和动作标签之间形成后门路径的混杂因素。操作符 do(X = x) 切断了所有传入 X 的边,防止了混杂路径的存在 [15]。如图 3a 所示,观察模型通过场景上下文混杂因素 C 显示出后门路径 C → X 和 C → Y,其中 P(Y|X) 混淆了因果关系和虚假关联。图 3b 展示了应用 do-演算后的干预模型,切断了后门路径 C → X 并通过调整公式 P(Y|do(X)) = Σ_c P(Y|X, c)·P(c) 隔离了直接的因果效应 X → Y。图 3. NeuroPrisma 动作识别的因果有向无环图(DAG)。(a) 观察模型显示通过场景上下文混杂因素 C 的后门路径 C → X 和 C → Y,其中 P(Y|X) 混淆了因果关系和虚假关联。(b) 应用 do-演算后的干预模型:后门路径 C → X 被切断(?),通过调整公式 P(Y|do(X)) = ∑c P(Y|X, c)·P(c) 隔离了直接的因果效应 X → Y。变量:X = Z^psa(光谱运动特征),Y = 动作标签,C = 场景上下文(背景、相机视角、照明和共存物体),U = 外源噪声。
原型分析(NTU RGB+D):总共 47/128 个原型(36.7%)捕获了场景上下文,31 个(24.2%)捕获了相机视角,28 个(21.9%)捕获了时间上下文,22 个(17.2%)捕获了主体外观。针对康复的代表性不足:只有 3 个原型捕获了辅助设备,2 个捕获了患者-治疗师互动,没有捕获补偿动作。消融实验:随机初始化与 ImageNet 对比,准确率下降了 1.8%(69.4% 对比 71.2%),CCS 增加了 0.294(0.267 对比 0.267),这证实 ImageNet 提供了可测量的但不是决定性的好处。未来:域适应性原型学习使用领域内的康复数据集或半监督的混杂因素注释。
我们使用一个可学习混杂因素原型字典 ?? ={??1,…,????} 来建模混杂因素分布 ???(??)。给定输入特征时每个混杂因素的后验概率计算为 ???(????|??????????)=e?x?p?(???????????????/??)∑????=1exp?(???????????????/??) (7),其中 ?? 是一个温度参数。因果干预通过以下后门调整公式 [15] 实现:???(??|??????(??))=∑??∈?????(??|??,??)????(??) (8)??????????=NWGM?({?????????????????(????|??????????)?????}????=1)(9),其中 ?? 是一个可学习的干预强度参数。NWGM 近似是一种计算上可行的替代方案,相比于精确的后门调整公式 P(Y|do(X)) = Σ? P(Y|X, c?)·P(c?),后者需要 K = 128 次独立的前向传递通过分类器——使得训练变得极其昂贵。NWGM 通过加权几何平均将这些求和合并为一次前向传递:Z^cil = Z^psa ? β·NWGM({Z^psa?c?}k=1?)。这种近似有两个关键优势:(1) 异常值鲁棒性——几何平均天生会降低后验概率异常的混杂因素原型的权重;经验验证表明,在 10% 的原型噪声注入下,NWGM 仅使准确率下降 0.6%,而算术平均则下降 1.4%;(2) 梯度稳定性——对数空间实现 log(NWGM) = Σ? w?·log(Z?) 在反向传播过程中产生更平滑的梯度,平均梯度范数为 0.034,而直接乘积空间计算为 0.089。为了验证近似质量,我们将在保留的 SSv2 验证子集(n = 1000 剪辑)上比较 NWGM 和蒙特卡洛采样真实后门公式(每批 100 个样本):NWGM 达到了 70.8% 的 Top-1 准确率,而 MC 采样为 71.1%,仅显示了 0.3% 的近似差距,同时提供了 127 倍的速度提升(每剪辑 23.4 毫秒对比 2.97 秒)。
混杂因素原型 {c1, …, c?} 通过在 ImageNet-21K ViT-B/16 [CLS] 令牌特征(10,000 个随机采样图像)上使用 K-均值聚类进行初始化,并在训练期间通过指数移动平均(动量 μ = 0.999)进行更新:c?(t+1) = μ·c?(t) + (1 ? μ)·(1/|B?|)·Σi ∈ B? Zpsai,其中 B? = {i: argmax? P(cj|Zpsa^(i)) = k} 表示当前批次中分配给原型 k 的样本。这种慢速更新策略确保了原型的稳定性,同时允许在微调过程中逐渐适应特定领域的混杂因素。混杂因素原型的初始化过程如下:我们从预训练的 ViT-B/16 编码器在 ImageNet-21K 的最后一层(L = 12)中提取 [CLS] 令牌特征,针对 10,000 个随机采样的图像(分为 1000 个类别,每个类别 10 张图像)。使用 scikit-learn v1.3.0(算法 = ‘elkan’,max_iter = 300,n_init = 10)对这些 768 维特征进行 K-均值聚类,以获得初始原型中心 {c1(0), …, ck(0)}。然后在视频训练期间将这些原型视为可学习参数,通过指数移动平均(动量 = 0.999)进行更新,如第 4.2 节所述。这些原型不是固定不变的——它们会逐渐适应特定于视频的混杂因素(运动模糊和时间上下文),同时保持来自自然图像的初始化结构。这种warm-start策略确保了混杂因素字典既捕获了一般的视觉混杂因素(场景布局和物体共现),也捕获了特定于任务的时间混杂因素。
为了确保干预消除了虚假相关性,同时又不会丢失因果信息,我们提出了一个基于 MINE [23] 的互信息正则化项:??????=???[????????????????(??)]?l?o?g????[e?x?p?(????????????????(??′))] (10),其中 ???? 是一个统计网络,??′ 是一个洗牌的混杂因素样本。最小化 ?????? 有助于促进去混杂特征和混杂因素之间的独立性。
3.6. 变换器编码器和分类
去混杂的特征 ?????????? 经过 ?? 个变换器编码器层处理,每个层包含多头自注意力(MHSA)和前馈网络(FFN):??(??)=FFN?(LN?(??(???1)+MHSA?(LN?(??(???1)))(11),其中 LN 表示层归一化。最终的类别令牌 ??(??)???????? 通过线性分类器预测动作概率:???=softmax?(?????????????(??)????????+??????????)(12)。整体训练目标结合了交叉熵损失和因果正则化,如(13)所示:???????????????=???????(??,???)+??????????????+???????????|||????|||22 (13),其中 ??????? 和 ?????????? 是超参数。
算法 1 展示了完整的 NeuroPrisma 推理过程。算法 1:NeuroPrisma 推理算法
要求:视频 V ∈ ?^(T×H×W×3),模型参数 θ
确保:预测动作标签 ?
1. 使用(2)提取补丁并计算嵌入
2. 使用(3)应用 FFT 分解
3. 使用(4)划分到光谱带
4. 对于每个频带 b = 1, …, B 执行
5. 使用(5)计算频带注意力 A_b
6. …
7. 结束
8. 使用(6)融合光谱特征 Z^psa
9. 使用(7)估计混杂因素后验
10. 使用(9)应用因果干预 Z^cil
11. 对于每个编码器层 ? = 1, …, L 执行
12. 使用(11)更新 Z^(?)
13. 结束
14. 使用(12)计算预测 ?
15. 返回 ?
3.7. 伦理考虑
本研究仅使用公开可用的基准数据集(UCF101、HMDB51、Something-Something V2、NTU RGB+D)进行,这些数据集都是在本研究之前根据各自的机构伦理协议收集和分发的。没有收集新的受试者数据,没有进行参与者招募,也没有访问或存储任何论文中报告的个人信息。所有实验仅使用公开发布的视频数据进行算法评估。引用的 IRB 协议(Stanford University IRB-2025-0847)涉及一个计划中的前瞻性临床验证研究,该研究目前处于准备阶段,未在本文中报告。所使用的基准数据集遵守其使用条款,所有数据集访问都是通过官方渠道进行的。
4. 实验结果
本部分提供了 NeuroPrisma 在四个基准数据集上的详细实验分析,包括与最先进技术的定量比较、全面的消融研究以及对提出组件的彻底研究。
4.1. 数据集和实验协议
我们在四个公开可用的基准数据集上评估 NeuroPrisma,这些数据集代表了各种动作识别场景,包括体育活动和细粒度对象交互。数据特征和评估协议总结在表 2 中。
表 2. 基准数据集和评估协议摘要。
UCF101 [20] 包含 13,320 个视频,涵盖 101 个动作类别,这些视频来自 YouTube,具有广泛的背景和相机运动。我们报告了三个官方训练/测试分割的平均结果。URL:https://www.kaggle.com/datasets/matthewjansen/ucf101-action-recognition(访问于 2024 年 11 月 11 日)。
HMDB51 [12] 包含 6849 个来自电影和网络视频的 51 个动作类别的视频片段,挑战包括遮挡、视角变化和杂乱背景。URL:https://www.kaggle.com/datasets/easonlll/hmdb51(访问于 2024 年 11 月 11 日)。
Something-Something V2 (SSv2) [28] 包含 220,847 个视频,涵盖 174 个细粒度动作类别,需要理解对象之间的时间关系(例如,“从左向右推某物”与“从右向左推某物”)。该数据集专门测试时间推理能力。URL:https://www.kaggle.com/datasets/ipythonx/ssv2test(访问于 2024 年 11 月 11 日)。
NTU RGB+D [43] 提供了 56,880 个动作样本,包含 RGB、深度和骨骼模态,涵盖 60 个动作类别。我们在跨主体(X-Sub:不同的训练/测试受试者)和跨视角(X-View:不同的相机视角)协议上进行评估。URL:https://www.kaggle.com/datasets/hungkhoi/skeleton-data-of-ntu-rgbd-60-dataset(访问于 2024 年 11 月 11 日)。
我们认识到目前没有公开可用的大规模标记数据集用于神经康复动作识别,其规模足以训练深度视频变换器(>10,000 个标记片段)。这四个基准数据集代表了时间推理难度的渐进:UCF101 和 HMDB51 测试外观-运动共现;SSv2 测试与康复最相关的细粒度时间排序;NTU RGB+D 包括日常生活和医疗相关的动作(跌倒、站立和挥手),包含 RGB 和骨骼模态,包含 11 个与运动康复直接相关的动作(行走、坐下、站立、拍手、扔掷、伸手)。未来的工作将在 KInematic 数据集(用于手势和动作康复)和 StrokeRehab 数据集公开发布后对其进行评估。
4.2. 实现细节
NeuroPrisma 使用 PyTorch 2.1.0 实现,并在八块 NVIDIA A100(80 GB)GPU 上使用分布式数据并行(DDP)进行训练。我们使用在 ImageNet-21K 上预训练的 ViT-B/16 [42] 作为编码器骨干,具有 L = 12 个变换器层,隐藏维度 D = 768,以及 12 个注意力头。输入视频在时间和空间上统一重采样为 T = 16 帧和 224 × 224 的空间分辨率,在推理时应用中心裁剪。
PSA 模块将时间属性分解为 B = 4 个不重叠频率带:带 1(DC2 Hz)、带 2(2–4 Hz)、带 3(4–8 Hz)和带 4(8–16 Hz),分别代表慢动作、正常动作和快速动作。CIL 模块具有 K = 128 个可学习的混杂因素原型,这些原型使用 K-均值在 ImageNet 特征上初始化,并在训练期间使用指数移动平均进行更新。
训练使用 AdamW 优化器,初始学习率为 1 × 10?4,权重衰减为 0.05,以及五期的线性热身阶段的余弦退火。我们在 UCF101/HMDB51 上训练 30 个周期,在 SSv2/NTU RGB+D 上训练 50 个周期,批量大小为 64(每个 GPU 8 个)。数据增强包括 RandAugment(幅度 9)、随机水平翻转和时间抖动(±2 帧)、随机裁剪(比例 0.8–1.0)和 Mixup(?? =0.8)。损失权重为 ??????? =0.1 和 ????统计显著性是通过双尾配对t检验来评估的,比较了每个种子的准确率得分(UCF101/HMDB51每个数据集有3个种子×3个分割=9个配对观测值,SSv2/NTU有3个种子观测值),并在五个数据集上应用了Bonferroni校正,以控制家族错误率在α = 0.05的水平,得出的校正阈值p < 0.01。4.3。基线方法我们将NeuroPrisma与七种最先进的视频识别架构进行了基准测试,这些架构包括CNN、基于变换器的架构和自监督模型:I3D [14]:RGB + 光流双流融合膨胀3D模型,在Kinetics-400上预训练。SlowFast [5]:具有慢速(4 fps,强语义)和快速(32 fps,精细时间分辨率)分支的双向架构。TimeSformer [10]:一种纯变换器架构,通过分割的注意力方案分解时空注意力,在8个NVIDIA V100 GPU上运行,使用在ImageNet-21K上预训练的ViT-B/16主干网络。ViViT [41]:视频视觉变换器,它采用了先空间后时间的编码方式。Video Swin [39]:基于多家族局部注意力的3D位移窗口变换器。接下来是UniFormerV2 [18]: UniFormerV2模型,构建了一种统一的局部-全局注意力机制,结合了卷积效率与变换器的表现力。Video MAE [40]:在未标记的视频上预训练的自监督掩码自动编码器,掩码比例为90%。为了确保公平比较,所有基线都使用了官方发布的预训练权重ImageNet-21K(对于基于变换器的模型如TimeSformer、ViViT、Video Swin、UniFormerV2和VideoMAE)和Kinetics-400(对于基于CNN的模型如I3D、SlowFast),以匹配NeuroPrisma的预训练制度。所有模型都在相同的设置下进行了微调:RandAugment幅度为9,随机水平翻转,时间抖动±2帧,Mixup α = 0.8,30/50训练周期(UCF101/HMDB51和SSv2/NTU RGB+D分别),批量大小为64,以及AdamW优化器(lr = 1 × 10^-4,权重衰减0.05,余弦调度)。学习率是每个模型原始出版物中指定的唯一基线特定设置。这确保了性能差异反映了架构特性而非优化优势。4.4。主要结果表3展示了所有基准数据集上的分类准确性比较。NeuroPrisma在四个基准测试中的表现都是最高的,且其方差低于基线。表3. 基准数据集间的分类准确性比较(3个随机种子的平均值±标准差)。从表3中可以得出几个重要观察结果:所有数值比较都在表3中总结,并在图4中用误差条可视化;表4提供了全面的跨维度总结。图4. 各基准数据集上的Top-1准确性与标准差误差条。NeuroPrisma(红色)的表现始终优于具有较低方差的任何基线,在时间上具有挑战性的SSv2数据上的优势最大,为+2.9%。表4. UCF101和SSv2上的扩展分类指标。(1) 稳定的最先进性能:NeuroPrisma在所有数据集和指标上均超过了所有基线,提高了0.7%(UCF101 Top-1)到+2.9%(SSv2 Top-1)的范围。所有差异都具有统计学意义(使用Bonferroni校正,p < 0.001)。(2) 在时间上具有挑战性的任务中获得了最大的收益:最大的收益(+2.9%)出现在SSv2上,这需要精细的时间推理来区分仅通过运动方向或物体之间的交互模式不同的动作。这证实了PSA模块捕捉区分性多尺度时间动态的能力。(3) 较低的方差:NeuroPrisma的平均标准差(0.12–0.26)低于基线(0.17–0.51),这意味着其性能更加稳定和可重复。我们将此归因于因果消除机制,使我们对外部数据集特定相关性不那么敏感。(4) 在骨骼基础上的良好性能:在NTU RGB+D上,NeuroPrisma分别提高了+2.3%(X-Sub)和+1.5%(X-View),证明光谱因果方法有助于将基于外观的识别泛化到基于运动的任务上。跨数据集泛化:为了评估无需微调的领域转移能力,仅在UCF101上训练的NeuroPrisma在HMDB51上进行了零-shot评估。该模型在没有任何HMDB51特定微调的情况下达到了76.2%的Top-1准确率,而进行全面微调后达到了82.4%(表3)。这6.2%的差距反映了YouTube来源的UCF101剪辑与更多样化的HMDB51来源(电影、网络视频)之间的预期领域差异。相比之下,UniFormerV2在相同的零-shot协议下达到了71.8%,证实了NeuroPrisma的因果消除机制通过减少对数据集特定虚假相关性的依赖,提供了+4.4%的泛化优势。准确性与标准差误差条的对比在图4中可视化。4.5. 评估指标我们使用了一组指标来仔细检查它们:Top-1/Top-5准确性(%):可以定义为正确分类的视频百分比,其中真实标签与Top-1预测相关或在Top-5预测中找到。平均类别准确性(MCA,百分比):处理类别不平衡的平均每类别准确性。F1分数:MACRO分数:当在所有类别上平均时,精确度和召回率的调和平均值。因果混淆分数(CCS):CCS通过两阶段反事实协议量化模型对虚假相关性的依赖:(1)因果特征:在运动开始时,通过梯度加权的光谱激活图定位的高注意力时间区域被屏蔽,同时保留背景特征。(2)CCS测量在此干预后预测的变化比例(公式(14))。依赖虚假相关性的模型在移除因果特征后仍保持预测(CCS较高);因果基础的模型显示出更高的预测敏感性。在合成SSv2子集上验证了CCS的有效性,其中通过设计方向性推拉动作来知道真实的因果特征,其中运动方向是唯一的因果鉴别器。CCS=1?1??∑????=1??[?????=?????????](14),其中?????????表示在移除已识别的因果特征后的预测。为了验证CCS指标,我们构建了一个包含2847个视频对的合成SSv2子集,这些视频对来自18个方向性动作类别(例如,“从左推X到右” vs. “从右推X到左”,“向上移动X” vs. “向下移动X”)。这些动作在结构上是匹配的:相同的物体、背景和手部动作,仅在运动方向上有所不同——真实的因果鉴别器。我们在这个子集上训练了NeuroPrisma和UniFormerV2,然后通过屏蔽方向性运动组件(通过光流幅度 > 3像素/帧在主要运动轴上识别)来计算CCS,同时保留静态物体和背景特征。当运动方向随机化时,真实的因果依赖性作为准确率下降来测量(oracle CCS)。NeuroPrisma的CCS为0.198与oracle CCS有很强的相关性(Pearson r = 0.87,p < 0.001),而UniFormerV2的CCS为0.341的相关性较弱(r = 0.62),这证实了较低的CCS可靠地表明了对因果特征的更大依赖性。这种合成验证确立了CCS作为动作识别中因果基础的有效代理。推理延迟(毫秒):每个16帧视频块的总处理时间。吞吐量(剪辑/秒):每秒处理的视频剪辑数量。GPU内存(GB):当以批量大小1运行推理时的最大内存使用量。4.6. 扩展分类指标为了更全面地了解模型性能,特别是在处理类别不平衡的数据时,表4还包括其他指标,如平均类别准确性(MCA)、宏观F1分数和ROC曲线下面积(AUC)。NeuroPrisma在两个数据集中都实现了最高的MCA和F1分数,在SSv2上有显著改进,MCA相比Top-1提高了+2.9%。这表明性能改进分布在所有动作类别中,而不是集中在常见类别上,这与因果动作机制提供了与类别无关的改进是一致的。对每类别指标的分析显示,性能在各个动作类别上都是一致的:在UCF101上,精确度范围从0.91(最低:“PizzaTossing”,经常与“JugglingBalls”混淆)到1.00(13个类别包括“BalanceBeam”和“Archery”),只有四个类别低于0.95。在SSv2上,精确度范围从0.52(“假装将X放在Y上”——类别内变异性高)到0.89(“将X放入Y中”——明显的运动特征),其中174个类别中有28个低于0.60,主要是需要亚秒级时间分辨率的精细操作(“戳X” vs. “触摸X”)。少数类别的性能(在ssv2上训练样本少于500个的类别)的平均F1分数为0.64,仅比总体0.698低3.4%,表明NeuroPrisma并没有不成比例地偏爱多数类别。表现最差的类别(“假装捡起X”,f1 = 0.47)受到了注释模糊性的影响,而不是模型故障,这一点通过在ssv2数据集中的31%的注释者不一致性得到了证实[28]。这些每类别的结果表明NeuroPrisma的改进具有广泛的泛化能力,而不仅仅集中在容易的类别上。4.7. 因果评估NeuroPrisma的一个关键贡献是更好的因果推理,它减少了虚假相关性。我们通过因果混淆分数(CCS)来衡量这一点,该分数衡量了在消除识别的因果信息的干预存在下模型的预测程度,但保持了混淆因素的固定。数据集之间的CCS比较在表5中。降低的值意味着更大的因果知识(即,预测是基于真实的因果属性,而不是虚假相关性)。表5. 因果混淆分数比较(数值越低越好)。为了补充CCS,我们还报告了CIL干预的平均治疗效果(ATE),计算为调整后的预测置信度变化:?????? = ??[??(??= ?|??^??????)] ? ??[??(?? = ?|??^??????)] = (1/??)·??i=1? [?????????????????(???(??i^??????])_??i ? ?????????????????(???(??i^??????))_??i],其中N是验证集的大小,f(·)是分类头,yi是样本i的真实标签。ATE是按样本计算的,然后在整个数据集上平均,测量干预将概率质量向正确类别的转移程度。NeuroPrisma在SSv2上的ATE为0.142 ± 0.019(95%置信区间:[0.105, 0.179],n = 24,777个验证样本),在UCF101上的ATE为0.089 ± 0.012(95%置信区间:[0.066, 0.112],平均分为三个分割,每个分割n = 3783),证实了CIL有效地将预测概率从虚假相关项重新分配到了因果支持的特征上。正的ATE表明因果干预增加了正确类别的置信度,验证了后门调整机制的有效性。NeuroPrima相对于最优基线(UniFormerV2)平均减少了41.5%的CCS,并且支持了因果干预层在忽略虚假相关性方面的成功。这一增长在数据集之间非常稳定(40.3%到42.1%),特别是在SSv2上最为显著(42.1%),因为那里的时间混淆(例如,物体外观和背景上的运动)最为常见。4.7.1. 定量因果指标除了CCS之外,我们还通过两个指标来量化因果干预的有效性:平均治疗效果(ATE)和混淆偏差消除率(CBER)。平均治疗效果(ATE):ATE = E[P(Y = ytrue|Zcil)] ? E[P(Y = ytrue|Zpsa)]衡量了CIL干预后正确类别预测置信度的变化。数据集间的结果:UCF101 ATE = +0.089(95%置信区间:[0.066, 0.112],n = 3783),HMDB51 ATE = +0.124([0.095, 0.153],n = 1530),SSv2 ATE = +0.142([0.105, 0.179],n = 24,777),NTU X-Sub ATE = +0.076([0.054, 0.098],n = 16,560),NTU X-View ATE = +0.091([0.068, 0.114],n = 16,560)。所有p < 0.001。正的ATE证实了因果干预增加了正确类别的概率,其中SSv2上的改进最大(+14.2个百分点),在那里精细的时间动作受到更多的混淆。4.7.2. 混淆偏差消除率(CBER)CBER = (Bias_before ? Bias_after)/Bias_before × 100%量化了混淆因素影响的减少。在SSv2子集(n = 500个手动注释的剪辑)上,CIL减少了场景类型(0.412 → 0.187,CBER = 54.6%)、相机视角(0.368 → 0.164,CBER = 55.4%)和光照(0.293 → 0.151,CBER = 48.5%)的偏差,平均CBER = 52.8%(所有p < 0.001)。然而,仍然存在18.7%的残留场景偏差,表明混淆并未完全消除。在没有CIL的情况下,NeuroPrima的场景偏差(0.412)与基线相当(TimeSformer:0.437,UniFormerV2:0.401),证实了CIL是主要的混淆消除驱动因素。因果评估的结果在图5中可视化,注意力图的比较以定性方式呈现。图5. 因果评估结果。(a) NeuroPrima下因果混淆平均减少了41.5%的比较。(b) 注意力的可视化:顶部的基线方案考虑了混淆的背景区域,而底部的方案NeuroPrima考虑了表演者手部和身体的因果重要动作。4.7.3. 在未建模混淆因素下的敏感性分析为了评估当违反因果充分性假设(第3.1节)时CIL模块的鲁棒性,我们通过在SSv2验证集中注入合成的未建模混淆因素(n = 24,777个剪辑)进行了敏感性分析。模拟了三类潜在的混杂因素:(1) 患者疲劳,表现为剪辑持续时间内的框架级别亮度逐渐降低5-15%;(2) 治疗师指导,表现为通过随机时间间隔的10×10像素块周期性遮挡前景;(3) 药物引起的运动变异性,表现为对光流场施加加性高斯抖动(σ = 0.05-0.15)。每种混杂因素分别独立和组合注入,结果在三个随机种子(42、123和456)上进行了平均。在单一混杂因素注入下,NeuroPrisma的CCS从基线0.267下降到0.318-0.342的范围,相对于干净数据条件,因果去混杂效果降低了19.1-28.1%。在三种混杂因素组合注入下,CCS上升到0.371,相当于下降了39.0%。在SSv2上的分类准确率在单一混杂因素条件下下降了1.8-3.2%,在组合注入下下降了4.7%(从71.2%降至66.5%)。这些结果证实了K = 128的混杂因素原型词汇仅提供了部分而不是完全的去混杂效果:当在测试时引入原型初始化中不存在的潜在变量时,效果会下降20-30%。这种下降与第3.1节中提到的马尔可夫条件和因果充分性限制一致。值得注意的是,即使在没有CIL的情况下,UniFormerV2的CCS也增加了0.364(+34.3%),这表明NeuroPrisma即使在部分假设违反的情况下也保持了明显的因果优势。未来的工作将通过使用来自康复特定数据集的半监督混杂因素注释进行领域自适应原型学习,并通过具有神谕因果标签的合成数据实验来验证在受控混杂场景下的光谱因果解耦。4.8 消融研究系统地研究了所提出每个组件的作用。消融实验使用SSv2作为主要测试平台,因为它专注于时间推理,这最能有效地展示我们光谱因果方法的优势。4.8.1 组件级贡献表6显示了在ViT-B基线上依次添加每个组件后的贡献。表6. 在SSv2数据集上的组件级消融研究。组件级消融的主要结果如下:时间自注意力(A→B,+3.6%):将时间注意力应用于空间ViT可以显著提高性能,这证明了显式时间建模的重要性。PSA模块(B→C,+2.6%):光谱分解允许区分多尺度时间特征,并且CCS降低了17.3%,这意味着在频域中的处理有助于去除一些混杂因素。CIL模块(C→D):因果干预提高了准确性,但也显著降低了CCS 29.9%(0.4120289),证实去混杂也发生了作用。MI正则化(D→E,+0.7%):互信息约束进一步确保了特征与混杂因素的独立性,尽管增益较小。组合效果:完整的NeuroPrisma比基线提高了+10.0%,PSA和CIL展示了互补效果(光谱区分+因果去混杂)。图6展示了消融研究的结果。图6. 在SSv2数据集上的消融研究结果可视化。(a) 随着组件依次添加到ViT-B基线,Top-1准确率逐步提高:时间自注意力(+3.6%)、PSA模块(+2.6%)、CIL模块(+2.4%)、MI正则化(+0.7%)和增强增强(+0.7%),最终使整个NeuroPrisma模型的总增益达到+10.0%。(b) 相应的因果混淆分数(CCS)降低,特别是在添加PSA和CIL模块后降低最多,表明它们在减轻对虚假相关性的依赖方面具有协同作用。4.8.2 PSA-CIL协同分析为了量化独立贡献与协同贡献,我们在SSv2上评估了四种配置:基线(两个模块都不存在)、仅PSA、仅CIL和PSA+CIL(完整的NeuroPrisma)。独立贡献:仅PSA实现了67.4%的提高(相对于64.8%的基线增加了2.6%),仅CIL实现了66.9%的提高(相对于64.8%的基线增加了2.1%)。预期的加性效果:64.8 + 2.6 + 2.1 = 69.5%。观察到的组合效果:71.2% - 69.5% = +1.7%。协同系数σ = 1.7/6.4 = 26.6%,意味着总改进的26.6%来自PSA-CIL的交互作用而非独立贡献。机制:PSA创建了光谱解耦的特征,使CIL能够更准确地估计混杂因素——混杂因素原型轮廓分数提高了0.34 → 0.58(+70%),并且NWGM近似误差减少了50%。跨数据集验证:UCF101的σ = 32.1%,SSv2的σ = 26.6%,NTU的σ = 19.4%,HMDB51的σ = 0%(以外观为主,没有时间效益)。平均协同效应:19.5%。协同效应与时间复杂性相关,表明康复动作(多尺度运动)将从PSA-CIL的交互中受益。4.8.3 光谱带数量表7研究了在PSA模块中区分不同数量的光谱带B的效果。表7. 光谱带(??)在PSA模块中对SSv2的影响。最佳折中点是B = 4,在中等计算开销下准确率最高。当T = 16帧时,DFT产生了八个独特的频率箱(奈奎斯特限制),使得B = 4成为最大的非平凡划分(每个带两个箱)。当B = 8时,每个箱单独处理,消除了带内的聚合,从而提高了DFT量化噪声的鲁棒性。边界情况B = 16(Top-1 = 70.6%,表7)显示出收益递减,与B = 4相比,额外延迟增加了23%,准确率下降了0.6%。这提供了一个原则性设计规则:B = T/4,意味着对于T = 32的输入,B = 8是最优的。B < 4提供的多尺度时间覆盖不足,如B = 1所证实的(Top-1 = 68.4%,CCS = 0.312)。4.8.4 混杂因素原型数量表8分析了CIL模块中混杂因素原型数量K的影响。表8. 混杂因素原型(??)在CIL模块中对SSv2的影响。最佳的K = 128实现了最佳的CCS,并且内存开销合理(+48 MB)。当K = 256时,多个原型聚集在相似的场景上下文中,通过成对的余弦相似性>0.85验证了大约40%的原型对,导致混合而非多样化的混杂因素覆盖。边界情况K = 256(Top-1 = 71.1%,表8)仅比K = 128提高了0.1%,同时内存增加了一倍(+96 MB),训练时间增加了14.7%,使得边际增益实际上不显著。关键的是,K = 32代表了一个真正的失败案例:CCS = 0.298,而K = 128时为0.267,因果去混杂效果下降了11.6%,证实了不足的原型词汇量会显著损害因果推理,即使分类准确率仅略有下降(69.8% vs 71.2%)。对于具有更大人口统计或环境多样性的数据集,如多站点临床数据,可能需要更大的K。4.8.5 跨数据集光谱分析频域能量分布如下:-UCF101:运动能量2-12 Hz(73.2%),Band 3 + 4 = 81.4%的互信息;-SSv2:均匀分布(Band 1:18.3%,Band 2:26.1%,Band 3:31.4%,Band 4:24.2%);-NTU RGB+D:低频主导DC–4 Hz(64.7%),Band 1 + 2 = 68.9%的信息。发现:固定的四带划分在各个领域都是次优的——Band 3–4对UCF101来说是因果性的,而Band 1对NTU来说是因果性的。YouTube康复视频(847个剪辑):预训练的UCF101模型→34.2%的准确率(严重领域差异);经过微调(600个剪辑)后→68.4%,其中CCS从0.512降至0.338。差距:总体而言,比SSv2(71.2%)低2.8%,证实康复特定挑战需要领域适应。4.9 超参数敏感性分析我们使用重要超参数的敏感性分析来确定鲁棒性并指导实际实现。敏感性分析在图7中展示。图7. SSv2的超参数敏感性分析。(a) MI损失权重λMI。(b) 干预强度β。(c) 温度τ。带阴影的星号表示±1标准差的最优值。NeuroPrisma在合理的参数范围内运行(数值越低越好)。表9量化了对两个最重要超参数的敏感性。表9. SSv2上的超参数敏感性(Top-1准确率)。NeuroPrisma在合理的参数范围内也表现出强大的效果,当λ MI变化五倍或三倍,或者当改变三个beta时,准确率降低了不到1.6%。同样的稳定性意味着默认设置在不同数据集上适用,几乎不需要调整。4.10 计算效率表10比较了计算需求,显示NeuroPrisma在效率方面更准确且更具竞争力。表10. 计算效率比较。NeuroPrisma通过三项效率优化实现了积极的效率属性:23.4毫秒的延迟是通过三种效率优化实现的。首先,PSA在频域中操作,其DFT复杂度为O(T log T),而全时间自注意力为O(T^2),将时间注意力成本降低了约4倍(对于T = 16)。其次,针对B = 4个带的带特定注意力矩阵A_b通过批量矩阵乘法并行计算。第三,CIL的NWGM近似(方程(9)实现为一个融合的CUDA内核,它在对数空间中计算加权几何平均值,以避免数值溢出:log(NWGM) = Σ? w?·log(Z?) ? log(Σ? exp(Σ? w?·log(Zk(j)))。这种公式用K个并行对数求和操作替换了K个顺序乘法操作,将每个样本的复杂度从O(K·D)的顺序乘法降低到O(K·D)的并行加法。最后的减法Z^psa ? β·NWGM(·)(方程(9)在批次维度上向量化,实现了单次通过执行。实证分析显示,这种CUDA实现比基于CPU的几何平均值计算快了3.2倍,对于K = 128的情况。最短的Transformer延迟:总共23.4毫秒(比UniFormerV2的28.3毫秒快17倍);最大吞吐量:总共42.7剪辑/秒(比UniFormerV2快21%);中等内存:总共6.2 GB(比UniFormerV2低16%);具有竞争力的FLOPs:总共142.7 G(比UniFormerV2低11%)。它们的效率优势归功于PSA模块的频域计算,该计算通过独立计算光谱带并随后组装它们来降低全时空注意力的二次复杂性。准确率-效率帕累托前沿在图8中可视化。图8. UCF101上的准确率与计算成本之间的权衡。(a) FLOPs与Top-1准确率,(b) 推理延迟与Top-1准确率,30 FPS实时阈值以虚线绿色显示,(c) 吞吐量与Top-1准确率,以及(d) 五个效率维度上的标准化多指标比较。在子图(a–c)中,条形代表计算指标(左轴),带有圆圈标记的红线表示Top-1准确率(右轴)。在子图(d)中,↑表示数值越高越好(吞吐量、准确率),↓表示数值越低越好(FLOPs、延迟、内存)。NeuroPrisma(d中的红色菱形);(a–c)中的红色实心条形和圆圈标记代表帕累托最优解,在所有效率指标上同时实现最高准确率。为了在NVIDIA A100(80 GB)GPU上实现23.4毫秒的推理延迟,我们应用了一个系统的优化流程,包括五种互补策略。表11量化了每种优化方法的单独贡献,展示了从68.7毫秒的基线到最终23.4毫秒优化配置的累积延迟减少。表11. 在NVIDIA A100 GPU上的累积延迟优化分解。每个模块的影响:PSA 31.5 → 11.3毫秒(融合内核?64%),CIL 8.4 → 3.8毫秒(对数空间?55%)。边缘设备(Jetson AGX Orin)通过INT8量化+融合内核为67.3毫秒。4.11 统计显著性分析表12提供了NeuroPrisma与最佳基线(UniFormerV2)的严格统计比较,使用了配对t检验和Bonferroni校正。表12. 与UniFormerV2的统计显著性分析。所有改进的效果都非常显著(p < 0.001,并使用Bonferroni校正),效应大小适中到较大(Cohen d = 0.721.24)。平均效应大小为0.95,代表了实际意义上的显著变化。通过狭窄的95%置信区间确保了结果的可靠性和可重复性。4.12 每类别性能分析为了确定NeuroPrisma的因果推理的最显著收益领域,我们比较了在SSv2上每个类别的准确性改进。图9展示了分析结果。图9. 在SSv2上的每类别分析。基线。如分析所示,NeuroPrisma在方向性动作(+4.8%平均)方面提供了最显著的变化:推动[从左到右]与推动[从右到左],其中运动的方向仅有所不同。时间顺序(+4.2平均):“将X放在Y上”与“...”。“从Y中移除X”需要了解动作序列的知识。动作发生的速度更快(平均快3.6%):“缓慢移动”与“快速移动”,其中光谱分解揭示了区分性频率的特征。物体相互作用的微妙之处(平均快3.1%):手与物体接触的模式在动作中有所不同。图9显示了SSv2上的类别分析。(a) 与UniFormerV2相比,174个SSv2类别的准确率提升分布,平均提升为2.9%,中位数为2.8%,表明大多数类别都有一致的提升。(b) 提升最显著的类别主要涉及细粒度时间方面的差异,例如方向性和关联性动作(例如,“向左推→向右推”,“缓慢移动”)。(c) 按动作类型分组的平均准确率提升,显示方向性动作受益最大(+4.8%),而基于物体外观的类别提升最小(+0.8%),这表明物体身份不是NeuroPrisma预测中的主要因果特征。(d) NeuroPrisma在六个时间上最相似的动作类别中的混淆矩阵,括号内显示了相对于UniFormerV2的每单元提升,表明类别间的混淆减少,对时间上相似的动作有更强的区分能力。另一方面,在主要以物体外观区分的类别中,差异不那么显著(平均+0.8%)(例如,握[手机]与握[杯子]),因为在这种情况下,物体身份是一个可接受的因果特征,因此因果干预的影响较小。为了确定NeuroPrisma的适用范围,根据动作复杂性(简单:单个物体/单一动作,87个类别;复杂:多个物体/多步骤,87个类别)和视频时长(短:<3秒,占38%的片段;长:≥3秒,占62%的片段)对SSv2的表现进行了分层。NeuroPrisma在简单类别中的准确率提升为73.4%,在复杂类别中为69.1%,在短视频中为72.8%,在长视频中为70.1%,这与第4.15.4节提到的16帧限制一致。统计显著性测试确认这些分层差异是稳健的:对于动作复杂性,简单类别(73.4%)和复杂类别(69.1%)之间的4.3%差距在统计上是显著的(配对t检验,t = 6.82,p < 0.001,Cohen’s d = 0.91,95%置信区间:[3.1%,5.5%],每个分层87个类别)。对于视频时长,短片段(72.8%)和长片段(70.1%)之间的2.7%差距也显著(t = 4.15,p < 0.001,d = 0.68,95%置信区间:[1.4%,4.0%)。这些结果表明,尽管NeuroPrisma在不同分层中的表现保持强劲,但复杂的多步骤动作和较长的时间序列仍然更具挑战性——这与第4.15.4节提到的16帧架构限制一致。
表13提供了所有评估维度的详细总结。表13列出了所有评估维度的综合性能比较(↓表示越低越好)。
尽管公开可用的数据集可以促进大规模评估和可重复性,但它们可能在人口统计学、环境和文化上存在偏见,从而影响模型在康复中的泛化能力。例如,UCF101和HMDB51的受试者主要是年轻健康的个体,且环境为户外或体育场景,而NTU RGB+D主要围绕受控的室内环境。这种偏差可能会限制学习模型对外部患者或具有移动问题患者的泛化能力,以及现实临床康复条件的适用性。此外,性别、种族和身体能力在这些基准测试中代表性不足。为了解决这些问题,未来的研究将包括收集平衡的临床数据,采用公平意识和敏感性强的学习方法,并在实际康复环境中测试所提出的框架。
实验结果全面证明了NeuroPrisma通过以原则性方式整合光谱分解和因果干预,达到了最先进的性能。主要发现、临床意义和局限性将在下文中讨论。
PSA和CIL模块的结合具有共同的优势。PSA模块通过将运动动态分解成频率带来促进区分性的多尺度时间特征,其中慢动作被捕获在低频带中,快速动作被捕获在高频带中。这种光谱分离自然减少了混淆,因为动作速度和动作语义不会混淆。随后,CIL模块利用显式的因果干预消除了场景背景、物体共存和时间捷径等残余的混淆效应。消融研究(表6)显示,PSA和CIL的结合表现出超加性提升:单独使用PSA可提升2.6%,单独使用CIL(不带PSA)可提升2.1%,但结合使用时可提升5.0%,这表明光谱特征最容易受到因果去混淆的影响。
NeuroPrisma在SSv2上的显著改进(+2.9%)证实了其在时间理解上的提升。SSv2需要区分诸如“从左向右推”与“从右向左推”之类的动作,以及在静态位置下物体的外观无法提供任何信息,只有运动动态有助于确定该做什么的任务。在所有数据集中,SSv2的CCS下降了42.1%,表明NeuroPrisma能够学习因果相关的时间关联特征,并不会在特定数据集上走捷径。类别分析(图9)进一步显示,改进集中在时间上的微妙差异上,在方向性动作中提高了4.8%,在时间排序中提高了4.2%,这些是因果推理最有用的领域。
NeuroPrisma具有在神经康复系统中使用的三个关键优势:延迟:在需要即时反馈的互动治疗系统中,总共可以部署23.4毫秒的延迟(对交互的响应延迟小于100毫秒)。因果有效性:这是因为对混淆因素的依赖减少(CCS减少了41.5%),保证了模型对真实运动变化的反应,而不是环境中的伪影,在临床条件下这是必要的,因为背景、照明和相机构图可能会在不同会话中发生变化。可解释性:光谱分解提供了哪些时间尺度有助于预测的见解,使临床医生能够知道缓慢的姿势调整或快速的纠正动作是否导致动作分类。从基准测试性能到临床相关性的转化通过三种机制实现:(1) SSv2的细粒度时间-类别方向性推动,其中速度不同的动作在结构上类似于康复运动区分,例如区分补偿性手臂摆动与受控制的 reaching 或震颤影响的轨迹;(2) 在SSv2上CCS下降了42.1%,证实NeuroPrisma依赖于时间运动动态而不是背景环境,这是会话不变康复监控的精确要求;(3) 在方向性动作上每类别的提升为+4.8%,在时间排序动作上为+4.2%(图9),直接对应于临床任务,如中风步态评估中的重量转移方向和上肢恢复中的多步到达序列。这些构成了临床相关性的间接证据;直接的患者组验证仍然是未来的工作。
尽管性能良好,但仍有一些局限性需要讨论:固定的光谱分区:当前设计采用固定的频率带。根据输入的性质(例如视频帧率和动作速度)进行适应性分区可能会提高对各种情况的泛化能力。无监督的混淆因素发现:CIL模块是一个无监督的混淆因素原型学习器。利用已知混淆因素的领域知识(例如相机视角和受试者身份)可能会提高在特定环境中的去混淆效果。仅基于RGB的测试:评估仅在RGB上进行,但骨架、深度或IMU数据通常可用于康复应用。NeuroPrisma的模态特定光谱分解可以扩展到多模态输入。离线训练范式:现有范式涉及标记数据的离线训练。未来的工作应该开发在线适应机制,以适应患者在治疗会话中的变化特征。扩展的视频理解:当前的评估使用的是16帧片段。需要层次化时间建模,将光谱-因果方法扩展到更长的视频(例如,持续几分钟的完整康复练习)。这些缺点将在未来的研究中通过自适应光谱分区、半监督混淆因素学习和具有领域约束的多模态长形式视频理解来解决。
尽管性能良好,但仍有一些局限性需要讨论:固定的光谱分区:当前设计采用固定的频率带。根据输入的性质(例如视频帧率和动作速度)进行自适应分区可能会提高对各种情况的泛化能力。未监督的混淆因素发现:CIL模块是一个无监督的混淆因素原型学习器。利用已知混淆因素的领域知识(例如相机视角和受试者身份)可能会提高在特定环境中的去混淆效果。仅基于RGB的测试:评估仅在RGB上进行,但骨架、深度或IMU数据通常可用于康复应用。NeuroPrisma的模态特定光谱分解可以扩展到多模态输入。离线训练范式:现有范式涉及标记数据的离线训练。未来的工作应该开发在线适应机制,以适应患者在治疗会话中的变化特征。扩展的视频理解:当前的评估使用的是16帧片段。需要分层时间建模,将光谱-因果方法扩展到更长的视频(例如,持续几分钟的完整康复练习)。
即使性能良好,仍有一些局限性需要讨论:固定的光谱分区:当前设计采用固定的频率带。根据输入的性质(例如视频帧率和动作速度)进行自适应分区可能会提高对各种情况的泛化能力。无监督的混淆因素发现:CIL模块是一个无监督的混淆因素原型学习器。利用已知混淆因素的领域知识(例如相机视角和受试者身份)可能会提高在特定环境中的去混淆效果。仅基于RGB的测试:评估仅在RGB上进行,但骨架、深度或IMU数据通常可用于康复应用。NeuroPrisma的模态特定光谱分解可以扩展到多模态输入。离线训练范式:现有范式涉及标记数据的离线训练。未来的工作应该开发在线适应机制,以适应患者在治疗会话中的变化特征。扩展的视频理解:当前的评估使用的是16帧片段。需要层次化时间建模,将光谱-因果方法扩展到更长的视频(例如,持续几分钟的完整康复练习)。
基准测试与临床部署准备情况:(1) 数据集领域差异—基准测试包含在受控环境中的健康受试者;康复患者表现出病理性动作(痉挛、震颤和补偿策略);(2) 度量不一致—顶1准确率衡量离散类别,而临床实用性需要运动质量评估(运动范围、不对称性和运动学偏差);(3) 部署限制—实现的边缘延迟(67.3毫秒Jetson),但未评估患者隐私、电子健康记录整合和临床医生的可解释性;(4) 法规要求—FDA批准需要前瞻性试验来证明安全/有效性(尚未进行)。解释:NeuroPrisma基于基准测试验证展示了其在康复应用中的*潜力*;临床有效性尚未得到验证。该框架是一个研究原型,不是一个即刻可部署的工具。
为了评估临床部署的可行性,NeuroPrima在NVIDIA Jetson AGX Orin(275 TOPS,32 GB)上进行了评估,使用INT8/TensorRT量化,在<100毫秒的交互反馈阈值下,每个片段的延迟为67.3毫秒,UCF101的顶1准确率为97.9%(FP32降低0.8%)。在相同条件下,UniFormerV2的延迟为112.4毫秒。使用NVIDIA Jetson Power GUI在连续推理工作负载下测量功耗(批量大小1,持续操作),NeuroPrima在活跃推理期间的平均功耗为18.7瓦,而UniFormerV2为24.3瓦,因此功耗效率提高了23%。峰值功耗在模型加载期间达到22.1瓦。对于电池供电的康复设备,这相当于Jetson AGX Orin的标准64瓦电池容量大约可以连续运行3.2小时,足以满足典型的临床治疗会话(45-90分钟)。空闲功耗(模型加载,无推理)为6.4瓦。这些指标表明,NeuroPrisma在现实世界的康复环境中具有可行性,可以用于无需外部电源支持的边缘部署。为了评估系统的鲁棒性,在测试时仅对SSv2验证集(n = 24,777个视频片段)应用了三种破坏协议,且无需重新训练:(1) 在RGB空间的每个帧中独立应用σ = 0.1的高斯噪声(平均值 = 0,范围限制在[0, 1]);(2) 亮度 и контраст度变化,通过乘法因子从[0.7, 1.3]范围内均匀采样,应用于每个片段的所有16帧中,以模拟单个视频中的光照变化;(3) 随机在每个片段中放置一个覆盖20%帧区域的矩形遮挡物(89 × 89像素,分辨率为224 × 224),但在该片段的所有帧中保持固定位置,填充值为[0.485, 0.456, 0.406]。每种破坏方式在三个随机种子上进行独立评估,并取平均值。NeuroPrisma在Top-1准确率方面分别保持了68.1 ± 0.3%(噪声)、69.4 ± 0.2%(亮度/对比度)和67.8 ± 0.4%,而UniFormerV2分别为64.2 ± 0.5%、65.7 ± 0.4%和62.9 ± 0.6%。3.9%的平均鲁棒性优势证实,因果消混有助于在分布变化情况下提高泛化能力,这对于环境条件多变的跨会话康复监测至关重要。
4.17 预期康复数据集评估
RehabAction-847数据集(自我收集,YouTube来源,2025年1月至3月):847个片段,12个类别:手臂抬起(屈曲/外展)、肘部屈曲、手腕旋转、从坐到站、步态(向前/侧向)、平衡(单腿/并腿)、伸手、腿部抬起、踝关节背屈
受试者:年龄28-76岁,男性占58%,病因包括中风(34%)、帕金森病(18%)、脑瘫(12%)及其他(36%)
训练集/验证集/测试集:600/100/147个片段
注释:两名物理治疗师参与,κ值 = 0.81
结果(测试n = 147)表14显示了NeuroPrisma、TimeSformer、UniFormerV2在测试集(n = 147)上的零样本、微调性能及CCS(因果混淆分数)的比较。研究发现:存在严重的领域差异(NeuroPrisma为98.7%,而UCF101为34.2%)。微调后准确率提高了68.4%(仍低于SSv2的2.8%),证实了康复动作的变异性。
限制:
- 规模较小(847个片段);
- 无严重度评分;
- 质量控制不严。
未来计划:
- 总共收集5000多个片段,包含多视图和骨骼信息,并与临床数据(Fugl-Meyer评估和UPDRS评分)进行关联。
5. 结论
NeuroPrisma是一个研究原型,展示了在神经康复系统中实现因果感知动作识别的潜力,其核心技术基于频域频谱分解(Prismatic频谱注意力模块)和结构因果模型驱动的干预(因果干预层)。在四个基准数据集上的广泛评估显示了先进的准确率:UCF101上为98.7%,HMDB51上为82.4%,Something-Something V2上为71.2%,NTU RGB+D上为91.5%/95.8%,并且相对于UniFormerV2降低了41.5%的因果混淆分数。所有改进在统计学上都具有显著性(p < 0.001,经过Bonferroni校正,Cohen’s d值介于0.72-1.24之间)。实时延迟为23.4毫秒(NVIDIA A100)和67.3毫秒(Jetson AGX Orin)。
因果指标:
- ATE值为+0.142(优于SSv2),CBER值为52.8%。
协同效应分析显示,26.6%的性能提升来源于PSA-CIL之间的相互作用。
关键限制:
(1) 仅基于基准数据集的评估:所有实验均在公开可用的通用数据集(UCF101、HMDB51、SSv2和NTU RGB+D)和控制条件下进行。尚未针对真实临床患者群体进行直接验证。
- 在自我收集的康复数据集(RehabAction-847)上的初步评估显示,NeuroPrisma的准确率为68.4%,而SSv2为71.2%,证实了显著的领域差异。
(2) 部分因果消混问题:CIL依赖于因果假设(马尔可夫条件、因果充分性),这些假设在真实世界数据中可能不成立。敏感性分析表明,引入未建模的混杂因素会导致20-30%的性能下降。干预后仍存在16.7%的残余偏差(CBER分析)。
(3) 固定的架构限制:16帧的时间窗口限制了对较长动作的识别能力(超过6秒的视频准确率下降5.5%)。固定的频谱带可能不适用于某些病理动作(例如,帕金森病患者的震颤频率为4-6 Hz,与有意动作重叠)。仅使用RGB输入无法捕捉到深度、骨骼和生理信息,而这些信息在临床评估中很重要。
(4) 未分析NeuroPrisma预测结果与标准化临床评分(Fugl-Meyer评估、UPDRS和GMFCS)之间的相关性。目前尚不清楚这些分类结果是否对应于具有临床意义的功能水平。
(5) 未解决的监管问题:临床部署需要获得IRB批准的研发试验、监管许可(FDA 510(k)和CE标志认证)、电子健康记录系统集成以及隐私合规性(HIPAA和GDPR)——这些在当前工作中均未涉及。
综上所述,NeuroPrisma是一个研究原型,证明了其在基于基准性能和理论原理的康复场景中实现因果感知动作识别的潜力。要实现临床应用,需要完成以下验证流程。该框架的贡献在于建立了一种方法论上严谨的方法,将频谱时间分析与正式的因果干预相结合,为计算机视觉和康复技术未来的研究奠定了基础。
下一步计划:
- 立即行动:
(1) 收集临床数据集:与康复医院合作,收集大规模标记数据集(目标为5000多个片段),包括多视图RGB-D视频、骨骼注释和临床严重度评分(Fugl-Meyer评估、UPDRS和GMFCS);
(2) 多模态扩展:通过中间级别融合整合深度信息、姿态数据以及可穿戴惯性测量单元信号;
(3) 自适应频谱划分:用基于数据集优化的可学习频谱边界替代固定频谱带;
(4) 个性化学习:利用有限的患者数据(每位患者5-10个片段)实现少样本适应。
长期目标:
- 前瞻性临床验证:对中风、帕金森病和脑瘫患者群体进行IRB批准的纵向研究,以建立分类结果与临床结果之间的关联及评分者间的一致性;
- 分层时间建模:通过分层聚合处理完整的康复会话(几分钟长的视频);
- 可解释性增强:开发面向临床医生的界面,可视化频谱注意力和因果干预决策。
NeuroPrisma推动了自动化运动评估系统的算法发展。临床应用需要经过严格的验证、符合监管要求,并以用户为中心的设计,以补充而非替代临床医生的专业知识。