《Bioengineering》:Dual-Branch Fusion Transformer Networks for Remote Parkinson’s Disease Screening via Hand-Drawn Graphics
编辑推荐:
帕金森病(Parkinson’s disease, PD)是最常见的老年神经退行性疾病之一,常伴随运动异常,这些异常可反映在手绘几何图形中。然而,由于缺乏特异性筛查或检测手段,尤其在医疗资源有限的农村地区,早期检测仍具挑战性,导致医疗干预延迟。为解决上述关键局
帕金森病(Parkinson’s disease, PD)是最常见的老年神经退行性疾病之一,常伴随运动异常,这些异常可反映在手绘几何图形中。然而,由于缺乏特异性筛查或检测手段,尤其在医疗资源有限的农村地区,早期检测仍具挑战性,导致医疗干预延迟。为解决上述关键局限,本文提出FusionNet,一种结合空间与频域信息的双分支视觉Transformer框架,用于基于手写的帕金森病筛查。空间分支直接从灰度图像学习几何和笔画相关表征,而频域分支处理经二维快速傅里叶变换(two-dimensional fast Fourier transform, 2D-FFT)得到的对数尺度幅度谱。两个分支的特征通过双向交叉注意力(bidirectional cross-attention, BCA)进行整合,使空间与频谱表征在分类前相互调节。研究人员采用分阶段训练策略,先分别训练各独立分支,再优化融合组件。在公开NewHandPD数据集上的实验评估涵盖三种绘图任务:来自66名参与者(31名PD患者和35名健康对照者)的手绘圆形、蜿蜒形和螺旋形图像。性能评估采用五折组K折交叉验证(five-fold Group K-Fold cross-validation),结果表明FusionNet在蜿蜒形任务上达到最高准确率91.68%,并在所有任务中保持>85%的敏感性和>88%的特异性。由于研究使用单一小规模数据集,并非所有任务均保证参与者级别的分离,且未进行独立外部验证,因此报告的结果应被视为初步且特定于数据集。对模型行为的进一步分析表明,空间域预测可能受纸张纹理影响,而互补的频域表征可减少此类偏差来源。最终,该模型被集成到基于LINE的原型系统中,以展示远程图像提交与自动化分析的技术可行性。该实现仍属概念验证,在用于临床决策之前需经过前瞻性的外部临床验证。
一、研究背景与问题
帕金森病(Parkinson’s disease, PD)是全球老龄化人口中最常见的神经退行性疾病之一,约影响60岁以上人群中的1%。其病理特征为中脑黑质多巴胺能神经元退变,导致静止性震颤、运动迟缓、肌强直等运动症状。然而,现有临床诊断主要依赖神经系统体格检查,缺乏标准的确诊性筛查手段,约20%的患者面临延误或误诊。此外,血液检测、脑脊液α-突触核蛋白检测及神经影像学技术(如磁共振成像MRI、单光子发射计算机断层扫描SPECT、正电子发射断层扫描PET)虽可提高诊断准确性,但因操作复杂、耗时且挤占医疗资源,难以在常规临床实践中推广。因此,开发更准确的早期评估新技术迫在眉睫。
手绘几何图形任务(如螺旋线和蜿蜒线)已被广泛用作非侵入性PD筛查方法,能够捕捉细微的运动障碍特征。近年来,卷积神经网络(Convolutional Neural Networks, CNN)在此领域表现良好,但易受环境变化影响且泛化能力不足。为此,研究人员提出FusionNet,一种双分支架构,旨在协调空间表征与频域动力学,通过双向交叉注意力(Bidirectional Cross-Attention, BCA)机制实现空间与频谱特征的深度融合,以期提升PD分类的平衡性与鲁棒性。
二、研究方法与技术路线
研究人员使用了公开的NewHandPD数据集,包含66名参与者(31名PD患者、35名健康对照者)完成的三类标准化绘图任务:螺旋线(spiral)、蜿蜒线(meander)和圆形(circle)。数据预处理包括将图像缩放到256×256像素并转为灰度图;对于频域分支,离线应用二维快速傅里叶变换(2D-FFT)计算对数尺度幅度谱。采用双重域同步增强策略,对空间域图像进行每30°旋转(共12个方向)及水平翻转,以增加训练多样性。
关键技术方法包括:(1)空间分支(SpatialNet)与频域分支(FreqNet),两者均为对称的Transformer结构,起始层使用1×1卷积进行patch嵌入,随后堆叠多个Transformer块,每个块由多头深度可分离卷积转置自注意力模块(Multi-DConv Head Transposed Self-Attention, MDTA)和门控深度可分离卷积前馈网络(Gated Depth-wise Convolutional Feed-Forward Network, GDFN)组成;(2)双向交叉注意力(BCA)融合模块,使空间与频域特征互为查询键值,实现双向信息交换;(3)三阶段训练策略:第一阶段独立训练SpatialNet,第二阶段独立训练FreqNet,第三阶段冻结两分支权重,仅训练BCA模块、精炼Transformer块和分类头。优化器采用AdamW,余弦退火学习率调度,梯度范数裁剪设为1.0。
评估采用五折组K折交叉验证(Group K-Fold cross-validation),其中圆形任务按参与者身份分组,蜿蜒和螺旋任务按原始绘图实例分组。性能指标包括准确率、F1分数、精确率、召回率(敏感性)和特异性。
三、研究结果
3.1 单分支与双分支网络对比
FusionNet在所有任务和指标上均优于单个分支。蜿蜒任务表现最佳:准确率91.68%、F1分数91.66%、精确率91.68%、敏感性91.85%、特异性90.02%。相比FreqNet和SpatialNet,特异性分别提升3.63%和30.16%。圆形和螺旋任务中,FusionNet的敏感性保持在85%以上,特异性保持在88%以上。有趣的是,单分支FreqNet的特异性始终显著高于SpatialNet(如螺旋任务中85.03%对59.86%),表明频域表征对局部图像变化和背景伪影不敏感,主要捕捉运动不稳定性引起的周期性波动。
3.2 AI辅助远程PD诊断系统的实际意义
研究人员将FusionNet集成至LINE应用程序,构建了远程筛查工作流的概念验证原型。该系统具备三项功能:远程PD评估(实验中敏感性>85%、特异性>88%)、PD健康教育、医院挂号系统集成。然而,LINE传输过程中的图像压缩会改变图像纹理和频域特性,导致健康个体特异性从86.40%降至45.53%,暴露出频域模型对传输压缩敏感的局限性。此前团队独立评估的空间特征模式检查方法(基于ImageNet预训练的VGG19和ResNet152提取特征,KNN分类)在LINE压缩图像上实现了78.84%的敏感性和93%以上的特异性,提示可通过空间特征模块弥补频域模型的不足。
四、讨论与结论
讨论部分要点:
与传统机器学习模型(支持向量机SVM)的比较显示,FusionNet在准确率、精确率、F1分数和特异性上普遍更优。虽然某些SVM模型敏感性略高,但其特异性明显降低(如圆形任务中FreqNet-SVM敏感性93.33%但特异性仅60.00%),表明SVM倾向于过度诊断。FusionNet的优势在于维持了敏感性、精确率和特异性之间的更均衡关系,这对实际远程医疗系统至关重要。
与已有手写PD检测方法的比较表明,FusionNet在NewHandPD数据集上的表现与其他代表性方法相当(如Alissa等人的CNN达93.5%准确率,Li等人的CC-Net达89.3%准确率,Ali等人的ChiGa-Net在外部测试中平衡准确率92.56%)。然而,不同研究的绘图任务、采集系统和验证设计差异较大,尚无单一架构确立普适优势。
可解释性分析揭示了重要的发现:利用梯度加权类激活映射(Gradient-weighted Class Activation Mapping, Grad-CAM)可视化发现,单分支SpatialNet存在严重的捷径学习现象——模型错误地将纸张背景纹理作为分类依据。健康对照样本若记录在光滑纸上,模型关注空白背景区域而非笔迹;若记录在粗糙纤维纸上,模型则完全失去激活,导致100%假阳性率。相比之下,FusionNet的频域分支不受局部背景变化影响,BCA机制使空间与频谱表征相互验证,有效抑制了环境伪影引起的虚假关联。
研究结论翻译:
本研究提出了FusionNet,一种基于双分支Transformer的架构,旨在整合空间与频域特征用于手写PD筛查。借助BCA机制,双模态框架在NewHandPD数据集的三种绘图任务上实现了敏感性超过85%、特异性超过88%的性能。结果表明,空间与频谱表征的整合相较于单独分支可改善敏感性与特异性的平衡。值得注意的是,空间域预测可能受到采集相关伪影(尤其是纸张纹理差异)的影响,而FusionNet的频域分支可缓解这一问题,凸显了其在解决图像筛查模型中捷径学习和采集相关偏差方面的能力。该框架还被集成到基于LINE的系统中,展示了远程图像提交与自动化分析的技术可行性。尽管该实现仍属技术概念验证,尚未经过前瞻性技术、可用性或临床验证,但这些初步发现已证明远程图像提交和自动化分析用于PD筛查的技术可行性。未来工作应优先进行严格按参与者分组的评估、更大更多样化的外部队列分析,以及在真实远程筛查条件下的实际测试,以建立该模型的稳健性、泛化能力和临床实用性。