基于视觉引导全局-局部融合网络(VGFNet)的类医生胸部疾病诊断新方法

来自未知机构的研究人员针对胸部疾病诊断中深度神经网络依赖大量人工标注且模型可解释性不足的问题，开展了基于眼动追踪数据引导的全局-局部特征融合研究。通过构建VGFNet双分支网络架构，结合创新的TCA和CAF模块，在Chest x-ray14数据集上取得0.841的AUC值，在RAD数据集达到0.9820准确率，显著提升多标签分类和多分类任务性能，为深度学习模型提供新的可解释性解决方案。

　　

研究人员开发了一种名为视觉引导全局-局部融合网络(Vision-Guided global–local fusion network, VGFNet)的双分支架构，模拟经验丰富医生的诊断过程。该研究首次引入放射科医师眼动追踪(eye-tracking)数据作为低成本且易于获取的信息源，这些数据隐含着丰富但尚未开发的病理学知识，能够提供病变定位信息。

研究首先设计了眼动追踪网络(ETNet)来学习临床观察模式，随后构建的双分支网络可同步处理全局和局部特征。ETNet提供的近似局部病变区域指导着局部分支的学习过程，同时在全局分支中嵌入新开发的三重卷积注意力(Triple Convolutional Attention, TCA)模块来精炼全局特征。最后通过卷积注意力融合(Convolution Attention Fusion, CAF)模块有效整合两个分支的异构特征，充分发挥其局部和全局表征能力。

实验结果表明，VGFNet在胸部X射线14(Chest x-ray¹⁴)数据集上获得0.841的AUC值，在RAD数据集上达到0.9820的准确率，显著超越现有最优模型。该研究不仅通过引入眼动追踪数据增强了模型可解释性，还为深度挖掘眼动数据提供了新视角，同时设计的多个即插即用模块为特征精炼领域提供了新思路。