基于窗口化图建模与混合上下文学习的WinGraphUNet：高效医学图像分割新范式

本文推荐一种创新性医学图像分割架构WinGraphUNet，通过窗口化图建模（Windowed Graph Modeling）与混合上下文图桥接块（ReMixed Context Graph Bridge Block）技术，巧妙融合局部自注意力（self-attention）与动态k近邻图（k-NN graphs），在Synapse/Polyp/ISIC2018等数据集上实现超越AHGNN等基准模型的精度，同时降低18%参数量与68%计算成本，为临床资源受限场景提供高效解决方案。

　　

Highlight

医学图像分割领域迎来突破性进展！传统卷积神经网络（CNN）受限于局部感受野，而Transformer面临二次方计算复杂度难题。WinGraphUNet创新性地将图像视为动态图结构——在非重叠窗口内构建全连接图（模拟自注意力机制），窗口间通过动态k近邻图（k-NN graphs）建立智能连接，就像为每个解剖结构配备"智能导航系统"，既能精准捕捉不规则组织边界，又能高效建模长程依赖关系。

Network Architecture

如图2所示，WinGraphUNet采用经典U型编解码架构，但暗藏玄机：编码器五级结构中，每层都配备标准编码模块与独创的"窗口-图"双模态特征提取器。这种设计如同在显微镜下逐级放大观察目标——先在局部窗口（相当于高倍镜视野）内通过自注意力机制（本质是全连接图）提取细胞级特征，再通过动态k-NN图在窗口间（相当于切换低倍镜）建立器官级关联，实现"显微"与"宏观"的无缝切换。

Datasets

研究团队选用三大黄金标准数据集验证模型：

1. 1.

   Synapse数据集：包含30例腹部CT扫描，挑战多器官（如肝脏、胰腺）的复杂边界分割；

2. 2.

   息肉分割数据集：涵盖5种不同成像设备的结肠镜图像，测试模型对微小病变的敏感性；

3. 3.

   ISIC2018皮肤病变数据集：包含2594张皮肤镜图像，评估模型对不规则色素沉着的识别能力。

Discussion and Limitation

尽管WinGraphUNet通过窗口机制将图构建时间复杂度从O(n²)降至O(nlogn)，但在处理超高分辨率图像（如全切片数字病理图像）时仍面临挑战。有趣的是，模型对CT图像中_{低对比度区域}的表现优于MRI，这可能与动态图边缘权重计算方式有关，未来可探索模态自适应图构建策略。

Conclusion

这项研究开创性地将图神经网络（GNN）的拓扑建模能力与U-Net的层次化特征提取优势相结合，犹如为医学图像分析打造了"GPS+CT"双模导航系统。其窗口化图学习范式不仅适用于器官分割，更为三维医学图像重建、多模态配准等任务提供了新思路，代码已开源助力临床AI发展。