《Cyborg and Bionic Systems》：RST2G: Residual-Guided Spatiotemporal Transformer Graph Fusion Enhancement for Breast Cancer Segmentation in DCE-MRI
编辑推荐：
动态对比增强磁共振成像（dynamic contrast-enhanced magnetic resonance imaging, DCE-MRI）中乳腺肿瘤的精确分割对于乳腺癌的有效诊断、治疗规划和监测至关重要。然而，肿瘤表观的高度异质性以及对比增强的复杂时
动态对比增强磁共振成像（dynamic contrast-enhanced magnetic resonance imaging, DCE-MRI）中乳腺肿瘤的精确分割对于乳腺癌的有效诊断、治疗规划和监测至关重要。然而，肿瘤表观的高度异质性以及对比增强的复杂时空动力学特征为现有分割方法带来了关键挑战。本研究提出了一种新颖的残差引导时空Transformer图融合增强（residual-guided spatiotemporal transformer with graph fusion enhancement, RST2G）框架，用于DCE-MRI中乳腺肿瘤的精准分割。RST2G显式地利用对比前MRI、对比后MRI及其残差差分，以捕获丰富的跨时相动力学信息。具体而言，RST2G采用权重共享的混合编码器，结合卷积神经网络（convolutional neural networks, CNNs）和视觉Transformer（vision transformers, ViTs）提取局部和全局特征，随后通过残差引导多尺度精炼（multi-scale refinement, MSR）模块增强特征判别性。为有效建模空间和时间上下文依赖关系，研究人员构建了模态特定的图结构，并应用切片间注意力（inter-slice attention, ISA）和时相间注意力（inter-temporal attention, ITA）机制实现时空图增强。在2个公开乳腺DCE-MRI数据集上的大量实验表明，RST2G显著优于当前最先进的二维（2D）、三维（3D）和四维（4D）分割方法。鉴于其在捕获复杂时空肿瘤特征以进行癌症标注方面的有效性，RST2G具有改善乳腺癌临床治疗的潜力。
## 研究背景与意义
乳腺癌是全球女性中最常见且致死率较高的恶性肿瘤之一，早期精确检测对于改善患者预后和指导治疗策略至关重要。在医学影像中精确勾画肿瘤边界在诊断、治疗规划和疗效监测中发挥着关键作用，但手动标注劳动密集、耗时且易受观察者间和观察者内变异性的影响。动态对比增强磁共振成像（dynamic contrast-enhanced magnetic resonance imaging, DCE-MRI）能够通过捕获对比剂在组织中的动力学行为提供形态学和功能学信息，已成为乳腺癌检测和表征的重要工具。
然而，目前的分割方法仍面临若干挑战：首先，乳腺肿瘤具有高度异质性，包括大小、形状和内部纹理的可变性；其次，尽管动态增强模式包含关键诊断线索，但许多方法缺乏对这些信息进行深度挖掘和具有足够判别能力的表征机制。
针对上述问题，研究人员提出了RST2G框架，发表于《Cyborg and Bionic Systems》。该方法显式地融合对比前MRI、对比后MRI及其残差图像作为输入，通过权重共享的卷积Transformer编码器（CFormerEncoder）捕获局部和全局特征，并设计残差引导多尺度精炼（multi-scale refinement, MSR）模块、切片间注意力（inter-slice attention, ISA）和时相间注意力（inter-temporal attention, ITA）机制实现时空图增强。实验结果表明，RST2G在多个数据集上显著优于现有2D、3D和4D方法，对推进DCE-MRI乳腺癌分割具有重要意义。
## 关键技术方法
研究人员采用的核心技术包括：（1）多模态输入设计，同时利用对比前、对比后MRI及其残差差分图像；（2）权重共享的混合编码器CFormerEncoder，结合CNN层与视觉Transformer（vision transformer, ViT）块，融合多头自注意力（multi-head self-attention, MHSA）机制；（3）残差引导MSR模块，通过模态特定卷积变换、多层感知机（multi-layer perceptron, MLP）通道融合和空间注意力实现特征精炼；（4）时空图增强机制，采用图注意力层（graph attention layer, GAT）构建ISA和ITA进行跨切片与跨时相建模；（5）混合损失函数，结合Dice损失、二元交叉熵（binary cross-entropy, BCE）损失和基于Sobel算子的边界损失。研究使用Breast-MRI-NACT-Pilot（64例）和TCGA-BRCA（139例）两个公开数据集，并采用云南肿瘤医院的100例数据进行外部验证，使用5折分层交叉验证评估。
## 研究结果
**RST2G算法**：该模型创新性地整合CNN、ViT和图注意力机制，通过残差学习与多模态输入捕获互补信息，并采用Dice损失、BCE损失和边界损失的混合监督，确保精确的重叠度与边界勾画。
**与最先进方法的定量比较**：在Breast-MRI-NACT-Pilot数据集上，RST2G获得Dice相似系数（Dice similarity coefficient, DSC）61.8%、Jaccard指数（Jaccard index, JI）47.5%、相对体积差（relative volume difference, RVD）1.8体素，均优于U-Net、MultiResUNet、V-Net、DANet、MTLN、LNet和3D Patch U-Net等2D、3D和4D方法。在TCGA-BRCA数据集上，RST2G获得DSC 80.1%、JI 68.2%、RVD 1.5体素，比第二佳方法LNet高出近3个百分点。
**定性比较**：可视化结果显示，传统U-Net及其变体常无法捕获完整肿瘤范围，3D方法存在过分割或欠分割现象，而RST2G能够精确勾画复杂的肿瘤边界，得益于时空信息的有效整合。
**外部验证**：在来自不同MRI中心的独立外部测试集上，RST2G获得DSC 73.8%、JI 62.9%，验证了其跨机构的鲁棒性和泛化能力。
**消融实验**：结果表明（a）移除CFormerEncoder中负责局部特征提取的卷积层（w/o CFE-L）导致最显著的性能下降；（b）排除ViT块（w/o CFE-G）使DSC下降约4.6%和4.3%；（c）移除MSR模块导致中度性能下降；（d）省略时空图增强模块（w/o STGE）造成显著精度下降，证实了图注意力对建模时空依赖的重要性。
**超参数分析**：当λ=0.5、β=0.2时，RST2G达到最优DSC性能。
**模型可解释性**：通过Grad-CAM生成类激活图，结果显示RST2G能够有效定位肿瘤区域，增强了模型在临床应用中的可解释性和可信度。
**计算效率**：RST2G约8524万参数，单体积推理约30秒，GPU内存消耗10 GB，在精度与计算效率之间实现良好平衡。
## 讨论与结论
研究人员认为RST2G的优越性能归因于以下几点：首先，显式整合表征对比后与对比前扫描差异的残差图像提供了关键的动力学信息；其次，CFormerEncoder的混合架构有效捕获局部纹理细节和长程依赖；第三，融合ISA和ITA的时空图增强模块促进了空间和时间线索的整合。然而仍存在挑战，包括临床整合（不同成像协议兼容性、实时操作约束）、多中心泛化（扫描仪型号和成像参数差异）以及不规则时间采样和域自适应（DCE-MRI协议在对比后采集数量和时机上存在差异）。未来工作将聚焦于严格的多机构验证、效率优化和可扩展模型设计。综上所述，RST2G通过新颖的Transformer-图架构有效利用空间、时间和残差信息，推进了纵向DCE-MRI乳腺肿瘤分割，对改善乳腺癌诊断、治疗规划和监测的临床实践具有重要潜力。
