《Intelligence & Robotics》：AME-Net++: adaptive mixture-of-experts for intelligent intraoperative 3D reconstruction
编辑推荐：
摘要专业翻译
在微创血管介入手术中，术中三维血管重建与精确的空间表征对于安全、精准的机器人手术导航至关重要。然而，与依赖固定训练/测试集划分的传统监督学习任务不同，基于投影的神经重建旨在建立稀疏X射线观测与对应三维空间表征之间的患者特异性映射。本文提出AME-
摘要专业翻译
在微创血管介入手术中，术中三维血管重建与精确的空间表征对于安全、精准的机器人手术导航至关重要。然而，与依赖固定训练/测试集划分的传统监督学习任务不同，基于投影的神经重建旨在建立稀疏X射线观测与对应三维空间表征之间的患者特异性映射。本文提出AME-Net++，一种自适应混合专家网络（Adaptive Mixture-of-Experts Network），该网络整合了特征感知、自适应专家协作与多尺度优化，用于从术中多视角X射线投影中进行三维结构重建。具体而言，AME-Net++采用自适应特征保持策略，在抑制投影噪声的同时保持血管结构的几何连续性。为应对异质性组织衰减与区域依赖性结构变化，研究人员设计了一种并行混合专家架构，并配备可学习的路由机制，将局部特征动态分配给适当的专家子网络，以实现区域自适应、细粒度的表征学习。此外，研究人员提出了一种多尺度信息感知复合损失函数，以联合优化全局结构保真度、局部密度一致性与边缘细节保持。在公开数据集和自建的动物介入血管数据集上的实验结果表明，AME-Net++在二维投影合成与三维体素重建任务中均取得了优异的性能。在该数据集上的额外验证显示，重建血管中心线的平均误差为1.5 ± 0.67 mm，表明该方法能够以具有临床意义的空间精度保持主要血管走向。上述结果验证了所提重建方法的有效性，并表明其在血管介入手术三维导航中的应用潜力。
论文解读文章
一、研究背景与问题
在现代医学实践中，机器人血管内介入系统凭借高操作精度与稳定性展现出日益增长的临床价值。然而，这些系统的自主导航仍高度依赖单视角X射线投影进行解剖感知与器械路径规划。在复杂的血管环境中，二维投影所提供的有限空间信息阻碍了对血管拓扑结构和空间关系的准确感知，增加了手术复杂性并可能危及患者安全。因此，实现可靠的术中三维感知是发展智能机器人血管内介入系统的关键挑战。
当前主流方法通过将术前CT血管造影（CTA）与术中数字减影血管造影（DSA）图像进行配准来提供三维导航引导。尽管该策略能提供有价值的二维解剖信息，但仍存在固有局限，包括对精确跨模态解剖对应关系的强依赖、高计算成本，以及由呼吸运动、心脏搏动或软组织变形导致的性能退化。这些局限显著制约了基于配准的三维引导方法在自主机器人导航中的实用性。
为规避跨模态配准的局限性，直接从投影数据进行三维重建成为有前景的替代方案。现有方法主要包括解析法、迭代法和基于学习的方法。经典解析算法如FDK（Feldkamp–Davis–Kress）算法在理想采集条件下效率高，但在稀疏视角重建等病态设置下性能显著退化。迭代方法通过引入先验正则化提高了鲁棒性，但往往带来可观的计算与内存开销。近年来，神经场方法在断层成像中展现出令人印象深刻的重建能力。然而，将标准神经辐射场（NeRF）框架直接应用于CT重建仍面临挑战，原因在于其对异质性解剖结构建模能力有限，且未能充分利用投影图像中蕴含的信息线索。
与常规监督学习方法不同，NeRF式重建方法的目标并非在预定义训练集上训练通用模型并在独立测试集上评估跨样本预测性能，而是为每个场景或患者建立投影观测与对应三维空间场之间的映射。重建的三维结果反映了该方法在稀疏视角观测下的表征与重建能力。
尽管近期通用三维场景重建研究表明，有时可以从极少视角实现高质量重建，但这一结论能否直接迁移至医学器官和血管重建仍不明确。与自然场景相比，医学重建涉及更复杂的衰减机制、更弱的组织对比度、重叠的解剖结构，以及对几何和密度精度更严格的要求。因此，仅从少量X射线投影实现器官或复杂血管结构的可靠三维重建仍是高度病态问题，需要进一步系统研究。
二、研究内容与结论
针对跨模态配准方法在动态术中环境中的适用性有限，以及现有重建方法对复杂血管结构建模能力不足的问题，研究人员提出了一种面向机器人血管内介入的术中三维重建框架，探索不依赖术前先验配准的直接三维感知范式。该框架直接从序列多视角术中X射线投影重建三维血管结构，旨在为自主机器人导航构建高精度三维视觉表征，并为复杂血管环境中的解剖感知、路径规划和安全操作提供可靠的视觉基础。
在本工作中，AME-Net++被定位为面向重建质量的神经表示框架。对于涉及多种解剖结构的复杂全容积重建，当前优化过程可能需要大量计算时间，更适合离线或回顾性分析。对于仅血管重建而言，目标结构稀疏且集中，重建过程可在较短时间内完成，提示其在术中血管分析和导航支持方面的潜在用途。
三、关键技术方法
研究人员提出的AME-Net++框架包含四个阶段。首先，从投影图像中选择单个像素和连续图像块，并沿对应X射线路径采样空间点。其次，多分辨率哈希编码将采样坐标转换为空间特征。第三，序列模块和门控混合专家模块将这些特征转换为衰减预测。最后，可微X射线投影模型生成合成观测，并与实测投影进行比较以优化网络。网络针对每个场景或受试者使用其可用投影观测单独优化。其中，自适应特征保持策略用于抑制投影噪声并保持血管结构几何连续性；并行混合专家架构配合可学习路由机制，将局部特征动态分配给适当的专家子网络；多尺度信息感知复合损失函数联合优化全局结构保真度、局部密度一致性与边缘细节保持。实验在公开数据集和自建的动物介入血管数据集上进行。
四、研究结果
4.1 多分辨率射线级特征编码
研究人员采用多分辨率哈希编码将每个采样点映射为C维特征向量，沿射线按顺序堆叠形成特征矩阵。多分辨率设计使表示能够同时捕捉广泛的解剖变异和精细的空间细节，而无需依赖仅坐标输入的大型MLP。该编码方式为后续序列模块和专家模块提供了丰富的空间特征输入。
4.2 上下文增强的混合专家重建
网络架构包含序列处理模块和门控混合专家模块。序列模块通过深度可分离一维卷积沿射线聚合相邻样本信息，使路由器和专家子网络接收上下文增强的特征而非孤立的点特征。门控混合专家模块采用Top-1路由策略，通过可学习的路由机制将每个token分配给最合适的专家子网络。每个专家为三层MLP，使用GELU激活函数。路由概率的软性保留为路由器提供了梯度路径。通过该机制，不同专家可以针对不同特征模式学习互补的变换，实现对异质性衰减模式的自适应建模。
4.3 信息感知多尺度损失
研究人员设计了包含三个组成部分的复合损失函数。熵加权投影损失利用各视角参考投影的直方图熵作为视图权重启发式，结合像素级MSE/L1误差和基于预训练AlexNet骨干的LPIPS感知损失。局部梯度感知损失通过Sobel算子计算参考投影的梯度幅值图，经归一化和平均池化平滑后，为靠近强梯度边界区域的像素赋予更高权重。多尺度辅助损失仅应用于连续图像块样本，通过平均池化将预测和参考块下采样至2×和4×尺度，在更粗空间尺度上施加一致性约束。
4.4 实验验证
在公开数据集和自建动物介入血管数据集上的实验表明，AME-Net++在二维投影合成和三维体素重建任务中均取得强性能。在自建数据集上的额外验证显示，重建血管中心线的平均误差为1.5 ± 0.67 mm，表明该方法能够以具有临床意义的空间精度保持主要血管走向。研究还进行了统计显著性分析、重建时间评估和血管中心线评估，以提供更严格和更具临床相关性的方法评估。
五、讨论与结论
本研究将通用混合专家（MoE）原理适配至稀疏视角X射线衰减场重建场景。与大规模语言建模中主要利用MoE在条件计算下增加模型容量不同，本工作中的MoE设计被引入为异质性X射线衰减场重建的区域自适应函数分解机制。医学X射线重建涉及空间变化的衰减分布、弱组织对比度和区域依赖的解剖结构，因此自适应专家路由机制通过将不同局部特征或衰减模式分配给专门的专家子网络，提供了任务特定的归纳偏置。专家分配基于上下文增强的射线级特征而非孤立的点级特征，这更好地匹配了X射线投影形成的物理特性。
研究结论表明，所提出的AME-Net++通过并行专家池和可学习路由机制，实现了对不同组织类型和几何区域的适应性建模，提升了复杂异质性血管结构的表示能力。多尺度信息感知加权复合损失通过联合引入投影级熵加权、局部信息密度和多分辨率监督，改善了结构区域和精细细节的重建质量。这些结果验证了所提重建方法的有效性，并表明其在血管介入手术三维导航中的应用潜力。
