重新思考模态融合：基于CT辅助的PET网络用于高效的三维肿瘤分割

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Rethinking Modality Fusion: CT-Assisted PET Network for Efficient 3D Tumor Segmentation

　　•提出一种基于CT辅助的PET网络，用于高效进行3D肿瘤分割。•首次明确采用不对称融合机制，提升PET/CT分割效果。•设计基于局部方差相似性的标记区域分配策略。•关键标记交叉熵损失函数可有效缓解类别不平衡问题。•在三个公开数据集上的测试表明，所提方法优于其他现有最先进方法。

引言
正电子发射断层扫描（PET）和计算机断层扫描（CT）是癌症诊断、分期与再分期、治疗反应评估以及放疗计划制定中广泛使用的成像技术[1]。在放疗过程中，精确的肿瘤分割有助于最大化向肿瘤组织输送剂量，同时减少对风险器官的副作用[2]。手动分割是一个耗时且繁琐的过程，需要不断在PET图像和CT图像之间切换[3]。近年来，深度学习方法[4][5]被广泛应用于PET/CT图像的自动肿瘤分割任务中。

PET和CT是互补的成像技术：PET能够提供功能信息，而CT则能呈现解剖结构细节。许多研究[9][10][11]探讨了利用网络架构融合PET与CT特征的有效策略。这些研究强调了PET/CT技术的互补性及其不同的成像目标，从而凸显了多模态融合在PET/CT成像中的必要性。然而，很少有研究考虑PET/CT分割的特定特点。以往的网络设计往往将PET/CT分割与其他多模态分割任务视为相同[12][13][14]。图1展示了PET与CT在肿瘤信息贡献方面的差异。PET能够直接定位出与周围组织对比度显著的高摄取区域，但它本身缺乏解剖信息。因此，PET无法识别出腔体结构（如图1(b)中的绿色框所示），而CT则能清晰地显示解剖结构。图1(a)中的心脏区域（蓝色框）以及图1(b)中肿大的淋巴结在PET图像上均表现出高代谢活性，但仅凭PET难以准确区分这些区域与肿瘤。CT中的解剖结构则有助于识别PET图像中的高摄取区域。在图1(c)中，PET能够显示肿瘤信息及坏死区域，而CT的对比度较低，难以界定肿瘤边界。这些例子表明，PET和CT在识别肿瘤时具有互补作用：CT虽不直接提供肿瘤信息，但能提供更高层次的语义线索。在实际应用中，临床医生首先根据PET的高代谢信号定位肿瘤，再利用CT的解剖结构排除某些区域。此外，PET图像中高摄取区与低摄取区的边界通常较为清晰，可通过简单的阈值处理大致勾勒出肿瘤轮廓[15]。然而，一个重要的临床现象却常常被忽视：在那些接受PET/CT扫描以进行肿瘤分期和转移评估的患者中，肿瘤在CT图像上往往难以识别，误诊情况频发[16][17][18]。此外，使用如PSMA这类特异性示踪剂，正是为了获取常规成像技术（包括CT扫描）无法显示的肿瘤信息。换句话说，配对的PET/CT数据隐含了一个前提，即在该数据集中PET提供的肿瘤信息比CT更多。不过，以往的网络设计并未考虑这种不对称关系。有一项先前的研究[19]探讨了二维环境下PET与CT在肿瘤分割性能上的差异，为PET/CT的模态不对称性提供了初步证据。为探究这种不对称性是否也存在于三维场景中，我们进行了预实验。如图2(a)所示，实验结果进一步证实了这一观察。此外，将PET和CT直接作为网络输入会导致特征纠缠[20]，这需要更多参数来学习融合关系，且带来的性能提升十分有限。因此，若要在三维环境中实现PET/CT肿瘤分割，就有必要将这种不对称关系纳入网络设计之中。

图2(b)-2(d)展示了AutoPET、Hecktor和PSMA数据集上肿瘤体素比例的分布情况。这些数据集中的肿瘤体积占比极低，AutoPET的平均比例为0.1574%，Hecktor为0.1829%，PSMA为0.1630%。这一现象凸显了PET/CT分割的一个显著特点——任务对象多为小目标。小肿瘤区域对局部特征提取提出了极高要求，而PET与CT特征的融合则要求网络能够在语义层面区分某些器官的高代谢活动与真正的肿瘤区域，这就需要强大的语义理解能力以及全局上下文建模能力。以往的研究[22][23][24]提出了多种先进的网络架构，并表明整合局部特征与全局特征对于实现准确高效的医学图像分割至关重要。全局上下文建模通常通过基于序列的架构来实现，例如ViT[25]、Mamba[26]和RWKV[27]，这类架构通过将图像分割成标记或块来处理图像数据。然而，这种固定的标记分割策略无法保留各模态的特定先验信息，且可能因CT提供的丰富解剖背景信息而掩盖肿瘤的特征，从而不利于小目标的分割。为解决这些问题，我们提出了一种新型的CT辅助PET网络（CAP-Net），用于高效实现3D PET/CT肿瘤分割。CAP-Net由基于不对称特征融合设计的浅层CNN分支（SCAF）和CAP-RWKV分支组成。SCAF和CAP-RWKV分别在局部和全局层面实现模态不对称融合，其中PET作为主导模态。在CAP-RWKV中，我们引入了一种基于PET体素值局部方差相似性的标记区域分配策略（LVS-TAA），该策略可直接识别PET图像中的高摄取区域，并将其先验信息保留在相应标记中。背景区域则会被合并到面积更大的标记中，以避免肿瘤特征被占主导地位的背景信息稀释。借助这种标记分配方式，我们提出了关键标记交叉熵损失函数（KT-CE）来缓解PET/CT肿瘤分割中的类别不平衡问题。据我们所知，这是首项明确将PET视为主导模态、并在肿瘤分割中实现不对称PET/CT特征融合的研究，同时也是首项利用PET的先验信息来指导标记区域分配的研究。我们的贡献可归纳为三个方面：

1. 我们首次在PET/CT分割中引入了不对称模态融合机制。SCAF和CAP-RWKV模块的设计使得PET/CT特征能够在细粒度层面和语义层面实现不对称融合，从而提升分割效率。
2. 结合LVS-TAA策略与KT-CE损失函数，CAP-Net能够利用PET的先验信息为不同区域分配不同的标记区域大小，并仅对关键标记区域计算交叉熵损失，从而有效减轻类别不平衡对分割精度的影响。
3. 在AutoPET、Hecktor和PSMA数据集上的实验表明，CAP-Net在肿瘤分割性能上优于现有的最先进方法。与最新的高效模型（Mobile U-ViT）相比，其参数量减少了57.4%，若使用更大规模的模型，性能还能进一步提升。

章节节选
3D医学图像分割模型
3D医学图像分割模型可分为三类：基于CNN的模型、基于ViT的模型以及基于线性复杂度序列模型的方法。

CAP-Net概述
所提出的CT辅助PET网络（CAP-Net）如图3(a)所示。CAP-Net由基于不对称特征融合设计的浅层CNN分支（SCAF）和CAP-RWKV分支组成。嵌入层采用核大小为3的卷积层实现。对于形状为1×D×H×W的PET和CT数据，嵌入层可生成初始的CT特征Fct0和PET特征Fpet0，其形状均为C×D×H×W。SCAF以Fpet0为输入，用于提取细粒度的局部特征。

实验
为全面评估CAP-Net的性能，我们在三个公开的3D PET/CT肿瘤分割数据集AutoPET[7]、Hecktor[6]和PSMA[8]上将其与其他现有最先进方法进行了比较。此外，我们还进行了消融实验，并探讨了模型参数的选择问题。

效率分析
在本节中，我们对比了CAP-Net（小型）和CAP-Net（大型）与现有最先进模型在FLOPs和GPU内存消耗方面的表现，具体数据见表11。虽然CAP-Net（小型/大型）并未达到最低的FLOPs和GPU内存消耗水平，但需强调的是，对于3D PET/CT分割任务而言，精度指标才是最重要的性能衡量标准。表1、表2和表3表明，CAP-Net在所有三个数据集上都实现了最先进的分割性能，其参数量……

结论
在本文中，我们提出了一种新型的CT辅助PET网络（CAP-Net），用于高效实现3D PET/CT肿瘤分割。CAP-Net充分利用了两种成像技术的固有诊断优势，明确将PET视为肿瘤信息的主要来源，同时借助CT提供解剖学上的辅助信息。该网络由基于不对称特征融合设计的浅层CNN分支（SCAF）与CAP-RWKV模块相结合构成，从而实现了两种成像技术之间的不对称特征融合。

RediT作者贡献说明
张凤毅：撰写——初稿、可视化、验证、方法论、研究设计、数据整理、概念构思。杨义光：撰写——审稿与编辑、研究设计、概念构思。陈芳：撰写——审稿与编辑、验证、资金获取。张辉：监督、项目管理、资金获取。廖洪根：撰写——审稿与编辑、监督、资源协调、资金获取、概念构思。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

张凤毅|杨义光|陈芳|张辉|廖洪根