FuSS-Net：面向协同病灶分割与分类的频率先验与语义状态空间动力学的多层次融合

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：FuSS-Net: Multi-level Fusion of Frequency Priors and Semantic State Space Dynamics for Synergistic Lesion Segmentation and Classification

　　

•提出了一种统一的多级信息融合框架，用于联合病灶分割与分类。•在分层学习框架中联合建模特征融合、传播融合和决策融合。•FuSS-Net展现出强大的性能、可解释性和零样本跨域泛化能力。

引言

口腔癌（OC）是全球最常见的十大恶性肿瘤之一，超过90%的病例属于口腔鳞状细胞癌（OSCC）[1]。根据世界卫生组织的统计数据[2]，2022年全球约有389,000例口腔癌新发病例和188,000例相关死亡病例，凸显了其巨大的全球疾病负担。许多OSCC病例在发病前会出现可见的黏膜异常，主要挑战在于精确界定病灶范围的同时可靠地识别病灶类型[3]。目前的临床评估仍严重依赖视觉检查，该方法具有主观性，且在日常实践中往往不足以进行稳健的病灶表征，早期而精准的病灶筛查将有助于临床医生及时启动干预措施，以防止疾病进展。

OSCC诊断挑战主要源于三个耦合因素。第一，由于炎症渐变过渡、低对比度和不规则形态，病灶边界常常模糊不清。第二，诊断相关的模式通常表现为微弱或异质性的纹理。第三，不同病灶类别之间存在显著的视觉重叠，例如复发性口疮（RAU）、创伤性溃疡（TU）和口腔恶性溃疡（OMU），这使得即使是经验丰富的临床医生也难以可靠地做出鉴别[4]。临床上，RAU通常表现为反复发作、疼痛的圆形或椭圆形溃疡，无明显局部创伤病因；TU通常与明确的机械性、热性或化学性刺激相关；OMU是指具有临床可疑恶性特征的持续性溃疡性病变，在可获得时由病理检查支持诊断。如图1所示，这些病例在纹理-结构特征空间中存在明显的重叠，且病灶与背景之间的模糊性强，这共同使得病灶分割和分类变得复杂。

口腔溃疡复杂的视觉表现促使研究人员探索基于深度学习的模型，以利用图像数据辅助进行精确的溃疡类型识别和准确的病灶分割。例如，Peng等人[5]提出了一种名为Oralformer的口腔病灶分割网络，该网络利用局部窗口自注意力和不确定性自适应损失函数，在口腔疾病中实现有效的病灶分割。Jiang等人[6]引入了一种高阶焦点交互模块，通过高阶注意力机制捕获全局属性和焦点区域。他们提出的HF-UNet能够有效识别广泛分布的溃疡。Eva等人[7]比较了基于视觉Transformer（ViT）和基于影像组学的方法性能，探索了它们用于口腔癌无创早期诊断的潜在融合策略。这些开创性工作凸显了使用先进的深度学习模型分析口腔病灶复杂视觉特征的趋势日益增强。

尽管深度神经网络在医学图像分析方面取得了显著进展，但其在多任务问题中的应用暴露出任务协作设计中的根本性僵化。一方面，分割和分类任务通常被视为相互独立的[8]，缺乏任务间的信息交互和融合机制。这导致特征共享不足，任务间存在严重的语义隔离。另一方面，当前的多任务架构通常通过共享浅层编码器或使用解耦输出来进行粗粒度协作，缺乏根据任务上下文动态调节特征传播的语义自适应机制。此外，分割和分类模块之间的判别机制通常依赖于基于注意力或线性融合的策略，这些策略无法显式地建模不同任务间特征贡献的非均匀、非加性关系。常用的softmax操作会抑制非主导特征的重要性[9]，并且在融合过程中缺乏可解释性。这迫切需要一种新的范式，通过拥抱不确定性、非加性特征融合和任务协作来克服确定性模型的僵化性。

模糊逻辑为不确定病灶边界和异质纹理下的自适应信息融合提供了灵活且可解释的机制[10]。与使用硬决策或固定线性交互不同，模糊隶属度建模允许对局部证据可靠性进行连续表征，而模糊测度和模糊积分则为捕获多个特征源之间的互补和冗余关系提供了一种有原则的方法[11]。这些特性使模糊引导的融合特别适合于联合病灶分割和分类，在该任务中，局部结构表征、频率敏感纹理和全局语义上下文需要协调处理，而非独立处理。最近的研究表明模糊建模在医学图像分析中具有潜力，包括不确定性感知特征选择[12]和非加性特征聚合[13]，进一步表明其作为复杂视觉推理任务融合策略的价值。

深度神经网络强大的表征能力与模糊逻辑灵活的 uncertainty 建模和非线性聚合相结合，为应对医学图像分析中固有的异质性、模糊性和跨任务不一致性提供了有前景的基础。然而，有效的联合病灶分割和分类需要一个统一的融合框架来协调三个耦合阶段的互补证据，即局部表征构建、语义感知特征传播和决策级交互建模。为此，FuSS-Net被提出作为一种用于联合病灶分割和分类的多级融合框架。FuSS-Net将该任务概念化为一个分层融合过程。首先，在表征层，设计了基于模糊规则的自适应频率滤波（FRAF）模块，以整合频域先验与浅层空间响应，从而构建边界和纹理感知特征。其次，在传播层，引入了语义自适应模糊门控视觉状态空间（FVSS）模块，以将类别感知先验注入token传播中，从而加强跨任务协作并减少分割与分类之间的负迁移。第三，在决策层，开发了纹理增强的Choquet分类（TECC）模块，以执行浅层纹理表征和深层语义证据的非加性融合，实现对互补和冗余特征交互的显式建模，以进行稳健的病灶识别。通过在统一多任务架构中协调耦合这三个层次，共同促进了结构敏感性、语义一致性和不确定性下的可解释融合。整体架构如图2所示。

本文的贡献总结如下：
1. 提出了一种统一的用于联合病灶分割和分类的多级信息融合框架，在该框架中将病灶分析表述为跨越表征构建、语义感知传播和决策级交互建模的分层融合问题。
2. 通过将模糊频率先验集成与语义自适应模糊门控状态空间传播相结合，开发了一种从表征到传播的融合策略。特别是，所提出的传播机制在选择性扫描之前将图像级类别先验和token级语义一致性转化为逐token门控，从而实现任务上下文条件的传播以用于联合分割和分类。
3. 引入了一种基于纹理增强Choquet聚合的非加性决策融合机制，以显式建模浅层纹理线索和深层语义表征之间的互补和冗余关系，从而实现稳健的分类。
4. 在三个医学病灶数据集和一个外部口腔溃疡数据集上进行了广泛的实验，包括域内评估、消融分析、决策级融合比较、可解释性分析、统计显著性检验和零样本外部评估。结果证明了所提出框架的有效性和可解释性，表明在所评估的跨域设置下具有有前景的外部迁移能力。

本文其余部分组织如下。相关工作在第2节中讨论。第3节描述了所提出的多任务学习框架。第4节呈现了与最先进方法的全面实验结果。最后，第5节总结了结论和讨论。

章节片段

联合分割–分类与跨任务融合

医学图像分割和分类是现代医学图像分析中的基础任务。联合病灶分割和分类在医学图像分析中引起了越来越多的关注，因为这两个任务提供了天然互补的信息。分割专注于定位病灶范围并描绘结构边界，而分类则侧重于图像级语义识别和疾病鉴别。当联合学习时，这两个任务可以……

所提方法

如图2所示，所提出的网络被表述为一种用于联合病灶分割和分类的多级融合框架。整体架构组织为跨越三个耦合层次的分层融合流水线，即表征构建、语义感知传播和决策级交互建模。在表征层，设计了一个模糊引导的自适应频率先验融合模块，以将频域先验纳入浅层……

实现细节

我们在一个自建数据集和两个公开可用的医学图像数据集上评估了所提出的框架。这些数据集在疾病类型和病灶特征方面各不相同。数据集详情如下：
1. 口腔溃疡数据集（OUD）：该自建数据集由来自1,280名患者的1,280张带标注的口腔黏膜图像组成，涵盖三个病灶类别：复发性口疮（RAU）、创伤性溃疡（TU）和口腔恶性溃疡（OMU）。类别比例为1.16:1.25:1.00。

结论

在本工作中，我们提出了FuSS-Net，一种用于联合病灶分割和分类的多级融合框架。所提出的框架集成了三种互补机制：用于增强边界和纹理敏感表征的模糊引导自适应频率先验融合、用于改善跨任务传播的语义自适应模糊门控状态空间建模、以及用于浅层纹理和深层语义特征非加性集成的纹理增强Choquet融合。通过……

数据和代码可用性

本研究中使用的公开数据集可从其原始来源获取，包括ISIC 2017、BUSI和Autooral。自建的口腔溃疡数据集（OUD）将在作者收到合理请求后提供，前提是获得机构和伦理批准。FuSS-Net的官方项目仓库可在 https://github.com/Hugo271828/FuSS-Net 获取。

CRediT作者贡献声明

李天翔：撰写 – 原稿、可视化、软件、方法论、调研、形式分析、数据整理、概念化。刘洋：资源、调研、撰写 – 审阅与编辑。Witold Pedrycz：撰写 – 审阅与编辑、监督。丁为平：撰写 – 审阅与编辑、监督、项目管理、资金获取、概念化。孙玉春：撰写 – 审阅与编辑、监督、项目管理、资金获取。

利益冲突声明

作者声明，他们没有已知的竞争性财务利益或个人关系可能影响了本报告中呈现的工作。

李天翔 | 刘洋 | Witold Pedrycz | 丁为平 | 孙玉春 | 田素坤