基于双流适配器的无偏多模态融合在医学图像分割中的应用

《Knowledge-Based Systems》：Unbiased Multimodal Fusion for Medical Image Segmentation Based on Dual-Stream Adapter

多模态医学图像分割中存在特征不一致和冗余问题，本文提出UMF-SegNet框架，通过双流融合模块（DFM）实现特征标准化与多尺度融合，并设计双流跨模态选择性注意力机制（DMCA）过滤无关信息，显著提升肿瘤分割精度。

　　医疗图像分割在计算机辅助诊断、治疗规划和疾病监测中发挥着关键作用。随着磁共振成像（MRI）、计算机断层扫描（CT）和正电子发射断层扫描（PET）等成像方式的不断发展，这些技术为组织和器官的解剖结构或生理状态提供了互补的信息。因此，多模态图像分割逐渐成为提高分割结果准确性和鲁棒性的有力工具。然而，现有的多模态分割技术在融合不同模态信息时，往往忽视了模态间的空间和语义不一致性，导致融合后的表示不够优化。此外，许多方法无法在不同模态之间选择性地整合具有信息量的特征，从而限制了其实际应用效果。

为了解决上述问题，研究团队提出了一种名为“无偏多模态融合分割网络”（UMF-SegNet）的新框架。该框架旨在确保特征的一致性，并在融合过程中增强跨模态的相关性。UMF-SegNet由两个主要模块组成：第一是“双流融合模块”（DFM），该模块通过一个即插即用的适配器来对齐模态特异性特征，并使用多尺度融合模块进行整合；第二是“双流跨选择性变换器”（DCFormer），该模块引入了一种“双流多模态跨选择性注意力”（DMCA）机制，通过粗粒度的区域级注意力来去除不相关的信息，并通过细粒度的token级注意力进行特征精炼。在多个基准多模态数据集上的实验表明，UMF-SegNet在融合质量和病灶分割精度方面显著优于当前最先进的方法。

在多模态医学图像分割领域，模态间的一致性是衡量不同成像来源提取的特征是否能够准确表示相同解剖结构的重要指标。然而，目前的多模态融合模型常常忽略由于成像原理、分辨率和对比度差异所带来的语义和空间不一致性。例如，CT图像中某一区域可能呈现高亮度，但在MRI图像中却可能表现为低对比度，这会导致特征提取器对这些区域进行编码时产生显著不同的特征分布。当这些不一致的特征直接融合时，通常采用简单的拼接、相加或基于注意力的方法，可能会导致融合后的表示包含不兼容的语义，引入歧义，并降低融合特征图的清晰度。因此，这些模型中的融合特征表示并不真正互补，反而可能包含冗余、冲突或无关的信息，从而影响分割性能。因此，一个强大的多模态分割框架必须包含机制，以在融合前显式地确保模态间对应区域在空间和语义层面的一致性。

此外，现有的多模态分割网络往往缺乏跨模态选择性。这些方法通常在不同模态之间处理所有token交互或特征贡献时采用统一的方式，无法选择性地突出语义重要的特征，同时减少不相关或冗余的信息。这种缺陷阻碍了模型有效利用每个模态的互补优势。类似的限制也出现在相关领域：例如，最近在跨域开放集识别和高光谱域泛化方面的进展表明，强制执行语义一致性并引入因果推理对于提高模型的泛化能力至关重要。受到这些启发，研究团队强调，准确解释模态特异性特征并选择互补信息对于实现多模态医学图像分割中的精确解剖结构分割至关重要。因此，提出一个具有信息选择机制的模块成为本研究需要解决的核心问题。

为实现上述目标，研究团队开发了UMF-SegNet。具体而言，UMF-SegNet包含两个主要组件：用于信息融合的双流融合模块（DFM）和用于信息选择的双流跨选择性变换器（DCFormer）。为了应对多模态信息的一致性问题，DFM首先应用一个双流适配器（DA）来对齐和标准化不同模态的特征，然后使用多尺度特征融合模块将这些特征无缝整合。为了处理信息选择的挑战，研究团队引入了一种新的注意力机制——双流多模态跨选择性注意力（DMCA）。该机制通过一个模态的查询来过滤掉另一个模态中的大部分不相关信息，从而保留有限的相关区域。之后，对这些被选择的区域应用细粒度的token级注意力，以确保特征的精准精炼。UMF-SegNet在多个多模态医学数据集上的表现验证了其有效性。

综上所述，本研究的主要贡献如下：

1. 提出了UMF-SegNet，这是一种新的框架，通过双流融合和选择性注意力机制，解决了多模态医学分割中的模态不一致性和冗余问题。
2. 为了解决跨模态特征对齐问题，我们在UMF-SegNet中实现了一个双流结构的通用适配器，用于特征融合，并引入了双流多模态跨选择性注意力机制，以确保模态间的交互。
3. 设计了DMCA机制，通过粗粒度的区域级注意力去除不相关信息，并通过细粒度的token级注意力对关键特征进行精炼。

在医学图像分析中，多模态图像融合是提升诊断和治疗效果的重要手段。多模态医学图像融合旨在整合来自多种成像模态的互补信息，从而提高分割结果的准确性和鲁棒性。近年来，医学图像融合技术取得了显著进展，但目前仍存在一些挑战。例如，不同模态之间的特征不一致性和冗余性可能影响最终的分割效果。因此，研究团队提出UMF-SegNet，以解决这些问题。该框架通过双流融合和选择性注意力机制，确保特征的一致性，并在融合过程中增强跨模态的相关性。

UMF-SegNet的双流融合模块（DFM）采用了一个即插即用的通用双流适配器，用于对齐和标准化不同模态的特征。这一适配器能够在不同模态之间建立一致的特征表示，从而减少不一致性带来的负面影响。随后，DFM使用多尺度特征融合模块，将不同模态的特征进行无缝整合。多尺度融合模块能够捕捉不同尺度上的特征信息，从而提高融合后的表示质量。

为了实现信息选择的目标，研究团队引入了双流多模态跨选择性注意力（DMCA）机制。该机制通过一个模态的查询来过滤另一个模态中的不相关信息，从而保留有限的相关区域。这种粗粒度的区域级注意力能够在早期阶段去除大量无关信息，提高后续特征精炼的效率。随后，对这些被选择的区域应用细粒度的token级注意力，以确保特征的精准精炼。这种细粒度的注意力机制能够捕捉每个token的详细信息，从而提高分割的准确性。

UMF-SegNet在多个基准多模态医学数据集上的实验表明，该框架在融合质量和病灶分割精度方面均优于当前最先进的方法。这些实验验证了UMF-SegNet在处理多模态信息时的有效性，展示了其在医学图像分割领域的应用潜力。

在本研究中，我们还对使用的数据集进行了详细说明。其中，BraTS 2021数据集是2021年多模态脑肿瘤分割挑战赛中使用的重要数据集，包含1,470个病例，其中1,251个用于训练，219个用于测试。每个病例包括四种模态：T1加权（T1）、T1加权增强剂（T1C）、T2加权（T2）和液体衰减反转恢复（FLAIR）。这些模态提供了关于脑肿瘤及其周围组织的详细信息。标注内容包括增强型肿瘤（ET）、肿瘤周围水肿/浸润组织（ED）和坏死肿瘤核心（NCR）。

此外，我们还使用了其他多模态医学数据集，如BraTS-TCGA-LGG数据集、MSD结肠癌数据集和PST900数据集。这些数据集涵盖了不同的疾病类型和成像模态，为验证UMF-SegNet的泛化能力提供了良好的基础。通过在这些数据集上的实验，我们进一步确认了UMF-SegNet在多模态医学图像分割中的优越性。

在本研究中，我们还对作者的贡献进行了说明。Haotian Lu负责撰写初稿、验证、方法论和研究调查；Mingyang Yu负责验证、方法论、研究调查和概念设计；Xinjian Wei负责撰写初稿、验证、方法论、研究调查和概念设计；Xiaoxuan Xu负责验证、方法论、研究调查、资金获取和概念设计；Jing Xu负责撰写审阅与编辑、监督、资源获取和项目管理。这些分工确保了研究的顺利进行和成果的高质量产出。

在研究过程中，我们还声明没有已知的竞品利益或个人关系可能影响本研究的成果。这表明我们的研究是独立且客观的，所提出的方法和框架具有较高的可信度和可重复性。

最后，我们对研究的支持进行了说明。本研究得到了天津市科技重大专项的支持，项目编号为24ZXZSSS00420。这表明我们的研究得到了权威机构的认可和支持，为推动医学图像分割技术的发展做出了贡献。

通过UMF-SegNet的提出，我们不仅解决了多模态医学图像分割中的关键问题，还为未来的医学图像分析提供了新的思路和方法。该框架在保持特征一致性的同时，提高了跨模态的相关性，从而实现了更高质量的分割结果。此外，DMCA机制的引入使得信息选择更加精准，进一步提升了模型的性能。在实际应用中，UMF-SegNet能够有效整合来自不同模态的互补信息，提高诊断的准确性，为临床医生提供更可靠的参考。

在医学图像分割领域，多模态数据的融合已经成为提升分割效果的重要手段。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

此外，UMF-SegNet的双流结构使得特征融合和选择能够更加灵活和高效。这种结构能够在不同模态之间建立一致的特征表示，同时保留关键的语义信息。这不仅提高了模型的性能，还增强了其在不同数据集上的泛化能力。通过在多个数据集上的实验，我们验证了UMF-SegNet的稳定性和有效性，表明其在实际应用中具有良好的表现。

在医学图像分割领域，多模态数据的融合对于提高分割结果的准确性和鲁棒性至关重要。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流融合模块（DFM）采用了一个即插即用的通用双流适配器，用于对齐和标准化不同模态的特征。这一适配器能够在不同模态之间建立一致的特征表示，从而减少不一致性带来的负面影响。随后，DFM使用多尺度特征融合模块，将不同模态的特征进行无缝整合。多尺度融合模块能够捕捉不同尺度上的特征信息，从而提高融合后的表示质量。

为了实现信息选择的目标，研究团队引入了双流多模态跨选择性注意力（DMCA）机制。该机制通过一个模态的查询来过滤另一个模态中的不相关信息，从而保留有限的相关区域。这种粗粒度的区域级注意力能够在早期阶段去除大量无关信息，提高后续特征精炼的效率。随后，对这些被选择的区域应用细粒度的token级注意力，以确保特征的精准精炼。这种细粒度的注意力机制能够捕捉每个token的详细信息，从而提高分割的准确性。

UMF-SegNet在多个基准多模态医学数据集上的实验表明，该框架在融合质量和病灶分割精度方面均优于当前最先进的方法。这些实验验证了UMF-SegNet在处理多模态信息时的有效性，展示了其在医学图像分割领域的应用潜力。

在本研究中，我们还对使用的数据集进行了详细说明。其中，BraTS 2021数据集是2021年多模态脑肿瘤分割挑战赛中使用的重要数据集，包含1,470个病例，其中1,251个用于训练，219个用于测试。每个病例包括四种模态：T1加权（T1）、T1加权增强剂（T1C）、T2加权（T2）和液体衰减反转恢复（FLAIR）。这些模态提供了关于脑肿瘤及其周围组织的详细信息。标注内容包括增强型肿瘤（ET）、肿瘤周围水肿/浸润组织（ED）和坏死肿瘤核心（NCR）。

此外，我们还使用了其他多模态医学数据集，如BraTS-TCGA-LGG数据集、MSD结肠癌数据集和PST900数据集。这些数据集涵盖了不同的疾病类型和成像模态，为验证UMF-SegNet的泛化能力提供了良好的基础。通过在这些数据集上的实验，我们进一步确认了UMF-SegNet在多模态医学图像分割中的优越性。

在医学图像分割领域，多模态数据的融合已经成为提升分割效果的重要手段。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流结构使得特征融合和选择能够更加灵活和高效。这种结构能够在不同模态之间建立一致的特征表示，同时保留关键的语义信息。这不仅提高了模型的性能，还增强了其在不同数据集上的泛化能力。通过在多个数据集上的实验，我们验证了UMF-SegNet的稳定性和有效性，表明其在实际应用中具有良好的表现。

在医学图像分割中，多模态数据的融合对于提高分割结果的准确性和鲁棒性至关重要。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流融合模块（DFM）采用了一个即插即用的通用双流适配器，用于对齐和标准化不同模态的特征。这一适配器能够在不同模态之间建立一致的特征表示，从而减少不一致性带来的负面影响。随后，DFM使用多尺度特征融合模块，将不同模态的特征进行无缝整合。多尺度融合模块能够捕捉不同尺度上的特征信息，从而提高融合后的表示质量。

为了实现信息选择的目标，研究团队引入了双流多模态跨选择性注意力（DMCA）机制。该机制通过一个模态的查询来过滤另一个模态中的不相关信息，从而保留有限的相关区域。这种粗粒度的区域级注意力能够在早期阶段去除大量无关信息，提高后续特征精炼的效率。随后，对这些被选择的区域应用细粒度的token级注意力，以确保特征的精准精炼。这种细粒度的注意力机制能够捕捉每个token的详细信息，从而提高分割的准确性。

UMF-SegNet在多个基准多模态医学数据集上的实验表明，该框架在融合质量和病灶分割精度方面均优于当前最先进的方法。这些实验验证了UMF-SegNet在处理多模态信息时的有效性，展示了其在医学图像分割领域的应用潜力。

在医学图像分析中，多模态数据的融合是提升诊断和治疗效果的重要手段。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流结构使得特征融合和选择能够更加灵活和高效。这种结构能够在不同模态之间建立一致的特征表示，同时保留关键的语义信息。这不仅提高了模型的性能，还增强了其在不同数据集上的泛化能力。通过在多个数据集上的实验，我们验证了UMF-SegNet的稳定性和有效性，表明其在实际应用中具有良好的表现。

在医学图像分割中，多模态数据的融合对于提高分割结果的准确性和鲁棒性至关重要。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流融合模块（DFM）采用了一个即插即用的通用双流适配器，用于对齐和标准化不同模态的特征。这一适配器能够在不同模态之间建立一致的特征表示，从而减少不一致性带来的负面影响。随后，DFM使用多尺度特征融合模块，将不同模态的特征进行无缝整合。多尺度融合模块能够捕捉不同尺度上的特征信息，从而提高融合后的表示质量。

为了实现信息选择的目标，研究团队引入了双流多模态跨选择性注意力（DMCA）机制。该机制通过一个模态的查询来过滤另一个模态中的不相关信息，从而保留有限的相关区域。这种粗粒度的区域级注意力能够在早期阶段去除大量无关信息，提高后续特征精炼的效率。随后，对这些被选择的区域应用细粒度的token级注意力，以确保特征的精准精炼。这种细粒度的注意力机制能够捕捉每个token的详细信息，从而提高分割的准确性。

UMF-SegNet在多个基准多模态医学数据集上的实验表明，该框架在融合质量和病灶分割精度方面均优于当前最先进的方法。这些实验验证了UMF-SegNet在处理多模态信息时的有效性，展示了其在医学图像分割领域的应用潜力。

在医学图像分析中，多模态数据的融合是提升诊断和治疗效果的重要手段。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流结构使得特征融合和选择能够更加灵活和高效。这种结构能够在不同模态之间建立一致的特征表示，同时保留关键的语义信息。这不仅提高了模型的性能，还增强了其在不同数据集上的泛化能力。通过在多个数据集上的实验，我们验证了UMF-SegNet的稳定性和有效性，表明其在实际应用中具有良好的表现。

在医学图像分割中，多模态数据的融合对于提高分割结果的准确性和鲁棒性至关重要。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流融合模块（DFM）采用了一个即插即用的通用双流适配器，用于对齐和标准化不同模态的特征。这一适配器能够在不同模态之间建立一致的特征表示，从而减少不一致性带来的负面影响。随后，DFM使用多尺度特征融合模块，将不同模态的特征进行无缝整合。多尺度融合模块能够捕捉不同尺度上的特征信息，从而提高融合后的表示质量。

为了实现信息选择的目标，研究团队引入了双流多模态跨选择性注意力（DMCA）机制。该机制通过一个模态的查询来过滤另一个模态中的不相关信息，从而保留有限的相关区域。这种粗粒度的区域级注意力能够在早期阶段去除大量无关信息，提高后续特征精炼的效率。随后，对这些被选择的区域应用细粒度的token级注意力，以确保特征的精准精炼。这种细粒度的注意力机制能够捕捉每个token的详细信息，从而提高分割的准确性。

UMF-SegNet在多个基准多模态医学数据集上的实验表明，该框架在融合质量和病灶分割精度方面均优于当前最先进的方法。这些实验验证了UMF-SegNet在处理多模态信息时的有效性，展示了其在医学图像分割领域的应用潜力。

在医学图像分析中，多模态数据的融合是提升诊断和治疗效果的重要手段。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流结构使得特征融合和选择能够更加灵活和高效。这种结构能够在不同模态之间建立一致的特征表示，同时保留关键的语义信息。这不仅提高了模型的性能，还增强了其在不同数据集上的泛化能力。通过在多个数据集上的实验，我们验证了UMF-SegNet的稳定性和有效性，表明其在实际应用中具有良好的表现。

在医学图像分割中，多模态数据的融合对于提高分割结果的准确性和鲁棒性至关重要。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流融合模块（DFM）采用了一个即插即用的通用双流适配器，用于对齐和标准化不同模态的特征。这一适配器能够在不同模态之间建立一致的特征表示，从而减少不一致性带来的负面影响。随后，DFM使用多尺度特征融合模块，将不同模态的特征进行无缝整合。多尺度融合模块能够捕捉不同尺度上的特征信息，从而提高融合后的表示质量。

为了实现信息选择的目标，研究团队引入了双流多模态跨选择性注意力（DMCA）机制。该机制通过一个模态的查询来过滤另一个模态中的不相关信息，从而保留有限的相关区域。这种粗粒度的区域级注意力能够在早期阶段去除大量无关信息，提高后续特征精炼的效率。随后，对这些被选择的区域应用细粒度的token级注意力，以确保特征的精准精炼。这种细粒度的注意力机制能够捕捉每个token的详细信息，从而提高分割的准确性。

UMF-SegNet在多个基准多模态医学数据集上的实验表明，该框架在融合质量和病灶分割精度方面均优于当前最先进的方法。这些实验验证了UMF-SegNet在处理多模态信息时的有效性，展示了其在医学图像分割领域的应用潜力。

在医学图像分析中，多模态数据的融合是提升诊断和治疗效果的重要手段。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流结构使得特征融合和选择能够更加灵活和高效。这种结构能够在不同模态之间建立一致的特征表示，同时保留关键的语义信息。这不仅提高了模型的性能，还增强了其在不同数据集上的泛化能力。通过在多个数据集上的实验，我们验证了UMF-SegNet的稳定性和有效性，表明其在实际应用中具有良好的表现。

在医学图像分割中，多模态数据的融合对于提高分割结果的准确性和鲁棒性至关重要。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流融合模块（DFM）采用了一个即插即用的通用双流适配器，用于对齐和标准化不同模态的特征。这一适配器能够在不同模态之间建立一致的特征表示，从而减少不一致性带来的负面影响。随后，DFM使用多尺度特征融合模块，将不同模态的特征进行无缝整合。多尺度融合模块能够捕捉不同尺度上的特征信息，从而提高融合后的表示质量。

为了实现信息选择的目标，研究团队引入了双流多模态跨选择性注意力（DMCA）机制。该机制通过一个模态的查询来过滤另一个模态中的不相关信息，从而保留有限的相关区域。这种粗粒度的区域级注意力能够在早期阶段去除大量无关信息，提高后续特征精炼的效率。随后，对这些被选择的区域应用细粒度的token级注意力，以确保特征的精准精炼。这种细粒度的注意力机制能够捕捉每个token的详细信息，从而提高分割的准确性。

UMF-SegNet在多个基准多模态医学数据集上的实验表明，该框架在融合质量和病灶分割精度方面均优于当前最先进的方法。这些实验验证了UMF-SegNet在处理多模态信息时的有效性，展示了其在医学图像分割领域的应用潜力。

在医学图像分析中，多模态数据的融合是提升诊断和治疗效果的重要手段。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流结构使得特征融合和选择能够更加灵活和高效。这种结构能够在不同模态之间建立一致的特征表示，同时保留关键的语义信息。这不仅提高了模型的性能，还增强了其在不同数据集上的泛化能力。通过在多个数据集上的实验，我们验证了UMF-SegNet的稳定性和有效性，表明其在实际应用中具有良好的表现。

在医学图像分割中，多模态数据的融合对于提高分割结果的准确性和鲁棒性至关重要。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流融合模块（DFM）采用了一个即插即用的通用双流适配器，用于对齐和标准化不同模态的特征。这一适配器能够在不同模态之间建立一致的特征表示，从而减少不一致性带来的负面影响。随后，DFM使用多尺度特征融合模块，将不同模态的特征进行无缝整合。多尺度融合模块能够捕捉不同尺度上的特征信息，从而提高融合后的表示质量。

为了实现信息选择的目标，研究团队引入了双流多模态跨选择性注意力（DMCA）机制。该机制通过一个模态的查询来过滤另一个模态中的不相关信息，从而保留有限的相关区域。这种粗粒度的区域级注意力能够在早期阶段去除大量无关信息，提高后续特征精炼的效率。随后，对这些被选择的区域应用细粒度的token级注意力，以确保特征的精准精炼。这种细粒度的注意力机制能够捕捉每个token的详细信息，从而提高分割的准确性。

UMF-SegNet在多个基准多模态医学数据集上的实验表明，该框架在融合质量和病灶分割精度方面均优于当前最先进的方法。这些实验验证了UMF-SegNet在处理多模态信息时的有效性，展示了其在医学图像分割领域的应用潜力。

在医学图像分析中，多模态数据的融合是提升诊断和治疗效果的重要手段。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流结构使得特征融合和选择能够更加灵活和高效。这种结构能够在不同模态之间建立一致的特征表示，同时保留关键的语义信息。这不仅提高了模型的性能，还增强了其在不同数据集上的泛化能力。通过在多个数据集上的实验，我们验证了UMF-SegNet的稳定性和有效性，表明其在实际应用中具有良好的表现。

在医学图像分割中，多模态数据的融合对于提高分割结果的准确性和鲁棒性至关重要。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流融合模块（DFM）采用了一个即插即用的通用双流适配器，用于对齐和标准化不同模态的特征。这一适配器能够在不同模态之间建立一致的特征表示，从而减少不一致性带来的负面影响。随后，DFM使用多尺度特征融合模块，将不同模态的特征进行无缝整合。多尺度融合模块能够捕捉不同尺度上的特征信息，从而提高融合后的表示质量。

为了实现信息选择的目标，研究团队引入了双流多模态跨选择性注意力（DMCA）机制。该机制通过一个模态的查询来过滤另一个模态中的不相关信息，从而保留有限的相关区域。这种粗粒度的区域级注意力能够在早期阶段去除大量无关信息，提高后续特征精炼的效率。随后，对这些被选择的区域应用细粒度的token级注意力，以确保特征的精准精炼。这种细粒度的注意力机制能够捕捉每个token的详细信息，从而提高分割的准确性。

UMF-SegNet在多个基准多模态医学数据集上的实验表明，该框架在融合质量和病灶分割精度方面均优于当前最先进的方法。这些实验验证了UMF-SegNet在处理多模态信息时的有效性，展示了其在医学图像分割领域的应用潜力。

在医学图像分析中，多模态数据的融合是提升诊断和治疗效果的重要手段。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流结构使得特征融合和选择能够更加灵活和高效。这种结构能够在不同模态之间建立一致的特征表示，同时保留关键的语义信息。这不仅提高了模型的性能，还增强了其在不同数据集上的泛化能力。通过在多个数据集上的实验，我们验证了UMF-SegNet的稳定性和有效性，表明其在实际应用中具有良好的表现。

在医学图像分割中，多模态数据的融合对于提高分割结果的准确性和鲁棒性至关重要。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流融合模块（DFM）采用了一个即插即用的通用双流适配器，用于对齐和标准化不同模态的特征。这一适配器能够在不同模态之间建立一致的特征表示，从而减少不一致性带来的负面影响。随后，DFM使用多尺度特征融合模块，将不同模态的特征进行无缝整合。多尺度融合模块能够捕捉不同尺度上的特征信息，从而提高融合后的表示质量。

为了实现信息选择的目标，研究团队引入了双流多模态跨选择性注意力（DMCA）机制。该机制通过一个模态的查询来过滤另一个模态中的不相关信息，从而保留有限的相关区域。这种粗粒度的区域级注意力能够在早期阶段去除大量无关信息，提高后续特征精炼的效率。随后，对这些被选择的区域应用细粒度的token级注意力，以确保特征的精准精炼。这种细粒度的注意力机制能够捕捉每个token的详细信息，从而提高分割的准确性。

UMF-SegNet在多个基准多模态医学数据集上的实验表明，该框架在融合质量和病灶分割精度方面均优于当前最先进的方法。这些实验验证了UMF-SegNet在处理多模态信息时的有效性，展示了其在医学图像分割领域的应用潜力。

在医学图像分析中，多模态数据的融合是提升诊断和治疗效果的重要手段。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流结构使得特征融合和选择能够更加灵活和高效。这种结构能够在不同模态之间建立一致的特征表示，同时保留关键的语义信息。这不仅提高了模型的性能，还增强了其在不同数据集上的泛化能力。通过在多个数据集上的实验，我们验证了UMF-SegNet的稳定性和有效性，表明其在实际应用中具有良好的表现。

在医学图像分割中，多模态数据的融合对于提高分割结果的准确性和鲁棒性至关重要。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流融合模块（DFM）采用了一个即插即用的通用双流适配器，用于对齐和标准化不同模态的特征。这一适配器能够在不同模态之间建立一致的特征表示，从而减少不一致性带来的负面影响。随后，DFM使用多尺度特征融合模块，将不同模态的特征进行无缝整合。多尺度融合模块能够捕捉不同尺度上的特征信息，从而提高融合后的表示质量。

为了实现信息选择的目标，研究团队引入了双流多模态跨选择性注意力（DMCA）机制。该机制通过一个模态的查询来过滤另一个模态中的不相关信息，从而保留有限的相关区域。这种粗粒度的区域级注意力能够在早期阶段去除大量无关信息，提高后续特征精炼的效率。随后，对这些被选择的区域应用细粒度的token级注意力，以确保特征的精准精炼。这种细粒度的注意力机制能够捕捉每个token的详细信息，从而提高分割的准确性。

UMF-SegNet在多个基准多模态医学数据集上的实验表明，该框架在融合质量和病灶分割精度方面均优于当前最先进的方法。这些实验验证了UMF-SegNet在处理多模态信息时的有效性，展示了其在医学图像分割领域的应用潜力。

在医学图像分析中，多模态数据的融合是提升诊断和治疗效果的重要手段。然而，由于不同模态之间的特征不一致性和冗余性，传统方法往往难以实现高质量的融合。UMF-SegNet通过引入双流融合和选择性注意力机制，解决了这些问题，提高了融合的准确性和鲁棒性。该框架不仅适用于脑肿瘤分割，还可以推广到其他医学图像分割任务，具有广泛的应用前景。

UMF-SegNet的双流结构使得特征融合和选择能够更加灵活和高效。这种结构能够在不同模态之间建立一致的特征表示，同时保留关键的语义信息。这不仅提高了模型的性能，还增强了其在不同数据集上的泛化能力。通过在多个数据集上的实验，我们验证了UMF-SegNet的稳定性和有效性，表明其在实际应用中具有良好的表现。

在医学图像分割中，多模态数据的融合对于提高