利用门控引导融合技术将基础模型应用于光学SAR目标检测 姜倩印、 廖建尚、 林秋玉、 张俊康

《ISPRS International Journal of Geo-Information》：Harnessing Foundation Models for Optical–SAR Object Detection via Gated–Guided Fusion Qianyin Jiang, Jianshang Liao, Qiuyu Lin and Junkang Zhang

　　摘要 遥感目标检测是地球观测的基础，但仅依赖单一感测模式时仍然具有挑战性。虽然光学图像提供了丰富的空间和纹理细节，但它对光照和恶劣天气非常敏感；相反，合成孔径雷达（SAR）在各种天气条件下都能进行稳定的采集，但却受到斑点噪声的影响，并且语义解释能力有限。为了解决这些限制，我们利用基础模型的潜力，通过一种新颖的门控引导融合方法来实现光学-SAR目标检测。通过将基础模型中的可转移和通用表征集成到检测流程中，我们提高了语义表达能力以及跨环境稳定性。具体来说，设计了一种门控引导融合机制，用于选择性地合并跨模态特征与基础先验，使网络能够在复杂场景中优先处理有信息量的线索，同时抑制不可靠的信号。此外，我们提出了一种双流架构，结合了注意力机制和状态空间模型（SSM），以同时捕捉局部和全局依赖性。在大规模M4-SAR数据集上的广泛实验表明，我们的方法实现了最先进的性能，在具有挑战性的传感条件下显著提高了检测准确性和稳定性。

1. 引言
遥感目标检测在多种军事和民用应用中发挥着关键作用。尽管合成孔径雷达（SAR）具备全天候的成像能力，但其可解释性常常因固有的斑点噪声而降低；相反，光学图像提供了丰富的光谱和纹理信息，但对恶劣天气和光照变化非常敏感。鉴于这些互补特性，SAR和光学数据的协同融合成为了一个有前景的研究方向，旨在利用每种模式的独特优势来提高检测的可靠性。深度学习的进步[1,2,3]显著推动了遥感目标检测的发展。传统的卷积神经网络（CNN）[4,5,6]在捕捉局部特征方面表现出色，但在建模长距离依赖性方面存在固有局限性。为了解决这个问题，引入了具有全局自注意力机制的变换器架构[7,8,9]，在提高上下文理解能力的同时增加了计算复杂性。这一转变导致了混合CNN-变换器模型[10,11,12]的发展，它们结合了局部细节提取与全局关系建模。最近，基于状态空间模型（SSM）[13]的更高效架构也应运而生，例如VMamba [14]。这些架构利用选择性SSM实现了高效的长序列建模，并为处理大规模遥感图像提供了有吸引力的方向[15,16]。尽管取得了这些进步，现有方法在不同地理环境和传感器变化下的泛化能力仍然有限，导致在未见数据上的性能显著下降。为了解决这个问题，传统方法依赖于大量的领域特定数据增强或昂贵的重新训练[17,18]，但这两种方法都存在可扩展性差的问题。这种局限性激发了对基础模型（例如HyperSIGMA [19]、GeoRSCLIP [20]、SkySense++ [21]）的兴趣，这些模型在大型数据集上预训练以获得通用和可转移的表征。然而，将这些强大的基础表征有效整合到多模态检测流程中以增强光学-SAR的协同作用仍然是一个尚未充分探索的挑战。为了解决这个问题，我们提出了一种新的框架，利用基础模型的潜力进行光学-SAR检测。我们的主要贡献概述如下：
- 我们引入了一种基于基础模型的特征注入策略，将可转移的表征无缝嵌入检测网络中，以增强跨不同环境的泛化和适应性。
- 我们设计了一种自适应的双流融合架构，结合了低频和高频Mamba（LHF-Mamba）模块以及门控引导融合机制。这种设计有助于同时建模长距离依赖性，同时动态平衡来自SAR和光学输入的信息，以抑制噪声并突出可靠线索。
- 我们在大规模M4-SAR数据集[22]上进行了广泛的评估。我们的方法实现了最先进的性能，在复杂的传感条件下显著提高了检测的鲁棒性和准确性。

2. 相关工作
2.1. 基础模型的应用
近年来，计算机视觉领域广泛采用了基础模型，利用它们强大的泛化能力和通过大规模预训练获得的可转移知识。尽管这些模型在下游任务中显著提高了性能，但它们直接应用于遥感图像时受到了领域差异的阻碍。这些差异主要源于独特的成像视角、不同的空间尺度、复杂的地理空间特征以及传感器模态的固有多样性。为了解决这些挑战，研究人员积极探索了针对遥感任务调整基础模型的方法，并在多个方向上取得了进展。例如，Li等人[23]提出了一个双时相适配器网络，作为将基础模型应用于变化检测任务的通用框架。虽然他们的工作解决了Bi-TAB模型与现有视觉模型之间的兼容性问题，但尚未探讨遥感基础模型的嵌入问题。进一步推进这一工作的是Ding等人[24]，他们利用预训练的先验嵌入多时相土地覆盖和土地利用表征，尽管计算成本相对较高。类似的，Wang等人[25]开发了一个三级提示编码器，通过跨多个网络层整合提示来提高HyperSIGMA [19]的调优性能，但这种方法可能会导致模型复杂性和计算成本的增加。Wang等人的平行努力还通过特征对齐损失[26]促进了知识转移，专注于表征之间的一致性。总体而言，这些研究表明，利用大规模预训练模型已成为提高遥感泛化能力的一个强大范式。然而，仍然存在关键障碍，特别是在多模态特征的无缝对齐以及多尺度语义信息的整合方面，以保持跨模态一致性。

2.2. 光学和SAR图像融合
在遥感目标检测领域，依赖单一模态往往无法实现对场景的全面感知。光学数据容易受到大气条件的影响，而SAR图像则受到斑点噪声的困扰。为了调和这些模态，传统的融合方法通常采用并行架构来整合来自不同模态或尺度的特征。例如，Cao等人[27]利用通道切换和空间注意力合并不同尺度的光学和SAR特征。Zhang等人[28]采用了每个尺度上简单的全元素求和。然而，这些方法的一个主要缺点是缺乏迭代交互。尽管Liu等人[29]采用了带有Swin-Fusion模块的分层变换器，但他们的架构仍然容易受到SAR噪声传播到光学流中的影响。从信息互补性的角度来看，Mao等人[30]从全焦模型中获得灵感，通过有效结合SAR数据的结构信息来指导光学图像的重建，而Song等人[31]设计了一种跨模态对齐检测器。尽管这些方法具有创新性，但它们忽略了多尺度特征层次结构的协同作用。进一步推进这一领域的是Wei等人[32]和Fang等人[33]，他们明确将特征分解为模态共享和模态特定组件；然而，这些方法仅 superficially 处理了光学和SAR数据之间的本质物理差异，可能损害了空间上下文的完整性。最近，Wang等人引入了E2E-OSDet [22]并在大规模M4-SAR数据集上进行了测试，通过专门的交互模块解决了对齐问题。尽管取得了这些进步，跨模态交互的肤浅性质仍然是一个持续存在的问题。这限制了模型实现语义连贯特征整合的能力，而这正是我们提出的门控引导机制旨在填补的空白。

3. 方法
3.1. 网络结构
由于光学和SAR数据在成像特性上的互补性，它们的融合在遥感目标检测中得到了广泛探索；然而，尽管取得了显著进展，现有方法往往难以有效弥合不同模态之间的语义差距，尤其是在复杂场景和变化的光照条件下。受到最近基础模型强大表示能力的启发，我们引入了一个基于基础模型的双流框架用于跨模态遥感目标检测（图1）。该框架为光学和SAR输入采用不同的分支，然后通过分层下采样逐步编码多尺度表征，整合了多个特征提取和融合模块。通过全面的跨分支交互，提出的方法产生了更加鲁棒和具有辨识度的跨模态特征表示。图1. 所提方法的框架。在特征编码和融合模块中，我们引入了LHF-Mamba模块，以高效编码来自光学和SAR模态的特征。LHF-Mamba采用了双分支设计，其中低频组件由基于Mamba的状态空间模块建模，以捕获全局结构和长距离依赖性，而高频组件通过卷积操作处理，以保留局部纹理和细节。这种频率感知设计有效增强了遥感目标表示的鲁棒性和辨识度。随后，采用模态融合模块（MFM）来促进双模态特征之间的有效交互，确保特征互补性和跨模态的语义对齐。为了进一步利用基础模型的强大表示能力，将来自HyperSIGMA的先验信息整合到所提出的架构中，为跨模态特征学习提供高级语义指导。此外，引入了一个带有遗忘门的自适应先验门控（APG）模块，以适应性地调节HyperSIGMA基础模型的先验信息与主干特征的整合。通过选择性地控制先验特征的贡献，APG模块有效地抑制了无关或噪声信息，从而提高了特征表示的质量和整合效率。最后，精细的双模态特征被输入到YOLO11 [34]的颈部和头部，以实现精确的端到端多模态目标检测。具体来说，给定输入的光学和SAR图像??opt,??sar ∈???×??×3（M4-SAR数据集中的每个SAR图像都存储为三个相同的RGB通道，以保持与标准输入格式的兼容性，尽管它本质上是单极化的），其中H和W分别表示输入图像的高度和宽度，Stem模块首先进行维度调整以生成初始特征图??0opt,??0sar ∈???8×??8×??0。网络包含三个连续阶段，每个阶段都包含一个特征编码和融合模块。这些模块逐步集成和交互双流特征。设????opt和????sar表示第i阶段的输出特征（?? =1, 2, 3）。对于每个?? ≥2的阶段，来自前一个阶段的输入特征（?????1opt和?????1sar）首先被下采样，然后输入到后续的编码和融合模块。在第i阶段，两种模态的特征图的空间分辨率遵循CNN基础架构中使用的标准下采样方案：????opt=??22+??×??22+??×????，????sar=??22+??×??22+??×????，其中????表示第i阶段的特征通道数，???? =26+??。这种通道数和特征图大小的逐步增加遵循CNN基础检测架构中多尺度特征提取的标准设计。在深层阶段增加通道数使网络能够捕获更高层次的语义信息，同时保留足够的容量进行辨识性特征表示。同时，在浅层阶段保持适度的通道宽度，确保保留细粒度细节和空间信息，这对于检测复杂遥感场景中的小对象或微妙对象至关重要。通过结合这种逐步的通道分配、我们的双流设计和HyperSIGMA引导的融合，网络实现了整合局部细节和全局背景的平衡表示，从而提高了不同对象类别的检测性能。由于每个阶段除了输入特征分辨率外都遵循相同的处理流程，因此在没有歧义时省略了阶段索引i。在下文中，??opt和??sar分别用于表示通用阶段内的光学和SAR特征图。

3.2. 低频和高频Mamba模块
在遥感图像分析中，空间信息可以按频率大致分类：高频组件捕获快速的变化，如边缘、纹理和对象边界，而低频组件对应于平滑区域和大尺度结构。传统的CNN以统一的方式处理空间特征，隐含地混合不同频率的成分，没有明确区分。这种不加区分的处理限制了网络分别建模细粒度细节和全局语义结构的能力，这在多模态任务（如SAR-光学融合）中尤为关键。由于成像机制的不同，光学和SAR图像表现出根本不同的空间特征。光学图像强调与对象形状和布局相关的一致低频结构，而SAR图像富含由散射效应、表面粗糙度和斑点引起的高频模式。有效融合这些模态需要一种能够以结构化和适应性方式处理这些互补频率特性的网络架构。为了解决这一挑战，我们提出了LHF-Mamba模块，这是一种频率感知的特征提取模块，它通过两个并行路径分别处理低频和高频组件。如图2所示，给定一个输入特征图?? ∈{??opt,??sar}，这两个并行分支分别被设计用于处理全局结构信息和局部详细模式。图2展示了LHF-Mamba模块的结构。具体来说，为了强调全局语义一致性，抑制高频噪声，并保持光学图像的语义连贯性，上层分支首先对输入特征图应用平均池化操作。这相当于一个显式的低通滤波过程，可以抑制快速的空间变化并突出平滑结构。然后将池化后的特征输入到二维状态空间模型（2D-SSM）中，以捕捉长距离的空间依赖性和全局状态演化，从而实现全局上下文信息的建模。进一步采用层归一化操作来稳定状态动态。最后，对特征进行上采样以恢复原始的空间分辨率。得到的表示形式如下： ??low=Up?(LN?(SSM2?D?(AvgPool?(??))), (3) 其中SSM2?D?(·)表示二维状态空间运算符，Up?( ·)代表双线性上采样。同时，下层高频分支使用多尺度深度卷积来关注局部空间变化。这种设计保留并增强了边缘、散射中心和纹理等细节，这些对于表示SAR数据中的结构信息至关重要。具体来说，首先应用3 ×3深度卷积来捕捉微小尺度变化，接着应用9 ×9深度卷积来结合更广泛的局部上下文。随后的1 ×1卷积执行通道级投影，并采用ReLU激活函数生成非负调制响应。该过程可以表示为： ??high=ReLU?(Conv1×1?(DWConv9×9?(DWConv3×3?(??)))). (4) 为了整合两个分支捕获的互补信息，LHF-Mamba模块采用元素级乘法交互，其中高频响应自适应地调整全局状态表示： ??int=??low⊙??high, (5) 其中⊙表示元素级乘法。这种设计允许选择性增强或抑制全局特征，而不会引入语义干扰。随后，应用1 ×1卷积以促进跨通道交互，并使用残差连接来保持原始信息流。LHF-Mamba模块的最终输出表示为 ??=Conv1×1?(??int)+??. (6) 通过在应用定制运算符之前明确分离和重组低频和高频成分，LHF-Mamba模块提供了一种更加结构化和有效的多模态表示学习方法。这种设计增强了网络整合SAR和光学图像互补信息的能力，从而提高了对象检测任务的鲁棒性和准确性。3.3. 模态融合模块为了有效整合LHF-Mamba模块提取的多尺度频率特征，我们提出了模态融合模块（MFM）。MFM旨在通过顺序的模态内重新加权策略和模态间门控选择来缓解光学和SAR传感器之间的固有领域差距和特征不对齐问题。最初，该模块专注于增强各个模态特征的判别能力。鉴于光学和SAR数据在空间和通道维度上包含不同级别的信息内容，我们实现了自适应重新加权机制。独立的卷积层将输入特征投影到一个潜在表示空间中，其中非线性变换识别出显著区域。然后通过Softmax函数对生成的注意力分数进行归一化，以产生竞争性权重分布图??opt和??sar，反映特征的不同重要性。这个过程放大了重要的结构特征点，同时抑制了特定模态的噪声。重新加权的特征???opt和???sar表示如下： ??opt=Softmax?(Conv1×1?(??opt)), (7) ??sar=Softmax?(Conv1×1?(??sar)), (8) ???opt=??opt·??opt,???sar=??sar·??sar, (9) 其中?? *是每个模态的LHF-Mamba模块的输出，Softmax?( ·)表示确保注意力资源合理分配的归一化函数。随后，将两种模态的加权特征整合起来，实现初步的信息融合?????????? =???opt +???sar。融合特征随后通过特征融合选择模块（FFSM）进行处理，该模块依次应用卷积-ReLU层和卷积-Sigmoid层来学习复杂的融合特征表示，并生成一个值介于0和1之间的动态门控掩码????。这个掩码作为语义过滤器，用于自适应地选择当前模态最有价值的融合信息。整个初始自增强后融合调制的过程有效促进了多模态特征在更具判别性的子空间中的对齐和合成。该过程定义为 ????=???(Conv1×1?(ReLU?(Conv1×1?(??????????)))), (10) ??opt=????⊙??opt, (11) ??sar=????⊙??sar, (12) 其中???( ·)是Sigmoid激活函数。通过顺序的模态内特征增强和模态间融合及门控调制，整个过程有效促进了多模态特征的对齐和互补整合。这种方法不仅保留了每种模态的独特特性，还充分利用了传感器之间的互补信息，为下游任务提供了稳健的多模态表示。3.4. 自适应先验门控模块为了充分利用基础模型的可转移和通用表示来进行有效的多模态数据整合，我们提出了自适应先验门控（APG）模块。APG专门设计用于通过双路径自适应门控交互机制，利用HyperSIGMA的丰富语义先验，促进原始模态特征与高级结构知识的无缝对齐。APG模块的输入包括两个不同部分：（1）从原始数据中提取的模态特征，表示为?? ∈{??opt,??sar}，以及（2）由HyperSIGMA模块生成的结构化先验知识。其中，HyperSIGMA以原始光学图像??opt ∈???×??×3和SAR图像??sar ∈???×??×3作为输入，然后在三个尺度上提取分层多尺度特征表示：??1/8、??1/16和??1/32，上标表示相对于原始输入大小的特征图F的 downsampling 因子（步长）。这些尺度有意与检测骨干的多层特征金字塔（????opt和????sar）对齐，以确保结构兼容性。在某个阶段，我们使用P统一表示HyperSIGMA在此层的输出特征。作为在大型遥感数据集上预训练的基础模型，HyperSIGMA生成捕捉通用语义概念和跨模态关系的结构化先验知识，从而为下游检测任务提供高级指导。这个先验表示P编码了可转移的语义知识，补充了骨干提取的特定模态特征。为了确保尺寸兼容性，APG模块使用卷积层来对齐HyperSIGMA先验特征和MFM模块生成的特定模态特征之间的通道维度。通道对齐后，进行门控调制以自适应调节先验知识对每个尺度的贡献。为了建立统一的特征空间进行交互，首先对两个输入应用非线性投影。然后将投影后的模态特征??′和先验特征??′分解为查询（Q）、键（K）和值（V）向量，以支持跨注意力机制： ????=??′???????,????=??′???????,????=??′???????, (13) ????=??′???????,????=??′???????,????=??′???????, (14) 其中????*,????* ∈???×??是分别用于特定模态和先验特定子空间的可学习参数矩阵。参考Forgetting Transformer [35]，我们的双路径跨注意力机制结合了一个标量遗忘门????来控制信息的保留和衰减。这种自适应门控允许模型根据当前上下文证据动态调节先验知识的影响。该模块通过两个不同分支促进双向交互：第一个分支将先验知识视为查询，过滤与学习到的先验最一致的模式特征；第二个分支利用模式特征作为查询，从先验知识库中执行主动语义检索。在两个分支中，遗忘门机制调节注意力权重，以强调关键的跨模态相关性，同时抑制冗余内容。随后，应用门控注意力权重为每条路径生成增强的输出特征。我们首先为每个时间步t计算一个标量遗忘门????： ????=???(??????????+????)∈(0,1), (15) 其中????和????是可学习参数。为了将遗忘门纳入注意力机制，我们构建了一个衰减矩阵?? ∈???×??，如方程（16）所定义，其中L是平展空间维度后的序列长度。每个条目???????表示从位置j到i的累积信息衰减，计算为路径上遗忘门的和对数和。这确保了从位置i计算到较早位置j的注意力权重时，注意力权重被累积的遗忘门所折扣，模拟了信息在序列中的逐渐衰减。 ???????={∑????=??+1log?????,??≥???∞,??所有实验都在配备了四个NVIDIA RTX 4090 GPU的工作站上进行。所提出的模型使用AdamW优化器进行优化，初始学习率为2 ×10?4，权重衰减为0.01。训练过程持续了250个周期，批量大小为32，所有输入图像都被调整大小到512 ×512，以确保空间的统一性。为了比较，如同在M4-SAR中一样，我们采用了几种代表性的定向对象检测方法作为基准，包括Rotated FCOS、Rotated ATSS、Oriented R-CNN、Oriented RepPoints、RTMDet、PSC和LSKNet。在评估过程中，我们遵循标准的COCO评估协议[38]，并报告了常用的检测指标，包括AP50、AP75和mAP。此外，我们还报告了每个类别的AP50，以便对每个类别的检测性能进行详细分析。对于M4-SAR数据集，六个类别（桥梁、港口、油罐、游乐场、机场、风力涡轮机）的类别识别精度分别表示为BD、HB、OT、PG、AP和WT。

4.3. 性能比较
我们在M4-SAR数据集上评估了所提出方法的性能，并与几种最先进的光学-SAR多模态对象检测方法进行了比较。定量结果总结在表1中。如表所示，我们的方法在关键指标上取得了显著提升，AP50、AP75和mAP分别达到了88.0%、74.9%和65.6%。值得注意的是，所提出的框架在AP75上比最先进的E2E-OSDet [22]高出4.6%，在mAP上高出4.2%。这些显著的提升强调了我们的基础模型引导的特征注入策略和双流融合架构的有效性，它们在复杂环境中协同促进了适应性模态交互和鲁棒的特征对齐。此外，尽管某些特定类别的检测精度有所波动，但我们的方法在港口、游乐场和机场等具有挑战性的类别中表现出色，从而实现了更高的整体精度和跨模态鲁棒性。

表1. M4-SAR数据集的结果。指标#P表示模型的可训练参数数量。每个指标的最佳结果以粗体红色显示。如表1所示，我们的模型包含31.4 M个参数，平均推理时间为每张图像28.4毫秒。虽然集成HyperSIGMA引入了一些计算开销，但优化后的实现确保了高性能融合模型的实际推理速度。这种可接受的权衡使我们能够利用大型预训练模型来增强表示能力和跨模态泛化能力。

为了进一步验证定位效果，图3展示了五种代表性方法与我们提出的方法的可视化结果对比。视觉证据表明，我们的方法在各种环境属性下都能实现最精确的定位。在涉及港口、游乐场和机场的场景中，我们的模型显著减少了漏检情况，这与表1中的定量结果一致。特别是在多云条件下，尽管光学传感器受到云层覆盖的严重影响，我们的方法仍能利用SAR语义线索成功识别目标，如风力涡轮机。对于像油罐这样密集分布的目标，虽然由于严重的空间遮挡会出现少量遗漏，但我们的方法能够一致地识别出现有方法未能检测到的对象，进一步证明了其卓越的区分能力。

图3. M4-SAR上的检测结果可视化。GT表示真实标签，图中的四边形代表检测到的对象位置，其颜色表示识别的类别（深蓝色为桥梁，绿色为港口，红色为油罐，浅蓝色为游乐场，洋红色为机场，黄色为风力涡轮机）。在第一列中，10 M/60 M表示光学图像的分辨率，而VH/VV表示SAR图像的极化。

4.4. 泛化实验
为了评估所提出方法的泛化能力和数据效率，我们在M4-SAR数据集上使用了25%、50%和70%不同的训练比例进行了实验。随后在完整的测试集上评估了性能，结果总结在表2中。观察结果表明，我们的方法在所有训练规模上均获得了最高的AP50和mAP，显示出其优越的适应性和在受限数据条件下的鲁棒性。

表2. 泛化实验的结果。每个指标的最佳结果以粗体红色显示。此外，所有评估方法都显示出训练数据量与检测精度之间的正相关关系。值得注意的是，我们的算法在所有比例下的性能优势保持稳定，与最先进的E2E-OSDet [22]相比，在两个指标上分别保持了1.1%到1.4%的领先优势。这种在不同数据环境下的持续优越性验证了我们的基础模型引导方法有效捕获内在跨模态特征的能力，从而减少了模型对大规模标注数据集的依赖，同时确保了在多样化训练场景中的稳定泛化。

4.5. 消融实验
为了评估每个提出组件的贡献，我们在M4-SAR数据集上进行了一系列消融研究。定量结果总结在表3中，可视化结果显示在图4中。具体来说，我们研究了三个核心模块的影响：基于基础模型的先验提取（HyperSIGMA）、APG模块和MFM。在消融设置中，“w/o APG”表示直接连接先验知识和模态特征，而不进行双路径门控交互，而“w/o MFM”表示没有自适应重置和选择光学与SAR特征之间的机制。

表3. 消融实验的结果。符号 和 × 分别表示在实验设置中包含和不包含该模块。每个指标的最佳结果以粗体红色显示。

图4. 消融实验的检测结果可视化。表中的缩写含义与图3中的相同。如表3所示，集成HyperSIGMA、APG和MFM在所有指标（AP50、AP75和mAP）上都一致提升了模型性能。值得注意的是，即使没有APG交互，仅通过HyperSIGMA提取的先验知识也使mAP在不同配置中分别提高了2.9%和9.5%。这验证了基础模型提供的语义先验能够提供比原始数据更强大的表示能力。如图4的第四和第五列所示，HyperSIGMA显著提高了对油罐和桥梁等具有挑战性目标的召回率，同时也提高了对大型对象（如机场）的定位精度。

在先验提取的基础上，引入用于双向特征调制的APG模块分别额外提高了2.1%和5.9%的mAP。这些结果表明，门控交互机制成功地 bridged 了高级先验和低级感知特征之间的差距。图4中相应列的比较进一步显示，APG模块通过抑制冗余的跨模态噪声有效地减少了漏检和误报。

此外，MFM模块对于跨模态对齐至关重要。无论是否引入先验信息，基于MFM的选择性融合都分别提高了mAP 4.2%和7.0%。图4中的视觉证据证实，MFM提高了具有高类别内变异性的类别（如风力涡轮机和游乐场）的检测率。这些发现共同表明，增强跨模态交互和融合有助于促进更好的信息平衡，显著提升了整体检测的鲁棒性。

5. 讨论
在M4-SAR数据集上的实验结果表明，我们提出的框架取得了最先进的性能，特别是在mAP、AP50和AP75方面取得了显著提升。这些进步主要归功于基础模型引导的特征注入策略和为协同模态交互设计的双流架构。具体来说，集成来自HyperSIGMA的高级语义先验使模型能够在云层遮挡的光学图像或异构SAR分辨率和极化等不利条件下保持强大的识别能力。APG模块通过自适应地结合先验信息与模态特定特征，进一步细化了这种集成，显著减少了漏检，并提高了对港口、游乐场和机场等关键类别的定位精度。此外，MFM模块有助于光学和SAR特征的对齐和选择性融合，确保了检测器的整体鲁棒性。

与现有方法相比，我们的方法不仅提高了全局检测指标，还在包括不同光学分辨率（10 M/60 M）、SAR极化（VH/VV）和不同照明属性（明亮、暗淡和多云）的多样化成像场景中表现出更好的适应性。消融研究证实了HyperSIGMA、APG和MFM的一致性能贡献。值得注意的是，即使在没有复杂门控的情况下，仅包含基础模型先验也带来了显著的改进，强调了外部语义知识在遥感任务中的不可或缺的价值。视觉比较进一步验证了我们的方法在减少遗漏方面的优势，这对于具有高环境变化性的实际应用来说是至关重要的。这些发现表明，基础模型引导和自适应多模态融合的结合代表了推进复杂遥感场景中对象检测的强大方向。

6. 结论
本文提出了一个基于基础模型的光学-SAR融合框架，旨在利用多模态数据的互补优势，解决单一模态方法的固有局限性。为了在具有挑战性的环境中实现强大的检测能力，我们引入了一种基于大规模基础模型的特征注入策略。这种策略显著增强了语义理解和泛化能力，从而在不同数据规模上实现了卓越的检测性能。此外，我们的双流架构结合了LHF-Mamba块和模态融合模块，通过实现深度和频率感知的特征融合，有效弥合了模态间的差距。这一设计超越了传统方法中普遍存在的浅层跨模态交互。广泛的实验表明，我们的方法在复杂场景对象检测方面显著推进了现有技术水平。这项工作突显了将预训练基础模型与自适应融合机制相结合的变革潜力，为未来多模态遥感分析的研究提供了坚实的范式。