IHEL：基于交互式异构专家学习的多模态遥感图像分类方法

《Information Fusion》：IHEL: Multimodal Remote Sensing Image Classification via Interactive Heterogeneous Expert Learning

　　宋奇雅|金思龙|彭建乐|段仁伟|傅伟|李淑涛•我们提出了IHEL，这是一种全新的动态专家驱动框架，通过“挖掘与解决”机制来解决多模态遥感中的资源不匹配问题。•我们引入了自我监督难度仲裁器，该机制能够通过跨模态歧义主动识别困难样本，从而实现在高容量专家与轻量级专家之间的动态路由。•我们还设计了一种协同进化策略，通过提炼样本难度相对排名来协调专家的专业化分工，确保优化过程的稳定性以及资源分配的效率。

引言准确解读复杂的地表环境需要具备双重感知能力的遥感模型，既要能识别物质特性，又要能掌握空间几何结构[1]。高光谱成像技术虽然能够提供密集且连续的光谱数据，便于对物质进行精细特征分析[2]、[3]，但其固有的局限性在于难以解决光谱歧义问题——即不同土地覆盖类型可能呈现出相似的光谱响应——同时由于其被动感知的特性，也难以获取与高度相关的几何信息[4]、[5]。而激光雷达则能够主动获取三维空间信息，有效弥补了这一缺陷[6]、[7]。因此，将高光谱成像与激光雷达相结合，可以实现光谱特征与空间结构的互补，使得多模态融合技术在城市精细测绘和复杂生态监测中展现出显著优势。

近年来，深度学习技术的进步极大地推动了多模态特征提取与融合技术的发展。徐等人[8]的开创性工作首次证明了双流卷积神经网络在联合分类任务中的有效性。为克服基于CNN的架构存在的局部感受野限制，王等人[9]提出了一种跨融合策略，将多尺度卷积与Transformer结合，从而更精准地提取精细特征。在此基础上，赵等人[10]进一步采用双向交互与多层自适应融合策略，深入挖掘异构数据之间的互补性，显著提升了土地覆盖分类的精度。叶等人[11]则率先提出了一种创新框架，能够有效对齐并提取多模态遥感数据中的共有特征与独特特征，大幅优化了跨模态表示空间。与此同时，冯等人[12]提出了动态尺度分层融合网络，该网络打破了主流模型对单一尺度的依赖，通过多种注意力机制更好地捕捉细微的土地覆盖特征。最近，张等人[13]还将Mamba架构的效率与自注意力机制相结合，有效捕捉了高光谱成像数据与激光雷达数据之间的全局特征及复杂模式关系。其他相关研究也表明，对比学习能够提升CAMFNet中的高光谱成像与激光雷达融合效果[14]，跨模态相关性引导有助于提高光学遥感去云任务中的分层多尺度重建精度[15]，而因果对比建模则可以缓解跨模态高光谱超分辨率任务中的光谱-空间不对齐问题[16]。总体而言，这些研究展现了从传统CNN到现代多模态Transformer、状态空间模型以及对比融合范式的技术发展脉络。然而，无论架构多么复杂，这些方法大多遵循一种与样本特性无关的推理模式。它们使用固定的计算图来处理所有输入像素，假设单一的统一架构能够同时适用于简单均匀的区域和复杂的边界结构。

有人认为，这种被动的处理方式导致了建模行为与样本难度之间存在根本性的不匹配。现实世界的场景中，难度差异极为显著：均匀区域容易提供大量简单样本，而边界、阴影以及混合像素则构成稀缺的困难样本。在高光谱成像与激光雷达的融合应用中，这种难度差异也体现在对跨模态互补性的需求上：在光谱和几何特征都较为一致的区域内，可以使用较为简洁的融合特征进行分类；而对于边界、混合或受阴影影响的区域，则需要更充分地利用光谱特征与高度信息。在统一的训练和推理模式下，来自大量简单区域的梯度可能会主导优化过程，从而导致针对那些罕见但具有关键意义的边界情况的情境感知建模无法得到充分激活。这一现象并非仅存在于理论层面，在实际观测中也有所体现。在对Houston2013数据集进行的初步诊断研究中（见图1），我们使用每类20个标记样本分别训练了局部基准模型和情境基准模型。随后，算法1会对剩余的标记样本进行分类：如果局部基准模型对其分类错误，或者预测置信度低于τs=0.8，那么该样本就会被归入复杂子集；否则则归入简单子集。在完整数据集上，局部基准模型的整体准确率更高，而情境基准模型在处理复杂子集时则表现更好。这一观察结果表明，问题的关键在于缺乏一种能够根据样本难度来协调不同专家角色的主动机制。

为了解决这一不匹配问题，我们受到主动挖掘困难样本的启发，提出了交互式异构专家学习框架IHEL。与被动地用相同路径处理每个样本不同，IHEL框架采用了动态的“挖掘与解决”机制。具体而言，该框架引入了自我监督难度仲裁器作为指导者，它能够根据隐含的特征复杂度以及显式的跨模态歧义来主动识别困难样本。IHEL框架会将样本在局部专家与情境专家之间进行路由——局部专家采用直接的局部卷积路径进行处理，而情境专家则会整合空间、通道以及残差情境信息。在这个动态系统中，一个关键挑战在于如何在没有真实难度标注的情况下定义样本的难度，因为绝对的不确定性会在训练过程中形成非平稳的目标。为了解决这一问题，我们提出了协同进化策略，该策略通过提炼每个小批量中样本难度的相对排名来引导专家的专业化发展，从而促进局部处理与情境处理之间的互补。从信息融合的角度来看，IHEL在表示构建、样本难度估算以及条件专家路由等各个环节都采用了多模态线索，从而使高光谱成像与激光雷达的互补信息能够在感知和决策过程中共同发挥作用。

本文的主要贡献如下：1. 我们提出了IHEL这一注重难度感知的自适应多模态融合框架，用于解决高光谱成像与激光雷达分类过程中的资源不匹配问题。通过引入自我监督难度仲裁器，该框架能够根据隐含的特征复杂度及显式的跨模态不一致性主动识别样本难度，进而让多模态信息引导特征构建以及条件专家路由的选择。2. 我们设计了协同进化策略，用于协调自我监督难度仲裁器与各类异构专家的优化过程。该策略通过结合正向引导与反向教学，解决了循环依赖和梯度主导问题，从而确保专家专业化发展的稳定性。3. 我们在Houston2013、MUUFL和Trento三个数据集上进行了全面实验，实验结果证明，所提出的方法在整体准确率和稳定性方面均取得了持续的提升，其性能优于现有的先进方法。

本文的其余结构如下：第2节回顾相关研究进展；第3节详细介绍所提出的IHEL框架，包括自我监督难度仲裁器、各类异构专家以及协同进化策略；第4节展示在三个基准数据集上的实验结果及分析；第5节对全文进行总结，并探讨未来的研究方向。

视觉骨干网络与多模态融合范式基于融合的建模是多模态分类的核心，因为它直接决定了不同模态如何在表示空间中相互作用并相互补充。从融合粒度来看，现有的多模态分类方法主要聚焦于特征级融合，即通过将不同模态的信息整合到同一个表示结构中，以实现有效的跨模态交互[17]。早期的特征级融合方法大多建立在……的方法之上。

方法论我们提出了交互式异构专家学习框架IHEL，旨在解决多模态遥感分类中存在的固有难度不平衡问题。与那些对所有输入数据都采用统一计算方式的静态模型不同，IHEL框架能够实现基于难度感知的条件化计算。如图2所示，该框架的核心理念与“挖掘与解决”范式相一致：自我监督难度仲裁器首先通过评估样本的相对难度来识别困难样本……

数据描述为了评估所提出方法的性能，我们在三个广泛使用的多光谱成像与激光雷达融合基准数据集上进行了实验，分别是Houston2013、MUUFL和Trento数据集。这些数据集的具体特点如下。

结论在本文中，我们解决了由样本难度差异极大所导致的多模态遥感分类中的资源不匹配问题。我们提出了交互式异构专家学习框架IHEL，该框架将自我监督难度仲裁器与局部专家以及情境专家相结合。通过协同进化策略，该系统能够根据样本难度来调整处理方式，并协调局部处理与情境增强处理之间的关系。

作者贡献声明宋奇雅：撰写——初稿、监督、软件开发、资金获取、数据整理、概念构思。金思龙：验证、方法论、概念构思。彭建乐：撰写——审稿与编辑。段仁伟：监督、软件开发。傅伟：可视化处理、监督。李淑涛：监督、资源协调。

利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。