超越重加权：面向多光谱变化检测的紧凑局部交互与差异条件辐射自适应

《Image and Vision Computing》：Beyond reweighting: Compact local interaction and difference-conditioned radiometric adaptation for multispectral change detection

　　

• 紧凑的局部交互机制可实现低秩辐射偏移适应。
• 差值条件化的秩4适应仅训练3092个参数（<1%的模型参数）。
• 在未见的严重伽马条件下，宏平均F1提升0.1176，与全模型调优相当。
• 辐射适应后，干净条件下的宏平均F1仅下降0.0049。
• 局部和门控算子将稠密变化类别F1从0.547提升至0.604-0.608。

引言
遥感变化检测（CD）通过比较同一地理区域在不同时间获取的观测数据来识别有意义的空间变化。实际变化检测系统越来越多地需要紧凑模型，因为内存、计算和更新成本可能限制部署。这带来了两个相关挑战。首先，许多轻量级注意力机制主要通过重新加权通道或空间位置来获得效率，而不是通过显式组合邻近证据，尽管弱光谱-空间线索可能仅通过局部交互才变得具有信息量。其次，在标称条件下表现良好的紧凑模型可能对分布偏移仍然敏感，包括时间获取之间辐射关系的变化。因此，设计问题不仅是在小模型预算下保留有用的交互，还要在获取条件变化时保持或恢复性能。

第一个挑战促成了一个广泛的轻量级特征选择机制族。Squeeze-and-Excitation（SE）执行全局通道再校准[1]；CBAM和BAM添加了空间或联合通道-空间选择[2],[3]；轴向或其他分解注意力机制降低了长程交互的成本[4]。这些方法有效且高效，但其主要操作是强调或抑制现有表示。一种互补操作是局部证据交互：邻近的弱响应可以在更深层次聚合之前进行组合，使相互一致的线索相互增强，而不是被独立加权。

第二个挑战对紧凑模型尤为重要，因为仅凭干净准确率并不能保证在训练分布之外的稳定行为。更广泛地说，压缩神经网络的研究表明，模型缩减可以在保持主要测试准确率的同时改变保留哪些示例或特征，其后果可能在分布偏移下显现[5],[6]。在遥感中，这种关注因获取变异性而被放大：光照、大气、季节状态、校准和传感器响应可以改变一个时间观测的外观，而不产生相应的语义变化。因此，鲁棒性应被视为紧凑变化检测模型的一级属性，而不是仅从标称准确率推断出来。

近期的遥感方法使用更强的结构先验来解决相关的表示问题。频域方法显式分离高频和低频信息，或结合频率和空间表示[7],[8]。MDENet在空间和频率表示之间执行差异推理，针对时间风格变化[9]。在超光谱融合中，HSC-Sampling利用光谱波段之间的结构互补性来补偿缺失信息[10]。这些方法证明了显式结构化的光谱、空间和频率处理的价值。然而，它们并未解决本文所考虑的设计问题：紧凑变化检测器能否在不需要显式频率分解架构的情况下获得有用的局部交互，然后是否能够通过更新极少量参数来适应获取不匹配。

这激发了本文的核心假设：紧凑的局部交互表示不一定需要提供巨大的标称准确率优势才能有用，如果它能在获取偏移下作为廉价适应的有效基础。我们研究了两个轻量级交互算子。MHTM-Local执行残差深度空间混合后跟逐点通道混合。MHTM-Gated保留局部混合，并通过学习投影添加内容依赖的协议调制，而不构建稠密的token-to-token注意力矩阵。这两个算子是即插即用组件，而非完整的变化检测架构。

为了解决获取不匹配，我们进一步引入了门控算子的差值条件化扩展，称为DC-MHTM-Gated。标称Gated模型被冻结，由绝对时间差|X2?X1|导出的描述子控制其输出投影周围的秩4低秩残差。仅更新3092个参数，对应于父模型的大约0.864%。等容量的静态低秩适配器分离了参数高效适应的效果与样本依赖条件化的额外效果，而全模型微调提供了高成本适应的参考。

所得到的实验支持了这一两部分的表述。在标称条件下，一旦控制了参数预算、场景分割、采样和插入位置，紧凑交互算子之间的差异是适度的。相比之下，在排除在适应之外的严重辐射偏移下，未适应的Gated模型获得0.4314宏平均F1，而差值条件化适配器达到0.5490。这大约匹配全模型鲁棒性微调的0.5461，同时更新了不到1%的模型。对应的干净条件得分接近未适应的父模型，0.6819对0.6868。等容量静态适配器表明，低秩适应本身解释了大部分恢复，而无关的高斯噪声压力测试证实，观察到的增益不应被解释为通用退化鲁棒性。

互补实验确定了基础交互机制的范围。合成共位任务仅作为机制诊断使用；SYSU-CD提供了更大的RGB控制；三倍OSCD交叉验证和三个训练种子量化了场景和优化变异性。自然空间评估衡量了对正样本感知采样的敏感性，精确参数匹配的深度可分离控制测试了普通局部/通道混合是否解释了标称行为，相同骨干网络放置实验隔离了插入深度。最后，在稠密多光谱编码器-解码器中，添加Local和Gated交互算子将紧凑基线模型的变化类别F1分别从0.547提升至0.604和0.608。这些实验将标称算子行为与更重要的在获取偏移下高效适应的问题分离开来。

主要贡献总结如下：
• 超越重新加权的紧凑交互。我们提出了两种轻量级局部交互算子用于变化检测。MHTM-Local组合残差空间和通道混合，而MHTM-Gated在不使用稠密token-to-token注意力的情况下添加了内容依赖的协议调制。
• 参数高效的辐射适应。我们引入了DC-MHTM-Gated，一种冻结Gated模型的差值条件化秩4低秩适应。适应仅需3092个可训练参数，约为父模型的0.864%。
• 鲁棒性并保持干净条件性能。在保留的严重辐射偏移上，所提出的适应将宏平均F1从0.4314提升至0.5490，并大约匹配全模型微调的0.5461，同时干净宏平均F1仅变化0.0049。静态适配器、自然空间和拉索噪声控制限定了这一增益的来源和范围。
• 受控的实证表征。参数匹配的卷积控制、三倍OSCD交叉验证、自然流行率评估、相同骨干网络放置分析、RGB评估、合成机制诊断和稠密多光谱实验表明，标称算子差异是适度的且依赖于配置，而局部交互仍然是有效的紧凑适应基础。

章节摘要

获取变化和资源约束下的变化检测
遥感变化检测必须区分有意义场景变化和时间观测之间的干扰变化。基于CNN的孪生和编码器-解码器模型为此问题提供了高效的基础，而transformer和混合系统如ChangeFormer和孪生Swin风格架构增加了特征交互的范围和容量[11],[12],[13]。光谱预训练和遥感基础模型进一步展示了高容量光谱-空间...

方法
该表述有两个关联目标。首先，我们表征可以插入小型变化检测骨干网络而不构建稠密token-to-token注意力的紧凑局部交互算子。其次，我们询问当两个时间获取经历辐射不匹配时，所得到的表示能否被高效适应。第一个目标由MHTM-Local、MHTM-Gated和参数匹配的标称控制来解决；第二个由...来解决

结果与分析
评估围绕本文的主要实证贡献组织：参数高效地从辐射获取不匹配中恢复。我们首先定义共同的实验协议，然后报告鲁棒性结果以及明确的干净条件保持检查。其余实验提供了标称证据和匹配控制，需要以正确解释该结果：合成机制诊断、更大的RGB控制、三倍多光谱...

讨论
实验支持了两个关联贡献。第一个是紧凑局部交互用于变化检测的受控表征。第二个是在时间获取之间的辐射关系变化时适应这种表示的参数高效机制。这两部分是互补的。标称实验建立了紧凑算子在干净条件下的行为以及多少行为可以被更简单的控制解释；...

局限性
主要鲁棒性实验使用仅对第二个时间获取施加的控制伽马变换。伽马校正提供了光度不匹配的重复模型，并允许明确定义适应暴露和保留的严重程度，但它不是遥感获取变异性完整的物理模型。大气效应、季节变化、传感器校准差异、空间变化的光照、配准错误、云...

结论
这项工作始于一个简单的问题：轻量级交互机制对紧凑变化检测器来说，除了重新加权现有特征外还应贡献什么？实验表明，局部空间和通道交互是一个有用的答案，但也表明紧凑算子之间的区别比仅凭标称基准排名所暗示的更为微妙。一旦控制了参数预算、采样、场景组成和插入深度，常规局部混合仍然是一个强有力的...

CRediT作者贡献声明
Swarnava Dey：原创草稿撰写，可视化，验证，软件，方法论，调查，形式分析，概念化。Pallab Dasgupta：审阅与编辑，监督，方法论。Partha P. Chakrabarti：审阅与编辑，监督，项目管理。

伦理批准
本研究使用公开可用的遥感数据集和程序生成的合成数据。不涉及人类参与者、动物或个人身份信息；因此不需要伦理批准。

手稿准备过程中生成式AI和AI辅助技术的声明
在准备本工作期间，作者使用ChatGPT来支持语言编辑、组织和手稿起草。使用该工具后，作者根据需要审阅和编辑了内容，并对文章内容承担全部责任。

资助
本研究未获得公共、商业或非营利部门的任何特定资助机构的专门资助。

利益冲突声明
作者声明他们没有已知的竞争经济利益或个人关系可能影响本文报告的工作。

Swarnava Dey | Pallab Dasgupta | Partha P. Chakrabarti