《Remote Sensing》:Freq-LoRA: Frequency-Domain Low-Rank Adaptation for Weather-Robust Aircraft Segmentation in EO Remote Sensing
编辑推荐:
恶劣天气对地面光电(EO)飞机监视构成重大挑战。现有参数高效微调(PEFT)方法主要在空间域操作,将天气视为通用域偏移而非频率相关退化。研究人员提出Freq-LoRA,一种频率域PEFT方法,该方法将第二类离散余弦变换(DCT-II)应用于冻结的编码器特征,将
恶劣天气对地面光电(EO)飞机监视构成重大挑战。现有参数高效微调(PEFT)方法主要在空间域操作,将天气视为通用域偏移而非频率相关退化。研究人员提出Freq-LoRA,一种频率域PEFT方法,该方法将第二类离散余弦变换(DCT-II)应用于冻结的编码器特征,将其分解为学习的高斯频率带,并用图像驱动的频谱门(SpectralGate)调制这些频带。SpectralGate包含140个参数,从输入图像的DCT统计量估计频带重要性,在推理时无需外部天气元数据;但训练仍需天气多样数据以学习分解。在包含五种天气条件的Blender模拟飞机数据集上,Freq-LoRA达到了0.904的测试平均交并比(mIoU),95%置信区间(CI)为[0.899, 0.908],使用559K可训练参数。其点估计与天气条件化空间方法特征级线性调制(FiLM;0.906)相差-0.002,尽管推理时无需外部天气元数据。与批量大小匹配的空间LoRA(0.873;95% CI:[0.867, 0.879])相比,Freq-LoRA点估计高0.031。在真实无人机(UAV)图像上的初步评估得到0.421 mIoU(比零样本分割一切模型(SAM)高13%;一个平台),在六种未见图像损坏下的评估显示与天气神谕变体的差异最多0.001 mIoU。
研究背景:光电遥感(EO)系统用于地面飞机监视,但恶劣天气(如雾、夜、云、复合条件)会降低性能。深度学习模型如分割一切模型(SAM)可泛化,但在不良天气下表现下降,全微调成本高。现有参数高效微调(PEFT)方法如