FFSNet：一种用于遥感图像分割的基础模型与自监督模型自适应特征融合方法

《Digital Signal Processing》：FFSNet: Adaptive Features Fusion of Foundation Models and Self-Supervised Models for Remote Sensing Image Segmentation

遥感图像分割需应对标注稀缺、领域差异及光谱相似类别的挑战。现有方法存在泛化能力不足或计算成本高的问题。本文提出FFSNet，整合MobileSAM基础模型与DINOv2自监督编码器，通过自适应特征融合模块动态平衡通用视觉先验与领域特有特征，并改进mask解码器实现多类分割。实验表明，FFSNet在LoveDA、ISPRS Potsdam和Vaihingen数据集上mIoU达55.4%，mF1达91.6%，参数量较D2lS减少50%，同时保持高效计算。

　　远程感知图像分割在城市规划、环境监测和灾害评估等领域具有重要意义，但面临诸多挑战。其中，像素级别的标注数据稀缺、领域偏移以及对光谱相似的地表覆盖类别进行分割的难度，都是当前研究中亟需解决的问题。传统的分割方法在应对这些挑战时表现有限，难以实现全面的优化。例如，监督学习方法如UNetFormer虽然在特定数据集上表现良好，但其依赖大量的标注数据，且泛化能力较弱，难以适应不同地理区域的复杂场景。而基于基础模型（如SAM）的零样本分割方法虽然具备较强的泛化能力，但在实际应用中面临较高的推理开销，限制了其在遥感领域的实用性。此外，自监督学习方法如DINO能够捕捉领域特定的特征，但在处理复杂的遥感场景时，缺乏大型基础模型所具备的全局先验知识和泛化能力，导致其分割效果受到一定限制。

为了解决上述问题，本文提出了一种新颖的框架FFSNet，该框架融合了轻量级的MobileSAM编码器和基于DINOv2的自监督编码器，后者在遥感数据上进行了预训练。FFSNet的核心创新在于引入了自适应特征融合模块，通过基于注意力机制的动态加权，实现了通用视觉先验知识与领域特定表示的平衡。同时，对SAM中的掩码解码器进行了改进，使其能够输出包含类别信息的多类别分割结果，从而提升了模型在遥感任务中的表现。

在实验部分，FFSNet在三个基准数据集上进行了验证，包括LoveDA、ISPRS Potsdam和Vaihingen。实验结果表明，FFSNet在LoveDA数据集上取得了55.4%的mIoU，超过了D2lS模型；在ISPRS Potsdam数据集上，其mF1达到了88.3%，优于AerialFormer；在Vaihingen数据集上，mF1为91.6%。此外，FFSNet仅使用了44.7M个参数，相较于D2lS减少了近50%。这些结果不仅验证了FFSNet在遥感图像分割任务中的有效性，也展示了其在计算效率和模型性能之间的良好平衡。

FFSNet的提出为基础模型在遥感领域的应用开辟了新的方向，它通过结合基础模型的泛化能力和自监督学习的领域适应性，提供了一种更高效、更实用的解决方案。该框架在减少计算成本的同时，提升了模型的分割精度，使其更适合大规模的遥感数据处理。此外，FFSNet的结构设计也具有一定的灵活性，能够适应不同类型的遥感数据和应用场景，为后续研究提供了新的思路和方法。

在方法论部分，FFSNet的框架结构主要包括三个主要模块：基础模型编码器、自监督编码器和自适应特征融合模块。基础模型编码器采用了轻量级的MobileSAM，这一选择不仅保留了基础模型的强大表达能力，还显著降低了模型的参数量和计算开销。自监督编码器则基于DINOv2，经过对遥感数据的预训练，能够捕捉到领域特定的语义特征，这些特征在通用视觉模型中往往被忽视。自适应特征融合模块则通过动态加权机制，将基础模型和自监督模型的特征进行有效融合，从而提升了模型在复杂场景下的表现。

在实验设置部分，本文详细描述了使用的数据集、模型实现细节以及评估指标。LoveDA数据集包含了多源遥感图像，具有较高的复杂性和多样性，适合评估模型在跨领域适应方面的性能。ISPRS Potsdam和Vaihingen数据集则分别代表了城市和郊区的遥感图像，能够全面测试模型在不同场景下的分割能力。评估指标包括mIoU和mF1，这些指标能够客观反映模型在不同任务中的表现。此外，本文还详细说明了模型的训练过程和优化策略，以确保实验结果的可重复性和可信度。

FFSNet的研究成果不仅在技术层面具有重要意义，也在实际应用中展现出巨大的潜力。随着遥感技术的发展，遥感图像分割的需求日益增长，尤其是在城市规划、环境监测和灾害评估等领域。FFSNet的提出为这些应用提供了一种更高效、更准确的解决方案，能够有效应对标注数据稀缺、领域偏移以及光谱相似类别分割的难题。此外，FFSNet的轻量化设计使其更适合在资源受限的设备上运行，为大规模遥感数据的处理提供了新的可能性。

在研究贡献和实用优势方面，FFSNet通过融合基础模型和自监督学习的优势，提供了一种新的方法论。该框架不仅提升了模型的分割精度，还显著降低了计算成本，使其在实际应用中更具可行性。此外，FFSNet的结构设计具有一定的灵活性，能够适应不同类型的遥感数据和应用场景，为后续研究提供了新的思路和方法。在实际应用中，FFSNet能够有效支持城市规划、环境监测、农业管理和灾害响应等任务，为相关领域的发展提供了有力的技术支撑。

FFSNet的提出不仅在学术界具有重要意义，也在工业界和应用领域展现出广阔的应用前景。随着遥感数据的不断增长，传统的分割方法在处理大规模数据时面临诸多挑战。FFSNet的轻量化设计和高效融合机制使其能够更好地适应这些挑战，为实际应用提供了更优的解决方案。此外，FFSNet的结构设计也具有一定的可扩展性，能够与其他技术相结合，进一步提升模型的性能和应用范围。

在总结部分，本文回顾了相关工作，详细介绍了FFSNet的框架结构和核心创新点，并通过实验验证了其在遥感图像分割任务中的有效性。研究结果表明，FFSNet在多个数据集上取得了优异的性能，同时显著降低了模型的参数量和计算成本。这些成果不仅为遥感图像分割领域提供了新的方法论，也为实际应用提供了更高效、更准确的解决方案。此外，FFSNet的研究也为后续相关工作提供了重要的参考和启示，推动了基础模型在遥感领域的进一步发展和应用。