ADI-SAM：用于处理质量下降图像的适配分块模型

《Neurocomputing》：ADI-SAM: Adapting segment anything model for degraded images

　　杨钊|刘兆祥|南一冰|王书华|卢科|连世国中国联通数据科学与人工智能研究院，北京摘要Segment Anything Model（SAM）被视为具有出色零样本泛化能力的里程碑式视觉基础模型，被广泛应用于各种下游任务中。然而，在面对复杂场景时，图像质量下降会严重削弱其性能。为解决这一问题，我们提出了一种一体化模型ADI-SAM，用于适配低质量图像的SAM处理。ADI-SAM在保留预训练SAM的泛化能力的同时，通过针对性优化提升了其在低质量图像上的分割性能。具体而言，我们设计了一种新的多级约束机制，以捕捉不同粒度下低质量图像的有效表征。在特征层面，我们提出了一种特征融合方法，利用高通滤波器和低通滤波器有效整合图像编码器输出的不同层级特征。在语义层面，ADI-SAM通过最小化频域内低质量图像与清晰图像特征之间的分布差异，学习低质量图像中的潜在语义信息。在像素层面，我们设计了一种考虑不确定性的逐像素对比学习机制，以提高低质量图像上的类内关联性和泛化能力。据我们所知，ADI-SAM是首个在统一框架下同时解决SAM在低质量图像上的特征提取、语义区分和掩码生成难题的研究。在多个数据集上的大量实验表明，所提出的ADI-SAM不仅能够实现复杂低质量图像的端到端分割，还展现出优异的性能，在训练过的低质量数据集上达到了88.12%的IoU得分，在未见过的数据集上达到了82.88%，显著优于现有最先进方法。引言图像分割是计算机视觉研究中的一个重要领域，也是自动驾驶[50]、虚拟现实[21]、医学诊断[65]、人机交互[44]等领域的核心技术。作为图像分割领域的又一重大突破，Segment Anything Model（SAM）[26]在经过1100万张包含11亿个掩码的通用图像训练后，展现了出色的性能。通过使用点、边界框和粗略掩码作为提示，SAM能够在各种场景中精准地分割物体、组件和视觉结构，且不会产生歧义。得益于大规模数据的预训练，SAM在开放场景的零样本分割方面取得了令人瞩目的成果，堪称优秀的视觉基础模型。尽管SAM在下游任务中表现出较强的泛化能力和对模糊性的处理能力，但多项研究表明，在恶劣环境如恶劣天气[2]、弱光条件[33]，或是图像受到噪声、模糊或压缩等损坏时[9]、[28]，其性能会显著下降。为使SAM能够在保持零样本泛化能力的同时准确分割低质量图像，并降低低质量图像带来的负面影响，人们探索将图像恢复方法与SAM结合作为一种可行的解决方案[62]。图像恢复研究通常侧重于学习潜在分布，以便将低质量图像恢复为清晰图像[32]。但这自然会限制SAM的分割效果，因为图像恢复算法通常是针对特定类型的图像损坏而设计的[22]。虽然近期在集成图像恢复方面的进展使得模型能够学习多种类型的图像损坏表现，但其核心优化目标仍然是提升人类感知的视觉质量。这种以人类视觉为导向的设计方式可能会无意中损害对后续计算机视觉任务至关重要的低级辨别特征的保留[42]。因此，直接在分割前进行图像恢复往往无法为低质量图像带来最佳性能，这就凸显出需要专门设计的方法来应对此类挑战。为填补这一空白，近期的研究探索了两种主要的低质量图像分割方法论：（i）针对特定数据集对基础模型进行微调以实现分割功能；（ii）整合特定任务模块[35]。虽然这些策略避免了基于恢复的流程的局限性，能够直接学习面向分割的低级特征，但它们也存在明显的缺点。首先，直接在特定领域数据上对SAM进行微调可能会损害其零样本泛化能力，而这正是大规模预训练所带来的重要优势。其次，引入特定任务模块不可避免地会导致参数冗余，从而增加计算开销，降低在资源受限环境下的应用可行性。更为关键的是，即便进行了这些调整，SAM的固有架构限制仍使其难以处理低质量图像，主要面临三个方面的挑战：（1）特征提取限制：SAM的图像编码器是在高质量图像上预训练的，对噪声和图像损坏极为敏感[52]。随着图像质量下降，对于精确定位边界至关重要的高频细节会逐渐丢失，从受损的图像表示中恢复这些特征变得极为困难。现有的多尺度特征融合机制未能充分解决深层特征聚合过程中的特征失真问题，尤其是在不同图像的损坏程度不同时。（2）语义区分能力不足：图像损坏会改变像素强度和纹理，导致语义上不同的物体看起来相似，从而增加类内差异。这进一步放大了预训练数据与低质量输入数据之间的领域差异，削弱了模型区分细微差异物体的能力。在不牺牲零样本泛化能力的前提下实现强大的语义区分尤其困难，因为它需要在不过度拟合的情况下适应未曾见过的图像损坏类型。（3）掩码生成瓶颈：传统的基于多层感知器的掩码解码器难以为低质量图像生成准确的掩码，因为这些图像的物体边界不明确，纹理也已受损。在这类区域对像素级不确定性进行建模并非易事，因为它需要捕捉像素之间的复杂依赖关系，并处理低置信度的预测结果，而标准解码器并未为此设计。为应对这些挑战，我们提出了适用于低质量图像的适配型Segment Anything Model（ADI-SAM），这是一种能够处理多种复杂损坏场景的一体化分割框架，如图1所示。具体而言，为克服特征提取限制，我们引入了一种鲁棒特征融合（RFF）方法，该方法将能够捕捉精确边界细节的高频特征与强调语义内容的高频特征相结合。这种融合策略进一步提升了空间敏感性，优化了边界表示。为解决语义区分能力不足的问题，我们提出了一种频率引导的特征一致性（FFC）策略，该策略在频域中对低质量图像和清晰图像的相位成分进行插值和融合，从而最小化语义分布差异，提高跨领域鲁棒性。最后，为解决掩码生成瓶颈，我们设计了一种考虑不确定性的逐像素对比（UPC）学习机制，该机制通过纳入像素级不确定性估计，增强样本间的内在相关性，提高低质量条件下的分割置信度。总之，与那些依赖基于恢复的预处理或直接在特定领域对SAM进行微调的现有工作不同，ADI-SAM引入了一种在特征、语义和像素层面运作的原则性多级约束机制。这种统一的设计使得SAM能够在保持零样本泛化能力的同时，有效应对各种类型的图像损坏。所提出的框架是一体化的，无需预先了解图像损坏类型，也不需要单独的恢复模块，因此为实际应用提供了实用且高效的解决方案。通过这些优化设计，ADI-SAM有效地提升了对低质量图像中空间细节和边界的敏感度，同时保持了大规模预训练所带来的强大泛化能力。我们的主要贡献可总结如下：•为了在掩码解码器中全面捕获边界和语义信息，我们提出了针对清晰图像和低质量图像的RFF方法，该方法利用高通滤波器和低通滤波器，能够优化高频和低频特征表示。•为了在掩码解码器中实现清晰图像和低质量图像的损伤不变特征表示，我们提出了FFC策略，该策略能够在频率和特征层面最小化分布差异。•为了进一步优化模型对低质量图像的像素级表示，我们提出了UPC学习机制，该机制能有效增强分割掩码的类内相关性。•在涵盖多种类型图像损坏的已知和未知低质量数据集上进行的广泛实验和分析一致表明，ADI-SAM的性能优于现有最先进方法，证明了其强大的泛化能力。章节摘录Segment anything model SAM [26]被认为是一种开创性的视觉基础模型，它是通过提示工程和大规模数据集的预训练发展而来的。近年来，SAM在不同的分割任务[53]、图像编辑[63]、3D视觉任务[34]、视频对象跟踪[46]以及其他计算机视觉任务中展现了出色的零样本泛化能力和适应性。值得注意的是，SAM已被应用于多种分割任务场景，包括医学图像分割[37]模型概述我们在图2中简要介绍了ADI-SAM的架构。所提出的ADI-SAM由三个主要部分组成：图像编码器、提示编码器和掩码解码器。图像编码器采用基于视觉变换器（ViT）的结构，提取输入图像的多层特征，为掩码解码器提供嵌入输出。提示编码器则将图像中的输入点、边界框和掩码编码为提示嵌入。掩码解码器则结合图像嵌入和提示嵌入来生成掩码。数据集与评估指标为验证ADI-SAM在低质量图像上的分割性能，我们使用了Robust-Seg [9]数据集进行训练和评估，并遵循RobustSAM的实验设置，以确保公平比较。Robust-Seg数据集的训练集、验证集和测试集由多个现有数据集组成，包括LVIS [15]、ThinObject5k [31]、MSRA10k [10]、NDD20 [51]、STREETS [47]以及FSS-1000 [29]。此外，Robust-Seg数据集还通过模拟图像得到了扩展。讨论与结论本文提出了ADI-SAM，这是一种用于低质量图像分割的全新一体化框架，展现了出色的抗损伤鲁棒性和泛化能力。该模型利用RFF方法从低质量图像中提取并整合高频结构细节与低频语义信息。为应对图像损坏导致的领域偏移，我们采用了FFC策略，使图像对之间的跨领域光谱分布保持一致，同时有策略地保留……CRediT作者贡献声明杨钊：写作——审阅与编辑、写作——初稿撰写、可视化、验证、监督、软件、资源、项目管理、方法论、研究、资金获取、正式分析、数据整理、概念构思。刘兆祥：写作——审阅与编辑、监督、方法论、资金获取、概念构思。南一冰：写作——审阅与编辑、监督、方法论、资金获取。王书华：写作——审阅与编辑、写作——……利益冲突声明作者声明他们没有已知的可能影响本文所述工作的财务利益或个人关系。杨钊目前在中国联通数据科学与人工智能研究院担任算法工程师。他于2024年在中国科学院大学获得博士学位，2019年在中国吉林大学计算机科学技术学院获得学士学位。他的研究兴趣主要包括计算机视觉、深度学习和图像分割。