将图像文本结构和边缘先验信息注入到任何分割方法中，以实现场景文本的分割

《Image and Vision Computing》：Injecting image text structure and edge priors into segment anything for scene text segmentation

场景文本分割中，Segment Anything Model（SAM）虽具有强提示分割和零样本泛化能力，但缺乏针对文本的结构感知和边缘捕捉。本文提出TOE-SAM，通过金字塔混合卷积提取多尺度文本结构，梯度引导自适应滤波增强边缘信息，再经特征对齐融合模块生成文本导向特征，注入SAM编码器以提升细粒度分割效果。实验表明TOE-SAM在TextSeg、Total-Text等数据集上显著优于基线，同时保持SAM的通用分割能力，验证了文本结构感知与边缘增强的有效性。

　　

钱绍|翁丽波|雷彦静|张远明|朱先勋|陈慧|高飞

浙江工业大学，杭州，310014，浙江，中国

摘要

在自然图像中进行高质量的场景文本分割对于图像级别的编辑和理解任务（如文本去除、文档分析和光学字符识别）至关重要，然而当文本和背景具有相似的视觉外观、几何形状或边界模式时，这一任务仍然具有挑战性。尽管“Segment Anything Model”（SAM）在通用图像上提供了强大的提示式分割能力和显著的零样本泛化能力，但其架构和预训练目标并未针对文本进行优化，通常会导致分割掩码不完整、边界泄漏以及对实际图像中多尺度文本布局的敏感度较低。为了解决这一限制，我们提出了TOE-SAM（面向文本的编码器适配器用于SAM），这是一种轻量级且即插即用的编码器适配模块，用于基于图像的场景文本分割，它在保持图像一般分割能力的同时提高了对文本区域的感知能力。TOE-SAM整合了三个互补组件：（1）文本结构感知模块，通过基于金字塔的混合卷积表示捕捉局部笔画细节和全局布局线索；（2）文本边缘感知模块，通过梯度引导的自适应频率过滤和注意力加权融合提取多尺度轮廓信息；（3）文本特征融合模块，对齐并深度整合结构和边缘先验，以生成与SAM风格补丁嵌入兼容的文本引导特征。在多个公共图像基准测试上的广泛实验表明，TOE-SAM一致性地提升了SAM及其几种变体的性能，在TextSeg、Total-Text和ICDAR 2013 FST任务中取得了最先进的成果，同时仅带来了微小的计算和内存开销。这些结果表明，在复杂的实际图像中注入图像级别的文本感知结构和边缘先验是一种有效且高效的方法。

引言

场景文本分割的目标是在自然图像的像素级别将文本区域与背景分离，为后续的视觉理解和编辑任务提供细粒度的掩码[1]。文本在现实世界的图像中无处不在，出现在路标、广告牌、产品包装、票据和数字显示屏上，并传递了对人机交互、辅助导航和智能感知系统至关重要的丰富语义线索[2]。与基于框的文本定位相比，像素级分割保留了结构的完整性和字符级别的形状，这对于文档图像分析、文本去除、光学字符识别（OCR）以及低质量文本图像的超分辨率重建等下游应用特别有益[3]，[4]。因此，开发鲁棒的场景文本分割方法对于推进基于图像的文本理解并提高实际视觉系统的可靠性具有重要意义[4]。

尽管取得了实质性进展，但由于复杂的背景、多样的字体和语言、变化的光照以及不规则的形状（例如弯曲或部分遮挡的文本）[2]，实际场景中的场景文本分割仍然具有挑战性。早期基于阈值化和二值化的方法[5]，[6]，[7]，[8]对噪声和背景纹理敏感，导致在实际场景中的性能下降。最近的深度学习方法通过设计专门的架构来增强表示能力：SMANet[1]在PSPNet[9]上引入了多尺度注意力机制以捕捉多尺度文本特征；TextFormer[10]利用分层Transformer表示进行细粒度文本细节处理；EAFormer[11]通过边缘感知学习加强边界建模。尽管这些方法在基准测试中取得了良好的结果，但它们通常严重依赖大规模的监督训练，并且可能难以泛化到实际场景中未见过的字体、语言和背景风格，从而暴露出有限的鲁棒性和跨域迁移能力。换句话说，领域内的高精度并不一定能够转化为在分布变化下的稳定性能，这仍然是实际应用中的一个关键瓶颈。

这项工作受到最近成功的视觉基础模型的启发，这些模型通过大规模预训练展示了强大的零样本泛化能力，特别是基于SA-1B[12]训练的Segment Anything Model（SAM）。SAM的提示驱动交互机制为分割提供了一个统一的接口，在某些情况下可以减少非目标区域的错误激活。然而，SAM并不是为面向文本的目标设计的：它对多尺度文本布局的敏感度有限，并且在杂乱、模糊、弯曲或遮挡的情况下难以捕捉到字符笔画的清晰、细粒度的轮廓。此外，多项研究表明，直接将SAM应用于场景文本分割仍然具有挑战性，因为存在细笔画、弯曲的文本结构和复杂的遮挡等问题[13]，[14]。为了弥合这一差距，我们提出了一种轻量级且即插即用的编码器适配模块TOE-SAM，专为场景文本分割量身定制，同时保留了SAM的通用分割能力。TOE-SAM遵循一个简单的流程：（i）文本结构感知（TSA）模块提取不同文本尺度和布局的结构先验；（ii）文本边缘感知（TEA）模块捕捉多尺度边界线索以增强轮廓定位；（iii）文本特征融合（TFF）模块对齐并整合结构和边缘先验，生成与SAM风格补丁嵌入兼容的引导特征，这些特征被注入编码器以引导注意力朝向文本主导区域。这种设计是模块化的，可以无缝集成到SAM的变体中，如HQ-SAM[15]和PA-SAM[16]，从而实现场景文本分割的显著改进。

本文的主要贡献总结如下：

• $•$
  我们提出了TOE-SAM，这是一种轻量级的面向文本的编码器适配器，用于SAM，通过注入文本感知先验来改进场景文本分割，同时保持与SAM风格补丁嵌入的兼容性[12]。
• $•$
  我们设计了两个互补的先验提取模块：TSA用于多尺度文本结构建模，TEA用于多尺度文本边缘增强，并进一步引入TFF以有效地对齐和融合结构和边界线索，形成统一的引导表示。
• $•$
  在多个公共基准测试上的广泛实验表明，TOE-SAM一致性地提升了SAM及其几种衍生模型（例如HQ-SAM [15]、PA-SAM [16]）在具有挑战性的场景文本分割数据集（例如TextSeg [17]、Total-Text [2]、ICDAR 2013 FST [4]）上的性能，同时仅带来了微小的计算和内存开销。

本文的其余部分组织如下。第2节回顾了场景文本分割和SAM的相关工作及其代表性后续研究[1]，[10]，[11]，[15]，[16]。第3节介绍了所提出的TOE-SAM框架，并详细介绍了TSA、TEA和TFF模块及其在SAM编码器中的集成[12]。第4节介绍了实验设置、定量比较以及在多个基准测试[2]，[4]，[17]上的消融研究。最后，第5节总结了本文并讨论了潜在的未来发展方向。

章节片段

场景文本分割

场景文本分割是图像理解中的一个核心问题，旨在在像素级别将前景文本区域与复杂背景分离，为后续的视觉理解和编辑任务提供细粒度的掩码[1]。文本在现实世界的图像中无处不在，出现在路标、广告牌、产品包装、票据和数字显示屏上，并传递了对人机交互、辅助导航和智能感知系统至关重要的丰富语义线索[2]。与基于框的文本定位相比，像素级分割保留了结构的完整性和字符级别的形状，这对于文档图像分析、文本去除、光学字符识别（OCR）以及低质量文本图像的超分辨率重建等下游应用特别有益[3]，[4]。因此，开发鲁棒的场景文本分割方法对于推进基于图像的文本理解和提高实际视觉系统的可靠性具有重要意义[4]。

尽管取得了实质性进展，但由于复杂的背景、多样的字体和语言、变化的光照以及不规则的形状（例如弯曲或部分遮挡的文本）[2]，实际场景中的场景文本分割仍然具有挑战性。早期基于阈值化和二值化的方法[5]，[6]，[7]，[8]对噪声和背景纹理敏感，导致在实际场景中的性能下降。最近的深度学习方法通过设计专门的架构来增强表示能力：SMANet[1]在PSPNet[9]上引入了多尺度注意力机制以捕捉多尺度文本特征；TextFormer[10]利用分层Transformer表示进行细粒度文本细节处理；EAFormer[11]通过边缘感知学习加强边界建模。尽管这些方法在基准测试中取得了良好的结果，但它们通常严重依赖大规模的监督训练，并且可能难以泛化到实际场景中未见过的字体、语言和背景风格，从而暴露出有限的鲁棒性和跨域迁移能力。换句话说，领域内的高精度并不一定能够转化为在分布变化下的稳定性能，这仍然是实际应用中的一个关键瓶颈。

这项工作受到最近成功的视觉基础模型的启发，这些模型通过大规模预训练展示了强大的零样本泛化能力，特别是基于SA-1B[12]训练的Segment Anything Model（SAM）。SAM的提示驱动交互机制为分割提供了一个统一的接口，在某些情况下可以减少非目标区域的错误激活。然而，SAM并不是为面向文本的目标设计的：它对多尺度文本布局的敏感度有限，并且在杂乱、模糊、弯曲或遮挡的情况下难以捕捉到字符笔画的清晰、细粒度的轮廓。此外，多项研究表明，由于细笔画、弯曲的文本结构和复杂的遮挡等问题，直接将SAM应用于场景文本分割仍然具有挑战性[13]，[14]。为了弥合这一差距，我们提出了一种轻量级且即插即用的编码器适配模块TOE-SAM，专为场景文本分割量身定制，同时保留了SAM的通用分割能力。TOE-SAM遵循一个简单的流程：（i）文本结构感知（TSA）模块提取不同文本尺度和布局的结构先验；（ii）文本边缘感知（TEA）模块捕捉多尺度边界线索以增强轮廓定位；（iii）文本特征融合（TFF）模块对齐并整合结构和边缘先验，生成与SAM兼容的引导特征，这些特征被注入编码器以引导注意力朝向文本主导区域。这种设计是模块化的，可以无缝集成到SAM的变体中，如HQ-SAM[15]和PA-SAM[16]，从而实现场景文本分割的显著改进。

本文的主要贡献总结如下：

• $•$
  我们提出了TOE-SAM，这是一种轻量级的面向文本的编码器适配器，用于SAM，通过注入文本感知先验来改进场景文本分割，同时保持与SAM风格补丁嵌入的兼容性[12]。
• $•$
  我们设计了两个互补的先验提取模块：TSA用于多尺度文本结构建模，TEA用于多尺度文本边缘增强，并进一步引入TFF以有效地对齐和融合结构和边界线索，形成统一的引导表示。
• $•$
  在公共基准测试上的广泛实验表明，TOE-SAM一致性地提升了SAM及其几种衍生模型（例如HQ-SAM [15]、PA-SAM [16]）在具有挑战性的场景文本分割数据集（例如TextSeg [17]、Total-Text [2]、ICDAR 2013 FST [4]）上的性能，同时仅带来了微小的开销。

本文的其余部分组织如下。第2节回顾了场景文本分割和SAM的相关工作及其代表性后续研究[1]，[10]，[11]，[15]，[16]。第3节介绍了所提出的TOE-SAM框架，并详细介绍了TSA、TEA和TFF模块及其在SAM编码器中的集成[12]。第4节介绍了实验设置、定量比较以及在多个基准测试[2]，[4]，[17]上的消融研究。最后，第5节总结了本文并讨论了潜在的未来发展方向。

章节片段

场景文本分割

场景文本分割是图像理解中的一个核心问题，旨在在像素级别将前景文本区域与复杂背景分离。与基于框的定位相比，像素级的掩码保留了细粒度的字符结构和边界，这对于依赖于准确文本形状的下游任务（例如识别、编辑和恢复）在现实世界的变化情况下至关重要。然而，由于场景文本的固有多样性，

方法

在介绍各个模块之前，我们首先总结了所提出的TOE-SAM框架的总体工作流程。给定一个输入图像，TSA模块提取多尺度的结构表示，捕捉文本布局模式。同时，TEA模块专注于提取与文本笔画相关的高频边界信息的边缘感知特征。这两种类型的特征随后由TFF模块对齐和融合，以生成文本感知

实验设置

实验环境包括Ubuntu 20.04.1 LTS操作系统，以及Python 3.8.20、CUDA 11.8和PyTorch 1.10.0深度学习框架作为开发平台。训练过程使用了四块NVIDIA GeForce RTX A6000 GPU，每块GPU的内存容量为48 GB。使用了SAM的ViT-L的预训练参数，而在训练期间SAM的编码器参数被冻结，仅允许训练SAM解码器和TOE-SAM。

结论

本文研究了通用基础分割模型与自然图像中场景文本分割的高度结构化要求之间的差距[38]，[39]。尽管SAM提供了强大的提示式分割能力和显著的零样本泛化能力，但它们并未针对文本目标进行优化，而文本目标通常由细笔画、高频边界和多尺度布局模式主导[40]。为了解决这些挑战，我们提出了TOE-SAM

CRediT作者贡献声明

钱绍：撰写——原始草稿，概念化。翁丽波：形式分析，数据管理。雷彦静：资源，项目管理。张远明：验证，软件。朱先勋：项目管理，方法论。陈慧：可视化。高飞：撰写——审阅与编辑。

利益冲突声明

作者声明以下可能的财务利益/个人关系：高飞报告称获得了浙江省科技规划重点项目的财务支持。高飞报告称获得了浙江省市场监督管理局的Eagle计划的财务支持。如果还有其他作者，他们声明没有已知的财务利益或个人

致谢

本项工作得到了浙江省科技规划重点项目（项目编号：2026C01026和< -->2026C02A3024）以及杭州市科技规划重点项目（项目编号：2025SZD1A01）的支持。