基于语义分割掩码的合成实例分割：一种无需实例级标注的高效方法

本文提出了一种创新的合成实例分割方法SISeg，通过利用现有语义分割模型生成的图像掩码，结合位移场检测模块（DFM）和类别无关边界优化模块（CBR），实现了无需实例级标注的高精度实例分割。该方法在PASCAL VOC 2012和ADE20K数据集上达到与全监督方法相媲美的性能，为降低标注成本提供了新思路。

　　

亮点

• •
  我们提出SISeg，这是一种新颖的实例分割方法，配备位移场检测模块和类别边界优化模块，显著缓解了相邻实例间的粘连问题与边界模糊性。
• •
  SISeg可直接部署于现成的语义图像分割模型，无需调整架构、重新训练或使用实例级标注，仅依赖像素级语义标注，实现了标注成本与性能的平衡。
• •
  凭借高效的网络结构，SISeg在PASCAL VOC 2012和ADE20K数据集上实现了与最先进方法（包括全监督实例分割模型）相竞争的精度和实时推理速度。

结论与未来工作

本文提出了一种新颖高效的实例分割方法SISeg，其中位移场检测模块（DFM）和类别边界优化模块（CBR）充当了从语义分割到实例分割的桥梁。通过利用位移场和像素关系，SISeg能够学习丰富的实例感知对象信息和精确的对象边界特征，从而有效支持实例分割任务。因此，SISeg在无需实例级标注的前提下仍具备竞争力，在标注成本与性能间实现了良好权衡。未来工作将探索更复杂的场景适应性及多模态数据融合。