通过显著区域引导实现任意尺度航天器图像的超分辨率

《Pattern Recognition》：Towards Arbitrary-Scale Spacecraft Image Super-Resolution via Salient Region-Guidance

本文提出基于显著性区域引导的航天图像任意尺度超分辨率网络SGSASR，通过预训练显著性检测模型识别航天器核心区域，设计自适应加权特征融合机制动态整合核心与背景特征，有效解决传统方法忽略航天图像核心区域与背景差异导致的噪声引入问题，在保持高效计算的同时实现SOTA性能。

　　

杨静凡|高虎|张颖|当德鹏

北京师范大学人工智能学院，中国北京市新街口外大街19号，100875

摘要

航天器图像超分辨率技术旨在将低分辨率的航天器图像提升为高分辨率图像。尽管现有的任意尺度超分辨率方法在处理一般图像时表现良好，但它们往往忽略了航天器核心区域与广阔黑色背景之间的特征差异，从而引入了不必要的噪声。在本文中，我们提出了一种高效的显著性区域引导的航天器图像任意尺度超分辨率网络（SGSASR），该网络利用航天器核心显著性区域的特征来指导潜在调制，实现任意尺度的超分辨率。具体而言，我们设计了一个航天器核心区域识别模块（SCRRB），该模块使用预训练的显著性检测模型来识别航天器图像中的核心显著性区域。此外，我们还提出了一种自适应加权特征融合增强机制（AFFEM），通过动态权重参数选择性地融合航天器核心区域特征与一般图像特征，以增强核心显著性区域的响应。在航天器雷达图像数据集和光学图像数据集上的实验结果表明，所提出的SGSASR优于现有的最先进方法。代码可在以下链接获取：https://github.com/shenduke/SGSASR。

引言

航天器图像是通过雷达或光学技术获得的在轨航天器目标图像。清晰高质量的航天器图像是成功完成许多空间任务（如航天器姿态估计[1]、[2]、航天器控制[3]、[4]以及航天器3D重建[5]、[6]）的基本保障。然而，由于成像距离远、空间光照环境恶劣以及传感器干扰，获取高分辨率（HR）的航天器图像非常困难。

航天器图像超分辨率（SR）的目标是从低分辨率（LR）的航天器图像中恢复高分辨率图像。尽管已经提出了许多航天器图像SR方法[8]、[9]，但这些方法通常只为特定的尺度因子学习上采样函数，并且需要为不同的SR尺度训练不同的模型[10]。当缺乏合适的尺度训练数据或图像的退化尺度不固定时，这些方法的性能并不令人满意。在实际的航空航天应用场景中，由于复杂的空间环境条件，获取真实的航天器HR图像以构建训练数据集也相对困难。此外，同时存储大量具有不同超分辨率尺度的模型会给航天器设备带来巨大的存储和计算压力。

相比之下，任意尺度SR使用单一模型处理任意尺度的LR图像，这更适用于实际的图像SR场景。目前大多数任意尺度SR方法（如LIIF[11]和LTE[12]）基于隐式神经表示（INR），并使用隐式神经函数替代传统图像SR方法中的上采样模块。然而，这些方法针对的是一般图像，并未充分考虑航天器图像的特性。

如图1所示，航天器图像是从外太空环境中获取的，通常带有广阔的黑色背景。现有的任意尺度SR方法对航天器图像中的每个区域一视同仁，忽略了航天器核心区域与背景区域之间的特征差异[13]。因此，这些模型容易陷入局部次优解，甚至会在黑色背景区域引入噪声。这一限制使得现有的任意尺度SR方法难以有效应用于航天器图像SR任务。因此，如何更好地关注恢复航天器核心区域是提高航天器图像SR任务性能的关键。

此外，航天器图像应用场景（如航天器控制和自主导航）需要高实时性能，以确保及时决策和关键操作的可靠执行。

为了解决这些挑战，我们在本文提出了一种高效的显著性区域引导的航天器图像任意尺度超分辨率网络（SGSASR）。具体而言，我们设计了一个基于潜在调制函数（LMF）的任意尺度图像SR框架，该框架生成由航天器核心显著性区域引导的潜在调制，然后解码这些潜在调制以根据需求生成不同尺度的航天器SR图像。此外，我们设计了一个航天器核心区域识别模块（SCRRB），用于识别航天器LR图像中的核心显著性区域，使网络能够专注于恢复该区域。最后，我们提出了一种自适应加权特征融合增强机制（AFFEM），选择性地将航天器核心区域特征与一般图像特征融合，以增强核心显著性区域的响应。

我们的主要贡献总结如下：

•

我们提出了第一种实现航天器图像任意尺度SR的方法，称为SGSASR，它可以通过单一模型对航天器LR图像进行任意尺度的超分辨率处理。

•

我们提出了一个航天器核心区域识别模块（SCRRB），该模块利用显著性检测来识别航天器图像中的核心显著性区域。

•

我们提出了一种自适应加权特征融合增强机制（AFFEM），用于增强特征图中航天器核心显著性区域的响应。

•

广泛的实验表明，我们的SGSASR不仅在实现航天器图像任意尺度SR方面达到了最先进的性能，同时保持了高计算效率，而且与固定尺度SR方法相比也具有竞争力。

本文的结构如下。第2节介绍相关工作。第3节详细描述了我们提出的方法。第4节展示了实验结果和分析。第5节对本文进行了总结。

章节片段

单图像超分辨率

单图像超分辨率（SISR）是一个经典的图像SR任务，近年来提出了许多基于深度学习的SISR方法[14]、[15]。这些方法可以分为两大类：基于CNN的和基于Transformer的。

CNN是最早引入到SISR中的深度学习方法。SRCNN[16]是第一个基于深度学习的SISR方法，它使用CNN表示LR/HR图像之间的端到端映射。Lim等人[17]移除了不必要的模块

整体架构

我们的SGSASR的整体架构如图2所示，可以分为两个主要组成部分：航天器图像特征提取增强模块（SFEEM）作为编码器，以及基于潜在调制的任意尺度超分辨率模块（LMASSRM）作为解码器。

我们首先将航天器LR图像$I_{LR}\in R^{h\times w\times C_{in}}$$F_F\in R^{h\times w\times D_{FE}}$$\begin{array}{c}{F}_{FE}=SFEE\left(I_L\right)\end{array}$$F_{FE}=SFEM\left(I_L\right)$SFEEM(?·?)表示航天器图像特征提取

实验

在本节中，我们首先介绍实验设置，然后与现有方法进行定量和定性比较，最后通过消融研究来验证我们方法的有效性。

结论

本文介绍了一种高效的显著性区域引导的航天器图像任意尺度超分辨率网络SGSASR。通过利用航天器核心显著性区域来指导潜在调制，SGSASR有效提升了SR性能。在SGSASR中，我们设计了一个航天器核心区域识别模块（SCRRB），通过显著性检测来识别航天器图像中的核心显著性区域。此外，我们还提出了一种自适应加权特征融合增强机制（AFFEM），

CRediT作者贡献声明

杨静凡：撰写——原始草案、软件开发、方法论、数据整理、概念化。高虎：撰写——审阅与编辑、形式分析、概念化。张颖：验证、调查、概念化。当德鹏：撰写——审阅与编辑、验证、监督、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作得到了中国国家重点研发计划（项目编号2020YFC1523303）的支持。作者感谢中国空气动力学研究与发展中心的李志辉提供了航天器雷达图像数据集。

杨静凡目前在北京师范大学人工智能学院攻读博士学位，他的研究兴趣包括图像恢复和图像增强。