面向区域特定卫星图像检索的高效掩膜图像嵌入重建方法（FRAME）

《IEEE Access》：Efficient Reconstruction of Masked Image Embeddings for Region-Specific Satellite Image Retrieval

　　

如何高效检索与给定查询图像在局部区域相似的历历史气象卫星图像？随着卫星技术的发展，获取大量高分辨率气象图像已成为可能。为高效检索具有相似天气模式的过往卫星图像，通常使用图像嵌入（image embedding）代替原始图像数据。然而，当相似性需要在图像的特定区域内而非整幅图像上评估时，传统检索方法存在困难。一种典型做法是，对每个查询的每幅候选图像进行掩膜并重新编码，但该方式计算开销极大，难以规模化应用。本文提出FRAME（Focus Region Aware Masking Embedding，焦点区域感知掩膜嵌入），一种掩膜感知的嵌入方法，无需重新编码原始图像即可实现高效的基于区域的相似性搜索。FRAME通过将掩膜的学习投影直接应用于预计算的图像嵌入，解决了掩膜图像嵌入重建（Masked Image Embedding Reconstruction, MIER）问题。在COMS（Communication, Ocean and Meteorological Satellite）卫星图像上的实验结果表明，与基线相比，FRAME将计算时间减少约92%，FLOPs减少超过99%。此外，FRAME保持了较高的检索性能，其输出与真实掩膜嵌入的余弦相似度超过99%，在掩膜图像检索任务中recall@1超过80%。

气象条件对多个行业具有重要影响，卫星与成像技术的进步使获取大量高分辨率气象图像成为可能。COMS（Communication, Ocean and Meteorological Satellite）多波段红外传感器提供了东北亚地区的高分辨率观测图像。面对海量历史图像，逐像素比较不可行，通常利用深度模型提取紧凑的图像嵌入（image embedding）进行相似性检索。然而，现有基于全局嵌入的检索难以支持仅对图中特定子区域（如朝鲜半岛）的相似性查询。最直接的掩膜加重编码方法，在每次查询时都对全部候选图像重新编码，计算与I/O开销过大。为此，研究人员将问题形式化为MIER（Masked Image Embedding Reconstruction，掩膜图像嵌入重建）：仅利用数据库中存储的全局嵌入E_original和查询时的二进制掩膜M，重建掩膜图像本应产生的嵌入E_masked，且不能访问原始图像。MIER的难点在于，全局嵌入的每一维度都纠缠了整幅图像的空间信息，像素空间的掩膜在嵌入空间中呈现高度非线性效应。

研究人员提出FRAME（Focus Region Aware Masking Embedding）。FRAME先离线用预训练编码器f_original计算并存储所有全图的512维嵌入；查询时用轻量掩膜编码器f_mask将二进制掩膜编码为掩膜嵌入E_mask，再将E_original与E_mask逐元素相乘，经两层MLP投影头f_proj得到近似掩膜嵌入E^{^}_masked。训练过程采用冻结的f_masked作为教师，以余弦相似损失进行知识蒸馏。该设计将每个候选图像的操作降为逐元素乘法和两层MLP，无需逐候选图像I/O和重编码。

实验基于COMS气象卫星数据集（2010年6月至2020年3月，25,744幅，172×200，三通道IR1/SWIR/WV），按时间顺序前80%作为训练集、后20%作为测试集，从测试集抽取1,000个查询，检索数据库为训练集。主要结果如下：

端到端效率方面，与基线相比，FRAME将查询时间降低约92%，FLOPs减少超过99%；在20,595幅图像数据库上，查询时间由8.97秒降至0.59秒，约15倍加速；查询时间对掩膜窗口大小不敏感。

近似精度与消融方面，完整ME+PH配置与真实掩膜嵌入的余弦相似度维持在0.99以上，recall@1约为80%；仅使用掩膜嵌入或仅使用投影头均导致性能下降，验证了两个组件缺一不可。

掩膜编码器架构方面，SE-Res（Squeeze-and-Excitation Residual）编码器在近似精度与计算效率之间取得最佳平衡，优于ViT（Vision Transformer）等结构，recall@1达到82.9%。

与改造的已有方法比较方面，在固定60像素中心掩膜、全库25,744幅图像的协议下，FRAME在所有cutoff上召回率最高（recall@1为0.736，tile embeddings为0.708；recall@100为0.487，后者为0.338），且每图仅存储2KB嵌入，比精确重编码的端到端查询时间减少91.5%。全局无掩膜检索更快，但recall@100仅为0.129，说明区域感知是性能提升的关键。

SE-Res模块有效性方面，以LPIPS（Learned Perceptual Image Patch Similarity）和MSE（均方误差）为度量，采用SE-Res块的卷积自编码器（CAE）在原始图像检索和掩膜图像检索中均取得最好或并列最好的召回性能，表明SE-Res块能够有效提升多通道气象图像嵌入质量。

讨论部分指出，recall@k随k增大而下降的原因是：许多历史场景在教师嵌入下的余弦相似度几乎相同，而COMS每三小时采样一次，相邻帧在天气上几乎一致，因此小近似误差会造成近邻互换，但recall@k会达到平台而非趋近于零。FRAME可先作为快速候选生成器，再对短名单进行精确重排。局限性包括：存储patch/token特征的方法支持任意区域粒度，检测式方法提供语义区域，FRAME用存储和查询效率换取了学习得到的区域保真度；其精度受冻结教师f_masked的上界限制；目前仅在COMS单一档案和轴对齐方形掩膜上验证，自由形状或多区域掩膜尚未测试。未来方向包括跨域泛化（如SAR、MRI/CT、文档分析）以及更丰富的区域指定方式（不规则形状、多区域）。

研究结论为：研究人员定义了MIER问题并提出FRAME，直接从存储的全图嵌入生成掩膜感知嵌入。通过轻量掩膜编码器和投影头，FRAME省去了查询时逐候选重编码。在COMS数据集上，查询时间减少约92%，FLOPs减少超过99%，与掩膜图像嵌入的余弦相似度保持在0.99以上，区域感知检索recall@1超过0.80。这些结果表明，从全局嵌入重建掩膜感知嵌入，能够实现既高效又准确的子区域检索。