《Neurocomputing》：Leveraging multitask learning with partial supervision for super-resolution and semantic understanding tasks in earth observation
编辑推荐：
研究人员研究一种多任务部分监督学习（multi-task partially supervised learning, PMTL）范式，其中每个训练样本被限制为仅具有单任务标注。
研究人员聚焦于低层视觉生成式超分辨率（super-resolution, SR）
研究人员研究一种多任务部分监督学习（multi-task partially supervised learning, PMTL）范式，其中每个训练样本被限制为仅具有单任务标注。
研究人员聚焦于低层视觉生成式超分辨率（super-resolution, SR）任务与判别式语义理解（semantic understanding）任务的联合学习。
所提出的混合架构（hybrid architecture）兼得二者优势：多任务学习（multi-task learning, MTL）的共享表示（shared representation）与超分辨率（SR）面向下游任务的优化。
地球观测（Earth observation）研究并监测地球表面特征与活动。其数据外观因地理差异、捕获传感器与采集高度不同而高度变化，如乡村与城市、航空与卫星平台；尺度变化影响场景细节，而细节对基于语义的应用至关重要。超分辨率（super-resolution, SR）通过上采样恢复高分辨率细节，可缓解该问题，但本质上是病态问题：原理上存在无限多高分辨率图像经不同退化过程产生同一低分辨率输入。类别信息能有效约束超分辨率，允许真实纹理重建并改善照片级真实质量。另一方面，大量遥感图像因缺乏任务特定标注和可能域差距而难以直接使用；不同研究组的独立开发也造成标注和模态杂乱，例如 ISPRS 基准提供甚高分辨率 RGB-IR 和 DSM，含 2
D、3
D 像素级语义标签，VEDAI 和 xView 为边界框标注，AID 用于场景分类，DIOR 主要用于目标检测。多任务学习（multi-task learning, MTL）可从相关任务学习领域特定信息并互相提升，因此将超分辨率与场景理解任务如语义分割或目标检测在单一模型中联合学习，对地球观测应相互有益。然而，多任务学习通常要求每个输入样本具有所有目标任务的标注，成本高昂且对超分辨率不现实，因为语义任务可人工标注，而超分辨率需要特定采集条件和设备。部分监督多任务学习（partial multi-task learning, PMTL）仅要求每个训练样本标注单个任务，可组合不同任务标注的数据集并利用互补信息；但它继承梯度冲突等优化困难，缺乏联合标注妨碍高效联合优化，且已有工作报告任务域分歧时判别式任务增益递减。本文在部分标注数据集下，使用同一网络联合学习超分辨率与语义理解任务，即语义分割或目标检测，用于地球观测。低层视觉生成任务与判别式任务组合在全监督多任务范式中已有研究，但在部分多任务设置中，尤其地球观测数据，仍有限；主要原因是部分标注假设阻碍了现有联合优化策略。研究人员提出重投影损失（re-projection loss）在语义任务标注数据训练时约束超分辨率子网；先研究共享编码主干的常规多任务架构并检查顺序对应架构；再提出混合变体，允许共享特征并使超分辨率适应下游任务。实验在 ISPRS 和专有 Pléiades 数据集上与现有最先进方法比较，结果良好。其意义是混合架构兼得共享表示与面向下游任务的超分辨率优化，并扩展会议版本，引入目标检测及大量实验分析。
关键技术方法：研究人员采用 PMTL 范式，联合超分辨率与语义分割或目标检测。以 RRDBNet 的残差密集块（residual-in-residual dense blocks, RRDB）为共享编码器，语义分割用 HRNet-W18 解码，目标检测用基于 HRNet 的特征金字塔网络（Feature Pyramid Network, FPN）与无锚一阶段 FCOS 头。提出混合架构与重投影损失。样本来自公开 ISPRS 2D 语义标注竞赛数据（Potsdam、Vaihingen）和专有 Pléiades 真实与合成卫星图像；Pléiades 含 230 幅真实图像，合成数据覆盖五个法国城市，训练、验证、测试覆盖多城市。评估采用峰值信噪比（PSNR）、结构相似性指数（SSIM）、学习感知图像块相似度（LPIPS）、平均交并比（mIoU）、平均精度均值（mAP@[.5:.95:.05]）、AP@75 和自然图像质量评估器（NIQE）。
3.1 实验设置：研究人员在 ISPRS 与 Pléiades 两个数据集、三个任务、三个实验场景下评估。ISPRS 中 Potsdam 用于训练超分辨率，Vaihingen 用于语义分割和测试；低分辨率图像由高分辨率图像经隐藏核与未知统计噪声退化模拟，语义掩码按常用做法最近邻下采样。Pléiades 真实图像作为超分辨率目标低分辨率数据，尺度因子为 2，且无高分辨率真值，因此另用模拟 Pléiades 传感器特性的合成数据集训练。结论是该设置可比较 PMTL 下超分辨率与语义理解联合学习。
3.2 超分辨率与语义分割：与顺序变体基线 SS-guided SR 和 SR4IR 比较，混合变体在 SSIM 和 PSNR 上略优，LPIPS 略逊；定性结果纹理更丰富，优于过度平滑或模糊结果；在 Pléiades 上光度一致性更好且 NIQE 更自然。语义分割中两个变体与顺序基线相近，混合在汽车、背景、水和铁路等小目标和不规则类上有增益。研究人员还指出会议版本中混合与 SR4IR 的性能跳跃源于是否预测验证集中不存在的背景类，而非实际存在类质量，且相关检查点为离群点，本版本忽略。结论：与语义分割联合可提升超分辨率质量，语义任务数值受益。
3.3 超分辨率与目标检测：研究人员以 ISPRS 的车类联合学习超分辨率与目标检测。虽然 bicubic 和 SR4IR 在部分超分辨率指标领先，但定性结果极模糊；目标检测只关注图中占小区域的感兴趣目标，对学习更好超分辨率帮助有限。目标检测方面，共享和混合变体在 AP@75 上优于顺序基线，mAP 上共享最高、混合紧随。结论：目标检测对超分辨率增益有限，但超分辨率对检测有数值优势。
3.4 消融研究：
超分辨率损失：通过消融生成对抗网络（Generative Adversarial Network, GAN）损失和重投影损失，发现 GAN 损失不稳定且不利于图像质量，重投影损失可保证超分辨率图像保真并减少失真；去掉 GAN 并加入重投影损失可降低失真。
SR 特征用于语义理解：研究人员将语义子网所接收的超分辨率输入从优化图中分离，使超分辨率梯度和性能在各变体中保持一致，语义任务差异仅来自架构。结果确认顺序变体更常用于下游语义任务，共享变体较差；该优化策略翻转共享与混合顺序，混合变体更优。
混合变体架构设计：研究人员研究共享 RRDB 块数 B 和融合类型。将 B 减半为 11 并后移分支点，增加超分辨率子网容量；在超分辨率与语义分割组合中略改善超分辨率而语义不变，但在超分辨率与目标检测组合中无同样效果。特征拼接略降低两个任务，不如相加融合。结论：混合架构设计中 B=11 对分割场景略有益，相加优于拼接。
讨论与结论：论文总结称，研究人员在地球观测影像的多任务部分监督框架下联合学习超分辨率与语义理解任务，即语义分割或目标检测。该工作基于两个任务高度相关并可相互贡献的假设，并受每个训练样本仅标注一个目标任务的约束。研究人员探索三种变体：传统用于结合生成式与判别式任务的顺序变体、作为常规多任务方法的共享架构、以及旨在继承二者优势的混合架构。与最先进顺序方法相比，实验显示当与语义分割联合学习时，超分辨率质量在定量和视觉上更高；与目标检测结合可能因感兴趣区域有限而无法取得同样好的性能。从语义任务看，语义分割和目标检测均获得数值收益，显示超分辨率在地球观测应用中的优势。翻译结论：本文研究了在地球观测影像的多任务部分监督框架下，联合学习超分辨率与语义理解任务，即语义分割或目标检测。该工作基于众所周知的假设：两个任务高度相关并能够相互贡献，同时受限于每个训练样本仅对目标任务之一进行标注。研究人员探索了三种变体，包括传统用于结合生成式与判别式任务的顺序变体、作为常规多任务方法的共享架构，以及旨在继承二者优势的所提出混合架构。与最先进的顺序方法相比，实验表明，当与语义分割联合学习时，超分辨率质量在定量和视觉上更高；而与目标检测结合时，由于其感兴趣区域有限，可能无法产生同样好的性能。从语义任务角度看，语义分割和目标检测均在数值上受益，显示了超分辨率在地球观测应用中的优势。论文作者为 Hoàng-?n Lê、Minh-Tan Pham、Solange Lemai-Chenevier 和 Daniel Greslou。
