在极端标签偏移的现实场景下，用于多任务图像分析的无监督领域自适应方法；及其在CTAO大型望远镜中的应用

《Astronomy and Computing》：Unsupervised domain adaptation for multitask image analysis in realistic context with extreme label shift; Application to the CTAO first large sized telescope

　　摘要：无监督领域自适应是一类广泛使用的方法，它们利用有标签的源领域知识来训练模型，使其在相关的无标签目标领域上表现良好。这类方法通常会引入一个与自适应相关的辅助任务，该任务可以集成到多任务框架中，其目的是将多个单任务模型整合为统一的架构。在本文中，我们提出在极端类别不平衡的现实情境下将领域自适应与多任务平衡相结合。因此，我们提出了一个综合框架来涵盖并验证这些方法，并在切伦科夫望远镜阵列天文台（CTAO）的物理背景下评估其性能。通过对比研究一些相关的自适应技术，我们强调了极端标签偏移的影响，并进一步探讨了通过重要性加权来纠正这一问题。完整的代码和结果已作为开源资源发布在Zenodo上，参见Dell’aiera等人（2024年）的研究。

引言：人工智能在过去的几十年里已在各个领域展现出其有效性，而随着深度学习的出现，其性能更是得到了提升。特别是在计算机视觉领域，卷积神经网络（LeCun和Bengio，1998年）已成为图像分析的强大工具，不过模型的收敛质量取决于训练数据集的可靠性，正如Torralba和Efros（2011年）所讨论的那样。在许多现实世界场景中，尤其是在物理应用中，有标签的数据要么根本无法直接获取，要么很难生成。因此，粒子物理学中传统采用的实用解决方案是在模拟数据上训练模型，因为模拟环境具有可控性且带有标签（Agostinelli等人，2003年；Bernl?hr，2008年）。然而，模拟数据终究只是近似值，因此将由此产生的模型应用于真实世界观测时，其性能往往会下降，正如Jacquemont等人（2021年）在天体物理学应用中所指出的那样。为了解决这个问题，人们开发了一系列领域自适应技术来减轻领域差异（Zhao等人，2020年）。然而，当各个任务的学习速度不同时，将这些技术引入多任务平衡（MTB）就变得更为复杂（Kendall等人，2018年）。手动调整与每个目标相关的权重是一个耗时的过程，而且根据所选的超参数不同，模型可能会收敛到多种不同的解。摆脱这一繁琐工作是一项艰巨的任务，但第一步可以是利用一些关于权重系数预期变化的先验知识，例如逐步在迭代过程中增加领域自适应任务的贡献。

无监督领域自适应（UDA）允许将无标签的真实世界数据（称为目标数据）与有标签的模拟数据（称为源数据）一起纳入训练过程。然而，类别不平衡是许多图像分析任务中常见的现象，在粒子物理学等领域尤为严重，因为研究人员正在寻找稀有事件。在我们的工作中，我们在一个现实中存在的场景下研究UDA，即源数据是平衡的，但目标数据却存在极端的类别不平衡。据我们所知，文献中尚未探讨过这种特定情境。特别是，我们展示了将物理引导的深度学习应用于伽马射线天文学，该领域致力于探测和研究能量最高的电磁辐射形式——极高能伽马射线。具体而言，我们探讨了将其集成到切伦科夫望远镜阵列天文台（CTAO）的首批LST图像分析中，该分析依赖于成像大气切伦科夫技术（IACT），通过观察粒子淋浴机制产生的切伦科夫光来探测伽马射线。由此产生的光子会被望远镜相机光学系统捕获，从而生成40张快照序列。通常，模型输入的是该序列中积分电荷以及信号峰值到达时间的图像。

在本文中，我们用受控且经过降级的模拟数据替代真实数据，以此突出在UDA背景下模拟数据与望远镜观测数据之间两种主要差异的贡献，即标签偏移和协变量偏移。前者指的是两个领域中类别出现比例的变化。后者在天体物理学界通常由夜空背景（NSB）或光污染来表示，其中包含了来自外部和大气因素的影响，如星星或月光。最近的研究表明，NSB是导致领域偏移的主要因素之一（Parsons等人，2022年）。此外，训练用的模拟数据通常都是平衡的，因为粒子分类器在平衡数据集上训练时表现更好。而真实数据中质子的比例通常至少为10^-4，而且这一比例不仅会随天空的观测坐标变化，还会随粒子能量而变化，Abe等人（2023年）对此有详细描述。这种标签比例的差异本质上是UDA的一个限制因素（Liu等人，2021年）。这些对模拟数据的可控降级并非旨在再现望远镜数据中观察到的所有差异，而是提供了一个可重复的框架，用于隔离先前研究中确定的主要不匹配来源，从而在保留真实标签的情况下进行定量评估。

基于Jacquemont等人（2021年）提出的多模态多任务深度学习模型，本文的贡献如下：•我们比较了在UDA背景下，经典数字图像数据集和LST模拟数据集上多任务处理的性能。•我们介绍了条件UDA（CDANN、CDeepJDOT、CDeepCORAL），这是对Lipton等人（2018年）工作的扩展，用于解决伽马射线天文学中固有的极端标签偏移问题。我们的方法改进了UDA任务的训练流程，显著提升了模型在所面临的挑战性环境中的性能。

本文的结构如下：第2节首先介绍UDA和MTB。第3节介绍所提出的方法及条件UDA。第4节首先将我们的方法应用于标准的UDA基准测试。接着，我们利用首批LST的模拟数据，在受控环境中探讨UDA对CTAO图像分析的重要性。第5节总结了所获得的结果。最后，第6节得出结论，并为将此类方法应用于实际伽马射线源观测开辟新的视野。

为了确保我们工作和结果的开放性与可重复性，所有的必要代码和结果均已收集并发布在Dell’aiera等人（2024年）的研究中。

数据集偏移：传统机器学习假设测试数据和训练数据来自同一分布。然而，在实际中，这一理想条件很少能满足，因此会出现偏差。最简单的定义是，当训练数据和测试数据的联合分布分别表示为PS(x,y)和PT(x,y)时，若对于所有(x,y)∈X×Y都有PS(x,y)≠PT(x,y)，则就出现了数据集偏移。在我们的案例中，图像空间是相同的（XS=XT=?d，其中d表示数据的尺寸），标签集合Y也是如此。

动机：接下来，我们提议将我们的方法应用于结合IACT的伽马射线天文学领域。目前，首批LST对伽马射线源的探测工作仍基于传统的机器学习方法，该方法依赖于从积分图像中提取信号特征，这一工作是通过Hillas算法来完成的（Hillas，1985年），而后则使用随机森林来重建产生淋浴的粒子参数（Ohm等人，2009年）。

数字分类的基准测试与验证：在本节中，我们首先在标准的数字领域自适应数据集上验证我们的方法，并比较了与我们模型结合的不同多任务策略。随后，我们展示了在DeepJDOT案例中全局学习器（GL）的重要性。

在CTAO首批LST模拟数据上的应用：在本节中，我们在与伽马射线分析相关的天体物理学问题上对所考虑的UDA方法进行了基准测试。其目标是估算入射伽马粒子的物理参数，即能量、方向以及粒子类型（伽马射线或质子）。尽管淋浴轴重建并非完整事件重建的一部分，但它作为一个辅助任务，有助于限定问题范围并提升模型性能（Jacquemont等人，2021年）。

结论：在本文中，我们结合分析了将UDA集成到MTB中的效果，发现这样做不仅能保持相似甚至更好的性能，还能降低损失权重优化的计算成本。此外，作为领域自适应任务调度器的GL的实现，对于那些输出强烈且相互冲突梯度的方法来说可能很有益处。另外，我们还引入了条件领域自适应，以应对LST带来的严重标签偏移问题。

CRediT作者贡献声明：
Michael Dell’aiera：写作——审阅与编辑，写作——初稿撰写，可视化，验证，软件，方法论，研究，形式分析，概念构建。
Thomas Vuillaume：写作——审阅与编辑，写作——初稿撰写，监督，软件，资源，方法论，资金获取。
Alexandre Benoit：写作——审阅与编辑，写作——初稿撰写，监督，方法论，概念构建。

利益冲突声明：作者声明他们没有已知的、可能影响本文所述工作的财务利益或个人关系。

Michael Dell’aiera|Thomas Vuillaume|Alexandre Benoit