RECREATE:基于监督对比学习和修复技术的超光谱图像去噪方法
《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:RECREATE: Supervised contrastive learning and inpainting based hyperspectral image denoising
【字体:
大
中
小
】
时间:2026年01月20日
来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.2
编辑推荐:
阿迪亚·迪克西特(Aditya Dixit)| 阿努普·库马尔·古普塔(Anup Kumar Gupta)| 普内特·古普塔(Puneet Gupta)| 安库尔·加格(Ankur Garg)
印度理工学院印多尔分校计算机科学与工程系,印多尔,452020,中央邦,印度
阿迪亚·迪克西特(Aditya Dixit)| 阿努普·库马尔·古普塔(Anup Kumar Gupta)| 普内特·古普塔(Puneet Gupta)| 安库尔·加格(Ankur Garg)
印度理工学院印多尔分校计算机科学与工程系,印多尔,452020,中央邦,印度
**摘要**
高光谱图像(HSI)包含多种光谱信息,使其在环境监测、农业和遥感等实际应用中具有很高的价值。然而,采集过程中常常会引入噪声,因此需要有效的HSI去噪方法来保持其适用性。深度学习(DL)被认为是HSI去噪的首选方法,但它需要大量的训练样本来优化网络参数以获得有效的去噪效果。然而,在HSI领域获取大规模数据集具有挑战性,这导致了认知不确定性,从而降低了去噪性能。本文介绍了一种新颖的监督对比学习(SCL)方法RECREATE,以增强特征学习并减轻HSI去噪中的认知不确定性问题。此外,我们还探索了将图像修复作为辅助任务来提高HSI去噪性能。通过将HSI修复添加到SCL中,我们的方法通过增加训练数据集并促进更好的特征学习来提升HSI去噪效果。在各种HSI数据集上的实验结果验证了RECREATE的有效性,展示了其与现有HSI去噪技术结合使用在质量和数量上提升性能的潜力。这种创新方法有望解决训练数据有限的限制,从而推动该领域向更好的HSI去噪方法发展。
**引言**
高光谱图像(HSI)能够获取多个光谱的数据,因此在遥感(Guerri等人,2024年)、海洋监测(Lee等人,2005年)、农业(Bhadra等人,2024年)和分类(Dou等人,2024年)等不同实际领域得到广泛应用。HSI的特点是一个包含一个光谱维度和两个空间维度的三维数组。然而,由于大气干扰、光线不足和光子效应等原因,HSI在采集过程中经常会出现损坏(Zhang等人,2020年)。这种HSI损坏会不利地影响后续的高级计算机视觉(CV)应用。HSI去噪通过提高HSI质量来解决这一问题。传统的HSI去噪方法(Chen和Qian,2010年;He等人,2015年)使用手工制作的先验来分析空间和光谱相关性。这些方法严重依赖于手工假设,在不同场景下的适应性有限(Li等人,2023b年)。通常,深度学习(DL)比传统的基于特征的方法在HSI去噪方面表现更好(Cao等人,2021年;Wei等人,2020年;Yuan等人,2018年)。卷积神经网络(CNN)因其能够利用光谱和空间相似性而被广泛用于HSI去噪(Yuan等人,2018年)。然而,DL方法需要大量的训练样本来充分学习网络参数并实现最佳去噪效果。现有的广泛使用的数据集,如ICVL(Arad和Ben-Shahar,2016年)、Indian Pines(Landgrebe,2003年)和Pavia(Gamba,2004年),由于获取HSI的难度大于RGB图像,其训练样本数量有限。这种训练数据的短缺导致了认知不确定性(Hüllermeier和Waegeman,2021年;Shukla等人,2023年),可能使DL模型在处理未见数据时可靠性降低或更容易出错。
**对比学习(CL)**
可以使用对比学习(CL)(Stival等人,2025年;Birla等人,2023年)来缓解样本数量有限的问题,其中模型学习区分正样本对和负样本对(Chen等人,2020年;He等人,2020年)。这些样本对是通过不同的增强方式生成的。具体来说,负样本对和正样本对分别来自相同样本的不同增强处理。CL迫使训练模型最小化负样本对之间的相似性,同时最大化正样本对之间的相似性。然而,传统的CL不利用标签信息,限制了其在监督学习中的有效性。为了解决这个问题,监督对比学习(SCL)通过结合类别标签来扩展CL,确保同一类别的样本在特征空间中更接近,而不同类别的样本则被分开,从而增强表示学习(Khosla等人,2020年)。虽然CL和SCL已有效应用于HSI分类(Hou等人,2021年;Xia等人,2023年;Ning等人,2023年;Li等人,2023c年;Lu等人,2022年;Huang等人,2022年),但它们在HSI去噪中的应用尚未得到探索。此外,为HSI分类设计的现有CL和SCL框架不能直接适应HSI去噪任务,因为分类和去噪的输出要求存在根本差异。在HSI分类中,目标是为所有光谱带的每个像素生成一个单一的类别标签。这导致输出尺寸与输入图像的高度和宽度相同,每个像素表示相应输入像素的类别。相比之下,HSI去噪的目标是从噪声图像中重建清晰图像,因此输出需要在光谱深度和空间维度上与原始图像相同。
**图像修复**
除了HSI去噪之外,HSI领域另一个研究问题是HSI修复。图像修复(Bertalmio等人,2000年)利用已知图像数据估计缺失像素值,解决了一个逆问题。与去噪不同,图像修复知道缺失像素值的位置并旨在重建它们。文献中使用的HSI修复方法包括子空间投影(Zhuang和Bioucas-Dias,2018年)、图像先验(Teodoro等人,2020年)和CNN(Wong等人,2020年)。值得注意的是,Zhuang和Bioucas-Dias(2018年)以及Teodoro等人(2020年)的方法将修复视为与去噪并行的辅助任务,旨在利用缺失像素重建来提高整体图像质量。然而,尽管有这些积极的探索,现有文献中还没有将图像修复作为辅助任务来改进HSI去噪的研究。
**本文方法**
在本文中,我们介绍了一种名为RECREATE(基于增强型对比学习和图像修复的高光谱图像去噪)的新HSI去噪方法。它利用SCL和图像修复的能力,通过减轻训练样本有限的问题来提高现有DL方法的有效性。它结合SCL以获得更好的特征表示,并通过图像修复为SCL生成正样本。将图像修复纳入SCL可以确保模型通过保留恢复缺失结构信息所需的关键空间和光谱特征来更好地学习。总结来说,我们的主要贡献包括:
1. 我们引入了RECREATE,该方法利用SCL技术来增强特征学习。通过与现有HSI去噪方法结合,RECREATE可以通过学习噪声HSI数据中的相关特征来有效提高性能。
2. 我们的方法通过结合HSI修复来改进SCL。据我们所知,我们是第一个研究将图像修复作为辅助任务来改进HSI去噪潜力的团队。它利用了图像修复能够增加训练数据集多样性并促进更好特征学习的直觉,从而提高去噪性能。
3. 我们的实验结果表明,我们提出的方法可以与现有HSI去噪方法结合使用,以提高它们的有效性。
**论文结构**
本文的其余部分安排如下:第2节回顾了HSI去噪、SCL和图像修复的相关工作,概述了激发我们方法的局限性。第3节详细介绍了提出的RECREATE方法,包括SCL的构建以及将图像修复作为辅助任务来减轻认知不确定性的方法。第4节描述了实验设置,并提供了定性和定量结果,包括消融研究和与最先进方法的比较。最后,第5节总结了本文并讨论了潜在的未来研究方向。
**数据集**
我们使用了ICVL高光谱数据集(Arad和Ben-Shahar,2016年),该数据集包含201张图像,具有31个光谱带和1392 × 1300的空间分辨率。其中20张用于验证,100张用于训练,其余用于测试。在将图像输入模型之前,将它们归一化到0.1范围内。我们采用了Dixit等人(2023年)和Li等人(2023b年)建议的方法,并在HSI去噪中广泛使用。
**消融研究**
我们提出的RECREATE方法使用以下组件生成正样本:翻转、旋转和修复。为了评估每个组件的贡献及其组合效果,我们使用了UNFOLD(Dixit等人,2023年)进行了消融研究,结果总结在表5中。具体来说,第1行表示禁用了所有三种变换的情况。在这种情况下,网络仍在RECREATE框架内进行训练,但禁用了翻转、旋转和修复操作。
**结论**
我们提出了一种新的HSI去噪方法RECREATE,有效解决了基于DL的HSI去噪方法中训练样本有限的限制。为此,它在现有DL方法中整合了SCL技术以增强特征学习。此外,RECREATE还将图像修复与SCL结合使用,以增加训练数据集,从而促进更好的特征学习。我们的实验结果表明,现有基于DL的HSI去噪方法的性能得到了提升。
**作者贡献声明**
阿迪亚·迪克西特(Aditya Dixit):撰写——审阅与编辑、撰写——初稿、可视化、验证、软件、资源、方法论、调查、形式分析、数据管理、概念化。
阿努普·库马尔·古普塔(Anup Kumar Gupta):撰写——审阅与编辑、撰写——初稿、可视化、验证、软件、资源、方法论、调查、形式分析、数据管理、概念化。
普内特·古普塔(Puneet Gupta):撰写——审阅与编辑、撰写——初稿、验证、监督、资源。
**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
**致谢**
本研究由印度空间研究组织(ISRO)资助,项目编号ISRO/RES4/692/21-22。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号