编辑推荐:
为解决传统热红外遥感地表温度和发射率(LST & LSE)反演精度受限问题,研究人员开展基于 AutoKeras - 知识蒸馏(AK-KD)策略的大小模型联合优化研究。结果显示该策略显著提升反演精度,为相关研究提供技术支持。
在科技飞速发展的当下,地球系统的复杂性给热红外遥感参数反演带来了巨大挑战。传统的地表温度和发射率反演方法,如单窗、分裂窗和多波段算法,虽然在一定场景下有应用价值,但在特定环境条件下存在局限性。单窗算法依赖地表分类和大气参数的先验知识准确性;分裂窗算法的有效性取决于参数估计的精准度;多波段算法在动态变化的地表环境中需要调整,且受观测角度影响。此外,基于深度学习的方法虽有潜力,但也存在对土地覆盖多样性、季节变化和不同数据集特异性考虑不足的问题,限制了模型的泛化性和应用准确性。
为了攻克这些难题,来自国内的研究人员开展了一项旨在提升热红外遥感参数反演精度的研究。他们将自动化机器学习(AutoML)、大规模模型和知识蒸馏等前沿人工智能技术相结合,提出了 AutoKeras - 知识蒸馏(AK-KD)策略,以实现大小模型的联合优化,进而提高地表温度和发射率的反演精度。该研究成果发表在《Artificial Intelligence in Agriculture》上,为相关领域带来了新的突破和发展方向。
研究人员在此次研究中运用了多种关键技术方法。首先,利用 AutoKeras 这一自动化机器学习工具,通过贝叶斯优化引导神经网络架构搜索(NAS),自动确定适合数据集的最优神经网络架构,有效缩短模型开发周期。其次,借助知识蒸馏技术,构建 “教师 - 学生” 模型框架,让高精度的大模型(教师模型)指导小模型(学生模型)学习,从而提升小模型的性能。在这个过程中,通过理论推导和一系列实验确定了知识蒸馏的关键参数,如最优权重等。同时,研究还结合了物理逻辑推理和广义统计方法,为模型训练提供坚实的理论基础。
研究结果
- 理论准确性分析与验证
- 自动化机器学习网络优化:采用 AutoKeras 在预定义搜索空间进行 30 次迭代搜索,以皮尔逊相关系数(PCC)和平均绝对误差(MAE)为指标评估模型性能。结果表明,在大模型地表温度(LST)反演中,具有特定架构(7 个隐藏层,神经元数量为 32, 32, 720, 32, 32, 752, 32)的神经网络架构表现出更高的准确性,被选定用于后续任务。
- 输入波段选择和验证:通过物理逻辑分析,确定对于 ASTER 数据,至少需要四个热红外波段构建方程组。研究考虑了从单波段到多波段的所有可能组合,用 PCC 和 MAE 评估发现,增加波段组合可提升模型性能,但并非单纯依赖波段数量,多波段信息的互补性至关重要。例如,某些三波段组合的 PCC 甚至超过部分四波段和五波段组合。同时,扩大样本量能进一步提高模型准确性,如将样本数据的地表温度步长从 4 减小到 1,模型的 PCC 提高,MAE 降低。
- 数据集模型训练和分析
- 大模型训练和分析:使用 AutoKeras 确定的神经网络架构训练大模型数据集,构建了 LST 和发射率的独立反演模型。大模型的 LST 反演模型 PCC 为 0.967,MAE 为 0.691 K;发射率模型在不同波段(LSE10 - LSE14)的 PCC 在 0.782 - 0.950 之间,MAE 在 0.001 - 0.007 之间,展现出良好的性能,为后续作为教师模型提供了基础。
- 小模型训练和分析:对两个复杂地形的小模型数据进行训练分析,小模型在关键性能指标 PCC 和 MAE 上与大模型存在差距,尤其在特定波段(如 LSE13 和 LSE14)表现明显,凸显了数据质量和数量对反演精度的影响,也表明知识蒸馏技术提升小模型性能的潜力。
- 大模型对小模型数据分析:大模型虽在全球数据反演中精度较高,但对小模型数据的反演结果显示,其 PCC 低于小模型自身反演结果,MAE 也偏高,说明大模型在处理精度受限的数据时存在不足,因此需要知识蒸馏技术优化小模型。
- 知识蒸馏的应用和分析
- 知识蒸馏权重设计和分析:通过独立样本 t 检验等统计方法,进行 30 组知识蒸馏实验,分析不同权重配置下模型的性能变化。结果确定了最优知识蒸馏权重为 0.3,此权重能平衡大模型指导和小模型自主学习,实现最佳知识蒸馏效果。
- 学生模型优化分析:以 0.3 为蒸馏权重,用大模型指导小模型进行数据集蒸馏,优化后的学生模型在所有反演指标上显著提升。如学生模型 1 的 LST 反演 PCC 从 0.970 提高到 0.984,MAE 从 1.099 K 降至 0.731 K;学生模型 2 也有类似提升。在发射率波段,两个学生模型同样表现出更好的性能,证明了知识蒸馏策略的有效性。
- 交叉验证和地面验证
- 交叉验证:选取 MODIS 地表温度数据集对小模型及其优化后的学生模型进行交叉验证。结果显示,学生模型 1 的 LST 反演 MAE 从 2.416 K 降至 1.730 K,PCC 从 0.832 提高到 0.912;学生模型 2 的 LST 反演 MAE 从 2.345 K 降至 1.666 K,PCC 从 0.777 提高到 0.893。同时,误差分布范围减小,零误差频率增加,优化后的模型与 MODIS 地表温度分布更契合且细节更丰富。
- 地面数据验证:通过严格质量控制,选择代表性质控后的地面测量数据,采用新 3-sigma 准则去除异常值,对小模型和学生模型进行地面验证。结果表明,学生模型 1 的 PCC 从 0.963 提高到 0.986,MAE 从 1.953 K 降至 1.315 K;学生模型 2 的 PCC 从 0.940 提高到 0.970,MAE 从 1.988 K 降至 1.414 K,验证了研究方法的可靠性和实际应用价值。
研究结论与讨论
本研究通过理论分析和大量实验,证实了知识蒸馏在遥感参数反演中的适用性。结合物理和统计方法,深入探究了深度学习在模型训练中的基本原理,利用 AutoKeras 实现了自动化网络架构和超参数配置,为 AK-KD 策略提供了坚实的理论基础,显著提升了遥感反演精度。大模型在模拟数据和实际应用中都表现出较高的地表温度反演性能,通过知识蒸馏优化小模型后,LST 和 LSE 的反演精度进一步提高。交叉验证和地面验证结果也充分证明了研究成果的可靠性。
该研究成果意义重大,为热红外遥感在地表温度和发射率反演领域提供了强大的技术支持,有助于更精准地获取相关数据,为农业气象灾害研究、作物生长监测和产量评估等提供有力的数据保障。在未来研究中,研究人员计划进一步融合高低分辨率数据训练的大小模型架构,结合智能优化和交互式动态融合技术以及时间注意力机制,构建更具适应性的联合优化模型,推动遥感参数反演向智能化和跨场景通用化发展,有望为相关领域带来更多创新和突破。