利用低资源数据进行分析性学习研究：从分析到探索

《ACM Computing Surveys》：Analytical Survey of Learning with Low-Resource Data: From Analysis to Investigation

低资源数据学习中的泛化误差与标签复杂度分析及优化策略研究。摘要采用PAC框架下主动采样理论，探讨模型无关监督与无监督学习场景中的误差与标注需求，提出梯度引导优化、元迭代优化、几何感知优化和LLM赋能优化等策略，并总结迁移学习、强化反馈和层级建模等有效范式。

　　

摘要

利用高资源数据进行学习在人工智能（AI）领域取得了显著成果；然而，数据标注和模型训练的成本仍然很高。AI研究的一个基本目标是能够在资源有限的情况下实现强大的泛化能力。本调查采用了在“可能近似正确”（PAC）框架内的不可知主动采样理论，来分析在模型不可知的监督学习和无监督学习环境中，从低资源数据中学习时所涉及的泛化误差和标签复杂性。基于这一分析，我们研究了一系列针对低资源数据学习的优化策略，包括基于梯度的优化、元迭代优化、几何感知优化以及基于大型语言模型（LLMs）的优化。此外，我们还全面概述了多种可以从低资源数据中受益的学习范式，包括领域迁移、强化反馈和层次结构建模。最后，我们总结了分析结果，并强调了这些发现对低资源数据学习的重要意义。