关于人类偏好学习在大型语言模型对齐中的应用的研究

《ACM Computing Surveys》：A Survey on Human Preference Learning for Aligning Large Language Models

大语言模型（LLMs）的成功源于人类偏好学习在模型对齐中的关键作用，本文系统梳理了人类偏好反馈的数据源与格式分类、建模与应用技术、评估协议，并探讨了通用性、迁移性和可控性等挑战与未来方向。

　　

摘要

近年来，多功能大型语言模型（LLMs）在各种应用场景中取得了显著的成功。这一成功的关键因素之一是LLMs与人类偏好的对齐，其中人类偏好学习在引导模型能力以满足人类需求方面发挥了决定性作用。在这项调查中，我们在一个统一的框架下回顾了人类偏好学习的进展，旨在全面了解现有的方法论，并探索进一步推进LLMs与人类偏好对齐的途径。具体来说，我们根据数据来源和格式对人类偏好反馈进行了分类，总结了人类偏好建模和使用的各种技术，并概述了当前用于评估LLMs与人类偏好对齐效果的常用协议。最后，我们讨论了现有挑战，并指出了未来研究的可能方向，特别强调了模型的泛化能力、迁移能力和可控性。