PsyEval：一个用于心理健康领域的全面大型语言模型评估基准

《npj Mental Health Research》：PsyEval: a comprehensive large language model evaluation benchmark for mental health

　　

摘要

由于心理症状具有微妙、依赖语境且主观的特性，因此在心理健康领域评估大型语言模型面临着独特的挑战。我们推出了PsyEval，这是一个专门为评估大型语言模型在心理健康相关任务中的表现而设计的基准测试，涵盖了知识、诊断和情感支持三个核心维度。PsyEval旨在体现心理健康场景的复杂性，并为评估该敏感领域的模型性能提供结构化的框架。通过PsyEval，我们使用了不同的提示策略对十一种先进的大型语言模型进行了测试，以研究提示方式如何影响它们的响应。测试结果表明，当前这些大型语言模型在心理健康情境下进行准确推理和恰当回应的能力还存在较大差距，同时也为未来模型的改进指明了方向。