评估用于评估咨询师反思的语言模型

《ACM Transactions on Computing for Healthcare》：Evaluating Language Models for Assessing Counselor Reflections

本研究评估并比较多种计算模型在评估心理咨询师反思性倾听能力中的应用，包括RoBERTa、Flan等模型，开发心理治疗数据集涵盖三个技能层级，发现微调小型RoBERTa结合PAIR学习目标能有效提供反馈，机器学习可提升动机访谈培训效果。

　　

摘要

反思性倾听是行为健康咨询中的一项基本沟通技巧。它使咨询师能够理解和体谅客户的经历与困扰。掌握并提升反思性倾听技能的培训对于提高咨询效果至关重要。然而，这一技能的培养面临诸多障碍，尤其是需要专业且及时的反馈来帮助咨询师改进。在这项研究中，我们评估并比较了几种计算模型（包括基于Transformer的架构），以评估它们评估咨询师反思性倾听技能的能力。我们探讨了一系列基于神经网络的模型，从紧凑型、专用的RoBERTa模型到先进的大规模语言模型（如Flan、Mistral和GPT-3.5），这些模型可用于对心理治疗过程中的反思行为进行评分。我们使用了一个包含三个基本反思性倾听技能层面的心理治疗数据集。通过对比实验，我们发现经过微调的小型RoBERTa模型（采用自定义学习目标——Prompt-Aware margIn Ranking (PAIR)）能够为咨询师在培训过程中提供有效的反馈。本研究还强调了机器学习在提升动机性访谈（Motivational Interviewing, MI）培训过程中的潜力，为咨询培训提供了可扩展且有效的反馈方式。