集体图灵测试：大型语言模型能够生成逼真的多用户对话

《Scientific Reports》：The collective turing test: large language models can generate realistic multi-user discussions

　　

摘要

大型语言模型为模拟在线社区和社交媒体提供了新途径。其应用范围从测试内容推荐算法的设计，到评估内容政策及干预措施的效果。然而，利用大型语言模型来模拟不同用户之间的对话这一方法的有效性至今尚未得到充分验证。我们研究了大型语言模型是否能够真实地模仿社交媒体上的人类群体对话。我们从Reddit上收集了真实的人类对话，然后使用Llama 3 70B和GPT-4o这两款大型语言模型生成了相同主题的人工对话。当将这些对话并列展示给研究参与者时，有39%的参与者误以为它们是人类创作的内容。尤其是在评估Llama 3生成的对话时，只有56%的参与者能正确判断其为人工智能生成，这一比例几乎与随机猜测无异。我们的研究表明，大型语言模型能够生成足够逼真嘅社交媒体对话，足以欺骗阅读者，这既体现了其在社会模拟方面的巨大潜力，也警示人们要注意避免滥用此类技术来制造虚假的社交媒体内容。