《Scientific Reports》：Persona-prompted LLM agents achieve modest but genuine prediction of human social media reactions
编辑推荐：
社交媒体平台调节着数十亿人形成观点和参与公共话语的方式。随着自主AI智能体日益参与这些空间，理解其行为保真度对平台治理和民主韧性变得至关重要。以往研究表明，基于LLM的智能体能够复现总体调查结果，但很少有研究检验智能体能否预测特定个体对特定内容的反应。本研究对
社交媒体平台调节着数十亿人形成观点和参与公共话语的方式。随着自主AI智能体日益参与这些空间，理解其行为保真度对平台治理和民主韧性变得至关重要。以往研究表明，基于LLM的智能体能够复现总体调查结果，但很少有研究检验智能体能否预测特定个体对特定内容的反应。本研究对基于LLM的智能体在预测人类社交媒体反应（点赞、点踩、评论、分享、无反应）方面的准确性进行了基准测试，样本涵盖来自1,511名塞尔维亚参与者与27个大语言模型交叉产生的120,000余种独特智能体-人格组合。在研究1中，智能体总体准确率达到70.7%，其中LLM选择造成13个百分点的性能差异。研究2采用二元强制选择（点赞/点踩）评估，并使用机会校正指标。智能体的马修斯相关系数（MCC）为0.29，表明存在超越随机水平的真实预测信号。然而，使用TF-IDF表示的传统基于文本的有监督分类器优于LLM智能体（MCC=0.36），表明预测信号来源于语义文本内容，而非个体化行为模拟能力。零样本人格提示智能体虽具有真实但适度的预测效度，表明当前准确性虽不足以实现精确个体定向，但其高于随机水平的反应预测能力值得在AI驱动影响和社会模拟方法的讨论中加以关注。零样本智能体的优势在于无需任务特定训练，因而易于在不同情境中大规模部署，包括选举活动和大规模操纵。局限包括仅单一国家抽样。未来研究应探索多语言测试和微调方法。
研究背景：大语言模型（LLM）驱动的智能体已被用于社会模拟，但已有工作主要检验聚合调查分布或生成文本的人类可信度，很少系统检验智能体能否预测特定个体对特定内容的反应。聚合准确率可能掩盖亚组、内容类型或人格配置层面的系统性失败；原始准确率在类别不平衡下也容易产生误导。为此，研究人员开展大规模基准测试，以机会校正指标评估人格提示（persona prompting）智能体的预测效度。该论文发表在《Scientific Reports》。
研究方法：样本队列来自Latenta市场研究机构招募的1,511名塞尔维亚成年人（50.6%女性，18–78岁）。关键方法为：将调查数据转换为三种特异性水平的人格描述（仅人口统计、仅态度、完整），分别与27个大语言模型（LLM）交叉，生成每个参与者81个智能体版本；研究1以汉明准确率（Hamming accuracy）和分层线性混合效应模型评估五类反应预测；研究2采用二元强制选择（点赞/点踩），以马修斯相关系数（MCC）、平衡准确率（balanced accuracy）、少数类提升度（minority-class lift）评估；另将最佳智能体与基于TF-IDF（词频-逆文档频率）的有监督分类器进行留出帖子比较。
研究结果：Study 1：智能体平均汉明准确率为70.70%；不同LLM的准确率从62.9%到76.3%，相差约13.4个百分点；完整人格提示（71.5%）略高于仅态度（71.2%）和仅人口统计（69.6%）；娱乐/生活方式帖子的准确率（约73%）高于新闻/政治帖子（约68.5%）；正性效价帖子（73.1%）高于负性效价帖子（68.5%）；人格-内容匹配未在两类内容中产生一致增益。
Study 2：在二元点赞/点踩任务中，人类69.7%为点赞、30.3%为点踩。智能体MCC为0.29，平衡准确率65.5%，点踩少数类提升度1.54；原始准确率约67%，低于多数类基线69.7%。GPT-5.2与Gemini-2.5-Flash表现最佳；完整人格提示相比仅人口统计增益可忽略；人格-内容匹配显著提升新闻/政治帖子的预测（相关61.9% vs 无关58.7%），对娱乐类影响较小；正性帖子准确率67.9%，负性54.8%，差异13.1个百分点。
The best models：对Gemini-2.5-Flash和GPT-5.2的分析显示，二者均显著高于50%随机基线；更丰富的人格提示未提升二元预测；人格-内容匹配在两个模型中一致带来约3个百分点的提升；娱乐与新闻的领域效应方向不一致；正性效价优势在两个模型中均最强。
Benchmark comparison：最佳有监督模型text_persona_post_tfidf的MCC为0.3601，最佳智能体GPT-5.2的MCC为0.2958；所有LLM智能体均未超过基于文本的有监督分类器，但优于无文本的结构化表格基线。因此H6未获支持。
讨论与结论：讨论指出，MCC=0.29说明智能体捕捉到超越随机的人格-帖子-反应共变，但预测力有限。LLM选择是影响准确率的最大因素；人格信息增益很小，提示当前模型更多依赖人口统计类别和文本语义而非个体化整合。文本分类器优于智能体，表明预测信号来自语义内容而非行为模拟能力。研究人员强调应使用机会校正指标，并注意大规模部署与恶意使用风险。结论：H1获支持，H2混合支持，H3部分支持，H4混合支持，H5强支持，H6未获支持。研究为LLM社会模拟提供了大规模经验基准，表明零样本人格提示智能体目前不足以用于个体级精准预测，但高于随机水平的信号对AI驱动影响与社会模拟方法具有警示意义。局限包括样本仅来自塞尔维亚、刺激为孤立呈现的帖子、未做重复随机运行；未来需多语言、跨平台、行为痕迹数据和微调方法验证。
