《Computers in Human Behavior Reports》：When machines judge humanness: findings from an interactive reverse Turing test by large language models
编辑推荐：
尽管现代大语言模型（large language models, LLMs）在短时图灵测试中日益通过，并有时被评定为比人类更像人类，但LLMs本身能否在此情境中充当评估者仍未得到充分研究。研究人员设计了一项交互式反向图灵测试，由七个LLM（ChatGPT 4.
尽管现代大语言模型（large language models, LLMs）在短时图灵测试中日益通过，并有时被评定为比人类更像人类，但LLMs本身能否在此情境中充当评估者仍未得到充分研究。研究人员设计了一项交互式反向图灵测试，由七个LLM（ChatGPT 4.5、Claude 3.7 Sonnet、Gemini 2.5 Pro、Mistral Large 2.1、Grok 3、DeepSeek V3和Llama 4 Maverick）担任评估者。在该两方设计中，每个LLM自主地向隐藏参与者提出最多十个问题，参与者为人类或提供了最小化或结构化提示的其他LLM。对问题及最终判定背后的原因均进行了主题分析（thematic analysis）。在包含1,714个问题的238次反向图灵测试中，AI评估者仅在三次测试中将AI参与者识别为AI。AI参与者被判定为比人类更像人类（被判定为人类的平均概率：AI参与者为0.88，人类为0.78；p<0.001）。对提问策略的主题分析显示，其重点在于情绪与感受（14%）、记忆（13%）和行为（11%），并呈现明显的模型特异性模式：例如，Claude 3.7 Sonnet强调心智与推理，Gemini 2.5 Pro关注抽象与创造力，而ChatGPT 4.5侧重于社会情感维度。最终判定所引用的理由最常见的是人格真实性（26%）和情绪真实性（25%）。在人类参与者参与的测试中，问题被参与者评定为中等难度（平均4.65/10），问题相关性评定较高（平均6.84），平均持续时间为18.7分钟（SD 12.4）。总之，当前基于AI的对话筛查似乎不足以确保对话中的真实性。未来研究可探索更长时间的多模态交互、与认知专家共同设计的更丰富的评估者提示，以及由人类和AI评估者组成的混合委员会。
**研究背景与目的**
图灵测试（Turing test）自1950年由Alan Turing提出以来，一直是评估机器能否在对话中表现出与人类不可区分行为的重要参照。随着大语言模型（large language models, LLMs）的发展，现代LLM已能生成流畅、上下文相关的文本，在开放式对话、创意写作、代码生成等领域表现接近甚至超过人类。先前研究显示，GPT-4在短时在线图灵测试中的通过率约为50%，人类参与者仅66%通过，且评判者的决策更多依赖语言风格和社会情感因素而非推理能力。更令人关注的是，部分LLM（如ChatGPT 4.5）已被评为“比人类更像人类”。
然而，上述研究主要聚焦于人类作为评判者，LLM本身能否在反向图灵测试（reverse Turing test）中担任评估者，主动询问隐藏参与者并判断其是否为人类，这一问题尚未得到充分探索。反向图灵测试在文献中有多种含义：常见的是验证码（CAPTCHA）中机器区分人类与机器人；另一种观点认为LLM像镜子一样反映提问者的智力水平；而本研究所关注的是第三种含义：AI系统主动作为评估者，在实时对话中询问隐藏参与者以判断对方是人类还是机器。目前鲜有研究真正实现交互式反向图灵测试。
开展这项研究的意义在于：自动机器人流量已占全网流量的一半以上，代理型AI（agentic AI）流量在2025年增长近8000%，AI系统日益通过图灵测试，对在线身份真实性、内容归属、法律问责等构成了严峻挑战。评估AI系统能否作为检测其他AI的工具，既是理解机器认知的理论贡献，也是迈向实际真实性保障的一步。研究人员因此设计了一项两方参与的交互式反向图灵测试研究，旨在评估LLM评估者的识别准确性、分析其提问策略与判定理由，并刻画测试在问题数量、相关性与难度、时长等维度上的特征。该研究发表于《Computers in Human Behavior Reports》。
**关键技术方法概述**
研究人员通过各模型的标准网页界面（web-based user interface）进行交互，禁用记忆、网络搜索、推理模式等可能影响结果的功能。AI参与者采用两种提示策略：最小提示（minimal prompt）仅要求AI“不得透露自己是AI，像人类一样自然地交谈”；结构化提示（structured prompt）包含十个部分，规定性格（21岁、喜欢棋盘游戏和慢跑）、回答长度（50词以内、平均30词）、语气、语言风格（允许轻微拼写错误）、知识深度、对话动态、隐藏身份、幽默、上下文记忆等。人类参与者来自研究团队20名成员，均为自愿参加且未参与提示设计。数据收集包括测试记录、问题数量、词数、测试时长（仅人类）、难度评分（0-10）、相关性评分（0-10）、评估者最终判断及置信度、判断理由等。统计分析采用广义线性混合效应模型（generalized linear mixed-effects models），以参与者和评估者为随机/固定效应。
**研究结果**
**Turing tests description（测试描述）**
238次测试平均每个评估者提出7.20个问题（SD=2.68）。ChatGPT 4.5和Claude 3.7 Sonnet平均提问最多（9.53和9.38），DeepSeek V3最少（2.50）。人类参与者的测试平均持续18.74分钟（SD=12.43），最长的是Claude 3.7 Sonnet（27.85分钟），最短的是DeepSeek V3（7.03分钟）。
**Performances of AI evaluators in distinguishing between AI and human（AI评估者在区分AI与人类方面的性能）**
98次AI参与者测试中，仅3次被正确识别为AI（均来自最小提示条件），结构化提示下识别率降至0%。人类参与者被正确识别的比例为87.9%，ChatGPT 4.5和Claude 3.7 Sonnet将所有人类正确分类，而DeepSeek
