《Nature Human Behaviour》：Turing-like tests for language and vision demonstrate a narrowing gap between humans and AI
编辑推荐：
随着人工智能（artificial intelligence，AI）日益融入日常生活，确认一个代理是否具有人类身份变得至关重要。研究人员在三个语言任务（图像描述、词语联想和对话）与三个视觉任务（颜色估计、物体检测和注意力预测）中对AI模仿人类的能力进行了系统性
随着人工智能（artificial intelligence，AI）日益融入日常生活，确认一个代理是否具有人类身份变得至关重要。研究人员在三个语言任务（图像描述、词语联想和对话）与三个视觉任务（颜色估计、物体检测和注意力预测）中对AI模仿人类的能力进行了系统性基准测试，收集了来自n = 636名人类和37个AI代理的数据。研究还开展了72,191次图灵式测试，涉及1,916名人类判断者和10个AI判断者。当前AI在语言与视觉两方面均逐渐接近能够令人信服地冒充人类、并欺骗人类判断者的水平。即使是简单的AI判断者，在区分AI响应与人类响应方面也胜过人类。模仿能力与常规AI性能指标之间的相关性极为微弱，表明以人类身份通过检测是一个重要且独立的评估标准。本文引入的大规模图灵式数据集与评估指标，为评估AI的人类相似性提供了宝贵的基准，并凸显了在AI开发中开展严谨、定量模仿测试的重要性。
人工智能（AI）技术已在图像描述、文本生成、物体识别等众多任务上达到或接近人类水平，然而如何评估AI在开放生成式任务中的表现仍是难题。传统指标如BLEU、METEOR等依赖与人类真实标注的比较，但在复杂开放任务中，多个回答可能同样合理，正确性指标不再适用。图灵测试自1950年提出以来虽引发大量哲学争论，却鲜有研究对AI模仿人类的能力进行大规模、定量和系统的评估。与此同时，AI生成内容带来的虚假信息、深度伪造与网络诈骗，使普通人、法律工作者和临床医生都需要判断交互对象的真实身份。传统性能指标与人类相似性之间的脱节，意味着有必要建立独立的“模仿检测”标准。为此，研究人员通过大规模图灵式测试，量化考察当前语言与视觉模型在多大程度上能模仿人类反应。
在这项发表于《Nature Human Behaviour》的研究中，研究人员构建了一个涵盖三个语言任务（图像描述、词语联想和对话）和三个视觉任务（颜色估计、物体检测和注意力预测）的综合性基准数据集，共包含来自636名人类参与者和37个AI模型的36,499个回答。随后，他们开展了72,191次图灵式测试，共有1,916名人类判断者和10个AI判断者参与。结果表明，当前AI在受限条件下已接近通过图灵式测试：人类判断者在语言任务中的整体模仿可检测率为0.53至0.57，视觉任务中也处于类似水平；简单的AI判断者在区分人与AI方面普遍优于人类；模仿能力与传统性能指标几乎不相关。该研究为评估AI的人类相似性提供了大规模基准，强调人机区分是独立于传统基准的评价维度。
在技术方法上，研究人员使用了三种语言任务和三种视觉任务构成的多任务范式。人类数据样本来自Amazon Mechanical Turk（AMT）和Prolific两个线上众包平台以及线下实验室招募，共636名参与者；AI代理涵盖37个模型，包括GPT系列、Blenderbot、Word2Vec以及商业API（如Azure、Google Cloud Vision、Amazon Rekognition）和开源模型（如GIT、OFA、BLIP、ClipCap、Detectron等）。图灵式测试由1,916名人类判断者完成，另设计了10个AI判断者，主要采用支持向量机（SVM）分类器，输入特征来自BERT、GPT系列及Word2Vec的词嵌入，部分任务中结合了ResNet图像特征。对话任务的在线版本通过定制移动应用实现，AI代理采用GPT-3.5-Turbo和关闭安全机制的LLAMA-3-70B-Instruct。数据收集与质量控制均遵循机构伦理审查协议。
在结果部分，研究人员首先报告了“语言任务中人类与AI智能体样本的收集”：分别通过AMT、Prolific和实验室招募参与者，完成图像描述、词语联想和对话任务；图像描述任务中229名参与者对1,000张图片进行描述，并与GIT、OFA、BLIP、ClipCap、Azure五个模型对比；词语联想任务中40名参与者对1,500个提示词进行单词语联想，AI模型包括Word2Vec、GPT2、GPT3系列等；对话任务中190名参与者与人类或多种AI模型完成510段对话，长度多为24轮，构成后续测试的基础。
随后是“图灵式测试的操作性定义”：研究人员将图灵式测试定义为判断者区分答案来源（人或机器）的二选一任务，用混淆矩阵报告p(H|H)与p(M|M)，并将两者均值定义为整体模仿可检测率，其中0.5代表不可区分、1.0代表完全可检测；所有测试均设置质量控制试验（catch trials）以确保判断者认真参与。
“AI模型接近通过三个语言图灵式测试”一节显示，图像描述、词语联想和对话任务中人类判断者的整体可检测率分别为0.57、0.53和0.57，均接近0.5的理论完美模仿水平；模型表现存在差异，BLIP在图像描述中欺骗率最高，GPT3-davinci在词语联想中最难识别，对话任务中Blenderbot在AI-AI对话中被判为人的比例达67%，与人类对话的64%相当；反馈训练提升不显著，对话长度无显著影响。
“AI智能体仍未能通过在线图灵对话任务测试”一节表明，在更贴近图灵原初设想的移动应用实时交互测试中，当AI代理为GPT-3.5-Turbo时，人类判断者能以100%准确率区分人与AI；但当使用禁用安全机制的LLAMA-3-70B-Instruct时，准确率不再完美，且对话轮次越长越容易被识破，说明测试设置对结果有决定性影响。
“简单计算模型可区分人类与AI智能体”一节证明，使用SVM与词嵌入特征构建的AI判断者在图像描述任务中p(H|H)与p(M|M)分别达到0.72和0.83，显著优于人类；词语联想任务中同样大幅超越人类；对话任务中在识别机器答案方面优于人类判断者；跨代理泛化实验中，AI判断者在图像描述和词语联想任务中仍保持优势；ChatGPT零样本判断能力有限，单样本提示下表现优于零样本，但整体仍低于SVM判断者。
“图灵式测试与标准AI模型基准互补”一节指出，图像描述模型的模仿可检测率与BLEU、CIDEr常用指标之间不存在一致的相关关系，例如GIT的CIDEr分数高于BLIP，但BLIP更具人类模仿性；正确描述图像不等于以人类方式描述图像，因此图灵式测试提供了与基准性能互补的评估维度。
“当前算法在视觉任务中也接近通过图灵式测试”一节显示，颜色估计任务中人类判断者正确识别人类与AI的比例分别为55%和61%；物体检测任务中分别为53%和63%，Detectron模型最接近人类，欺骗了52%的判断者；注意力预测任务中识别人类眼动为63%、识别AI生成眼动为50%，IVSN模型最类似人类（57%）；消融实验表明去除自顶向下调制（NoTarget）或使用浅层特征（Layer）会显著降低模型的类人程度。
“统一多模态机器密切模仿人类反应”一节表明，单一统一模型ChatGPT-4o在全部六个任务中的整体可检测率在0.44（物体检测）至0.56（注意力预测）之间，意味着无需任务特定训练即可生成与人类反应几乎无法区分的输出。
在讨论部分，研究人员强调图灵式测试不应被视作智能的度量，而是对AI模仿能力的实用评估；整体可检测率无法区分假阴性（将人类误判为机器）与假阳性（将机器误判为人类）两类错误，因此必须结合混淆矩阵解释；简单AI判断者已在多数任务上超过人类判断者，未来模仿者与检测者之间可能出现持续的“军备竞赛”；人类判断者经反馈训练后提升有限，而ChatGPT等大模型在零样本条件下已具备一定判别力；图灵式测试结果高度依赖任务设置、话题、判断者特征等，在线与离线版本的差异尤其显著。研究结论是：这些工作为将图灵式测试扩展到更多领域铺平了道路，既有助于在需要人机对齐时构建更好的模仿者，也有助于在模仿被视为风险时开发更强的检测器；随着越来越多AI模型能够融入人群、承担起原本属于人类认知独特标尺的任务，我们亟需从心理、伦理和法律层面思考，是否已准备好迎接能够模仿人类的AI技术所带来的迅速变革。
