大语言模型能否补充旅游问卷调查：基于提示工程技术的实证评估

《ANNALS OF TOURISM RESEARCH》：Can large language models complement tourism surveys?

　　

问卷调查研究是旅游与酒店研究中的基础方法论途径，支撑理论发展并为行业提供实践指导。然而，当前以参与者为基础的调查方法成本高昂且耗时（Lin, 2025）。回复率下降进一步挑战以参与者为基础的调查方法，因为招募具有人口代表性的样本变得更加困难（Brosnan, Kemperman, & Dolnicar, 2021）。先进的大语言模型（large language models, LLMs）具有改变旅游与酒店研究数据收集格局的潜力（Mikuli?, 2025）。这些模型在大型文本数据集上训练，可能近似某些人类回复模式，为快速且经济高效地支持调查研究提供新机遇。本研究提出如下问题：大语言模型能否补充旅游研究中的参与者基础调查研究？ 现有综述表明，在适当条件下，大语言模型可以替代人类参与者——这种方法被称为“硅样本”“模拟参与者”或“单一参与者”（Ali, 2025; Bail, 2023; Demszky et al., 2023; Jansen et al., 2023; Sarstedt, Adler, Rau, & Schmitt, 2024; Viglia, Adler, Miltgen, & Sarstedt, 2024; Xu et al., 2024）。这些研究概述了使用大语言模型模拟人类数据的潜在益处、缺陷、验证策略、伦理考量和持续挑战。然而，实证验证仍然有限。两项研究采用基于角色的提示（role-based prompting）配合GPT-3和GPT-3.5模拟人口统计亚组，结果不一：一项研究发现与人类回复具有良好一致性（Argyle et al., 2023），而另一项研究报告了回复方差减少、时间不稳定性和高提示敏感性（Bisbee, Clinton, Dorff, Kenkel, & Larson, 2024）。 “提示”（prompt）一词指提供给大语言模型的输入，是模型模拟人类回复表现的关键决定因素（Abdurahman, Salkhordeh Ziabari, Moore, Bartels, & Dehghani, 2025）。不同提示类型指示模型“它是谁”“如何思考”以及“产生何种答案”。例如，当被指示“扮演一名游客”时，其答案可能偏向游客的态度；当提供示例时，它可能模仿所展示的回复风格。提示类型直接塑造模型的推理路径和回复模式，决定模拟回复与人类数据的一致程度（Liu et al., 2023）。除影响回复模式外，提示也是研究人员引导和控制模型行为的最易获取方法。现有研究主要集中于单一提示类型，其他技术仍未被充分探索，且尚无研究系统比较其相对有效性，留下何种策略能更接近人类回复模式的问题悬而未决。 研究人员通过调查大语言模型（即ChatGPT-4o）在何种程度上能通过不同提示工程技术近似人类回复来填补这些空白。研究人员比较四种方法：（1）思维链提示（chain-of-thought prompting）、（2）带人口统计特征的基于角色提示（role-based prompting with demographics）、（3）偏差缓解提示（bias mitigation prompting）和（4）N-shot学习（N-shot learning）。研究方法采用实用主义认识论立场，评估大语言模型在不同提示技术下能在何种程度上近似与调查研究相关的总体回复分布，而非模拟个体认知或经验。这与优先考虑预测准确性和实用效用而非表征现实主义的观点一致（Argyle et al., 2023; Morgan, 2014）。研究人员在多个分布特征（包括均值、方差、偏度和峰度）上评估模型生成回复与人类回复之间的一致性，涵盖理论构念、行为意向和情绪反应的调查测量。通过考察这种一致性的程度，本研究为使用大语言模型近似旅游调查研究中的人类回复提供了关于其潜力和局限性的实证证据。

论文解读

一、研究背景与问题提出

旅游与酒店研究高度依赖以参与者为基础的问卷调查方法来评估感知、行为意向和情绪反应，这种方法支撑理论发展并为行业提供实践指导。然而，传统调查方法面临日益严峻的挑战：成本高昂且耗时，回复率持续下降使得招募具有人口代表性的样本愈发困难。在此背景下，先进的大语言模型（large language models, LLMs）因在大型文本数据集上训练而可能近似某些人类回复模式，为快速且经济高效地支持调查研究提供了新机遇。已有综述提出，在适当条件下大语言模型可以替代人类参与者，即“硅样本”或“模拟参与者”方法。然而，实证验证仍然有限：两项采用基于角色提示配合GPT-3和GPT-3.5模拟人口统计亚组的研究结果不一，一项发现与人类回复具有良好一致性，另一项则报告了回复方差减少、时间不稳定性和高提示敏感性。

提示（prompt）作为提供给大语言模型的输入，是模型模拟人类回复表现的关键决定因素。不同提示类型指示模型“它是谁”“如何思考”以及“产生何种答案”，直接塑造模型的推理路径和回复模式。然而，现有研究主要集中于单一提示类型，其他技术仍未被充分探索，尚无研究系统比较其相对有效性。本研究旨在填补这一空白，通过实证评估ChatGPT-4o在四种不同提示工程技术下近似人类回复的程度，考察均值、方差、偏度和峰度等多个分布特征的一致性，为使用大语言模型补充旅游调查研究提供实证证据。

二、研究设计与方法

本研究采用实用主义认识论立场，评估大语言模型在不同提示技术下近似总体回复分布的程度，而非模拟个体认知或经验。研究情境设定为酒店节能行为干预评估，采用多模态（图像—文本）、多构念（理论构念、行为意向、情绪反应）和多条件调查设计。研究人员使用已有在线调查实验数据集建立人类基线（Greene et al., 2025），原始研究通过Prolific招募845名参与者，每条件约65人。调查遵循扩展预测试协议，包含三个关键维度：理论构念（拟人化、信念与规范）、行为意向和情绪反应（采用PANAS量表）。研究使用ChatGPT-4o的默认参数，采用最小配置方法以确保可复制性。四种提示技术分别为：（1）思维链提示（chain-of-thought prompting），引导模型逐步推理；（2）基于角色提示（role-based prompting with demographics），为每个模拟参与者分配基于人类调查数据的具体人口统计特征；（3）偏差缓解提示（bias mitigation prompting），通过“保持怀疑”“非常怀疑”“极度怀疑”的梯度指令校准模型输出；（4）N-shot学习（N-shot learning），为每种条件提供20个人类示例回复作为上下文输入，但不纳入统计评估。每种条件下生成65个模拟回复，与人类回复进行均值、方差、偏度和峰度等多维度比较。

三、研究结果

研究1：思维链提示。 思维链提示未能实现ChatGPT-4o与人类回复的均值对齐。在理论构念方面，模型在所有三种条件下均产生持续高于人类的分数，中性条件下的偏差最大，拟人化和信念规范各项评分约为人类的3至11倍。在行为意向方面，模型报告的节能意向低于人类约1.5倍。在情绪反应方面，模型一致高估消极和积极情绪，中性条件下情绪归因达到人类的8至15倍。

研究2：基于角色提示。 基于角色提示未能实质性改善与人类回复的均值对齐。理论构念方面，模型评分持续超过人类20至30分，中性条件下产生3至10倍的偏差。行为意向方面，模型得分（47.1至52.1）显著低于人类（68.0至69.2）。情绪反应方面，偏差最大，中性条件下模型对大多数情绪产生超过50的强归因，达到人类水平的8至15倍。

研究3：偏差缓解提示。 偏差缓解提示未能一致地将模型移向人类基准。理论构念方面，拟人化随怀疑水平增加而降低，但信念和规范即使在怀疑提示下仍高于人类基线。行为意向方面，不同怀疑水平产生截然不同的结果，从高估到严重低估。情绪反应方面，怀疑提示反而加剧了消极情绪的高估，中性条件下模型仍产生高于人类的情绪归因。

研究4：N-shot学习。 N-shot学习大幅缩小了与人类基线的差距。理论构念方面，拟人化紧密对齐（如calm条件下alive：23.7 vs. 21.8），信念和规范差异仅几分。行为意向方面，各条件差异不超过2分（如calm条件下turn off：68.6 vs. 67.3）。情绪反应方面，先前研究中的膨胀显著缓和，多数项目差异在2至7分以内。中性条件下，模型在消极情绪上跟踪或低于人类评分。

均值比较。 三项MANOVA显示提示技术在所有条件下均有显著效应。配对比较表明，思维链和基于角色提示与人类数据一致性有限；偏差缓解提示结果不一致；N-shot学习在calm和excited条件下大多数测量与人类无显著差异（消极情绪除外），在neutral条件下所有测量均无显著差异，显示最高总体收敛。

方差分析。 Levene方差齐性检验表明，没有任何提示技术能一致重现人类回复的分布特性。N-shot学习虽在均值层面表现优异，但未改善方差对齐。

分布形状分析。 偏度和峰度比较显示，提示技术未能一致重现人类回复分布的形状特征。N-shot学习在若干测量上较为接近，但仍未能重现许多分布特征，尤其是中性条件下拟人化和消极情绪的显著偏度和峰度。

四、讨论与结论

研究结果揭示了均值对齐与更广泛分布对齐之间的关键区别。在均值层面，N-shot学习显著改善了与人类回复的对齐，表明接触示例回复有助于模型更接近人类回复模式。然而，这种改善并非均匀：认知和意向类测量表现较好，情绪反应尤其是消极情绪表现较弱。这一模式可归因于大语言模型的生成机制：认知和意向类项目主要依赖一般知识、社会规范和评价性推理，这些领域模型因大量接触结构化文本而表现良好；而情绪反应更为主观、依赖情境且植根于亲身经验，模型缺乏具身和情感经验，只能依赖情绪的语言表征，导致情绪强度被夸大或扁平化。

方差、偏度和峰度分析确立了使用大语言模型生成回复的重要边界条件：尽管N-shot学习大幅改善均值对齐，但没有任何提示技术能一致重现人类回复分布的离散度或形状。模型生成回复应被理解为来自模型条件分布（model-conditioned distribution）的样本，而非来自人类总体的独立观测。这一发现表明，大语言模型生成的回复不应用于依赖准确表征人类回复分布的推断性分析。

在实践意义方面，大语言模型生成回复应被视为早期研究任务的补充工具，最适用于仅需近似集中趋势的场合，如筛选和优先排序干预方案、比较备选信息设计。研究同时强调构念敏感性的重要性：认知和意向类测量可在均值层面合理近似，而情绪反应尤其消极情绪则较不可靠。从伦理和方法论角度，必须区分未披露的数据操纵与透明使用模拟回复。未披露地复制或伪造观测构成严重的研究诚信违规；大语言模型生成回复的伦理使用要求完全透明，明确说明这些数据是模拟而非来自真实参与者。满足此条件时，模型生成回复不会误导其来源，可被读者适当解读，其价值在于基于有限人类数据实现快速、低成本的合理集中趋势探索，补充而非替代传统方法。

研究局限性包括：仅使用ChatGPT-4o单一模型；研究情境限于旅游行为改变干预；N-shot学习中N值的最优选择未确定；未考察相关结构或构念间关系；未评估跨重复运行的回复稳定性或温度等采样参数的敏感性；大语言模型模拟方法与数据插补技术存在概念相似性但差异显著。未来研究应扩展至其他模型、更广泛的应用领域、更多样化的模态、组合提示策略、相关结构检验、参数敏感性分析，并建立涵盖数据隐私、算法公平性和环境可持续性的伦理指南。