调查问卷设计如何影响政府信任测量：基于开放与封闭式问题的比较研究

本研究探讨了问卷设计形式（开放vs封闭式问题）对政府信任测量的影响。研究人员采用计算文本分析方法（CTAM）和大语言模型（LLM）分析了奥地利联合政府信任调查数据，发现两种问题形式存在显著差异：开放式问题能捕捉更复杂的信任维度（如对特定政党/议题的差异化评价），而封闭式问题可能高估整体信任水平。该研究为政治信任测量提供了方法论创新，对改进公共舆论调查设计具有重要价值。

　　

在民主政治研究中，政府信任度一直是核心指标，但传统调查方法面临严峻挑战。封闭式问题（如1-10评分）虽便于量化分析，却难以捕捉民众对多党联合政府（如奥地利OEVP与Greens联盟）的复杂态度——可能同时存在"信任A党但怀疑B党"的矛盾心理。更棘手的是，现有研究发现，问卷形式本身就会显著影响结果：当受访者被允许自由表述时，常会暴露出封闭式问题中隐藏的批判性观点或特定政策不满。

维也纳大学（University of Vienna）传播与治理系的Jana Bernhard-Harrer和Katharina Pfaff在《Journal of Survey Statistics and Methodology》发表的研究，通过创新性地结合计算文本分析技术，系统比较了两种问题形式的测量差异。研究人员利用奥地利Digitize!在线面板调查数据（N=935），让同一批受访者先后回答封闭式信任评分（0-10分）和开放式描述问题，随后采用GPT-4o模型进行三重分析：主题识别（what）、政客/机构提及（who）和情感评分（how）。

关键技术包括：1）概率抽样面板调查确保样本代表性；2）LLM多轮提示策略分析德语文本；3）潜在狄利克雷分配（LDA）和BERTopic模型验证主题分类；4）SpaCy命名实体识别（NER）提取政治主体；5）奥地利语境优化的MDeBERTa/GottBERT模型进行情感分析。

【主要发现】

1. 封闭式问题的局限性

   数据显示联盟政党支持者（OEVP均分6.17，Greens 5.32）与反对党（FPOE仅1.86）信任度差异显著，但同一联盟内部分歧被单一评分掩盖。

2. 开放式问题的深层洞察

   

3. 测量方式的分歧

   47%受访者封闭与开放回答差异≥2分，16人差异超5分。情感分析均值（2.95）显著低于封闭评分均值（3.8），t检验显示p<0.05。典型案例显示：封闭给6分者开放回答"信任不存在"，反映封闭问题可能高估信任。

【结论启示】

研究发现开放式问题通过三方面提升测量效度：1）揭示信任的"多主体性"（如区分对联合政府内不同党派态度）；2）捕捉"条件性信任"（特定政策领域的信任波动）；3）暴露情感矛盾（口头表达比评分更负面）。尽管LLM在主题分类（准确率50%）上仍需人工校验，但其在情感分析（87%准确率）和实体识别的高效性（3小时完成传统需数周的工作）展现出革命性潜力。

这项研究为政治学方法学带来重要突破：在测量复杂构念时，混合使用封闭评分与LLM辅助的开放问题，既能保持量化优势又可获取质性深度。特别在联合政府、多党制等复杂政治环境下，该方法能更精准捕捉民众真实态度，为政策制定者提供更可靠的民意洞察。