多感官体验如何塑造景观感知？一种基于新型大规模语言模型的在线评论挖掘方法

《Applied Geography》：How multisensory experiences shape landscape perception? A novel large language model based approach to online reviews mining

　　

罗云|张江月|苏士良

中国武汉大学资源与环境科学学院城市计算与可视化实验室

摘要

了解多感官体验如何塑造人们对景观的感知，对于推进人类与环境的互动研究以及指导可持续的景观管理至关重要。然而，现有的研究仍存在视觉偏见，经常忽视不同感官线索、认知和情感之间的相互作用。为了解决这些理论和分析上的空白，本研究首次提出了一个由四个组成部分（感官、刺激、认知反应和情感反应）构成的四元表示模型，以全面描述多感官体验，并阐述了它们与景观感知之间的联系。通过分析中国古典园林的在线评论，本研究采用了一种基于大型语言模型的新方法来提取多感官体验。最后，应用可解释的机器学习技术来揭示这些多感官体验如何影响游客对景观的评价。主要研究发现表明，一致且积极的视觉线索（如空间层次感和景观构图）在塑造景观感知方面比强烈但频率较低的感官刺激更具影响力。尽管频率较低，微妙且个性化的认知反应（包括与次要特征的隐喻或诗意联想）也会产生强烈的感知效果。社会背景，特别是拥挤程度，显著调节了人们对触觉和听觉的感知。总之，不是单一的统一性，而是多种情感色彩和多感官输入的相互作用，促进了人们与场所之间更深层次、更有意义的互动。通过提供一种可扩展且基于语义的经验挖掘方法，本研究不仅深化了对多感官景观感知的理论理解，还为方法论实践做出了贡献，为探索不同环境中的 lvl human-environment 关系提供了可伸缩的方法论途径。

引言

景观感知是理解人们如何通过与场所的日常互动来与地球建立联系的关键概念。它涵盖了个体和社区如何解释、体验并对周围环境产生情感反应的方式（Zube等人，1982年）。这种感知不仅受到文化、历史和生态因素的间接影响，还直接受到人们在景观中经历的影响（Agapito等人，2013年）。当个体通过移动、感官互动和个人或集体记忆与景观互动时，他们的经历会 affects 他们如何解释和情感上与景观建立联系。这些经历反过来又促进了场所依恋、身份形成和环境态度的培养（Li等人，2023年）。因此，探索体验与感知之间的关系对于理解人类与环境的互动至关重要。这揭示了景观如何促进人的福祉和可持续管理，以及人们如何反过来塑造与地球相关的意义和价值观。这些见解对于指导遗产保护、促进心理恢复和推动可持续的景观管理方法具有重要意义（Akp?nar，2021年；Chan等人，2022年；Grahn & Stigsdotter，2010年；Kang等人，2023年）。

体验本质上具有主观性，受个体的独特背景、价值观、态度和信念的影响，同时也受到特定场所条件和社会对景观构建的影响（Kandampully等人，2018年）。由于样本限制，传统的调查方法（如访谈和问卷调查）在捕捉这些体验方面相对有限。为了解决这一问题，研究人员越来越多地依赖在线评论作为数据来源，因为在线评论包含了丰富的文本内容，涵盖了多样的体验叙述（Lv等人，2020年；Lv & Wu，2021年）。大数据分析和自然语言处理（NLP）技术的应用进一步增强了分析这些文本数据集的能力（Baer等人，2024年；Huai & Van de Voorde，2022年；Mehraliyev等人，2020年；Zheng等人，2024年；Zhou，2023年）。通过将在线评论数据与这些 advanced 分析工具相结合，研究人员可以进行大规模分析，同时保留了体验的复杂性和主观性。尽管在线评论挖掘研究极大地增强了我们的知识，但仍有两个关键问题尚未得到探索。

第一个研究空白在于景观体验的理论概念化。早期且至今仍有影响力的景观研究倾向于强调视觉体验，关注景观是如何被看到的以及视觉属性如何塑造景观感知（Daniel，2001年；Ode等人，2008年）。然而，在过去的二十年里，越来越多的研究开始挑战这种视觉中心论，突出了人类与景观互动的多感官性质。研究表明，景观体验是通过听觉、嗅觉、味觉和触觉与视觉的共同作用形成的，每种感官都以独特而相互关联的方式塑造感知（Bunk?e，2012年；Koblet & Purves，2020年）。自然的声音、植被的气味以及在接触景观元素时感受到的触觉不仅会引发情感和怀旧反应，还构成了 Porteous（Porteous，1985年）所概念化的“感官景观”的基础。这一概念进一步发展出多个维度（视觉景观、声音景观、气味景观、味觉景观和触觉景观），这些维度共同丰富了我们对景观的体验（Buzova等人，2021年；Chan等人，2022年；Zhang等人，2023年）。重要的是，这种多感官视角与当代地理学中更广泛的感官转向和身体转向相一致，强调了与场所的亲身体验、情感体验和互动，挑战了长期以来以视觉为中心的景观研究范式。在这方面，采用多感官视角不仅为解开景观体验与景观感知之间的关系开辟了新途径，也有助于将感知和体验景观的方式纳入地理分析中。

第二个研究空白是传统基于词汇的方法无法从在线评论中识别和提取多感官体验的方法论挑战。这些方法依赖于预定义的语料库来识别感官感知，但其有限的词汇表往往遗漏某些词语、短语或取决于上下文的表达（如习语和谚语）。此外，构建此类语料库耗时且成本高昂，且容易因数据集之间的表达差异而产生高变异性。即使有现有的词典，也需要进行广泛的过滤和修改才能适应特定的研究背景。此外，基于词汇的方法缺乏语境意识，这对中文、日语和韩文等高语境语言来说是一个关键限制，因为这些语言的含义在很大程度上取决于上下文。近期在 natural language processing（NLP）方面的进展试图通过简化语料库构建（Baer等人，2024年；Huai & Van de Voorde，2022年）或使用深度学习根据初始关键词动态扩展词汇表（Zheng等人，2024年）来解决这些问题。然而，这些方法往往缺乏语义基础，主要关注句子层面而非词语层面的精确度。最近在大型语言模型（LLMs）方面的突破为这些问题提供了解决方案。通过捕捉复杂的语义关系和上下文细微差别，LLMs能够动态、基于上下文地识别文本中的感官体验。利用LLMs开发一种稳健且高效的方法从在线评论中提取多感官感知，不仅克服了传统和新兴方法的局限性，还加强了地理学中的人文-技术界面。这种方法将计算创新扎根于真实的多感官体验中，增强了该学科产生支持人类福祉、文化意义和可持续、体验丰富的景观评估的能力。

为了应对这两个关键问题，本研究试图通过提出一种基于LLM的在线评论挖掘新方法来揭示多感官体验如何塑造景观感知。以中国江南古典园林为例，我们的具体目标是：（1）建立一个理论框架，详细阐述多感官体验与景观感知之间的复杂联系；（2）利用LLM从在线评论中提取多感官体验并捕捉多样化的个性化解释；（3）评估多感官体验对景观感知的相对贡献；（4）为景观营销和管理提供建议和指导。

部分片段

多感官体验如何塑造景观感知：一个理论框架

感官体验源自激活感官受体的环境刺激，这些刺激触发认知过程，将这些输入解释为有意义的感知（Chan等人，2022年；Goldstein，1989年）。同时，情感反应影响这些感知的主观质量，并进一步塑造个体的整体体验。认知神经科学研究通过强调预测性处理框架进一步阐明了这些机制，其中包含了层次结构

研究区域和数据收集

由于江南古典园林深厚的文化遗产意义及其为游客提供丰富多感官景观体验的能力，我们选择它们作为本研究的主要研究区域。这些园林位于中国东部沿海的长江三角洲地区，以其精美的空间设计、诗意景观和与自然的完美融合而闻名。受学者和文人审美理想的影响，江南园林不仅……

描述性统计和模型性能

在这项研究中，我们共提取了474,732条感官体验。如图4所示，超过90%的评论包含至少一种感官体验，其中包含两种或三种感官体验的评论最为常见。这种分布呈现出“长尾”模式，即少数评论由于使用了更具表现力的语言或更长的评论长度而包含更多的感官信息。

图5展示了提取的四元数据的汇总统计信息

多感官体验对景观感知的影响

本研究通过三种相互关联的机制展示了多感官体验如何影响景观感知：视觉-情感线索的主导作用、微妙认知反应的影响以及情感和感官多样性的作用。首先，我们的发现进一步完善了现有的关于视觉主导性的理解，表明影响感知的不仅仅是视觉线索的强度，还有它们的频率和一致性。其次，即使是小景观特征也能……

结论

本研究通过提出一个四元表示框架并应用基于大型语言模型的方法，深化了对多感官体验如何塑造景观感知的理解。通过将每种多感官体验表示为感官、刺激、认知反应和情感反应，本研究超越了视觉偏见和依赖词汇表的方法，提供了一种更细致的方式来捕捉游客的感知、解释和评价方式

CRediT作者贡献声明

罗云：撰写——原始稿、方法论。张江月：可视化、验证。苏士良：撰写——审查与编辑、概念化。

资金支持

本研究得到了国家自然科学基金（编号：42471449）的支持。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。