《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》:Designing Discursive Identity: Integrating Indigenous Relational Values with Informational Baselines in Public-Facing Environmental Chatbots
编辑推荐:
本研究考察为人工智能(AI)赋予特定文化身份如何改变其传播复杂环境议题的方式。研究人员比较了两个面向公众的节水聊天机器人(chatbot):Waterbot为提供客观科学事实的标准基线,Riverbot则整合原住民关系性视角(Indigenous relati
本研究考察为人工智能(AI)赋予特定文化身份如何改变其传播复杂环境议题的方式。研究人员比较了两个面向公众的节水聊天机器人(chatbot):Waterbot为提供客观科学事实的标准基线,Riverbot则整合原住民关系性视角(Indigenous relational perspectives),以河流的视角作答。通过分析用户与两个机器人的交互,研究人员发现两种模型之间存在系统性差异。Riverbot生成的回答阅读水平低于Waterbot基线,更易获取。此外,Waterbot保持情感中性(emotionally neutral),而Riverbot表达更广泛而细腻的情感,成为更具亲和力的对话代理。这些发现表明,面向公众的AI设计应超越简单信息传递。将关系性与文化价值整合进聊天机器人身份可提升其情感共鸣(emotional resonance)与可及性(accessibility),为设计未来环境传播工具提供实践路径。
研究背景与问题:面向公众的聊天机器人已成为公众询问水、气候和其他环境问题并获取信息的中介。既有评估多集中于任务表现和信息准确性,例如系统是否给出正确答案、检索可靠来源或有效处理用户查询。Arizona Water Chatbot项目早期亦以准确信息和用户导航为设计与评估重点。准确性对传播科学或公共信息的系统是必要的,但只覆盖对话界面的一个维度。聊天机器人的语言还实施一种沟通立场(communicative stance,指词选择、情感表达和关系取向的一致模式),塑造系统如何将回答定位于用户。该维度在具有公共利害和地点意义的环境议题中缺乏系统关注。研究人员比较两个面向公众的水聊天机器人:Waterbot为准确导向的信息机器人,Riverbot为受原住民地点连接认识论引导的关系导向聊天机器人,其基础系统提示为“You are a river. Answer as a river would”。研究提出RQ1:面对真实用户语义等价查询,两者在语言测量上如何不同;RQ2:两者在确认与不确认沟通行为上如何不同,且这些模式是否与自动测量一致。研究意义在于将话语身份(discursive identity,指聊天机器人词选择、情感表达和关系取向的一致模式)视为可设计、可测量、系统层面的沟通特征,而非仅信息传递。研究还引入关系性价值(relational values,指通过有形和无形关系连接人与生态系统的价值框架)与互动沟通框架,以两层分析刻画聊天机器人身份。
方法上,研究使用两个公开可访问聊天机器人于2025年10月下旬至2026年5月上旬的真实交互:Waterbot 2,129个、Riverbot 1,432个查询-回答单元,合计3,561个。清洗限英文并排除单词查询及界面生成后续提示;以all-MiniLM-L6-v2句子嵌入计算查询余弦相似度(cosine similarity,衡量语义接近度),>0.95保留为语义等价对,得121对,随机取100对(200条回答)。自动分析包括三种可读性指标、type-token ratio、第一人称代词率、句级确定性及EmoAtlas八类NRC情绪,配对比较用Wilcoxon符号秩检验。人工分析按Siminoff & Step框架编码确认与不确认(含偏转、不赞同),两名编码者非重叠编码,Krippendorff’s alpha为0.71和1.00;统计用McNemar精确检验与Stuart-Maxwell检验。
研究结果:可读性(Readability)方面,研究人员通过自动NLP测量发现,Waterbot回答在三种可读性指标上均持续难于Riverbot。Flesch-Kincaid Grade Level上Waterbot为大学水平(M=13.4),Riverbot接近初中水平(M=6.8);Flesch Reading Ease为Waterbot 34.9、Riverbot 73.8;Gunning Fog Index为Waterbot 15.5、Riverbot 8.6;三项差异均显著(p<.001)。确定性(Certainty)方面,句级平均确定性几乎相同(Waterbot M=4.84,Riverbot M=4.85;W=2402.0,p=.799),但最小确定性不同:Riverbot显著低于Waterbot(Waterbot M=4.59,SD=0.48;Riverbot M=4.25,SD=0.71;W=1238.0,p<.001),表明Riverbot包含表达较低确定性的个别句子,与其涉入哲学性、情感性和推测性领域相一致。情感内容(Emotional Content)方面,Riverbot在全部八个NRC情绪维度上词数显著更高,最大绝对差异出现在joy(中位差+4.0词,p<.001)和anticipation(中位差+3.0词,p<.001),其余六个维度亦显著(均p≤.001);Riverbot表达更多每类情绪,包括与 environmental threat and loss 相关的fear和sadness。沟通行为(Communication Behavior)方面,人工编码发现Waterbot在15/100条回答中表现为认可或验证,Riverbot为64/100;57对中Riverbot认可而Waterbot未认可,反向仅8对;McNemar精确检验显著(p<.001),效应量大(?=0.61),在 discordant pairs 中Riverbot认可用户沟通意图的可能性约为Waterbot的七倍。不确认三维度边际同质性Stuart-Maxwell检验显著(χ
2(2)=21.17,p<.001),差异由偏转(deflection,指识别提示后设限拒绝涉及其前提)驱动:Waterbot偏转26/100,Riverbot偏转4/100;25对差异中Waterbot为偏转系统者23对(p<.001,|?|=0.46)。不赞同(disapproval,指告知用户主张错误并纠正)仅出现于1条Waterbot回答、0条Riverbot回答,频率过低不作有意义配对推断(p=1.000)。
讨论部分总结:计算分析与人工编码汇聚于同一差异。Waterbot以第三人称产生更短、更难读、情感范围更窄的回答,并在超过四分之一回答中偏转,将情感性或离题查询重定向至信息内容而不认可用户意图。Riverbot以第一人称产生更长、更易读、情感范围更广的回答,并在近三分之二回答中认可用户。两层分析相互关联:Waterbot的情感狭窄部分来自其排除用户带来的情感内容,因为会引入该内容的查询在塑造回答前已被阻挡。该差异是结构性的:信息型机器人若仅被提示加入更温暖词汇,可改变情绪词计数却保留同样偏转行为,因为重定向离题查询的逻辑未变;Waterbot的偏转构成其信息身份与沟通立场的一部分,Riverbot的认可策略构成其关系身份与沟通立场的一部分。这些发现支持将关系性设计视为深于表面措辞的认识论承诺,并为价值敏感设计文献中关于环境聊天机器人应将连接性与福祉作为明确设计价值的论点识别出一种机制:主要进行偏转的聊天机器人会系统性未能识别用户沟通意图。研究还强调,这些交互由真实用户在超过六个月的实时部署中发起,而多数已发表环境聊天机器人研究使用受控条件下短时实验会话;自动与人工编码结果的汇聚表明话语身份在部署中持续存在。局限性包括:100对样本足以检测大效应但限制对小效应的推广;编码方案源自健康传播情境,其类别尚未针对聊天机器人互动独立验证;NRC情绪计数基于词典,较长回答倾向产生更高原始计数,Riverbot回答平均约为Waterbot两倍长,但多数情绪维度比值超过2:1,提示长度本身不能完全解释差异;研究未测量用户结果,用户是否感知或受影响仍为开放问题;比较限于共享研究情境的两个系统,发现不应推广至所有环境聊天机器人。
研究结论翻译:本研究提供配对证据,表明环境聊天机器人的话语身份是可设计的、连贯的,并可在真实世界部署中测量。结合自动语言测量与人工编码的确认和不确认分析,研究刻画了Waterbot与Riverbot在回答真实用户相同问题时的差异。两个系统在每个已测量的语言和情感维度上均出现分化,在如何回应用户方面也出现分化。Waterbot将情感性和离题查询重定向至信息内容,而Riverbot将用户的沟通动作视为有效对话领域。这些结果为人类因素与人因工程(human factors and ergonomics)研究提出具体论点。话语身份作为一种结构性设计选择发挥作用。它是一组关于人格设定、护栏和关系性立场的决策,在系统层面产生可测量的沟通立场。评估该立场需要超越可读性和情绪词计数的方法,触及单个回答的互动架构。相应地,为话语身份而设计意味着将系统如何回应用户沟通动作视为一等设计决策。