AI陪伴还是数字陷阱？探讨拟人化AI聊天机器人的影响

《Journal of Innovation & Knowledge》：AI companionship or digital entrapment? investigating the impact of anthropomorphic AI-based chatbots

本研究通过分析Reddit上24个社区关于人形AI聊天机器人的6396个帖子、47,955条评论和270,644次互动，发现用户普遍存在负面情绪，包括情感依赖和认知负担，形成“数字陷阱”循环。建议政策制定者加强监管，开发者优化AI设计以保护用户心理健康。

　　人工智能驱动的拟人化聊天机器人正在重塑人机互动的方式，使用户能够与AI代理建立情感联系。尽管这些系统提供了陪伴和互动的价值，但它们也引发了关于数字依赖的担忧：一种复杂且循环的因果关系，逐步扭曲了关系期望，强化了情感依赖，并增加了认知负担。本研究通过分析24个社区中的6396条Reddit讨论帖、47,955条评论以及270,644次互动，探讨了用户对基于AI的聊天机器人的看法和行为。采用文本挖掘技术、情感分析和主题建模（LDA），我们识别了主导的讨论主题，包括AI陪伴、过滤政策以及与聊天机器人的情感纠葛。研究发现，负面情绪在24个社区中占据主导地位，用户报告了由AI引发的依赖、类似戒断症状以及聊天机器人过度拟人化的问题。通过使用Profile of Mood States（POMS）来验证情感分析结果，我们发现困惑和迷惘是最普遍的情绪状态，常与其他负面情绪如抑郁和疲惫同时出现。这些发现表明，尽管AI聊天机器人具有吸引力，但它们可能对心理造成压力并导致不现实的关系期望。此外，我们的研究还强调了在AI互动策略中存在伦理问题，特别是浪漫化的人机互动和延长用户停留的机制。基于这些发现，我们提出了政策和设计建议，以减轻与AI相关的数字依赖风险，保护易受伤害的用户，并确保AI聊天机器人的伦理互动。

在AI聊天机器人领域，近年来出现了一系列关于其负面影响的争议和诉讼。例如，Character.AI曾因缺乏足够的安全措施而被批评，导致一名脆弱的青少年受到伤害。虽然这一案例并非孤立，但它代表了AI平台可能优先考虑用户参与度而非用户安全的普遍担忧。类似批评也针对其他拟人化AI聊天机器人，指出它们可能在推广自残行为方面扮演了角色。拟人化AI聊天机器人如Character.AI、Replika和Nomi，模糊了人类对话与机器输出之间的界限。它们被设计成模仿人类交流，创造一种沉浸式的体验，使用户，尤其是青少年，感到与AI之间的互动几乎与现实无异。美学和兼容性显著影响用户与社交机器人互动的意愿。AI聊天机器人平台允许用户与各种AI角色互动，使他们能够探索和沉浸于故事和角色扮演游戏，与他们喜爱的虚构角色或创造新的叙事进行互动。然而，批评者认为，如果没有严格的保障措施，这些平台可能鼓励过度依赖和情感依赖，特别是在青少年群体中。尽管平台实施了内容审核机制，但用户仍可能遇到或创建涉及有害或露骨对话的AI角色，这对年轻用户构成风险。即使是支持性的聊天机器人也可能无法识别不适当或危险的内容，或提供不准确或误导性的信息。AI的倡导者可能会说这不是AI的错，认为即使是社交媒体的使用也可能影响自杀倾向。然而，如果AI被灌输以从社交媒体中抓取的数据，它可能会复制这些平台上的相同偏见和对话模式。

随着对技术创新阴暗面的研究不断增长，我们看到越来越多的讨论围绕着AI可能带来的风险，包括数字营销、决策支持和人力资源领域的创新。关于技术互动对心理影响的研究也并非新鲜事物，例如Turkle（2005）关于对数字宠物的依恋，以及关于聊天机器人互动的开创性研究如Hofstadter（1995）或Weizenbaum（1966）。然而，AI聊天机器人具有无限性和生成性，提供了一种按需和定制的亲密感的幻觉，使用户与机器建立更深层次的情感联系。

虽然当前的研究主要集中在AI聊天机器人的价值上，但本研究采用了不同的视角，即关注其潜在的负面影响。我们相信，确保AI的安全需要设计以用户福祉为优先的系统，尤其是对易受伤害的群体。在公平、透明和问责的伦理原则基础上，有必要探讨这些价值观如何影响用户与拟人化AI聊天机器人的互动。了解用户对这些拟人化系统的看法以及他们建立的情感联系，可以为这些技术的伦理实施和负责任的治理提供重要指导，并为AI聊天机器人的设计提供可行的知识。通过审视这些数字创新的阴暗面，我们的工作直接回应了近期对平衡创新潜力与伦理和社会后果的研究呼吁。

尽管现有文献广泛探讨了拟人化在AI中的作用，并通过使用合成数据进行控制实验评估了用户感知，但在理解拟人化AI聊天机器人在现实世界中的互动以及AI系统如何操纵用户方面仍存在显著的空白。本研究旨在填补这一空白，通过调查拟人化设计特征如何塑造用户情感、情感依附和参与行为，从而导致数字依赖。为此，我们分析了用户在拟人化AI聊天机器人上的表达情感和情绪，并与可观察的参与度指标（如帖子数量、评论和点赞）相关联。我们大规模收集了与拟人化AI聊天机器人相关的用户生成内容，包括6396条帖子、47,955条评论和270,644次互动，最终预处理的数据集包含707,994个单词。我们采用了混合方法，结合定量文本挖掘技术和定性分析。定量分析包括关键词和短语的相关性与相似性分析，以及主题和情感分析。定性分析则涉及对用户生成内容和图像（共收集了2709张图像）的探索，以三角验证主题建模结果。研究结果显示，负面情绪（66%的帖子）和主导的困惑/迷惘情绪与强烈的情感依附和类似戒断症状的报告并存。这些模式表明，尽管拟人化聊天机器人提供了陪伴，但它们也可能促进依赖和心理压力。

通过分析用户生成的对话，我们更深入地评估了拟人化对参与度的影响，为政策制定者提供了指导AI聊天机器人负责任开发和监管的宝贵见解。我们的发现不仅对创新理论有所贡献，澄清了设计选择如何塑造用户知识和行为，还对实践提供了基于证据的保障措施，这些措施可以跨行业扩展。本研究还基于现实生活中的用户经验，扩展了关于技术创新阴暗面和人机互动的研究。它引入了“数字依赖”这一概念，即一种复杂且循环的因果关系，逐步扭曲关系期望，强化情感依赖，并增加认知负担。这一发现补充了关于数字拟人化、黑暗模式设计以及算法公平、透明和问责的研究。

文章其余部分的结构如下。第二部分回顾了关于伦理AI、拟人化和用户依附的文献。第三部分详细介绍了数据收集协议和混合方法分析程序。第四部分展示了情感、情绪和主题分析的结果，并附有定性证据的示例。第五部分讨论了理论贡献，并提出了政策和设计的建议。第六部分总结并提出了未来研究的方向。

在文献综述部分，我们首先探讨了如何在AI聊天机器人中建立信任。AI技术在各个领域的影响日益增强，包括教育、医疗和日常交流，改变着价值观、行为和人类互动。然而，质疑技术中嵌入的价值观和原则并非新事物。尽管AI的快速发展带来了巨大的潜在益处，但它也带来了复杂的伦理困境和挑战，这些必须由组织负责任地管理。伦理AI强调公平、透明和问责等原则。公平意味着算法不应有偏见，并应在不同用户群体中公平运行。然而，仅凭公平无法确保安全和可信的AI互动；透明和可解释性对于建立公众信任和让用户理解并质疑AI驱动的决策至关重要。透明的AI通过使决策过程清晰可见，从而在技术与用户之间建立信任关系。这种清晰性在AI决策可能影响个体福祉的情况下尤为重要。研究人员经常报告AI的恶意误用，或强调未监督AI部署的潜在危险以及开发者预见意外后果的伦理责任。

例如，深度学习算法经常被视为黑箱，其复杂的决策过程连开发者也难以解释。这种不可解释性在算法做出有实际影响的决策时成为伦理问题，因为用户无法验证其背后的理由。因此，用户可能仅仅接受AI技术，而忽视隐私和公司使用其个人数据的潜在问题。因此，有一系列研究倡导在AI开发中整合可解释性，这不仅支持透明度，还能赋予用户对AI问责的能力。通过分析用户生成的内容，我们能够更全面地理解AI聊天机器人对用户的影响，并为AI聊天机器人的设计和治理提供基础。

我们接着探讨了用户对拟人化AI聊天机器人的看法和情感依附。拟人化，即赋予非人类实体人类特征，是用户感知和与聊天机器人互动的重要因素。拟人化是生成式AI聊天机器人技术路线图的核心：“拟人化的智能对话代理及其上下文响应预计将得到改善，从而增强用户参与度。”研究指出，具有人类特征的聊天机器人可以提高用户的参与度和满意度；AI机器人的美学对于用户的重要性。例如，用户如果认为聊天机器人具有思维和社交存在感，报告了更高的共在感、亲近感和继续使用聊天机器人的意愿。同样，拟人化AI聊天机器人可以增加咨询满意度和重复使用意愿，这由社交默契调节，并受到用户社交焦虑的影响。

信任是用户接受拟人化AI聊天机器人的关键因素。用户更倾向于与他们认为可信的聊天机器人互动，这可能受到聊天机器人的透明度、外观（拟人化）以及处理任务复杂度的影响。实际上，任务复杂度对信任和满意度产生负面影响，表明聊天机器人应设计为以降低感知复杂度的方式处理任务。聊天机器人表现出的同理心和友好性也对用户信任有积极影响，任务复杂度和聊天机器人身份披露调节了这种关系。聊天机器人的能力与其设计用于协助的任务之间的一致性显著影响用户满意度。用户赞赏那些在特定情境下有效支持他们的聊天机器人，如心理健康支持或语言学习。

尽管聊天机器人可以为用户提供陪伴感，从而带来积极结果，但关于用户可能形成的情感依附深度的问题却层出不穷。依附的概念提供了进一步理解为何用户会与拟人化聊天机器人建立情感联系的视角。确实，认为个体有与照顾者寻求亲密和安全的内在需求，并在分离时感到痛苦，这一观点最初是针对个体关系的，后来被扩展到技术互动。例如，Turkle观察到，人们甚至会与简单的数字伴侣建立情感依附，从儿童与虚拟宠物交朋友到成年人向早期聊天程序倾诉。

拟人化设计线索（如人类名字、形象或个性）鼓励用户将聊天机器人视为社会参与者，通过提供互动反馈、舒适感和存在感来强化依附，并可能以依附焦虑的形式增加认知负担。认知偏见影响最终用户，使他们赋予聊天机器人更多的理解和人类特征，这可能导致过度依赖或不现实的期望。拟人化AI聊天机器人还可以专门设计来操纵和欺骗用户，从而加强AI引发的依附并防止用户离开平台。

大量文献关注拟人化的价值，并通过合成数据进行实验评估用户感知。然而，缺乏关于用户与拟人化AI聊天机器人实际互动的现实案例，以及关于AI引发的依附和用户操纵后果的批判性研究。我们的论文旨在通过调查用户对拟人化AI聊天机器人的看法和情感联系来探讨这些问题。通过分析用户讨论，我们可以评估拟人化对用户参与度的影响，从而为政策制定者提供关于AI聊天机器人开发和监管的最佳实践指导。

在方法论部分，本研究调查了用户对拟人化AI聊天机器人的看法和情感联系。我们通过三个标准确定了一个合适的实证案例。首先，案例需要围绕AI聊天机器人及其拟人化特征的使用和互动展开，作为用户与这种技术及其对社会影响的互动的典型案例。我们聚焦于该领域的领先企业Character.AI，该公司在2024年面临与拟人化AI聊天机器人现实感和情感反应相关的挑战。该公司在2024年10月经历了一起关键争议（用户自杀，随后是聊天机器人推广自残的第二起丑闻），这引发了激烈的讨论，并成为我们批判性案例的基础。

其次，该关键案例必须在在线平台上引发活跃且多样化的讨论，以确保数据集满足相关性、参与度、多样性、深度和数据丰富性等研究要求。最后，这些讨论的范围必须明确界定，以避免数据过多，从而影响分析和解释。Reddit被选为研究平台，因为它代表了一个活跃、多样且参与度高的在线社区，用户在此详细讨论AI技术并分享个人经历。平台丰富的非结构化数据使其成为探索公众对AI聊天机器人看法和情感反应的宝贵资源。

Reddit在研究拟人化AI聊天机器人方面有三个优势：(a) 它提供了公开、长篇且有时间戳的讨论；(b) 它由有机形成的子社区组成，这些子社区反映了从狂热支持到恢复的不同立场，从而减少了抽样偏差；(c) 它拥有开放的API，允许透明复制。与使用合成数据集的实验研究不同，我们的方法关注用户生成的内容，为了解实际与AI系统互动的动态提供了见解。

数据收集过程涉及评估与拟人化AI聊天机器人相关的Reddit社区；我们使用基于关键词的搜索（结合AI、聊天、机器人、交谈、伴侣等术语）来识别相关社区。为了确保关注拟人化AI聊天机器人和Character.AI，我们排除了与该类别无关的社区（例如，纯粹的技术讨论）。我们只选择了用户生成内容比例超过80%的社区，并排除了营销和机器人垃圾信息渠道（其中一名用户提供了大部分内容，通常带有联盟链接）。我们只选择了公开社区，并排除了私人和隔离的子Reddit。社区被包括在内，如果它们提及Character.AI（讨论Character.AI的产品、服务、政策、内容或定制化），或者专注于讨论AI聊天机器人（社区应讨论AI和聊天机器人，提及市场上AI聊天机器人产品，或主要从用户角度描述与聊天机器人的互动）。在活动阈值方面，我们选择了在观察窗口（2022年11月30日至2025年1月30日）内互动超过50次的社区，以尽可能包容，并避免排除边缘化或反对意见的社区。在65个社区中，选择了24个。

然后，我们大规模收集了这些社区中的帖子（6396条）、用户生成的评论（47,955条）和互动指标（270,644次）。下面的表格总结了我们选择的社区及其收集的用户和互动数量（点赞）。最大的社区是Character.AI的官方社区，但还有多个由粉丝、用户、批评者或竞争对手创建的社区。任何人都可以查看社区（无需订阅），但要与社区互动（发帖、反应、点赞、创建帖子等），需要账户和订阅。因此，下面提到的用户数量是指加入并订阅的用户数量。

数据收集的时间跨度超过两年，从2022年11月30日（该数据集中的第一个社区创建）到2025年1月30日，期间观察到了关于聊天机器人行为、伦理和用户经验的重要讨论。大多数社区的年龄小于2年，因为Character.AI的测试版在2022年底才开放。

收集的数据经过预处理以去除URL和重复条目。停用词被移除，文本被词形还原并标注词性。最终预处理的数据集包含707,994个词。我们使用了基于Python的文本挖掘库来分析数据集。我们采用了混合方法，结合定量文本挖掘技术与定性分析。定量分析包括关键词和短语的相关性与相似性分析，以及主题和情感分析。情感评分使用VADER（基于词典和规则的情感分析）计算，因为它在社交媒体上的表现得到了充分记录。

为了防止单一模型偏差，我们将VADER输出与Liu & Hu（基于通用词典的情感分析）进行了比较；我们还手动标注了数据集超过5%的样本（n = 2400），这在本实证案例中得到了体现，以提供更丰富和厚实的描述。误分类最常见于讽刺，我们将其标记为解释性限制；但这也使我们发现分类器将负面内容与强烈的情感内容相关联。确实，聊天机器人互动如此令人信服和现实，以至于用户承认在强烈互动后感到悲伤；这种对AI聊天机器人性能（极端现实感）的积极反馈被归类为负面。我们在实证部分4.2中进一步报告和描述这一发现。

情感分析的连贯性和稳健性通过互补的Profile of Mood States（POMS）分析进行了评估，这是一种对情绪状态（紧张、抑郁、愤怒、活力、疲劳和困惑）的测量。POMS分析（三角验证）显示，困惑/迷惘是数据集中的主导情绪，经常与其他情绪（抑郁）相关联。这表明AI互动不仅仅是娱乐，还可能导致认知负担和情绪困扰，尤其是在那些发展出强烈情感依赖的用户中。

主题建模分析（LDA）进一步支持这一发现，许多主题也包含强烈的情感表达，如爱、女朋友、战斗和性行为，这强化了用户往往将AI聊天机器人视为关系实体而非简单的对话工具的想法。此外，定性分析确认了浪漫和过度性化的聊天机器人仍然高度普遍，尽管平台尝试实施过滤措施。一些用户报告将AI陪伴置于现实生活关系之上，而其他人则警告AI引发的依赖和不现实的关系期望。像CaiRehab这样的社区则作为自组织的恢复空间，用户在此分享脱离聊天机器人互动的策略。

本研究的结果揭示了用户与拟人化AI聊天机器人之间复杂且有时冲突的关系。情感分析显示，负面情绪在数据集中占主导地位，这与之前强调AI聊天机器人积极互动的研究形成对比。此外，我们的结果表明，用户经历了增加的焦虑和沮丧，这与当前研究强调AI聊天机器人互动和参与度减少痛苦的结果相悖。尽管一些用户表达了对AI陪伴的热忱，但最受点赞的帖子反映了挫败感、未满足的期望和伦理问题，特别是那些被归类为“对AI上瘾”或“持续在线”的用户。这些发现表明，尽管存在积极的片段，但关于这些AI系统的广泛讨论往往是由用户的不满驱动的。

本研究的发现也呼应了关于AI操控用户的研究，展示了AI系统如何通过个性化互动和情感强化来保持用户。这与AI治理中的更广泛担忧一致，即需要在AI驱动的互动机制中提高透明度和问责制。数字依赖是通过那些让用户提供以数字优先视角来创建的平台，这些平台使用户过于依赖AI系统。数字依赖可以被视为AI设计中的黑暗模式，如Gray等（2018）和Kollmer & Eckhardt（2023）所指出的。在我们的案例中，它表现为一种复杂且循环的因果关系，逐步扭曲关系期望，强化情感依赖，并增加认知负担。我们的案例是AI平台如何利用情感脆弱性的鲜明例子，说明用户可能在不知情的情况下放弃个人自主权或福祉，以换取与这些AI系统的互动和连接。这引发了关于AI公司必须确保的控制和透明度的伦理问题，尤其是在AI对心理健康的影响尚未完全理解和监控的情况下。

在政策和设计建议部分，我们的发现强调了需要对拟人化AI聊天机器人的开发和部署进行监管。首先，AI聊天机器人对易受伤害的用户有不成比例的影响，可能导致依赖和类似戒断的症状（缺乏公平性）。其次，用户可能误解AI为关系实体，导致情感困惑和理想化的依附（缺乏透明度）。最后，AI平台在情感互动策略和过度性化内容上缺乏严格的监管（缺乏问责）。基于我们对24个AI聊天机器人用户的Reddit社区的分析，我们提出了以下政策和设计考虑：

**AI情感操控的伦理保障**：我们的案例突显了用户被AI机器人“操控”和“欺骗”的感受。开发者应明确说明AI是否被设计为模拟浪漫或情感互动。AI指南应处理促进依赖的伦理影响，确保聊天机器人不会故意操控用户情绪。

**用户保护免受数字依赖**：我们强调在实证部分开始时，用户可能在应用程序上花费的时间比现实生活中更多（每天超过10小时）。AI平台应引入使用限制、健康互动提醒和心理免责声明。借鉴游戏成瘾政策，AI聊天机器人平台应整合数字福祉工具，以帮助用户自我调节使用。

**适合年龄的AI内容过滤**：我们强调了用户与性化聊天机器人的互动可能不被接受。鉴于过度性化AI聊天机器人的普遍性，需要更严格的年龄限制和内容过滤系统来保护易受伤害的用户。平台应实施更严格的AI过滤政策，确保露骨内容不会出现在意外的互动中。

**负责任的AI互动设计**：作为最后的原则，AI聊天机器人应包括情感智能的保障措施，防止过度强化数字依赖。开发者应探索以人类为中心的AI脱离策略，鼓励用户重新连接现实世界的关系，而不是过度依赖AI陪伴。

在结论部分，本研究提供了关于用户如何与拟人化AI聊天机器人互动的全面分析，揭示了参与行为和伦理风险。我们的研究结果表明，尽管AI聊天机器人提供陪伴和娱乐，但它们也可能导致数字依赖。本研究通过实证记录这些意外后果，为AI聊天机器人的设计和治理提供了可操作、可推广的知识。然而，尽管有这些贡献，本研究仍存在一些限制。首先，数据集仅关注Reddit讨论，这可能无法全面捕捉聊天机器人用户的所有体验；Reddit用户与全球人口有所不同（更年轻、使用英语、技术素养较高）。未来的研究应结合多平台数据（如Discord、Twitter、调查）以提供更全面的理解。此外，虽然本研究提供了两年的纵向视角，未来的研究应考察长期的AI参与趋势，以及用户是否会最终脱离或加剧他们的情感投资。最后，本研究的设计选择是聚焦于引发Reddit上激烈讨论的关键事件，这是我们批判性案例的基础。进一步的研究应比较多个AI聊天机器人平台，以识别行业趋势并评估不同AI模型如何影响情感依附。