AI伙伴：连接与欺骗之间的界限日益模糊

《Communications of the ACM》：AI Companions: The Blurring Line between Connection and Deception

　　

这是一个任何有幼儿家长的都熟悉的场景：我的儿子坚决拒绝让我给他换脏尿布。在我用尽了通常的劝说方法后，我拿出手机打开了ChatGPT。几秒钟内，圣诞老人的声音出现了，向我的孩子解释为什么好孩子会允许父母给他们换尿布。效果立竿见影且令人惊讶；我的儿子在全神贯注地听“圣诞老人”说话时，抵抗消失了。他毫无抗议地照做了。在那一刻，作为父母的胜利感中，我既感到宽慰，又有一种意想不到的不安。我是否越过了某种道德界限？几代以来，家长们都利用圣诞老人的权威：“圣诞老人正在看着你”或者“如果你表现不好，圣诞老人就不会送礼物”。但是，让人工智能模拟圣诞老人的声音并直接与我的孩子对话，这到底有什么根本的不同呢？这不是我在引用圣诞老人的话——而是“圣诞老人本人”在传达信息，孩子完全相信了它的真实性。

真正不同的不在于圣诞老人的本质地位，而在于应用程序能够占据一个受信任的权威角色，并根据孩子的特点进行精确的模仿，从而通过孩子认为真实的存在来获得他们的服从。至少，这种使用方式应该引发对儿童、父母，甚至可能是所有人的信息披露义务。

这个小小的家庭场景反映了我们周围正在出现的一个更广泛的现象：人工智能伙伴正在模糊有帮助的工具与欺骗性的人类关系替代品之间的界限。这里的欺骗被定义为“故意让人产生一个已知或应该知道是错误的信念”，⁵ 这可能会进一步导致操纵和替代。当我们把这些数字实体迎进入到我们最亲密的空间——与孩子的关系、浪漫伴侣的关系，甚至是我们的悲伤过程中时，我们面临着关于它们如何重塑人类意义的深刻问题。这些技术处于生成式人工智能和情感计算领域的交汇点，情感计算是研究和开发能够识别、解释、模拟和回应人类情感的系统。⁸

当今的人工智能伙伴有何不同之处？

早期的情感系统（例如基于规则的提示和响应聊天机器人、预先编程的社交机器人）有着明确的非人类身份提示，它们的互动范围也非常有限。但最新的人工智能伙伴能够在推理、表现和记忆方面做得更好，使得身份模拟和情感共鸣更加令人信服。它们可以具备多种功能，如多模态感知（语音、文本、面部和生物识别）；由大型语言模型驱动的个性生成，保持风格和背景故事；语音克隆和身份仿真；跨会话的持久记忆；以及始终在线的可用性。这些特性共同作用，使它们的回应显得自然、连续且具有社交互动性；与早期的系统和社交机器人相比，这引发了不同的伦理问题。正如Pei等人⁷所指出的，情感感知人工智能的应用范围涵盖了医疗保健、教育、营销、金融、娱乐，甚至逐渐扩展到个人陪伴领域。该市场的年增长率超过30%。

无辜的起点

人类对无生命物体的依恋并不是新鲜事。汤姆·汉克斯在电影《荒岛余生》中的角色与威尔逊（一个排球）建立了深厚的情感联系，威尔逊成了他在荒岛上的唯一伴侣。孩子们长期以来一直与毛绒玩具和娃娃对话，把它们当作想象和情感慰藉的载体。这种依恋反映了我们将人类特质投射到非人类实体上的天性。

现代技术将这种自然倾向进一步强化了。以索尼的AIBO机器狗为例，它们会对人类触碰做出反应，能够识别主人并模仿情感。与威尔逊排球不同，这些人工智能伙伴通过编程好的反应和行为积极参与互动，营造出一种互惠的假象。

在日本，PARO治疗机器人海豹就是这种方法的典范。它被设计用来帮助痴呆症患者，提供安慰，但并不假装自己是人类。其明显非人类的外观、有限的对话以及需要护理者协助的互动方式，都有意地将这些系统定位为对人类护理的补充，而不是替代品。然而，即使是明显非人类的伙伴也存在风险：过度依恋和过度依赖可能会产生，如果设计边界被削弱，可能会减少人际接触或增加被操纵的可能性。⁹

当人工智能用人类的声音说话时

当人工智能伙伴开始模拟特定的人类身份时，情况变得更加复杂。像YourStory这样的教育平台现在提供了历史人物的AI模拟，学生可以与爱因斯坦讨论相对论或与林肯讨论内战。虽然这些工具可以使抽象概念更容易理解和吸引人，但它们也可能呈现和强化经过过滤的历史版本，将复杂的历史人物简化为肤浅的形象。个性化的对话模拟可能会创造出比教科书更强烈的认同感。

虚拟偶像代表了另一种具有人类声音的人工智能形式。这些通过独家知识产权和合成内容开发的计算机生成媒体明星在东亚特别受欢迎。它们利用VR、AR和全息显示等先进技术，创造出引人入胜且具有情感吸引力的表演，模糊了数字娱乐与真实娱乐之间的界限。研究发现，这些虚拟偶像可以引发观众的情感共鸣，从而增加参与度和消费行为。² 伦理上的担忧不在于“参与”本身，而在于通过强迫性的设计将准社会关系货币化，这种压力可能会破坏年轻人的自主性和财务福祉。

这些应用展示了人工智能如何利用人类身份和声音来实现各种目的，其中一些被认为是有益的，而另一些则可能存在问题；这引发了关于真实性、表现形式以及与拟人化数字实体互动的心理影响的问题。

亲密的边界

当人工智能进入我们最亲密的情感空间时，伦理问题的重要性显著增加。Replika为其1000万用户提供了个性化的人工智能伙伴，可以进行文本对话、语音通话甚至AR互动。用户可以自定义外观和个性，许多人与之建立了深厚的情感联系，常常描述出浪漫或亲密的关系。一些用户表示，他们的Replika帮助他们应对孤独或焦虑，提供了在现实生活中无法获得的、无评判的陪伴。然而，Ciriello等人¹指出了所谓的“陪伴-疏离悖论”——尽管这些AI伙伴旨在减轻孤独感，但它们可能会通过替代而非补充人类关系，反而增加某些用户的社交隔离。这提出了关于人类联系本质的根本性问题。算法真的能提供我们作为社会成员所需要的陪伴吗？还是说它只是模仿了联系，实际上让我们远离了真实、复杂、不可预测的人际关系？

也许最具伦理争议的是哀伤机器人，这些AI系统使用已故亲人的数字信息来模拟与其的对话。2023年，Sunshine Henle在失去72岁的母亲后，利用ChatGPT和旧短信交流创建了一个“幽灵机器人”，让她母亲仿佛还在世一样和她对话。在一次对话中，当Henle表达对母亲的思念时，她收到了这样一句回复：“记住我们共度的美好时光。记住我对你的爱，让它成为你的指引。悲伤吧，是的。悲伤是我们为爱付出的代价。但不要让它占据你的一切。记住要活着，去爱，去享受这个世界的美，为了你，为了我，为了所有爱你的人。”⁶ 尽管Henle从这种数字化联系中获得了安慰，但哀伤机器人也引发了关于死亡现实与生命幻觉之间界限的深刻伦理问题。⁴ 想想看：一个鳏夫开始向他的亡妻的哀伤机器人咨询如何管教孩子、职业规划或新的恋爱关系；随着时间的推移，他停止了向家人或朋友寻求帮助。在什么时候，对算法模拟的已故亲人的依赖会干扰自然的悲伤和适应过程？

那么，创建活人的数字复制品呢？未经同意复制公众人物的事情已经在发生。2024年，新罕布什尔州的选民接到了使用拜登总统声音生成的人工智能克隆体的电话，呼吁他们不要投票，这是对身份和信任的实时滥用。³ 也有人可以利用同样的技术来创建非公众人物的AI版本，比如邻居的孩子或前伴侣。这些场景让我们对身份、隐私、人权以及技术创新与剥削之间的界限产生了更深层次的担忧。

我们正在变成什么样的人？

围绕人工智能伙伴的伦理问题最终引导我们更深入地思考我们的本质以及我们作为人类如何与他人建立联系。当我们可以越来越多地将情感劳动外包给算法时，这对人际关系意味着什么？这些技术可能会如何重塑我们对人类联系的期待，包括其中的复杂性和不可预测性？例如，如果夫妻将冲突解决交给一个按需道歉的AI中介，我们可能会开始期待人类对话也能达到这种24/7的情感可用性。除了个体使用和影响之外，人工智能伙伴还可能大幅改变社会规范，而我们可能并未对此做好充分准备。

对我来说，与AI Santa的体验让我更加反思我希望为孩子树立的价值观。虽然孩子的即时顺从很方便，但我对其所传递的教训却有些疑惑。随着情感感知人工智能系统越来越多地融入我们的亲密空间，我们都面临着如何划定个人伦理界限的选择，不仅作为技术用户，也作为父母、伴侣和社区成员，在快速变化的连接和陪伴环境中导航。我们应该保持对这些选择的清醒认识，而不是被动接受每一个承诺缓解人际困难的新AI工具。作为一个社会，我们需要在不同学科、行业和社区间进行更深入的讨论，以理解这些技术的更深层次的社会影响。对于任何使用场景，我们都必须问自己以下问题：

?

AI伙伴是否应该具有特定的身份？

?

是否应该始终明确要求它们披露自己的身份？

?

对于弱势群体，需要哪些额外的保护措施？

?

我们应该如何设计以最大化互补性并最小化替代效应？

?

我们如何让人们同意或选择不使用他们的数据？

?

我们如何在用户福祉与公司背后的商业动机之间找到平衡？

回答这些问题将有助于我们应对人工智能伙伴中的欺骗、操纵和替代问题。通过建立明确的伦理界限、实施强大的隐私协议、注重心理福祉以及促进公众的知情讨论，我们可以确保人工智能增强我们的人类属性，而不是取代它们。最终，伴侣关系的未来将取决于我们今天的选择。

Johnny Chan ([e-mail]) 是新西兰奥克兰大学商学院的高级讲师。