用于旅行回忆录生成的对话式机器人系统

《ACM Transactions on Human-Robot Interaction》：Conversational Robot System for Travel Memoir Generation

本研究提出TRAVOT系统，通过机器人对话探索用户旅行照片背后的故事并生成回忆录。系统结合必问问题与元语言模型控制对话，利用大语言模型（LLM）灵活提问，避免重复并深入话题。实验表明，TRAVOT相比仅用LLM或固定问答的系统，能收集更多用户主观记忆，生成更丰富的回忆录，显著提升用户使用意愿（ITU）和回忆效果（C-Q2），验证了其有效性。

　　回忆对心理健康有着积极的影响。对于与老年人互动的机器人而言，回顾回忆的对话也是重要的应用领域。尽管回忆的重要性不言而喻，但目前还没有研究同时探讨了如何帮助机器人进行关于用户回忆的对话，以及从这些回忆中生成内容的方法。本文提出了一种名为TRAVOT的系统，它通过对话探索旅行照片背后的故事，并结合这些照片生成旅行回忆录。TRAVOT利用大型语言模型（LLM）来灵活收集信息，同时通过一个基于Meta-LLM的主题控制机制，使机器人能够深入讨论用户回忆，从而获得更深层次的故事。这不仅能够从照片中获取不到的信息，还能通过生成额外的问题深化讨论。此外，TRAVOT还可以通过匹配判断来消除由于LLM的简单使用而导致的重复问题。我们进行了一项用户实验来评估TRAVOT的效果，并发现当用户与TRAVOT对话时，他们能够回忆起旅行中更多有趣和不寻常的事情。用户也可以通过阅读TRAVOT生成的旅行回忆录来重温旅行经历。此外，TRAVOT还增加了对话和回忆录中所包含的信息量。

回忆是人类心理活动中非常重要的部分，能够帮助个体回顾过去，从而获得情感上的满足和心理上的慰藉。研究表明，回忆积极的经历可以缓解压力、提升情绪和增强自我价值感。回忆疗法通过回顾过去的经历，被用于治疗抑郁症和痴呆症，有助于改善认知功能和情绪状态。这种方法通常借助视频、照片和实物作为辅助工具。分享自己的回忆不仅有助于建立亲密关系，还能帮助人们更好地理解彼此。此外，由于机器人被广泛用于情感交流，如治疗和老年护理，因此，与老年人进行有意义的回忆交流可能是机器人应用的一个重要领域。本文聚焦于通过机器人对话促进回忆的生成，特别是探索如何通过机器人互动来生成旅行回忆录。我们的目标是创造一个系统，能够从用户经历中生成旅行回忆录，同时探讨将AI功能整合到机器人中以实现这一目标所需的功能。

目前，生成回忆内容的系统通常需要用户主动参与，无法自主产生用户未曾想到的想法。虽然一些系统能够自动收集用户的照片和社交媒体内容来生成回忆，但它们无法捕捉用户的主观信息。现有的机器人研究并未涉及如何从用户的经历中生成内容。然而，如果机器人能够与用户对话，回顾过去旅行中的经历，它将有助于用户回忆起具体的事件和当时的氛围。这些对话可以成为生成主观旅行故事的来源，表达个人体验。

TRAVOT的设计理念是通过对话收集旅行照片背后的信息，从而生成回忆录。系统通过与用户对话，获取旅行照片背后的情境信息，然后将这些信息与照片结合起来，生成整合性的回忆内容。TRAVOT利用LLM来生成能够深入对话的回复，解决无法根据情境提问的问题。为了解决对话无法深入的问题，TRAVOT引入了基于Meta-LLM的主题控制机制，允许自由对话。这一机制通过监控用户的回应和机器人的生成内容，调整提示信息。TRAVOT从预设问题中随机选择四个问题，引导对话以揭示旅行经历，并确保用户描述照片背后的故事。TRAVOT通过将用户回答与预设问题进行匹配判断，确定用户是否回答了某个问题，从而避免重复提问。

TRAVOT系统包括两个主要部分：回复生成单元和回忆录生成单元。回复生成单元负责与用户进行对话，收集旅行照片背后的情境信息，而回忆录生成单元则利用这些信息和照片生成旅行回忆录。对话历史被保存以支持回忆录生成。通过结合LLM和预设问题，TRAVOT能够更有效地收集用户回忆信息，同时避免重复提问的问题。

在TRAVOT的实验中，参与者需要提前提交三张自己拍摄的旅行照片。实验过程中，他们与机器人进行对话，并阅读根据对话内容生成的旅行回忆录。实验结果显示，TRAVOT能够帮助用户回忆起更多有趣和不寻常的旅行经历，且生成的回忆录包含了从照片中无法获得的信息。此外，用户表示希望在回忆旅行时阅读由TRAVOT生成的回忆录。这些结果表明，TRAVOT在促进回忆生成方面具有显著的效果。

TRAVOT的设计还考虑了如何避免对话中的重复问题，通过双重监控机制来检测用户和机器人生成内容是否与未来计划的问题重叠。这一机制在回复生成单元中实现，确保机器人不会重复提问。同时，系统还控制对话时间，防止对话过长。通过这些设计，TRAVOT能够更自然地进行对话，生成更丰富的回忆录内容。

TRAVOT的研究还揭示了机器人对话在回忆生成中的潜力。通过与用户进行互动，机器人不仅能够收集用户的主观回忆，还能通过生成额外的问题，引导用户深入回忆。这种结合LLM和预设问题的方法，能够有效提升对话的质量和回忆录的丰富性。此外，研究还指出，机器人在对话中表现出的灵活性和引导能力，是未来人机互动的重要方向。

尽管TRAVOT在实验中表现出色，但仍存在一些局限性。例如，用户的语音识别可能影响对话的流畅性，机器人生成的回复可能存在不准确或重复的情况。此外，用户的主观回忆可能因文化背景和个人偏好而有所不同，这需要进一步研究。在未来的应用中，还需要考虑隐私和数据安全问题，确保用户在使用系统时不会感到不适或担忧。

总之，TRAVOT通过结合LLM和预设问题，为机器人在回忆生成方面提供了一个创新的解决方案。它不仅能够帮助用户回忆起旅行中的具体经历，还能通过自然对话生成富有情感的回忆录。这一系统展示了机器人在促进人与机器之间情感交流方面的潜力，同时也为未来的机器人设计提供了有价值的参考。