基于多智能体强化学习的以领导者为中心的群体形成方法，用于群体推荐

《Expert Systems with Applications》：Leader-centric adaptive group formation via multi-agent reinforcement learning for group recommendation

　　雷扎·巴尔泽加尔·诺扎里|侯赛因·卡尔谢纳斯
伊朗伊斯法罕大学计算机工程学院人工智能系，HezarJerib街，81746-73441伊斯法罕

摘要
群体推荐系统通常假设群体已存在，或以一次性、静态的方式形成群体，当用户偏好发生变化时再重新进行聚类。这种做法忽视了群体形成的核心挑战：如何在成员和偏好不断变化的情况下，构建并维护能够适应变化的兼容性群体，同时保证结果的可解释性和成本可控性。本文提出了AGILEC框架——一种通过影响学习与自然凝聚实现自适应群体划分的方法，它将群体形成与管理视为一个序列决策过程。该框架整合了以下要素：（i）基于概率（对角高斯）嵌入的、能感知不确定性的用户表示方法；（ii）利用复合中心性指标的、能考虑权力因素的多领导者识别机制；（iii）基于明确相似性阈值的、以领导者为中心且具有可解释性的成员归属规则；（iv）一种多智能体强化学习控制器，能够执行添加、删除、更换领导者等明确的编辑操作，这些操作都是在权衡编辑成本的前提下，为长期保持群体凝聚力和用户参与度而优化的。在多个MovieLens和Amazon数据集上的大量实验表明，与现有最佳方法相比，AGILEC始终能提升群体的兼容性，改善群体内凝聚力、群体间多样性以及戴维斯-鲍尔丁指数，同时还能在用户偏好发生变化时保持系统稳定性。进一步分析显示，这种更强的群体结构还能在常见的聚合策略和预测模型下提升群体推荐的质量。这些研究结果表明，通过AGILEC所实现的动态、可解释且能感知不确定性的群体形成机制，是推动群体推荐系统发展的关键手段。

引言
推荐系统已广泛应用于电子商务、媒体平台、社交网络及在线服务等多个领域。最初，推荐系统旨在通过协同过滤、基于内容的过滤以及混合方法等，为个体用户提供个性化推荐（Barzegar Nozari和Koohi，2021；Ghobadi等人，2023；Nozari等人，2024）。随着用户数据量的增加，机器学习技术的进步使得推荐系统能够扩展规模，并更好地适应日益复杂的用户行为（Ghobadi等人，2023；W. Li等人，2025）。此后，矩阵分解、深度学习、强化学习、联邦学习以及图神经网络等技术被逐步引入，以提高推荐的精准度和相关性（见图1）。

随着协作式数字体验的兴起，推荐系统研究的重心从个性化推荐转向了群体推荐，即群体推荐系统。在现实场景中，比如朋友共同选择电影、游戏玩家组队合作、游客共同规划行程等，都需要综合考虑多种有时甚至相互矛盾的偏好（Abolghasemi等人，2022；J. Kumar等人，2021；Wang等人，2023）。对群体智能需求的增加推动了群体推荐系统的相关研究，这类系统不仅要能够建模个体偏好，还要能够处理群体决策中的复杂动态。尽管面临整合多元意见和维持群体凝聚力的挑战，但此类系统通过为群体整体量身定制推荐，有望提升用户满意度。随着数字体验越来越依赖于协作消费和团队合作，群体推荐系统的作用愈发重要（Barzegar Barzegar Nozari等人，2024；Barzegar Nozari和Koohi，2020）。

尽管人们对群体推荐系统兴趣日益浓厚，但现有系统仍存在一些根本性的局限和未解决的问题。群体推荐系统的第一步就是群体识别，即在不存在预定义群体的情况下，自动将具有相似偏好的用户归为同一群体（Abolghasemi等人，2024；Barzegar Nozari和Koohi，2020；Yalcin和Bilge，2021）。目前大多数相关研究都集中在群体确定之后的聚合问题上，比如平均/加性效用算法、最小痛苦算法、结合共识与认可度的混合算法，以及通过多轮迭代选择聚合规则的序贯策略（Stratigi等人，2023），而对高质量群体的形成机制研究相对较少。

当群体未被预先定义时，其形成方式在很大程度上决定了推荐效果。然而，现有方法要么只进行一次性分组并保持不变（静态聚类/社区检测及元启发式算法）（C. Fang和Lin，2022；Gavrilovic等人，2022；Seo等人，2021），要么仅间接更新群体（定期替换成员、重新聚类）（Garshasbi等人，2023；Haq等人，2021；Sun等人，2023），缺乏针对成员调整的系统性在线控制机制。最近的综述也明确了这一差异——相关方法可分为“静态”和“动态”两类，动态方法通常通过修改边关系或重新聚类来实现调整，而非直接持续地修改群体成员构成（Hua等人，2025；Sun等人，2023）。此外，大多数方法对所有群体成员一视同仁，没有考虑群体内部的领导地位或影响力，也无法解释为何某些用户会被归为同一群体（Krouska等人，2023；C. Kumar等人，2022；Sieranoja和Fr?nti，2022）。它们还将用户偏好视为点估计值，忽略了其中的不确定性，这会导致在数据稀疏或存在噪声时群体模型变得不稳定（Barzegar Nozari和Koohi，2020）。简而言之，该领域目前更多关注事后的聚合处理，而非动态、可解释且能感知不确定性的群体形成与管理机制。

总体而言，现有群体推荐系统存在若干关键缺陷，主要包括：
?无法适应不断变化的群体动态和偏好：许多现有方法假设群体已预先定义，仅专注于聚合处理，而忽视了群体识别的关键问题。当用户偏好随时间变化时，这些系统难以做出相应调整。
?群体形成方式静态：当前大多数方法都是静态的——它们只进行一次性分组并保持不变，或仅进行周期性重新聚类之类的简单更新。这类方法无法对偏好变化或成员流动做出动态响应，灵活性和适应性较差。
?缺乏可解释性和长期优化能力：即便在动态方法中，也只有少数方法提供了可解释的标准（如明确的领导者角色和成员阈值），使得群体形成过程不够透明。此外，这些方法很少考虑长期凝聚力与用户参与度的优化，尤其是那些需要权衡群体变更所带来的编辑成本的情况。

为解决这些关键问题，本文提出了AGILEC框架——一种通过影响学习与自然凝聚实现自适应群体划分的创新方法，它将群体形成与管理视为一个序列决策问题。这样一来，随着数据和用户偏好的不断变化，群体也能够动态演化，从而克服现有方法的局限性。

AGILEC的最大创新之处在于其以领导者为中心的群体形成理念，每个群体都由一名领导者引领，该领导者的偏好在决定群体成员构成方面起着关键作用。这与传统方法不同，传统方法通常不考虑领导力在群体动态中的作用。通过采用概率嵌入方法，AGILEC能够体现用户偏好中的不确定性，从而使系统在面对数据稀疏或噪声时更具稳定性。这种概率化处理方式为群体决策提供了坚实的基础，提升了框架在各种数据条件下的适用性。

此外，AGILEC还引入了一种能考虑权力因素的多领导者选择机制，使群体能够反映现实社会中的动态关系——通常那些影响力较大的用户会主导决策过程。这一机制不仅能够捕捉社会影响力的细微差别，还能提升群体形成和推荐结果的准确性。

可解释性也是AGILEC的另一个重要优势。与黑箱式的聚类方法不同，AGILEC的以领导者为中心的模型能够为群体成员的归属提供清晰的理由。群体成员与其领导者之间的明确关联，使得群体形成过程更加易于理解且具备合理性，这对于那些需要各方信任和验证结果的现实应用来说至关重要。

或许最重要的是，AGILEC是首个具备在线控制功能的框架，它能够持续、有序地调整群体成员构成。现有方法大多依赖一次性或定期的群体形成，无法适应用户偏好或互动模式的变化。AGILEC则通过执行添加、删除、更换领导者等明确的、考虑成本的因素的编辑操作，以实现长期目标，如保持群体凝聚力与用户参与度，从而确保群体在不断发展过程中依然保持动态、团结且具有适应性。

通过这些创新，AGILEC不仅解决了传统群体推荐系统的局限性，还为构建适应性强、可解释性强且能感知不确定性的群体推荐系统奠定了基础。这样一来，即便用户偏好随时间变化，群体形成过程也能更加高效且稳健，进而提升群体的兼容性以及推荐质量。

总之，本文介绍了AGILEC这一全新的群体形成与推荐系统方法，它通过整合三项核心创新要素：
•以领导者为中心的动态群体形成机制：AGILEC突破了传统的一次性聚类或启发式更新模式，将群体形成与管理视为一个序列决策问题。它采用以领导者为中心的框架，围绕具有影响力的领导者来构建群体，同时运用能感知不确定性的概率嵌入方法来建模用户偏好。此外，AGILEC还通过考虑权力因素的多领导者识别机制来反映社会动态，再结合基于阈值的成员规则，为群体成员的归属提供清晰、可解释的理由。
•具备成本意识的协作型多智能体强化学习控制器：AGILEC的核心是一个基于QMIX的多智能体强化学习控制器，它能够根据新出现的互动情况，持续执行添加、删除、更换领导者等明确的群体编辑操作。该控制器的奖励函数不仅考虑群体凝聚力和用户参与度的变化，还会将编辑成本纳入考量。这种成本意识使得群体结构能够持续优化，从而在保持群体兼容性的同时，提升群体维护的可解释性和 scalability。
•全面的实证评估：为证明AGILEC的有效性，我们在多个真实世界数据集上进行了大规模实验，包括MovieLens-100K以及两个大型Amazon数据集。我们的评估还包括对AGILEC各组成部分的消融实验，结果表明，无论是在群体兼容性指标（群体内凝聚力、群体间多样性、戴维斯-鲍尔丁指数），还是后续推荐质量指标（精确度、平均Recall率、新颖性、覆盖率）方面，AGILEC都显著优于静态和动态基准方法。此外，我们还采用了加权平均和投票两种标准聚合策略，结合矩阵分解和神经协同过滤模型，作为群体推荐策略，进一步评估了经过优化的群体的推荐质量。

本文的其余部分结构如下：第2节回顾了群体推荐系统的相关研究，重点分析了以往的群体形成策略及其与AGILEC方法的对比。第3节详细介绍了所提出的AGILEC框架，阐述了其建模架构、领导者选择机制、群体形成方法以及用于群体演化的基于多智能体强化学习的控制器。第4节介绍了实验设置，包括数据集描述、评估指标以及所对比的基准方法。第5节呈现实验结果及对比分析。第6节展示消融实验的结果。第7节探讨了研究结果的意义，并进行了进一步分析。最后，第8节对全文进行总结，并指出了未来研究的潜在方向。

背景：群体推荐系统
群体推荐系统是一种专门为群体用户提供推荐服务的推荐系统类型，其目标是满足整个群体的需求，而不仅仅是单个用户的偏好（J. Kumar等人，2021）。在需要集体决策的场景中，比如一起观看电影、选择合作游戏、在餐厅用餐或规划旅行等，这类系统尤为重要，因为必须将各个用户的偏好整合起来，才能形成统一的决策（Abolghasemi等人，2022；Ghobadi等人，2023；J. Kumar等人，2021）。

AGILEC方法论
本节介绍了AGILEC，这是一种用于在动态群体推荐系统中构建和演化具有凝聚力的用户群体的新型多阶段方法。通过将群体感知的表示学习与多智能体强化学习框架相结合，AGILEC解决了静态群体形成带来的局限性以及用户偏好变化带来的挑战。其核心思想是整合这两种技术，从而创建出既内部一致又能够随时间演变的群体。AGILEC的各个组成部分将在下文中分别介绍。

实验设置
为验证所提出的AGILEC框架的有效性，我们开展了全面的实验研究。评估内容涵盖了群体兼容性和群体推荐质量两个方面。实验在多个真实世界数据集上进行，以确保研究结果的普遍性。本节将详细介绍所使用的数据集、评估指标以及现有的最佳方法。

群体兼容性——总体结果分析
本研究在流式环境中评估群体兼容性，即每个时间步都会有新的互动发生，而且方法也可能发生变化，群体成员也可能会重新分组或重新聚类。本节报告了在MovieLens 100K、Amazon Movie & TV以及Amazon Video Game这三个数据集上，不同时间步以及三次重复实验的均值结果（±标准差）——分别对应凝聚力（↑）、多样性（↑）以及戴维斯-鲍尔丁指数（↓）。

指标间的权衡分析。凝聚力、多样性与分离性彼此关联但并不相同。消融分析通过依次禁用AGILEC中的各个组件来量化其贡献：(A)具有不确定性感知和群体意识的表示学习（替换为点嵌入）；(B)具有权力感知的领导者选择机制（替换为随机领导者）；(C)基于协作多智能体强化学习的演化机制（替换为静态的、非多智能体强化学习模式）。在MovieLens-100K、Amazon Movie & TV以及Amazon Video Game数据集上的测试结果显示，从群体兼容性来看，凝聚力上升，多样性上升，DB指数下降。在本研究中，我们提出了AGILEC这一框架，旨在克服传统方法及动态方法在协作环境中的群体形成方面的局限性。通过全面的实验和对比分析，AGILEC在群体凝聚力、适应性以及推荐质量方面表现更优，优于现有的最先进方法。本文旨在对这些研究结果进行阐释，并分析AGILEC为何能取得更好的性能。AGILEC代表了动态群体形成领域的重大进展，它融合了具有不确定性感知的用户建模、具有权力感知的领导者选择机制、多智能体强化学习以及具有成本意识的群体管理策略。该框架能够持续优化群体结构，同时保持较高的凝聚力和参与者积极性，再加上其透明的决策过程，使其成为现有方法的优质替代方案。凭借创新的设计，AGILEC不仅提升了群体推荐的质量。CRediT作者贡献声明：Reza Barzegar Nozari：撰写——初始草稿、研究、可视化、验证、软件开发、方法设计、形式化分析、数据整理、概念构建。Hossein Karshenas：撰写——审阅与编辑、可视化、验证、方法设计、指导监督、形式化分析、概念构建。利益冲突声明：作者们声明自己没有已知的可能会影响本文所述工作的财务利益或个人关系。