超图信任博弈中 Q 学习的诱惑感知声誉自适应探索

《Neurocomputing》：Temptation-aware reputation adaptive exploration for Q-learning in hypergraph trust games

　　

摘要
探索在超图信任博弈的Q学习中发挥着关键作用，因为智能体必须在不破坏已学到的可信行为的前提下修正不可靠的策略。现有的基于声誉的Q学习模型通常用声誉来定义学习状态或奖励，但ε-贪心探索概率在各智能体之间保持固定。固定的探索规则无法区分不同行为可靠性的智能体，而当不可信托管人在诱惑作用下获得更高收益优势时，这一局限性变得更加重要。本文提出了诱惑感知声誉自适应探索（TARE），这是一种面向超图N人信任博弈的体制条件探索机制。TARE作用于Q学习的策略选择阶段，将一阶声誉转化为个体低声誉水平，并用诱惑水平调节该可靠性信号对探索概率的修改强度。在受测均匀超图上的大量仿真显示，TARE在所有报告的高诱惑超图中相对于固定ε-Q学习降低了晚期不可信托管人占比，并且在主要高声誉设置中相对于仅奖励Q学习也降低了该占比。具有匹配探索率与信号分离探索规则的探索分配对照实验进一步表明，该改进来自声誉匹配的探索分配与诱惑条件敏感性的结合，而非仅由探索量所驱动。参数与初始条件分析表明，所选的TARE设置位于受测网格的低不可信占比区域。这些结果提示，将一阶声誉与诱惑条件探索相结合，可以改进超图信任博弈学习中的自适应策略修正。
引言
复杂的社会与经济系统常常依赖于兴趣并不完全一致的智能体之间的合作。信任是这种合作的核心形式，因为它允许一个智能体在期待互惠行为的情况下承担资源或利益风险，同时也为剥削创造了机会。演化博弈论为研究合作行为在这种张力下如何涌现和持续提供了正式框架[1][2]。网络科学进一步表明，相互作用结构至关重要：局部邻域、图拓扑以及非均匀连接性可以改变合作在结构化群体中存活的条件[3][4][5]。这些发现促使人们构建将个体行为决策与复杂系统的更广泛组织联系起来的信任演化模型。信任博弈为个体决策与系统级信任演化之间的联系提供了紧凑的行为模型。在经典设置中，投资者转移资源，而托管人决定是返还还是扣留价值[6]。N人信任博弈将这一设置扩展到具有三种行为角色的群体决策：投资者、可信托管人和不可信托管人[7]。对信任与可信度的演化分析表明，这些角色与群体结构共同塑造了互惠行为[8]。这种基于角色的设置在研究智能体反复从收益反馈中学习时信任与可信度如何演化方面十分有用。对N人信任博弈的近期研究在该基于角色的设置中检验了若干监管与行为机制。条件性投资将投资决策与重复群体互动联系起来[9]。保证金制度和政府管理修改了塑造信任演化的制度环境[10][11]。层级投资者、自愿参与以及群体共享制裁进一步表明，群体组织与参与选项可以改变可信行为的生存[12][13]。这些研究促使我们更细致地考察学习规则如何在各智能体之间分配行为修正机会。声誉通过可见的过去行为改变智能体对未来互动伙伴的反应方式，从而为信任演化增添了行为记忆[14][15]。近期综述总结了声誉评估与互惠行为如何在理论模型和行为实验中支持合作[16][17]。一阶声誉记录智能体自身的过去行为，因此提供个体可靠性信号[18][19]。群体声誉将行为信息扩展到不对称信任博弈中的集体评估[20]。二阶声誉机制在网络信任博弈和单纯形复形博弈中使用额外评估信息[21][22][23]，而三阶动态评估则将声誉评估扩展到超图公共品设置[24]。由于一阶声誉直接由智能体自身的行为更新，它适合研究个体可靠性与行为特定的学习调整。因此本文聚焦于一阶声誉，作为智能体层面的行为信号。信任互动通常发生在群体而非孤立的配对中。成对网络可以表示谁与谁相连，但无法自然地将一次群体互动的所有成员保存在同一关系中。超图通过将每次群体互动表示为一条超边并允许智能体参与重叠的超边来解决这一局限[25][26]。超图信任博弈学习将这种结构表示与声誉和强化学习联系起来。超图上的基于声誉的强化学习将声誉置于奖励信号中，并表明声誉可以在群体结构化群体中促进合作[19]。多人群体博弈中的自适应声誉模型同样表明，声誉可以在非成对结构上改变合作结果[27]。Q学习为演化模型提供了自适应的策略更新机制，描述具有有限理性的智能体如何从奖励反馈更新策略，而ε-贪心选择将已学习价值的利用与随机探索区分开[28][29]。近期综述强调了强化学习与演化博弈论之间更广泛的联系[30]。演化学习研究使用Q学习或相关规则来研究收益反馈、Fermi更新与自相互作用学习[31][32]。自适应探索也已在空间公共品博弈中得到研究，其中探索随环境信息改变而非保持固定[33]。其他基于学习的模型研究了重复群体博弈中的自愿参与与网络化决策[34][35]。监管机制通常通过收益、奖励、状态或转移条件发挥作用。状态依赖激励与惩罚-声誉协同效应展示了干预如何重塑合作激励[36][37]。基于声誉的游戏转移和不完全信息模型进一步表明，行为或结构信息可以调节学习动态[38][39]。信任博弈学习研究也将声誉纳入奖励、状态或Q学习更新中[40][41]。诱惑是调节超图信任博弈的重要因素，因为它衡量不可信托管人相对于可信托管人获得的收益优势。网络化N人信任博弈研究表明，诱惑改变信任的生存条件，且更新规则可以改变可信行为是否抵抗剥削[42][43]。基于激励的信任博弈研究进一步表明，监管机制可以通过在不同群体条件下作用于托管人来改变信任演化[44]。在基于学习的信任博弈模型中，诱惑通常被视为收益参数或实验条件。近期超图信任博弈研究已将超边收益形成、一阶声誉状态、Q学习以及收益函数中的诱惑参数整合在一起[41]。该框架为研究群体信任互动中的声誉驱动学习提供了有用基础，因为它在统一模型中联系了超图结构、声誉反馈与自适应策略更新。然而，在该框架中，诱惑影响收益，声誉影响学习状态与奖励，而ε-贪心探索概率在所有智能体之间保持固定。这使策略选择阶段对智能体的行为可靠性与不可信托管人的收益优势不敏感。基于该框架，本文进一步考虑诱惑与一阶声誉如何共同调节策略选择阶段的个体探索。本研究提出诱惑感知声誉自适应探索（TARE）以解决这一探索分配问题。其贡献不是孤立的自适应探索，而是在超图信任博弈中使用一阶声誉分配个体探索，并使用诱惑体制调节这种分配的强度。TARE保留参考文献[41]中的超图收益形成、一阶声誉状态、声誉奖励与Q学习更新，但改变策略选择阶段。它为每个智能体分配个体的ε-贪心探索概率。低一阶声誉会提高产生该声誉信号的智能体的探索概率，而诱惑水平控制低声誉被转化为探索的强度。主要贡献如下：
• 本研究为超图N人信任博弈中基于声誉的Q学习制定了探索分配问题。与其仅通过声誉奖励来调节学习，本文提出的模型将ε-贪心探索概率作为智能体层面的策略选择变量。
• 本研究提出诱惑感知声誉自适应探索（TARE），将一阶声誉与诱惑联系起来作用于Q学习的探索阶段。一阶声誉提供个体可靠性信号，而诱惑决定该信号改变探索概率的强度。
• 大量仿真显示，TARE在所有报告的高诱惑超图中相对于固定ε-Q学习降低了晚期不可信托管人占比，并且在主要高声誉设置中相对于仅奖励Q学习也降低了该占比。探索分配对照进一步分离了探索量与探索分配。结果表明TARE的声誉-诱惑耦合优于探索率匹配的固定探索、无个体声誉匹配的全局探索以及单一共享映射的声誉自适应探索。
模型与方法
本节定义超图N人信任博弈学习模型。基本设置遵循参考文献[41]中由一阶声誉和强化学习驱动的框架。图1将模型组织为三个相互连接的部分。顶层给出超图群体，其中超边定义群体互动与重叠成员关系。左下模块根据智能体所关联的超边、当前策略、角色构成和诱惑参数计算其收益。
实验设置
仿真设置总结于表1。每个结果来自20个独立种子下的20000个演化步。所报告的晚期值由最后4000步计算得到，并绘制95%置信区间。H5-1024表示具有1024个智能体、超边大小为5的均匀超图，其他网络标签遵循相同的顺序。1024个智能体的关联矩阵是由优先增长生成的均匀超图。
结论
本文提出了TARE，一种面向超图信任博弈的诱惑感知声誉自适应探索机制。TARE在Q学习的策略选择阶段通过一阶声誉转化为个体低声誉水平，并使用诱惑水平调节探索被分配的严格程度，从而发挥作用。因此，当不可信托管人具有更大收益优势时，行为可靠性较低的智能体将获得更强的策略修正机会。
作者贡献声明（CRediT）
赵辉：原创稿件撰写。程树明：指导。张岩：审稿与编辑、调研。
利益冲突声明
作者声明，他们没有已知的财务利益或可能影响本文报告工作的个人关系。
赵辉于北京交通大学攻读交通管理与规划专业硕士学位，2020年7月获得法国贝尔福蒙贝利亚尔技术大学计算机科学博士学位。此后她在同济大学电子信息与工程学院附属的上海智能自主系统研究院从事博士后工作。她目前是某学院副教授……（赵辉 | 程树明 | 张岩）