利用机器反学习识别人类决策模型中的错误行为模式：一种分片强化学习方法

《Engineering Applications of Artificial Intelligence》：Utilizing machine unlearning for faulty behavior patterns in human decision-making model: A sharded reinforcement learning approach

　　摘要：本文通过提出一种基于机器反学习原理的新型分片强化学习框架，提升了人类决策过程的计算模型。该框架采用数据分片与选择性机器反学习方法来消除错误的行为模式，从而克服了传统强化学习方法的缺陷——即模型往往重复使用相同策略，缺乏适应性。这类问题在诸如爱荷华赌博任务之类的任务中较为常见。为解决这一问题，本文引入了机器反学习概念。所提出的方法能够识别出重复的错误行为模式，如反复选择同一套牌，然后在各分片层面进行局部修正，同时保留上一学习阶段稳定的期望状态。研究采用均方偏差作为模型性能评估指标，结果表明，经过反学习的模型在学习初期能更快地适应环境且表现更佳。该框架通过选择性排除已识别的错误分片，同时保留有效的先前学习成果，从而提升行为的适应性。这些发现展现了基于分片的学习与选择性反学习在序列决策中的应用潜力。

引言：人们的日常生活中存在着多种决策场景，从日常选择到具有重大后果的重大决策不等。由于人类心理过程具有主观性，不同个体做出的决策也各不相同。情感、经验、时间、情境、不确定性以及偏见等因素都会影响人类的决策过程。正因如此，跨学科研究越来越重视人类决策建模，将其视为一个重要领域（Awasthi等人，2008年）。决策应用贯穿计算机科学、专家系统、统计学、经济学、神经科学以及心理学等领域（Neuroeconomics and Elsevier，2014年；Morelli等人，2022年）。除了心理学之外，模糊逻辑和神经模糊系统等软计算方法也被应用于不确定条件下的决策问题。这些方法凸显了软计算在模拟类人推理方面的潜力（Párizs和T?r?k，2024年）。

探索决策过程的一种方法是通过赌博任务的游戏数据进行分析。早期研究在爱荷华赌博任务中使用了实体卡片。Bechara设计这项实验是为了研究决策难题，重点关注那些腹内侧前额叶皮质受损的个体。这类人往往倾向于做出具有负面影响的冒险选择，即便面临长期不良后果依然如此。后来，该实验采用了数字版本以替代原有的卡片形式，但仍然保留了实验的核心要素。

世界各地的研究人员开发出了许多计算模型来模拟人类的决策过程，这些模型基于不同的理论和算法构建。人们持续致力于深入理解人类的选择行为，但目前还没有任何模型能够完全涵盖所有影响决策的因素。决策可能受情感、不确定性、过往经历以及认知偏差等因素驱动，但将这些因素综合考虑往往十分困难。爱荷华赌博任务有助于通过分析人们在面对不确定性时的决策行为来解决这一问题。它是一种广泛用于行为实验和研究的工具，可用于研究在存在风险与收益时的决策方式。该任务能有效衡量人们在复杂且充满风险情境下的决策能力，还可用于分析不确定环境中的选择模式与学习机制（Kumar等人，2019年）。许多研究都利用这一任务来探究决策过程中的情感与认知因素。2005年，Bechara和Damasio提出了一个经济决策的神经模型，强调了情感在决策过程中的关键作用。此外，该任务还被用于研究决策过程中涉及的神经与心理机制，并比较健康人群与临床群体的决策模式差异（Kumar等人，2019年）。该任务还有助于检测精神分裂症患者（Kim等人，2016年）和帕金森病患者（Kobayakawa等人，2008年）的决策障碍。健康人与临床群体（如可卡因使用者及赌徒）的决策能力存在差异（Verdejo-Garcia等人，2007年；Brevers等人，2013年）。一项对110项研究的元分析表明，男性在爱荷华赌博任务中的表现通常优于女性，这种差异可能与大脑功能以及对收益与损失的敏感度有关（Zanini等人，2025年）。结合脑电图相关的事件相关电位分析，还能进一步揭示情感如何影响临床人群的决策行为（Latibeaudiere等人，2025年）。智能手机成瘾会负面影响决策能力及前额叶脑活动，尤其是在不确定条件下，这一现象也凸显了其作为临床问题的重要性（Liu等人，2024年）。Lambert（2025年）的研究指出，中等教育阶段的领导者在达到自我设定的绩效阈值后，会从追求风险的行为转变为规避风险的行为。急性压力会促使人们在爱荷华赌博任务中做出更加一致但以奖励为导向的决策，减少采取长期谨慎策略的情况（Molins等人，2025年）。还有研究探讨了执行功能表现如何影响西酞普兰对可卡因使用行为的作用（de Dios等人，2025年）等。

为了解释爱荷华赌博任务中决策表现的认知机制，人们开发了多种基于强化学习的机器学习模型。期望价值模型体现了基本的反馈更新机制（Busemeyer和Stout，2002年）。为了克服这一局限，前景价值学习模型引入了损失厌恶机制（Ahn等人，2008年；Steingroever等人，2013年）。价值加坚持模型则是价值学习与坚持倾向的结合体（Worthy等人，2013年）。结果表征学习模型是较新的模型，侧重于研究结果的心理表征及其在学习过程中的变化，该模型提升了模型与现实决策行为的契合度（Haines等人，2018年）。价值与顺序探索模型则将奖励学习与探索行为相结合（Ligneul，2019年）。总体而言，这些模型构成了决策行为的重要组成部分，也为相关研究提供了坚实基础。不过，它们仍需进一步完善，才能应对非适应性决策模式，并实现灵活的学习能力。即便现有模型取得了一定成功，但当人们陷入某种固定的决策模式时，它们往往会变得僵化，且无法在非适应性行为出现后对其进行识别与纠正。这种重复性的行为模式会降低学习的灵活性，也会限制强化学习模型在不确定环境下模拟人类灵活决策的能力。

强化学习模型能够捕捉爱荷华赌博任务中的奖励驱动型适应行为，但在序列学习过程中存在显著缺陷——它们常常陷入重复且非适应性的决策模式，且缺乏对错误行为进行选择性纠正的机制，这大大降低了学习的灵活性，也限制了它们在不确定环境下模拟人类动态决策的能力。为弥补这一不足，本文提出了一种新方法，该方法将数据分片与选择性行为遗忘相结合，其灵感来源于机器反学习原理。

近期研究还将机器反学习技术进一步拓展到了联邦学习与隐私保护场景中。机器反学习使得无需完全重新训练机器学习模型，即可消除某些训练样本对其的影响（Bourtoule等人，2021a年）。Gong等人提出了用于高效分布式学习的压缩贝叶斯联邦反学习方法（Gong等人，2023a年）。Fan等人则提出了一种虚拟联邦学习框架，通过在本地隔离模型来加速机器反学习进程（Fan等人，2023年）。Zhang等人则开发了差分隐私反学习框架FedRecovery，该框架可以去除梯度残差，同时保持学习模型与被反学习模型之间的统计相似性（Zhang等人，2023年）。研究人员还探索了高效的遗忘方法，Ma等人提出了神经元掩蔽技术以实现近似机器反学习（Ma等人，2023年）。当原始训练样本不可用时，Chundawat等人提出了零样本机器反学习方法（Chundawat等人，2023年）。此外，Aldaghri等人提出了编码机器反学习方法，通过编码数据分片来优化模型性能与反学习成本之间的平衡（Aldaghri等人，2021年）。近期的自适应学习框架注重在动态环境中的效率与稳定性，旨在实现有针对性的、局部的模型适配（Mohanty等人，2024年）。现有的方法通常通过重新训练、参数调整、数据分割以及隐私保护策略来实现选择性遗忘（Gong等人，2023b年）。然而，目前仍有少数研究探讨将机器反学习整合到序列强化学习与人类决策模型中。数据分片可以实现局部学习，而选择性反学习则能够自动识别并消除过度学习或存在偏见的决策模式，同时还能提高行为预测的准确性，降低不确定决策任务中的计算量。

为解决上述问题，本文提出了一种基于强化学习的新框架，该框架将数据分片与机器反学习理念相结合。目前大多数此类方法都是为监督学习或联邦学习环境设计的，其在序列强化学习与认知行为建模中的应用仍然有限。本文所提框架的创新之处在于，它将机器反学习理念融入到人类决策模型的序列强化学习过程中。与传统主要关注期望值更新与奖励适应的行为模型不同，该框架通过基于分片的选择性遗忘机制实现局部行为校正，从而使模型能够避免重复的决策模式，同时保留先前稳定的学习状态，进而提升模型的灵活性，避免不必要的重新训练成本。

本研究的主要目标是开发一种适用于不确定环境下人类决策分析的自适应强化学习框架。该框架结合了数据分片与选择性行为遗忘机制，其灵感来源于机器反学习原理，旨在在序列学习过程中有效减少重复的适应性不良决策模式，同时保留已学到的稳定行为知识。该框架是在爱荷华赌博任务环境中专门设计并经过验证的。

本文的主要贡献如下：
(1) 提出了一种适用于不确定环境下人类决策分析的分片强化学习框架。
(2) 引入了一种受机器反学习理念启发的选择性行为遗忘机制，用于在序列学习过程中识别并抑制重复的适应性不良决策模式。
(3) 该框架在进行局部分片校正时能够保留最后的稳定期望状态，从而在避免完全重新训练的同时保持学习的连续性。
(4) 该框架通过在分片层面进行局部更新，而非进行全面序列重新训练，从而降低了计算负担。
(5) 通过爱荷华赌博任务的实验验证，该框架提升了行为的适应性，减少了序列强化学习过程中的重复决策现象。

本文结构如下：第2节介绍研究方法，第3节阐述实验设计，第4节展示实验结果，第5节分析关键发现，第6节对全文进行总结。

方法论：许多决策模型都依靠强化学习从过往经验中学习，这类模型通常依赖预定义的学习机制。在学习规则时，它们往往无法“忘记”先前学到的信息，即便这些信息是错误的。这一局限性影响了模型的适应性。为解决这一问题，本研究采用了机器反学习技术，该技术基于现有的分片、隔离、切片与聚合（SISA）训练框架（Bourtoule等人，2021b年）。

实验设计：爱荷华赌博任务是一种用于研究决策过程的心理学工具，尤其适用于分析涉及不确定性与风险的决策场景。它属于“基于经验的决策任务”，因为参与者是根据在任务过程中获得的认知来做出选择的。随着他们不断选择不同的选项，就会逐渐了解每套牌对应的奖励与惩罚规律，进而利用这些知识来最大化自身收益。该任务的主要目的是检验参与者是否能够识别出……

结果：本节介绍了所提出的强化学习模型，该模型包含选择性机器反学习与数据分片功能。其性能与其他两种模型进行了比较：基准模型采用未经修改的标准强化学习算法；分片模型虽然将数据分为多个部分，但缺乏反学习功能；评估指标为MSD，该指标用于衡量预测决策与参与者实际决策之间的差异，实验数据来自爱荷华赌博任务，模拟共分为五个阶段进行。

讨论：本研究探讨了如何在强化学习框架中结合数据分片与选择性反学习技术，其目标是改进爱荷华赌博任务中的决策建模。该模型旨在识别过度学习或非适应性行为，如反复选择同一套牌，并通过反学习机制对这些行为进行纠正。实验结果为这一方法的有效性提供了有力支持。首先，通过对多个模拟步骤中的MSD进行分析，结果证实未学习模型始终比基准模型表现更好。结论：本研究提出了一种全新的分片强化学习框架，该框架借助机器未学习概念来支持适应性人类决策分析。该框架将数据分片与选择性机器未学习相结合。传统的行为强化学习模型主要关注期望值更新和奖励调整，而所提出的框架则引入了基于局部分片的选择性遗忘机制，以此来纠正重复的决策模式。资金信息：本研究未获得任何机构的资助。作者贡献说明：Dinesh Kumar Banjare：概念设计、形式分析、研究、方法论、可视化、初稿撰写、审稿与编辑；Mithilesh Atulkar：概念设计、形式分析、方法论、初稿撰写、审稿与编辑；Mitul Kumar Ahirwal：概念设计、形式分析、方法论、审稿与编辑。利益冲突声明：我代表所有作者确认，题为“利用机器未学习技术修正人类决策模型中的错误行为模式：一种分片强化学习方法”的手稿提交符合Elsevier的利益冲突声明政策。手稿中描述的研究内容此前未曾发表过（摘要、已发表的演讲或学术论文除外），也未在其他地方被考虑发表。致谢：本研究得到了印度博帕尔莫拉纳·阿扎德国立理工学院计算机科学与工程系脑机接口实验室的支持。Dinesh Kumar Banjare|Mithilesh Atulkar|Mitul Kumar Ahirwal印度赖布尔国立理工学院计算机应用系，邮编492010