综述：Watching the watchers: aggression observation as a window into the neural mechanisms and computations underlying social learning

《Current Opinion in Neurobiology》：Watching the watchers: aggression observation as a window into the neural mechanisms and computations underlying social learning

　　

50多年前Albert Bandura的经典实验首次表明，攻击不仅受先天倾向塑造，也受社会学习影响。在这项工作中，人类观察者在观看攻击示范者后“镜像”了攻击行为，表明观察可导致动作模仿。除了攻击本身的模仿外，攻击观察可能对更新社会世界的内部模型以及促进适应性行为状态至关重要。由于观看攻击的倾向既普遍存在又高度保守，这种高度生态行为为理解跨物种社会学习和行为完善的神经机制提供了有用框架。近期工作表明，攻击观察招募了广泛的大脑皮层下脑区神经活动，这些区域在自然行为期间自身发动攻击和学习时已知处于活跃状态。这表明攻击的社会学习可能除了传统的“动作镜像”系统外，还招募攻击动机、唤醒和奖赏系统。与其他具有单一示范者的社会学习形式不同，攻击观察代表了一种更复杂的社会学习形式，因为被观察行为包含多个示范者（胜者和败者），其独特目标必须被观察者同时推断。几种近期计算方法，包括多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）和逆强化学习（Inverse Reinforcement Learning, IRL），是形式化个体如何在攻击观察后更新行为的有前景策略。

引言（Introduction）

为了在复杂社会世界中导航，个体需要能够用反映邻居地位、健康和潜在威胁水平变化的信息来更新其内部社会世界模型。这使得个体能够更新关于接近谁、避开谁以及如果发生意外遭遇该使用哪些行为的未来行为。这种灵活策略通过完善社会行为策略，使个体能够最大化潜在社会奖赏同时最小化社会惩罚。在社会领域，对社会世界模型不佳的代价在攻击期间最为严重：未能整合关于邻居威胁潜力的新知识可能导致严重伤害甚至死亡。个体可能由于从自身攻击和防御直接经验中学习而调整行为策略，也可能由于仅仅观察他人而调整，这一过程通常被称为社会学习。通过攻击观察的社会学习可用于更新关于社会环境的结构化知识或更新行为策略。假设个体观看邻居A和B打架，且A极具攻击性地决定性获胜，观察者可能利用该知识调整自身关系认知社会图式，包括自身在该等级中的位置。此外，观察者可能推断被观察个体的行为目标，并调整自身未来行为以在意外遭遇时接近或退却。支持该假设的是，许多近期研究表明攻击观察后行为发生变化，与社会学习预测一致，且观察者在第三方攻击期间大脑活动被强烈招募。

观看冲突是普遍存在、保守且适应性的（Watching conflict is ubiquitous, conserved, and adaptive）

基于观察到的攻击更新行为需要注意到攻击。人类自愿花费大量时间观察第三方攻击，尤其在屏幕上。娱乐行业估计超过80%北美人定期观看暴力内容，包括恐怖片，年轻男性消费率最高。观察者报告这种体验既愉悦又厌恶，关于个体为何选择观看暴力的一个主导理论是观察后“威胁模拟”机制的进化。威胁模拟，即模拟潜在未来社会遭遇的能力，将具有高度适应性，因为它可能在缺乏直接经验的情况下塑造行为策略，并赋予个体生存优势。观察冲突的倾向似乎也在多种分类群中高度保守，在利用攻击形成和维持社会等级物种中尤为明显。个体与群体内每个成员战斗以确定等级位置将极其低效且代价高昂，许多物种被证明仅通过观察即可进行传递推理。在灵长类中，山魈、恒河猴和巴巴利猕猴表现出注意同类攻击的行为特征，包括对感兴趣行为的长时间注视。猕猴偏好观看包含冲突或打斗的社会互动，程度是观看类似亲和或社会中性互动的两倍以上，如果被观察个体占优或亲密社会伙伴，该效应放大。啮齿动物在实验室环境中也被证明注意攻击。小鼠在群体中形成频繁稳定且线性的等级。在大群体中，个体很少与其他每个个体战斗，这表明个体使用直接战斗经验以外的线索来确定等级位置。在这些群体内，当高等级个体互相战斗时，低等级个体将减少对其他低等级小鼠的攻击。这表明存在“注意等级”，即注意优先分配给等级较高成员之间的打斗。

攻击观察促进社会学习（Aggression observation promotes social learning）

Albert Bandura的经典实验首次表明攻击行为事实上可被学习，而非简单固定先天行为。在这些开创性心理学实验中，成人对无生命“Bobo doll”展示“攻击”，儿童“观察者”随后在娃娃上模仿许多这些动作。这些实验形成了社会学习理论的基础，强调社会学习是认知过程，需要观察行为及对该行为相关潜在后果的认知评估。当经验学习（试错学习）代价高昂时，社会学习可能特别有价值，攻击即如此。社会学习和行为的社会传递可通过模仿学习或目标仿真发生。模仿学习可通过简单复制他人行为或选择发生，而目标仿真需要推断同种个体的目标或信念状态。人类近期数据表明个体可能在相似行为情节中切换这些学习类型。在动物中，模仿学习最清晰识别于动物表达不属于其行为库的新行为时。然而，在更自然情境中动物是否进行模仿学习不太清楚，因为行为常是先天行为库的一部分。小鼠近期数据表明，重复每日攻击观察后小鼠更新其攻击行为策略。当观察小鼠后来在无保证获胜结果的新情境中测试新战斗时，观察者表现出模仿有直接攻击经验动物策略的行为差异。通过观察和直接经验学习的动物之间相似行为包括增加攻击“准备”行为，包括更多时间处于防御姿态、更多主动行为、更少时间处于易受攻击姿态以及缩短攻击潜伏期。值得注意的是，该策略在观察无攻击社会行为的个体中缺失，表明攻击观察本身而非简单雄性间社会互动对发展新行为策略至关重要。由于行为变化超出攻击“启动”，一种推测是攻击暴露促进采用更细致行为策略，包括防御和进攻。一种未验证假设是攻击观察可能促进混合策略，因为观察到两个不同示范者（占优和从属），它们在攻击期间有不同行为轨迹。目标仿真可能允许观察者推断两组不同价值（攻击vs避免攻击）并在复杂行为期间部署多种行为策略。其他近期工作也表明社会熟悉度调节攻击观察效应。当观察者目睹熟悉同种个体（笼友，其社会地位及战斗能力已知）时，他们可利用已建立关系作为辅导框架。熟悉攻击者有成为模型，其行为选择携带共享社会环境中成功策略的验证信息。然而，当观察不熟悉个体时，认知需求急剧转变：无信任导师，观察者必须从事自学，独立评估威胁环境，从头推断优势关系，并构建谁构成危险的自身预测模型。这种“辅导”与自导观察学习间的区别可能意味着不同学习机制：一种观察者依赖社会支架，另一种必须承担无指导构建威胁表征的更复杂任务。

观察到的攻击激活保守的社会行为网络（Observed aggression activates a conserved social behavior network）

鉴于攻击观察跨物种的普遍性及此类社会学习的明显益处，攻击学习和完善的神经环路可能高度保守。自然行为个体大规模记录的近期进展终于允许我们具有空间和时间分辨率来检查保守皮层下环路的贡献。支持社会或非社会领域观察学习的神经系统可能包含两个关键组分：（1）代表他人动作的系统（替代动作表征）；（2）代表这些动作价值的系统（替代奖赏和惩罚）。这些系统使个体既能记录显著社会感觉事件又能更新行为。源自机器学习的替代框架，包括后继表征框架，可能不需要动作和奖赏的显式表征，而可能涉及通过给定状态-动作对的期望未来状态占据来学习动作后果。这些方法在奖赏稀少时特别有用。跨多种哺乳动物（包括啮齿类、灵长类和蝙蝠）的众多研究表明，前额运动皮层区域和海马CA1神经元在观察特定动作时响应。在某些情况下，包括前额运动皮层，这些相同区域在执行动作时也被招募，表明观察和执行的环路高度重叠。替代动作表征常涉及对执行显式奖赏行为（如抓握或跑向奖赏位置）个体的响应，但也可在响应更自然持续社会行为神经元中观察到。例如，观察亲代行为在参与亲代行为下丘脑区域引发响应，表明这些特性不仅限于传统与学习和认知相关区域。几个近期研究已证明，当附近个体战斗时，大脑核心攻击环路中的皮层下环路被激活。这里将这种响应称为“观察到的攻击”，因为它发生在观察者而非参与者。一个关注区域是腹内侧下丘脑腹外侧区（VMHvl），一个已知双向调节两性攻击的关键区域。一项研究以细胞分辨率记录激素敏感群体VMHvl神经活动，雄性被屏障与战斗同种个体隔开，揭示该区域神经元也具有双重攻击镜像样响应特征：在动物观察攻击或自身具有攻击性时均响应。Yang等还使用遗传策略在观察期间标记这些神经元并在行动期间激活它们，证明它们与攻击产生神经元非功能分离群体。攻击观察响应在黑暗中缺失，表明视觉是动作镜像的关键感觉模态，即使在小鼠中。由于VMHvl不仅在攻击执行中起作用，也在攻击动机状态维持中起作用，一种可能性是该活动作用可能不仅是镜像攻击动作，而是镜像与这些动作相关的攻击唤醒或动机状态。VMHvl嵌入下丘脑、杏仁核和中脑区域的保守网络中，常被称为“社会行为网络”。跨深脑结构网络群体记录的近期进展揭示，神经元对观察攻击的敏感性可能不特定于VMHvl，而可能由社会行为网络区域共享，包括兴奋和抑制群体。攻击期间这种广泛分布响应表明攻击观察可能招募全脑网络以促进未来攻击准备状态。除动作或奖赏镜像外，编码唤醒、情绪或威胁状态的神经系统可能有助于攻击期间观察学习。前额皮层（PFC）神经元不仅能编码他人动作状态，还能编码他人情绪状态，表明该特性也可能是分布的。除代表他人动作外，自然行为观察学习也可能招募代表观察动作价值的系统。猕猴前扣带回和杏仁核神经元对经历和观察奖赏均响应，并改变这些区域间通信。多巴胺释放长期已知参与食欲学习，在大鼠观察同种个体获得液体奖赏时被调节，但水平低于自身获得相同奖赏。人类伏隔核（关键多巴胺靶点）描述了替代快乐神经特征。攻击执行与多巴胺释放相关，表明攻击经验是奖赏性的，多巴胺释放调节可编码并驱动失败期间行为策略差异。近期数据表明攻击观察激活食欲和厌恶学习系统，表明攻击观察可能激活替代奖赏和惩罚系统。这些教学信号可能对完善未来行为至关重要，有利于与奖赏相关行为，远离与惩罚相关行为。为使观察者响应特定个体改变行为策略或更新结构化社会知识，动作表征可能被澄清与观察者关系的特征调节。对被观察个体的熟悉程度也可能调节社会观察期间响应。这种区分是更新特定个体社会知识而非产生更泛化行为策略所必需的。在社会行为网络内，内侧杏仁核神经元区分熟悉与 novel 同种个体的观察，先前的失败经验使神经表征在观察攻击期间偏向最近攻击它们的熟悉个体而非 novel 攻击。区分熟悉和 novel 同种个体的其他脑区，包括CA2、其他海马区域以及社会行为网络外几个额外群体（包括杏仁核和隔膜），可能参与学习如何更新对特定同种个体的未来行为，尽管这尚未明确证明，是重要未来方向。

社会学习的计算模型（Computational models of social learning）

虽然攻击观察招募全脑系统用于动作镜像、替代状态表征和社会熟悉度，但个体如何使用这些信号驱动学习仍不清楚。强化学习的近期进展为用可应用于攻击的计算方法研究社会学习提供了路线图。两种方法有前景用于建模攻击观察：多智能体强化学习（MARL）和逆强化学习（IRL）。MARL使研究人员能发现人工智能体在多智能体环境中如何发展优化策略，而IRL通过拟合行为数据集揭示生物智能体获得的策略。这些方法共同为社会学习神经计算提供互补视角。MARL通过纳入多个独立智能体在共享环境中竞争或合作来扩展传统强化学习。这些智能体学习选择最大化累积奖赏的动作，同时应对其他智能体行为引入的额外复杂性。常见MARL场景包括觅食任务和捕食者-猎物动态，但可能扩展到包括攻击和失败等互惠社会互动。尽管任务环境和智能体规范常简化，MARL模型与社会神经科学任务相似，仍允许研究人员迭代模型参数空间，研究学习策略差异，并做出预测缩小未来实验设计。用神经行为学方法分析复杂环境中强化学习智能体揭示了先前未知丰富结构化行为动态。这显示了在更具生态相关性任务和环境研究多智能体任务的有前景路径，同时保留行为复杂性。一项近期研究发现交互人工智能体隐藏单元间出现共享动态，消融贡献这些共享动态的共享子空间大幅减少人工智能体的社会动作。这些结果展示了使用MARL模拟具有与生物智能体可比行为和神经动态的神经行为学任务的令人兴奋初始步骤。虽然MARL是研究人工智能体相互作用的合适框架，研究人员必须明确定义每个智能体的奖赏函数，与生物智能体复杂多面价值系统相比常过于简单。IRL可能通过从观察动作推断潜在价值函数解决此挑战。这将推断其他动物具有特定内部世界模型心理状态的能力形式化为IRL问题，其中动物需要基于观察动作检索其他动物的内部世界模型。IRL框架先前已应用于神经科学单动物和多动物案例。在一个单动物数据集中，小鼠需要探索迷宫获得水奖赏，IRL拟合个体小鼠动作轨迹准确恢复跨试次离散状态，对应不同价值函数（如家、水、探索）。一个成功例子是Chen等开发多智能体逆强化学习算法（MAIRL），将联合价值函数分解为自我和社会组分使推断计算可行。此外，后续研究将MAIRL应用于合作觅食任务，小鼠对学习协调导航到共享奖赏区。随着训练期间一致且独特行为表型（领导者vs跟随者）出现，MAIRL是发现角色间特定价值函数的有用工具。此类计算模型应用和分析带有潜在注意事项。许多不同计算可产生相同行为，因此良好模型拟合不表明生物系统使用相同过程，且改变任务情境可剧烈改变拟合参数解释。大解空间简化社会范式下，智能体也可能奖赏黑客，通过退化策略满足目标（例如仅从伙伴位置解决合作任务，无需预测其动作），在任务指标上表现优异但不类似感兴趣社会行为。训练目标本身在社会情境中是简化的：动物同时平衡多个目标（如稳态、社会等级和领地防御），在社会情境中，每个目标携带自我导向和他人导向表征。我们不能观察或解开动物如何在任务中动态权衡这些，或这些表征在大脑中是否可分离。当前模型只能匹配交互系统共享的组织原则，而非大脑实际计算。尽管这些潜在限制，MARL和IRL的独特能力创造了与实验人员互动方式推进研究方法的机会。实际动物的行为数据可用IRL分析以识别驱动社会行为的价值函数和决策策略。这些经验推导参数可指导MARL模拟，使研究人员能测试关于塑造社会动态环境因素的假设。相反，MARL模型可并行扫描全参数空间和环境条件，产生指导未来经验研究的新行为预测。这种体内和硅之间的双向工作流为推进对社会学习和攻击机制的理解提供了有前景框架。