《Machine Learning and Knowledge Extraction》：XAI2Brain: A Perspective on Mechanistic Interpretability for Brain–AI Alignment
编辑推荐：
人工智能（AI)、可解释人工智能(XAI)与神经科学的融合，正通过可解释且以人为本的学习范式，为理解机器智能与生物智能带来新的机遇。本视角文章提出XAI2Brain作为脑–AI对齐的概念框架，将机械可解释性(Mechanistic Interpretabili
人工智能（AI)、可解释人工智能(XAI)与神经科学的融合，正通过可解释且以人为本的学习范式，为理解机器智能与生物智能带来新的机遇。本视角文章提出XAI2Brain作为脑–AI对齐的概念框架，将机械可解释性(Mechanistic Interpretability)定位为连接神经网络表征、人类理解与神经科学启发式AI设计的中介层。研究人员强调XAI正从单纯的事后透明性工具，发展为支持内部模型表征的机械分析、概念层推理以及交互式人机对齐的新兴角色。XAI2Brain被定义为一个多层次概念框架而非可部署系统，旨在从表征层、机制层和交互层视角结构化脑–AI对齐。研究综述了XAI方法的演进——从特征归因和基于概念的解释到机械性和以人为本的可解释性方法——并讨论这些方法如何支持AI系统与认知神经科学之间的双向知识迁移。重要的是，研究人员对脑–AI类比采取谨慎立场，明确认识到人工神经表征不等同于生物神经表征，转而关注功能性和信息性对应关系而非结构等价性。与传统的人机回环(Human-in-the-Loop)或基于人类反馈的强化学习(Reinforcement Learning from Phone, RLHF)范式主要优化行为输出不同，XAI2Brain聚焦于AI系统与人类推理过程之间的认知可解释且机械基础的对齐。该对齐促进交互式人机回环智能，使人类能够理解、引导和优化AI系统，同时使AI系统更好地解释人类指令、意图和情境推理。研究进一步讨论了将可解释性扩展至大型生成式和多模态模型的挑战，包括可解释性鲁棒性、认知兼容性、评估和伦理问责等问题，同时强调了当前机械可解释性方法的关键局限性，包括解释不稳定性、表征超位置(Superposition)和缺乏因果保证，指出这些挑战仍是开放的研究问题。本视角文章并非提出完整的人工脑架构，而是勾勒出通往更可解释、自适应且神经科学启发的AI系统的研究路线图，以支持未来的脑–AI集成与协作智能。
1. 引言
人工智能(AI)的快速发展提升了透明性和可解释性的需求，尤其在具有重大社会影响的系统中。AI决策的不透明性常被称作"黑箱"，这凸显了可解释人工智能(XAI)的重要角色。尽管XAI传统上聚焦于提升透明性和可信度，但机械可解释性和基于概念推理的最新进展为理解神经网络的内部表征和决策过程提供了更广泛的机会。这些进展将XAI不仅定位为事后解释工具，还作为连接人工神经表征、人类认知和神经科学启发式AI设计的潜在桥梁。神经网络的迭代学习与人类认知处理的某些方面存在平行性，暗示了AI与神经科学之间双向知识交换的机会。本视角文章将这一过程称为脑–AI对齐，定义为跨越AI系统与认知原则之间表征层、机制层和交互层对应关系的多层次概念框架，其中可解释性作为连接机器表征、人类解释和神经科学启发式抽象的中介层。当前XAI讨论倡导对可解释性、可解释性和以人为本AI设计进行反思性分析。这一跨学科领域涵盖哲学、认知科学、神经科学和计算机科学，需要综合性方法来解决围绕深度学习系统的持续误解。将AI系统拟人化也会引入伦理关切，可能将问责从系统设计者转移至系统本身。因此，越来越需要基于机械理解和人类可解释性而非关于自主认知或人工意识的推测性主张的可解释性框架。XAI与认知科学、人机交互和教育框架的整合有望实现更具交互性和可解释性的AI系统。这种协同效应促进人机回环(Human-in-the-Loop)智能，使人类能够解释、引导和优化AI系统，同时使AI系统更好地理解人类指令、意图和情境推理。与传统的人类反馈强化学习(RLHF)或人机回环范式主要优化行为输出不同，XAI2Brain强调AI系统与人类推理过程之间的认知可解释且机械基础的对齐。
2. 当代XAI范式与脑–AI对齐
2.1 面向特征的方法：基于特征的可解释性技术提供对机器学习模型决策的局部化洞察，包括Shapley加性解释(SHAP)、类激活图(CAMs)、Grad-CAM、Grad-CAM++、全局归因映射(GAMs)和基于梯度的显著性图(Saliency Maps)等。SHAP采用博弈论框架量化各特征对模型预测的贡献，提供局部和全局可解释性。CAM及其扩展生成热图ocher图突出卷积神经网络(CNN)预测中的 influential区域。GAM通过聚类相似局部解释揭示跨亚群的更广泛归因模式。梯度显著性图通过梯度幅度可视化有影响的输入特征。近期研究还展示了基础模型作为特征提取器用于可解释下游学习的价值，表明轻量级潜空间方法可在大幅降低计算需求的同时保持竞争力，而基于原型的方法可支持无需微调的可解释迁移学习。这些方法共同改善了输入空间中决策位置的理解，但对内部神经表征如何或为何产生决策的洞察有限，尤其在高度非线性模型中。从脑–AI对齐视角，面向特征的解释类似于生物感知中的局部化注意机制，但在捕捉层级推理、因果结构和高级认知过程方面仍存局限。
2.2 逐层机械性方法：逐层机械可解释性技术旨在通过分析神经元、层和潜层激活层面的表征和贡献来揭示深度学习系统的内部操作。代表性方法包括逐层关联传播(LRP)、反卷积网络(DeconvNet)和深度信念网络。近期关于能量景观感知视觉变压器和稀疏性感知剪枝等研究进一步推动了机械理解。LRP通过神经网络向后传播关联分数生成热ocher图，指示个体特征对模型输出的贡献。DeconvNet利用学习的反卷积结构将潜层激活映射回输入域，揭示对分类有贡献的模式。深度信念网络捕获跨多层的层级潜层表征，支持对渐进抽象特征学习的分析。这些方法对XAI2Brain尤为重要，因其超越表面归因走向内部神经表征的机械分析。然而，扩展至大型基础和多模态模型仍是重大挑战。
2.3 概念层模型：概念层可解释性技术代表从低层归因向认知有意义表征的重要转变。概念关联传播(CRP)和概念激活向量(CAVs)等方法试图将潜层神经表征与人类可理解的概念相关联。CRP扩展了逐层关联传播，追踪语义上有意义的概念如何贡献于模型决策。CAVs通过将高级潜层表征与用户定义概念相关联提供互补视角，量化模型预测对潜空间中可解释语义方向的敏感性。从脑–AI对齐视角，概念层可解释性提供机器表征与人类语义推理之间的潜在接口。
2.4 代理模型：模型无关解释技术为近似其他不透明AI系统的行为提供通用框架。稀疏线性子集解释(SLISE)和局部可解释模型无关解释(LIME)广泛用于局部可解释性。SLISE生成可解释解释而不依赖合成扰动，提高稳定性和跨场景适用性。LIME使用在扰动输入样本上训练的简化代理模型近似局部决策边界。尽管这些方法提升可及性和灵活性，其解释可能对扰动策略、采样选择和局部近似假设敏感。
2.5 以人为本方法：许多现有方法提供的解释仍难以让人类在实际中有意义地解释和利用。传统XAI方法常强调事后特征重要性或空间归因图，而对涉及抽象、类比、情境理解和语义关联的推理过程支持有限。以人为本的可解释性引入优先考虑认知兼容表征和交互式理解的替代视角。这些策略更接近人类自然组织和解释信息的方式。近期发展进一步强调在人机交互和协作决策情境中评估可解释性的重要性。
2.6 反事实解释可用性：反事实解释因其通过展示输入修改如何改变模型输出来澄清AI决策的能力而日益受到认可。 Alien Zoo等框架从以人为本视角评估这些解释的可解释性和可用性。生成现实、多样且计算高效的反事实仍具挑战，尤其在高压维和多模态情境中。从脑–AI对齐视角，反事实推理尤其重要，因其类似于人类因果推理和假设思维的方面。
3. XAI当前挑战
3.1 生成模型的可解释性：生成模型的探索标志着数据合成和创意输出生成的重大飞跃，但其复杂性和不透明性带来理解其内部决策过程的深刻挑战。关键局限包括泛化问题、计算低效以及可解释性与模型性能之间的权衡。从脑–AI对齐视角，当前生成模型的根本局限在于缺乏与可解释认知或功能抽象明确对齐的结构化中间表征，限制其作为智能机械模型而非纯粹行为生成器的角色。生成对抗网络(GANs)的双网络架构虽彻底改变了数据生成，但解读其复杂性构成重大挑战；神经辐射场(NeRF)在处理高维数据和重建空间信息的不透明方法方面存在困难；扩散模型的迭代过程有效但不易暴露与认知阶段对齐的语义稳定中间表征；差分隐私虽确保数据隐私但进一步遮蔽内部表征；大型语言模型(LLMs)的内部表征相对于明确认知或神经科学可解释性框架仍基本无结构，使机械可解释性成为开放且活跃的研究挑战。
3.2 AI系统中的信任与依赖：以人为本的解释对AI系统用户信任的影响探索日益突出。在XAI2Brain框架内，信任被解释为功能透明度和解释反映模型表征内部结构程度的双重下游结果，从而将心理信任形成与机械可解释性相联系。
3.3 负责任AI：将复杂人类价值和伦理嵌入AI系统是深刻挑战。在XAI2Brain中，负责任AI与可解释且机械基础的表征可用性密切相关，这些表征使人类监督超越输出层审计，扩展至中间表征和决策过程透明性，同时明确承认当前系统中此类可解释性仍属部分和近似的。
3.4 解释的伦理意涵：XAI的伦理格局复杂，强调随着AI系统进步需关注道德和社会影响。在XAI2Brain中，伦理风险也由可解释性的深度和保真度塑造，因为有限的机械透明度可能限制可靠审计模型行为、内部表征与人类意图之间对齐的能力，从而增加对事后而非结构解释的事后依赖。
4. 从XAI到人工脑
4.1 理解和模拟脑功能：复制人脑复杂神经过程对AI系统仍是重大障碍。大脑处理稀疏、嘈杂数据的实时能力是当前AI难以模仿的，这促使从纯粹性能驱动架构向脑启发、可解释性感知AI系统的转变。从XAI2Brain视角，这一差距不仅是架构性的也是表征性的：当前AI系统缺乏稳定、可解释的中间表征，无法以机械有意义的方式与认知或神经科学抽象系统对齐。当前神经网络在模仿人类大脑学习深度和适应性方面仍存在不足，常需要海量数据集训练，不像大脑能从有限经验高效学习。
4.2 AI意识与认知：通过整合信息理论(IIT)和注意力图式理论(AST)等框架探索意识，为意识本质提供深刻洞察。IIT认为意识产生于系统处理整合信息的能力，而AST将意识视为大脑注意力模型的副产品。然而近期争论认为当前AI缺乏真正意识，将AI视为有意识的声称被视为人格化的幻觉。关于AI感知和认知的持续争论丰富了对意识的讨论，LLMs显示复杂行为使程序响应与真正认知过程之间的界限模糊，但实证研究表明AI行为由训练数据产生而非内在意识。心智理论(ToM)在AI中的进展引发关于AI"理解"水平的关键问题，但其无法超越训练语境泛化ToM。
4.3 情感AI演进：将情感智能整合到AI中标志着向认识情感在人类认知中作用的重大转变，旨在弥合人机交互差距。但伦理考量涉及AI情感理解的真实性和对其共情能力的潜在误解。算法需考虑文化和情境细微差别，XAI在使情感AI底层机制透明可理解方面发挥关键作用。模拟共情存在根本性局限，需设定现实期望。
4.4 AI的人格：探索AI体现类人特质引发心理学、AI伦理和人机交互的跨学科问题。AI人格概念影响用户体验，需考虑透明性和可预测性。技术机制阐释对于理解人格特质如何建模和体现于AI交互中至关重要。
4.5 创建生物合理AI模型：缩小生物神经网络与计算AI模型之间的差距是推进AI的重大挑战。生物神经网络平衡电信号和化学信号、通过学习和动态重组适应——这些过程在计算算法中难以模拟。实现生物合理模型需要神经科学、认知科学和计算机工程的多学科方法。
4.6 人机交互与认知对齐：弥合AI处理与人类认知和沟通风格之间的差距是实现交互式人机回环AI系统的核心挑战。AI需将复杂模型推理转化为人类易于理解和行动的形式，适应人类认知规范和偏好。以人为本设计处于可解释AI的核心，强调直观、认知对齐且对专家和新手均可及的界面和解释。有效的人机回环XAI需要学习人类认知策略，包括模式识别、类比形成和概念抽象。高精度与可解释性之间的平衡至关重要，尤其在医疗和法律等高风险领域。
4.7 向脑学习以增强AI：XAI中的神经科学原则。LIME、SHAP、LRP和积分梯度(IG)等技术在解释复杂模型决策过程中发挥重要作用，可视为神经科学家试图解读大脑神经活动方式的平行。近期协同效应将AI与神经科学整合用于脑研究，增强XAI的生物合理性。从XAI2Brain视角，这些技术可解读为内部表征的部分且任务特定的探测而非模型认知的完整机械描述，因而仅提供与神经科学测量工具有限但有用的对应。将神经科学发现整合到AI开发中具有挑战性，扩展心智与生成AI提出混合系统，尽管转化障碍持续存在。神经多样性与XAI适应性表明，XAI工具需定制以满足不同领域需求。
5. 进一步讨论
5.1 通用人工智能(AGI)：迈向AGI旨在创建具有类人类认知的广泛、适应性智能系统。这涉及用先进神经网络增强机器学习模型，特别是融合深度学习和符号推理的混合模型以促进泛化和抽象推理。近期OpenAI和Anthropic等开发的大型语言模型在多任务能力方面展现显著进展，但其行为仍任务依赖，不构成人类认知意义上的通用智能。从XAI2Brain视角，当前AGI研究应解读为向越来越可泛化模式学习系统的进展，而非类人类认知或机械基础智能的证据。将情感智能整合到AI系统通过情感计算增强人机交互，但准确建模细微情感状态仍存挑战。可扩展性和能效仍是AGI系统的关键研究领域，重点开发使用神经形态计算等创新硬件技术的智能、自适应、可扩展且能效高的架构。
5.2 神经–AI接口：神经–AI接口领域正经历神经科学与AI的变革性融合，开创解码和翻译神经信号、弥合生物学与数字系统差距的创新时代。这一跨学科交汇点有望推进医疗、技术和认知科学进步，显著改善对脑机制的理解。在神经假体中，这些接口正在革新运动和感官功能的恢复与增强。从XAI2Brain视角，神经–AI接口也可视为脑–AI对齐的极端案例，其中神经信号与计算表征之间的对应变得明确，尽管当前系统仍依赖部分、嘈杂且任务特定的映射而非完整双向可解释性。随着神经–AI系统向更无缝的人机交互发展，包括基于思维的通信范式，它们引发关于隐私、自主和数据治理的重要问题。
5.3 用AI破译脑的奥秘：AI与神经科学的融合正日益实现对脑数据分析的新工具，包括神经解码和脑映射技术的进步。利用AI建模复杂模式的能力，研究人员正在调查认知、感知和行为背后的神经机制，超越预测走向科学解释。AI辅助记忆形成研究可能改善对认知衰退和阿尔茨海默病等疾病的理解，但临床转化仍是持续的研究挑战。计算学习模型为信息获取和处理提供新视角，但仍未完全捕捉人类直觉。这种融合还支持对意识的持续科学探究，尽管主观体验能否被计算模型完全捕捉仍是开放的哲学和科学问题。
5.4 类人智能：AI研究中的类人智能(HLI)探索机器能在多大程度上展现人类启发的认知和情感行为，包括感知、推理和情感建模。AI中意识的研究涉及设计具有高级表征能力和内省建模的系统，但此类系统不具备人类意义上的自我意识，仍根本上是计算性的。从XAI2Brain视角，类人智能应被理解为功能模仿的光谱而非与人类认知的等价，强调可解释性、对齐性和可控行为而非真正认知等价的声称。HLI还强调情感感知系统，整合自然语言处理、情感识别和情境感知计算，在辅助技术、客户交互系统和心理健康支持中具有应用潜力，实现更自适应的人机交互。但当前系统模拟情感响应而不体验情感，其行为高度依赖训练数据分布。因此HLI应被解读为更人类兼容AI系统的设计愿望，而非人类认知的字面再现。
6. 结论
本视角文章强调可解释人工智能(XAI)在澄清AI决策、提高复杂模型透明性和支持高影响领域负责任AI发展中的关键作用。而非仅聚焦于作为事后工具的解释，研究人员强调其在实现机械理解、以人为本交互和人工智能与生物智能之间认知对齐方面的新兴角色。从XAI2Brain视角，可解释性应被理解为连接内部模型表征、人类可解释性和神经科学启发式抽象的多层对齐过程，而非纯粹的视觉化或归因机制。尽管XAI近年来取得显著进展，在可扩展性、因果推理和评估方面仍面临根本局限，尤其在大型生成式和多模态模型中。这些挑战凸显更鲁棒、标准化且认知基础的评估框架的需求。本视角文章不将通用人工智能(AGI)或类人智能(HLI)定位为即时或必要目标，而是将可解释可解读AI系统的发展框定为向更自适应和认知对齐智能的渐进进展。AI与神经科学的整合持续产生有前景的跨学科洞察，包括神经计算与人工学习系统之间的平行、脑启发架构的进展以及神经–AI接口的新兴方向。这些发展支持更广泛的愿景：使用AI并非复制人类认知，而是通过可解释计算系统更好地理解、建模和交互。当前神经科学启发AI方法应被解读为功能类比而非结构等价。神经科学、认知科学、机器学习和伦理学的多学科协作对推进该领域仍然至关重要。具体而言，未来研究应优先发展机械基础的XAI方法、认知有意义的评估框架和以人为本设计原则，确保AI系统保持可解释、可控和社会对齐。总之，XAI2Brain通过机械可解释性和人机回环智能提供通往脑–AI对齐的概念路线图，将可解释性定位为下一代AI系统的基础组件而非补充工具。
