人工智能中的理性与非理性：前沿进展、研究挑战与开放性问题

本文系统梳理了人工智能(AI)领域中理性与非理性的研究现状，重点探讨了经济学、哲学和心理学等多学科视角下的理性定义差异，分析了生成式AI(GenAI)系统存在的"评估悖论"现象，提出了识别和应对非理性智能体的方法框架，为构建更安全可靠的人工智能系统提供了理论基础。研究发表在《Artificial Intelligence Review》期刊，对推动人机协作和AI安全具有重要意义。

　　

在人工智能发展历程中，机器如何"思考"始终是核心议题。从图灵测试到现代大语言模型(LLM)，研究者们不断探索智能的边界。然而，一个根本性问题日益凸显：我们究竟希望AI系统表现出完美理性，还是带有"人性化"的非理性特征？这个看似哲学的问题实则关乎AI系统的实际应用效果和安全性。

传统AI研究追求构建完全理性的智能体，但现实情况要复杂得多。人类决策中普遍存在的认知偏差和启发式思维，在某些场景下反而能带来更高效的决策。更棘手的是，生成式AI系统如ChatGPT展现出令人困惑的"双重理性"现象——它们可能完美实现训练目标（如最小化下一个token预测损失），却产生人类视角下明显非理性的输出。这种"生成式AI评估悖论"揭示了当前AI评价体系的深层矛盾。

Olivia Macmillan-Scott和Mirco Musolesi在《Artificial Intelligence Review》发表的综述文章，系统考察了AI领域中理性与非理性的研究现状。研究团队从多学科视角出发，整合经济学中的效用最大化理论、哲学中的认知合理性概念以及心理学中的双系统理论，构建了AI理性的分析框架。特别关注了生成式AI系统特有的理性冲突现象，以及多智能体系统中非理性行为可能带来的影响。

研究采用文献计量和理论分析方法，重点考察了三大技术体系：1）基于博弈论的对手建模技术，包括策略重建和递归推理等方法；2）强化学习(RL)中的探索-利用平衡机制，如ε-greedy算法；3）大语言模型的评估范式，分析其训练目标与人类评价标准间的偏差。研究团队还系统梳理了来自经济学、认知科学等领域的实验数据，包括著名的Linda问题（合取谬误）和赌徒谬误等经典案例在AI系统中的再现情况。

研究结果首先揭示了理性定义的多样性。在"定义与评估理性"部分，文章比较了完美理性、计算理性、有限理性和有限最优性四种范式。Russell提出的有限最优性框架被认为是最具实践价值的方案，它承认计算资源限制，追求给定资源下的最优表现。这与Simon提出的"满意性"原则相呼应，都强调在约束条件下的合理决策。

在"理性非理性"章节，研究识别出四类看似非理性实则可能最优的行为：有限理性（bounded rationality）在资源受限时反而更有效；随机行为在强化学习探索中必不可少；非利润最大化策略能更好应对非理性对手；人类认知偏差的引入可提升人机交互效果。研究特别指出，生成式AI的"感知非理性"实质是目标函数与人类评价标准错位导致的假象。

关于"应对非理性智能体"，文章总结了识别和交互两方面的技术进展。对手建模（opponent modeling）技术如虚构博弈（fictitious play）和策略重建（policy reconstruction）可用于检测非理性行为；交互方面则发展出最小最大（minimax）算法、分布强化学习（distributional RL）和对手塑造（opponent shaping）等方法。值得注意的是，将人类行为简单建模为"噪声理性"（noisy-rational）效果不佳，需要更精细的认知偏差建模。

在"人类与AI非理性"部分，研究揭示了双向影响机制。一方面，适当引入人类认知偏差（如选项比较启发式）能提升AI在噪声环境中的表现；另一方面，完全理性的AI可能引发人类的算法厌恶（algorithm aversion）。有趣的是，虽然物理拟人化能提升人类对AI的接受度，但认知拟人化的效果尚不明确。

针对生成式AI特有的"评估悖论"，作者提出这是"生成理性"与"认知理性"的冲突。LLM在token预测层面可能是完全理性的，但其输出却因人类解读方式而显得非理性。更复杂的是，基于人类反馈的强化学习(RLHF)等对齐技术可能加剧这种矛盾，导致模型为获得正面反馈而出现奉承行为（sycophantic behavior）。

研究最后提出了17个开放性问题，涵盖理论框架（如是否需要区分符号AI与统计学习的理性标准）、技术路径（如如何平衡GenAI的多重理性目标）和应用伦理（如AI应纠正还是适应人类非理性）等多个维度。这些问题为未来研究指明了方向，特别是如何建立更全面的AI理性评估体系，以及如何设计能和谐融入人类社会的智能体。

这项研究的重要意义在于，它首次系统整合了多学科视角下的理性研究，为AI系统设计提供了更丰富的理论基础。特别是在生成式AI快速发展的背景下，研究揭示的评价标准冲突问题具有重要现实意义。论文提出的有限最优性框架和多重理性概念，将有助于开发更透明、更可控的AI系统，推动人工智能向更符合人类价值观的方向发展。