基于多专家逆向强化学习的投资组合优化奖励推断

《Neurocomputing》：Reward inference for portfolio optimization via multi-expert inverse reinforcement learning

　　

摘要 投资组合优化需要在相互冲突的金融目标之间进行复杂的权衡，包括收益最大化、风险缓解和回撤控制。强化学习（RL）为资产配置提供了一种动态框架，但手动指定能在不同市场机制下泛化的奖励函数仍然是一个重大挑战。逆强化学习（IRL）通过推断与观察到的专家行为一致的奖励信号，提供了一种原理性的替代方案。然而，当演示数据源自具有不同投资目标的多位专家时，集体专家分布本质上具有多模态特性。对于给定的市场状态，多个不同的行动可能同时都是合理的，而传统 IRL 框架并非旨在适应这种复杂性。我们提出了多专家逆强化学习（ME-IRL），这是一个利用能量基模型（EBM）作为奖励网络来建模这种多模态集体专家分布的框架。ME-IRL 并非预先指定目标或在行动层级聚合专家行为，而是执行奖励层级推断，编码用于训练合成专家的明确定义的金融目标之间的相互作用。这是通过一种基于 Transformer 的架构实现的，利用状态和动作表示之间的交叉注意力来显式建模横截面资产依赖性。在 ETF 和股票投资组合上的实证评估一致表明，ME-IRL 在多样化的市场条件下，在收益和风险调整指标上均优于传统金融模型以及单目标和多目标 RL 基线。

引言 在金融市场的不确定性和非平稳性中推导最佳投资策略仍然是资产管理中的一个基本挑战。近年来，强化学习（RL）作为一种投资组合优化的前景框架，引起了越来越多的关注，通过与环境持续交互来优化策略 [1], [2]。传统投资策略主要遵循基于静态优化的方法，根据预定义的风险收益函数配置资产，限制了它们适应市场突发变化的能力 [3]。相比之下，RL 通过学习直接从市场交互中获得自适应配置策略，提供了更灵活地应对不断变化的市场动态的潜力 [2], [4]。
然而，RL 的有效性关键取决于奖励函数的设计。大多数先前工作使用单一的预定义指标训练智能体，例如夏普比率或累计收益 [4], [5], [6]。虽然这提供了一个可处理的优化目标，但它本质上难以捕捉现实世界投资组合优化的复杂性，后者同时要求收益最大化、风险缓解和回撤控制。
多目标强化学习（MORL）框架已被开发以解决这一局限性。然而，加权标量法需要预先指定权重，而基于 Pareto 的方法通常学习一组不同的策略，在实践中难以部署或选择 [7], [8]。最近探索学习内在奖励 [9] 和行动层级融合 [10], [11] 的工作增补了预定义奖励或在行动层级结合策略输出。虽然这些方法在提高适应性方面有效，但在投资组合优化中，对潜在多目标权衡的奖励层级推断仍然是一个未被充分探索的方向。
逆强化学习（IRL）通过直接从观察到的专家行为中推断奖励函数，提供了一种原理性的奖励层级方法 [12], [13]。先前工作已证明其适用于金融领域，通过从基金经理决策中恢复风险态度 [14] 和从股票交易数据中恢复交易成本敏感性 [15]。然而，现有的金融 IRL 应用主要假设演示数据源自单一一致的行为来源。当专家演示跨越具有根本不同的风险收益特征的多个投资目标时，奖励推断问题呈现出一种现有方法并非旨在处理的根本不同挑战。
当汇集具有冲突风险收益授权的多重异构专家的演示数据时，产生的行为分布本质上具有多模态特性，其中单一市场状态可能同时证明几种截然不同但同样合理的配置决策是成立的。因此，二元判别器无法从这种冲突标签中恢复出连贯的奖励信号。诸如多智能体 AIRL [16] 和多模态 IRL [17] 等扩展通过恢复每个行为分量的特定模式奖励来解决这一问题，但这种分解与要求单一统一奖励以共同反映整个投资目标光谱的投资组合管理不相容。据我们所知，现有没有任何 IRL 框架已展示出这种能力。
在本文中，我们提出了多专家逆强化学习（ME-IRL）。该框架从异构专家的集体演示中恢复出统一的、状态依赖的奖励。ME-IRL 通过在不同的金融目标上训练合成专家来构建多样化的行为基础。奖励函数被参数化为能量基模型（EBM），其多个能量极小值自然地容纳了异构专家的背离策略，同时编码了竞争性金融目标之间的潜在权衡。与在行动层级聚合（在不推断潜在奖励结构的情况下结合策略输出）不同，这种以奖励为中心的方法捕捉了竞争目标在各种市场条件下如何相互作用。我们注意到，合成专家是在作者指定的金融目标上训练的。相应地，推断出的奖励反映了这些预定义目标的数据驱动整合，而不是从真实投资组合经理中引发的偏好。为了解决该 EBM 参数化中固有的不可处理配分函数问题，我们系统地研究了两种训练目标，即二元交叉熵（BCE）和信息噪声对比估计（InfoNCE）[18]，以及两种负采样策略。奖励网络还采用了 Transformer 架构 [19]，具有市场状态和组合权重表示之间的交叉注意力，使 EBM 能够在评估配置提案时显式建模跨资产依赖性。
在 ETF 和股票范围内的实证评估显示了相对于一组全面的基线的持续性能提升。为了更好地评估关键组件的贡献，消融研究考察了对比训练目标、负采样策略和奖励网络架构对投资组合性能的影响。我们进一步分析了框架对模型超参数和观察设计的敏感性，包括 Transformer 深度、学习率以及是否在智能体状态中包含之前的组合权重。此外，还考察了对不完美演示的鲁棒性以及所产生的投资组合的行为特征，为所提出框架的实证特性提供了进一步见解。
本研究的主要贡献如下：
•我们提出了 ME-IRL，通过 EBM 表示多模态集体专家分布。这为在冲突的多专家演示下统一奖励推断提供了一种原理性的方法。
•我们系统地评估了 BCE 和 InfoNCE 目标，以及静态和基于策略的采样。消融研究表明每个组件都对投资组合性能做出了贡献，且它们的相互作用因资产范围而异。
•我们将奖励网络设计为具有状态和动作表示之间交叉注意力的 Transformer，使 EBM 能够在完整的横截面市场上下文中评估投资组合提案。
•我们通过实证证明，奖励层级推断在多样化市场条件下实现了优于行动层级聚合的、更一致的性能，突出了在奖励层级整合预定义金融目标优于在行动层级结合策略输出的优势。
本文其余部分组织如下。第 2 节回顾了有关投资组合优化 RL、IRL 和 EBM 的相关工作。第 3 节将问题形式化并定义了用于训练具有不同金融目标的合成专家的奖励结构。第 4 节详细描述了提出的 ME-IRL 框架。第 5 节呈现了实验结果，包括消融研究、超参数敏感性分析、鲁棒性评估和投资组合行为分析。第 6 节总结全文并讨论了未来研究方向。

章节片段
用于投资组合优化的强化学习
投资组合优化已被广泛形式化为马尔可夫决策过程（MDP）[20]，使 RL 智能体能够通过直接与金融环境交互学习动态配置策略。早期工作通过一种独立处理每种资产并通过 softmax 归一化聚合组合权重的架构，建立了连续动作投资组合 RL，在加密货币市场上展示了令人信服的实证效力 [4]。最近的工作扩展了这些...

问题建模
本节将投资组合优化形式化为部分可观测马尔可夫决策过程（POMDP），并定义了用于训练具有不同金融目标的合成专家的奖励结构，其演示作为输入供 ME-IRL 推断统一奖励函数。为便于清晰理解本研究使用的数学框架，关键符号及其定义汇总于表 1 中。除非另有说明，这些符号用于...

方法论
提出的 ME-IRL 框架通过一个三阶段顺序过程从多专家集成中恢复统一奖励信号。该过程如图 1 所示。首先，在不同的金融目标上训练合成专家策略。它们被部署以收集合并的演示数据集。其次，训练一个 EBM 来表征集体专家行为。最后，固定这个学习到的能量函数并将其作为奖励信号转移以训练一个...

数据集与实验设置
为了评估鲁棒性和泛化能力，我们在两个具有不同特征的资产范围上进行实验。ETF 范围包括 40 种工具，跨越股票、固定收益、房地产、商品以及杠杆和反向 ETF，详见表 2。这种异构组成使得能够在不同的市场机制下评估宏观资产配置，包括资产类别层面的方向性和尾部风险敞口。股票范围包括 50...

结论
本文提出了 ME-IRL，一个投资组合优化框架，它从多位合成专家的集体演示中推断出统一的、状态依赖的奖励函数，每位专家都训练于不同的、明确定义的金融目标。因此，推断出的奖励反映了这些预定义目标的数据驱动整合。ME-IRL 并非预先指定目标或在行动层级聚合专家行为，而是采用了一个能量基奖励网络，该网络...

CRediT 作者贡献声明
Yeongbong Jin: 撰写 – 原稿，可视化，软件，方法论，调查，形式分析，概念化。Woojin Chang: 撰写 – 审阅与编辑，验证，监督，资源，调查，形式分析。

利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系，这些可能被视为影响本文所报告的工作。

Yeongbong Jin 于 2019 年和 2021 年分别从韩国全南国立大学获得统计学学士学位和硕士学位。他目前正在韩国首尔国立大学攻读工业工程博士学位。他当前的研究兴趣包括机器学习、强化学习及其在金融工程中的应用。

Yeongbong Jin | Woojin Chang
韩国首尔国立大学工业工程系，首尔，08826，大韩民国