基于希尔伯特空间方法的条件McKean–Vlasov动力学的LQ最优控制求解

《Systems & Control Letters》:A Hilbert space method to LQ optimal control of conditional McKean–Vlasov dynamics

【字体: 大 中 小 】 时间:2026年02月11日 来源:Systems & Control Letters 2.8

编辑推荐:

  张良权|李迅 中国人民大学数学学院,北京,100872,中国 摘要 本文采用基于正交分解的希尔伯特空间方法,研究与线性条件McKean–Vlasov动态相关的最优控制问题。在此问题中,控制过程可依据随机系数下共同噪声和特有噪声所生成的过滤过程进行调整。通过应用随机最大值原理,我

  张良权|李迅 中国人民大学数学学院,北京,100872,中国

摘要
本文采用基于正交分解的希尔伯特空间方法,研究与线性条件McKean–Vlasov动态相关的最优控制问题。在此问题中,控制过程可依据随机系数下共同噪声和特有噪声所生成的过滤过程进行调整。通过应用随机最大值原理,我们得到了最优反馈控制,并用向后随机Riccati微分方程描述了相应的价值函数。此外,还给出了在不完全市场环境下条件均值-方差投资组合选择的应用实例。

引言
自从McKean Jr. [1]和Kac [2][3]开始对McKean–Vlasov方程进行基础研究以来,已有大量文献致力于研究无控制随机微分方程(SDEs),并建立了完善的混沌传播理论。近几十年来,由于该理论在平均场博弈(MFG)理论中的应用,学术界对其持续保持着浓厚兴趣。平均场博弈理论分别由Lasry和Lions [4]以及Huang、Caines和Malhamé [5]独立提出。McKean–Vlasov方程在建模涉及众多对称智能体的系统中起着重要作用,这些智能体通过其状态的经验分布进行互动,目标是实现纳什均衡(代表竞争行为)或帕累托均衡(代表合作行为),参见[6][7]。

在现已成熟发展的平均场博弈理论中,在假设影响玩家状态过程的噪声相互独立、成本函数对称以及存在平均场相互作用的前提下,可以推导出一个完全耦合的系统,该系统包含描述每个玩家价值函数的向后Hamilton–Jacobi–Bellman(HJB)方程,以及描述玩家分布演变的向前Fokker–Planck(FP)方程。这种简化后的系统在分析上更为可行,其解可作为N人游戏中纳什均衡策略的近似值。Lasry和Lions对这一简化模型进行了深入研究,并在几种特定情况下给出了严格的极限分析[4][8][9]。重要的是,各个随机因素的独立性意味着在极限情况下每个玩家的分布是确定性演变的,这大大降低了问题的维度,提高了其可处理性。然而,在现实世界模型中这一假设往往不成立。例如,在金融应用中,任何旨在描述大量市场参与者之间互动的现实模型都必须考虑共同市场随机性,而这违背了独立性假设。因此,共同噪声的存在会为玩家的经验分布引入随机性,从而增加分析的复杂性。

[10]中提出了一个包含共同噪声的线性二次平均场博弈(MFG)模型示例,用于描述银行间的借贷行为。Carmona和Delarue [11]从概率角度分析了这一MFG问题,他们采用随机最大值原理而非动态规划,从而得到了McKean–Vlasov型的前后向随机微分方程(FBSDEs),而非传统的耦合Hamilton–Jacobi–Bellman(HJB)和Fokker–Planck(FP)方程。类似地,Ahuja [12]研究了存在共同噪声时的MFG问题,放宽了各个随机噪声相互独立的传统假设。Pham和Wei [13]利用状态过程的条件律作为状态变量,研究了随机McKean–Vlasov动态的最优控制问题,从而使受共同噪声影响的众多相互作用粒子(玩家)群体的合作均衡公式中的动态规划技术得以应用。随后,Pham [14]考虑了具有二次成本函数的线性条件McKean–Vlasov方程的最优控制问题,其中系数和权重矩阵会根据共同噪声生成的过滤过程进行调整。受到由马尔可夫链控制的具有制度转换的平均场SDEs的线性二次(LQ)最优控制问题的启发,Mei、Wei和Yong [15]通过希尔伯特空间中的正交分解方法,解决了具有随机系数的SDEs的LQ控制问题。

平均场LQ理论是随机控制与平均场博弈的核心交叉领域。平均场LQ的发展可分为几个阶段,如“经典LQ扩展”、平均场耦合的引入以及随机扰动的推广。Pham [14]和Yong [16]的工作分别代表了不同阶段的核心贡献(例如,Yong [16]侧重于解决平均场LQ的Riccati方程,而Pham [14]则强调了对随机平均场HJB方程的分析)。

本文的贡献可总结如下:与Pham [14]、Yong [16]以及Mei等人[15]的研究相比,我们将控制过程扩展为能够适应由共同噪声和特有噪声共同生成的过滤过程。此外,某些矩阵(详见下文)也会根据这一过滤过程进行调整。我们没有依赖动态规划,而是利用了广义条件期望的性质,尤其是像平方可积随机变量空间这样的希尔伯特空间的正交分解。这样一来,原始系统可以被分解为两个部分:一部分仅由共同噪声驱动,另一部分与之正交。这些分解使得问题转化为在两个正交空间乘积上定义的新线性最优控制问题,大大简化了问题处理过程并提升了效率。通过应用随机最大值原理,我们进一步利用向后随机Riccati方程得到了最优反馈控制。我们通过一个金融应用来阐述我们的理论成果,该应用是在具有随机因素的不完全市场环境下的均值-方差投资组合选择问题的变体,其中智能体能够观察到由随机因素和布朗运动产生的信息。成本函数中还包含了一些一般的随机参数。

本文的其余结构如下:第2节介绍初步结果,通过将状态过程的条件律作为状态变量来重新构建问题。第3节我们利用状态变量的正交分解和最大值原理来推导最优控制。第4节探讨了在不完全市场模型中条件均值-方差投资组合选择的应用。最后,第5节给出结论性意见。

预备知识
对于任意给定的欧几里得空间E(可以是Rd、Rd×m等),定义LFt2Ω;E?ξ:Ω→Eξ为Ft可测的,且满足E|ξ|2<∞;LF2t,T;E?{φ:t,T×Ω→Eφ为F-逐点可测的,且满足E∫0T|φs|2ds<∞};LFt02Ω;E?ξ∈LFt2Ω;Eξ为Ft0可测的;LF02t,T;E?{φ∈LF2t,T;Eφ为F0-逐点可测的}。注意,Mt0=LFt02Ω;E是LFt2Ω;E的线性子空间,那么广义条件期望EξMt0可以通过E|ξ?EξMt0|2=infη∈Mt0E|ξ?η|2,?ξ∈LFt2Ω;E来定义。因此,LFt2Ω;E存在正交分解。

主要结果
在本节中,我们首先构建条件McKean–Vlasov最优控制问题。然后,通过LFt2Ω;E的正交分解,原始系统将被分解为两个系统,一个由共同噪声驱动,另一个与前者正交。这些分解使得问题转化为在两个正交空间乘积上的新线性最优控制问题,由于不存在E?W0,这个问题变得更加简单且易于处理。

在金融领域的应用
在本节中,我们应用定理3.1中的先前结果来研究均值-方差投资组合选择问题,并推导出最优投资组合选择策略的显式表达式,以反馈形式呈现。更具体地说,市场参数,包括银行利率以及股票的升值率和波动率,都依赖于一个因子过程It0≤t≤T,其动态受共同噪声源的支配,即一维布朗运动W0,假定……

结论性意见
在本文中,我们采用特定希尔伯特空间内的正交分解方法,针对具有随机系数的随机条件McKean–Vlasov LQ控制问题提出了新的研究成果。控制过程可以同时适应由共同噪声和特有噪声生成的过滤过程。最优控制可以通过与线性BSDE相结合的随机Riccati方程以状态反馈形式表示。我们将我们的理论成果应用于……

CRediT作者贡献声明
张良权:写作——审阅与编辑,写作——初稿撰写,研究工作。李迅:指导,方法论设计。

利益冲突声明
作者声明,他们没有任何已知的财务利益或个人关系可能影响本文所述的工作。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号