连续时间连续空间稳态调节强化学习框架

《IEEE Transactions on Neural Networks and Learning Systems》：Deep RL-Based Continuous-Time Continuous-Space Homeostatically Regulated Reinforcement Learning (CTCS-HRRL)

　　

摘要：

稳态是一种生物过程，生物体通过主动调节内部状态以维持平衡。先前的研究表明，生物体可以学习支持这种调节的行为。最近提出的稳态调节强化学习（HRRL）框架通过将驱力减少理论与强化学习（RL）相结合，解释了可学习的稳态调节。尽管HRRL已在离散时间和空间中得到了验证，但它尚未被扩展到连续领域。在本研究中，我们将HRRL框架扩展到连续时间和空间，并提出了连续时间连续空间HRRL（CTCS-HRRL）框架。我们使用一个计算模型来验证该框架，该模型模拟了生物体中的稳态调节。该模型基于Hamilton–Jacobi–Bellman（HJB）方程，并在强化学习环境中采用基于神经网络的函数逼近。通过三个基于仿真的实验，我们证明智能体能够学习动态选择策略，以在持续变化的内部状态和外部环境下维持稳态。这些结果确立了CTCS-HRRL作为建模连续领域动物动态和决策的有前景框架。