用于解决双臂老虎机问题的随机过程模型中的自相关效应

《Scientific Reports》：Autocorrelation effects in a stochastic-process model for solving two-armed bandit problems

　　

摘要

利用半导体激光器产生的光子混沌动力学，决策者可以通过以时间光学信号作为顺序决策的驱动源，从而采用超快方法解决多臂老虎机问题。在这类系统中，混沌波形的采样间隔决定了所得时间序列的时间相关性，实验表明决策精度在很大程度上取决于这种自相关特性。然而，目前尚不清楚自相关的优势是否可以用最简数学模型来解释。在此，我们分析了一种基于时间序列来解决两臂老虎机问题的随机过程模型，其中阈值与二值马尔可夫信号共同演化。数值结果表明存在一种与环境相关的结构：在奖励丰富（奖励匮乏）的环境中，负（正）自相关更为理想。这些发现表明，当获胜概率之和大于1时，时间序列的负自相关具有优势；而当获胜概率之和小于1时，正自相关则更有用。此外，如果获胜概率之和等于1，则性能与自相关无关，这一结论已通过数学方式得到验证。这项研究为解决无线通信和机器人技术中强化学习应用中的两臂老虎机问题奠定了基础。