在具有地标特征的部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process）问题中，利用多种实例学习方法进行子目标识别

《Knowledge-Based Systems》：Subgoal identification with multiple instance learning methods in landmark Partially Observable Markov Decision Process problems

　　

Saim Sunel|Faruk Polat

• •
  尽管许多技术利用子目标来加速马尔可夫决策过程（MDPs）中的学习速度，但对于部分可观察马尔可夫决策过程（POMDPs）的子目标识别研究较少。
• •
  现有的基于早期多实例学习（MIL）算法的POMDP方法需要距离信息，但由于观测的不确定性，这些信息往往不可靠。最近的MIL技术进展提供了不需要这种距离信息的方法。在这项工作中，我们考虑了多种其他的MIL方法，并提出了几种方法，以便将它们与当前的POMDP子目标识别技术进行比较。
• •
  MIL方法可以提供关于数据实例的不同类型的信息。为了利用这些方法识别一个或多个子目标，我们尝试了基于方法提供信息及其总结方式的多种子目标选择策略，同时考虑了强化学习（RL）的设置。这些策略也可以应用于MIL领域中的概念-实例识别。
• •
  我们的测试结果表明，我们测试和提出的大多数方法在识别子目标方面优于现有的方法。这表明可以考虑使用其他基于MIL的方法来进行POMDP子目标识别。虽然我们在这里考虑的子目标识别策略相对简单，但它们能够准确地识别单个和多个子目标。我们相信我们提出的方法也将有助于MIL问题，并旨在突出MIL技术在子目标识别和其他强化学习领域的潜力。
• •
  通过实验，我们还证明了识别出的子目标可以提高标志性POMDP问题的学习效率。