Fuzzy-MAP EM：融合专家模糊知识的POMDP参数学习方法

《IEEE Transactions on Fuzzy Systems》：Fuzzy-MAP EM: Addressing Data Scarcity in Sequential Decision-Making through Expert Knowledge Modeling

　　

摘要：

现实世界的问题往往具有不确定性和观测数据稀缺的特征，这要求人类专家依赖定性启发式方法和领域知识，而这些知识在标准人工智能流水线中很少被明确表达。在序列决策问题中尤为明显，这些问题可以自然地用部分可观测马尔可夫决策过程（POMDPs）建模，提供一个概率框架来表示潜在动态、观测结果和处理效应。POMDPs的参数通常通过使用数据驱动的期望最大化（EM）算法来学习。然而，在数据稀缺的现实领域，EM通常会过拟合或无法收敛到有意义的参数。虽然最大后验（MAP）估计提供了一种利用先验知识来正则化学习的方法，但标准的共轭先验在数学上很僵硬，且通常很难准确定义。我们通过将POMDP学习重构为一个MAP EM问题，并通过专家定义的模糊模型来整合领域知识，该模型生成作为信息先验的模糊伪计数来解决这一挑战。这一名为Fuzzy-MAP EM的新方法确保了在广义EM设置下的收敛，并通过自适应超参数和经验贝叶斯框架在数据稀缺和不确定环境中提供有原则的正则化。在合成模拟中，Fuzzy-MAP EM在低数据和噪声高制度下都一致优于标准EM和弱信息MAP算法。一项关于重症肌无力（一种以数据稀缺为特征的神经肌肉自身免疫罕见病）的案例研究进一步证明了Fuzzy-MAP EM恢复临床可解释的POMDP的能力，突显了它作为复杂现实应用实用且数据高效的建模工具的前景。