部分可观测性下用于知识状态抽象的可观察商世界模型

《Knowledge-Based Systems》：Observable quotient world models for knowledge-state abstraction under partial observability

　　•定义了基于动作条件观测律的可观测商。•提出了商信念、滤波、动力学以及信息增益方法。•将QWM作为一种学习得到的与商相关的世界模型。•引入了COGS用于受控的非雷达可观测商诊断。•通过受控的、顺序的以及被动代理诊断方法对QWM进行评估。

引言
在部分可观测性条件下，知识状态抽象实际上是一个信息选择问题。一个学习得到的状态应当保留那些可观测且对预测或决策有用的差异，同时抑制那些无法通过感知过程区分的冗余变化。在智能感知、具身感知、雷达感知、自主系统以及遥感等领域中，观测结果共同取决于物理状态、干扰因素以及感知动作。因此，学习者能够识别的差异并非仅由物理状态空间决定，还取决于由允许的感知动作集合所引发的观测过程。一个核心问题是：学习得到的表示应当保留哪些状态差异？

从操作层面来看，当一个智能系统需要维持一个简洁的知识状态、预测该状态的变化，并且在存在冗余变化和部分可观测性的情况下仍需选择有信息的测量方式时，就会出现这个问题。例如在主动感知和多传感器调度中，如果试图表示那些现有传感器无法感知的差异，可能会浪费资源，并导致后续预测过于自信。本研究针对这一问题，在下面所述的受控和被动代理协议下，探讨了表示方法和有限视野感知组件；但并未提出完整的解决方案。

信念状态方法、观测器、滤波器、预测状态表示以及学习得到的世界模型，都通过总结感知历史来处理部分可观测性问题，以此用于预测、推理或控制[1]、[2]、[3]、[4]、[5]、[6]。然而，一旦确定了表示目标，这些框架本身并无法决定学习得到的潜在状态应当保留哪些物理差异。现代世界模型往往将这一选择权交给重建、预测、奖励、任务监督、对比学习或架构目标等。图1(A)展示了由目标驱动的潜在表示的这种局限性：这类目标虽然能生成有用的潜在状态，但由于冗余变化可能导致状态分裂，或将可感知的不同状态合并，或者编码与可观测状态身份无关的冗余方向。

本文从可观测区分性的角度研究状态表示。图1(B)将可观测商作为正式的、群体层面的抽象目标。经过规范化处理后，相关的比较是基于动作条件下的规范化观测似然度：当没有可行的感知动作能够区分两个物理状态时，应将其合并；而当至少有一个可行动作能产生不同的规范化观测律时，则应将其分开。这样就得到了可观测商，这是一种由感知过程决定的抽象形式，其粒度并非由重建损失、奖励设计或潜在架构决定。由此产生的目标很明确：保留那些现有感知动作能够支持的差异，而忽略那些无法支持的差异。

可观测商理论对这一目标进行了形式化定义。它定义了可观测等价性、商空间（QU）以及作为等价类上后验概率的商信念。对于可商量化的任务，商信念具有贝叶斯充分性；在商马尔可夫闭包条件下，物理动力学会引发商级动力学以及递归滤波。同样的抽象概念还定义了商信息增益（QIG），这是一种基于预期商信念熵减少的主动感知目标。因此，该理论通过共同的不可观测区分性标准，将表示、信念滤波、动力学以及感知动作选择联系在一起。

为了在计算上近似这一理论，我们提出了商世界模型（QWM），如图1(C)所示，它是一种学习得到的与商相关的近似模型，而非用于恢复商形式的程序。QWM围绕可观测商原则学习表示和预测器，包括信念估计、转移函数拟合、规范化观测预测以及基于QIG的动作评分。其潜在表示被分解为(ztq)和(ztη)，这在架构和目标层面上促进了与商相关的变化与冗余变化的分离，但并不要求实现形式上的解耦或商的恢复。这样就得到了一种基于可观测商原则的具体学习近似模型。

我们在一种有约束但明确的评估协议下对QWM进行了评估。QuotientWorld提供了固定的基准标签诊断、信念/转移函数拟合评估，以及用于基于QIG策略的受控主动感知测试数据。CARRADA和V2X-Radar则提供被动代理状态诊断：它们的代理标签是经验性的类别和区间划分，并非经过验证的正式商状态，而且其记录的数据也不支持反事实的主动感知评估。因此，ztq被视为一种学习得到的与商相关的因子，而非正式的商状态qt，实证评估也仅限于上述的基准和被动代理协议。

主要贡献如下：
•可观测商理论。我们基于动作条件下的规范化观测似然度定义了由感知过程引发的态抽象，从而得到了由可行感知动作集合决定的可观测等价类。
•商信念、动力学与QIG。我们发展了商信念、适用于可商量化任务的贝叶斯充分性、在商马尔可夫闭包条件下的商级动力学与递归滤波，以及用于主动感知的商信息增益（QIG）。
•商世界模型。我们提出了QWM，作为一种学习得到的知识状态世界模型，它能近似表示、信念、规范化预测、转移函数拟合以及基于QIG的动作评分，但不会将学习得到的潜在状态与正式的商状态等同起来。
•受控与被动代理评估。我们通过COGS这种用于隔离可观测商机制的受控非雷达高斯诊断基准、用于顺序信念、转移函数、消融实验以及主动感知诊断的受控QuotientWorld实验，以及基于CARRADA和V2X-Radar的有限真实雷达代理证据的被动评估，对所提出的框架进行了检验。

章节节选
信念表示、预测状态表示与世界模型
信念表示和预测状态表示为推断和预测提供了总结部分观测历史的传统方法。POMDP信念表示了对指定状态空间的后验不确定性，而预测状态表示则通过预测观测-动作序列中的未来测试结果来定义状态[5]、[6]。传统的滤波和控制方法同样强调使用内部模型来进行调节和滤波[1]、[2]、[3]、[4]。

可观测性
在观测动作集合中，我们用ut表示感知动作以及QIG候选项的选择，而用at表示那些影响动力学或转移函数预测的动作。该理论将这些符号区分开来，以便区分感知动作和控制动作。在QuotientWorld中，当一个执行的感知动作同时也决定了候选的转移分支时，同一个有限的动作索引就同时承担了这两种角色；这种符号用法区分了它们在观测和转移函数控制方面的功能。

假设3.1 可测量的部分可观测受控系统
设(S,B(S))、(N,B(N))、(U,……)为系统的组成部分。

神经网络实现
前一节将可观测商状态、信念、动力学以及QIG定义为概率对象。商世界模型（QWM）则通过围绕由可观测商原则组织的学习得到的潜在因子，来对与商相关的行为进行近似，它并非一个新的数学状态空间或证据，学习得到的潜在状态也不会恢复为正式的商状态。

给定ht=(y1:t,u1:t)，编码器会生成zt=?θ(ht)=(ztq,ztη)。

实验设置
本节介绍了COGS、QuotientWorld、在CARRADA和V2X-Radar上的被动雷达代理诊断方法、基准测试以及评估指标。所有汇总结果均使用种子值0–4以及保留的测试数据集；冻结的评估流程、预处理步骤以及评估指标公式详见附录B–D。

2. 实证标签为受控或代理划分结果，而非QU的直接观测样本，仅用于与商相关的诊断。主动诊断是在受控环境中进行的，其中包含反事实的感知动作……

实验与结果
所有实验均遵循第5节中描述的流程。数值结果是根据冻结后的评估数据计算得出的，以指定种子值下的平均值±标准差的形式呈现。E0是在COGS上进行的受控非雷达诊断，E1–E3和E5–E6是在QuotientWorld环境下进行的受控诊断，而E4和E7则是在CARRADA和V2X-Radar上进行的被动代理评估。

可观测商能提供什么
在部分可观测性条件下，可观测商为表示学习问题提供了一个有原则的答案：学习得到的模型应当保留哪些状态差异？这一答案并非仅由重建的精确度、任务监督或潜在架构决定，而是由规范化处理后感知动作集合所能支持的差异来决定。这就为所提出的框架赋予了三重作用。

首先，可观测等价性定义了一个由感知过程引发的抽象目标：状态……

结论
本文提出了用于部分可观测性条件下表示学习的可观测商理论。其主要贡献在于将感知过程所支持的区分性作为一个明确的态抽象目标，而非让抽象性隐含在重建、预测、奖励、任务监督或架构设计之中。该框架基于动作条件下的规范化观测律定义了可观测商类，同时还发展了商信念、贝叶斯充分性等内容。

CRediT作者贡献说明
颜娇：写作——审稿与编辑、写作——初稿撰写、可视化、验证、软件、方法论、研究、形式分析、概念构建。何品涵：写作——审稿与编辑、监督、项目管理、方法论。彭丽梅：写作——审稿与编辑、监督。

关于手稿准备过程中生成式人工智能及人工智能辅助技术的声明
在撰写本手稿时，作者们使用了ChatGPT来进行语言编辑和提升可读性。在使用该工具之后，作者们对内容进行了必要的审阅和修改，并对手稿的内容负全责。

资金支持
本研究未获得公共部门、商业机构或非营利组织提供的任何特定资助。

利益冲突声明
作者们声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。

颜娇|何品涵|彭丽梅