摘要
在递归学习中，模型输出可被复用于后续训练，通过可观测信息的复用与变换将 successive 模型联系起来。评估这些过程需要区分可观测状态的变化与任务相关属性的保持。我们提出了基于PPS的信息动力学框架（PPS-Based Information Dynamics，PPS-ID），该框架将柏拉图投影结构的可观测性视角与基于轨迹的重复学习评估联系起来。PPS-ID将潜空间到可观测空间的映射与训练状态转换分离开来，并评估可观测差异、依赖任务的定向变异以及示例级正确性历史。标准因式分解条件规定了所选观测在何时允许闭合转换，而决策边界条件则将预测概率的变化与分类决策的保持联系起来。在CIFAR-10和基于双向编码器表征Transformer（BERT）的情感分类实验展示了三个区分：局部相似性可以与偏离初始状态共存；准确率下降可以与更低的期望校准误差和更高的预测熵共存；端点改善可以与中间损失共存。在五代CIFAR-10蒸馏实验中（使用五个种子），在仅软标签监督下，固定教师的最终准确率比递归学习的最终准确率高出平均1.542个百分点。将真实标签与软标签监督混合后，这一排名发生反转，并使平均递归最终准确率从70.672%提升至73.910%。在二分类的斯坦福情感树库（SST-2）和IMDb任务上，BERT实验得出了取决于数据集和种子的端点排名；第一代分支差异将因果归因限制在教师替换方面。PPS-ID为检查可观测信息如何变化以及学习轨迹上哪些任务相关属性被保持提供了一个通用的评估结构。结果表明监督机制、参考选择和中间变化如何影响对重复学习的解释。
