可复用价值画像驱动的状态条件化主动推断：面向波动环境的信念加权控制机制

《Biological Cybernetics》：Active inference with reusable state-dependent value profiles

　　

在波动环境中实现最优行为，要求智能体在不同隐式潜在结构之间部署不同的价值控制机制。然而，为每一种情境独立表征偏好、偏差与行动置信度，在计算与统计层面均不可行。为此，本研究引入价值画像（value profiles）：一种紧凑的可复用参数束集合，包含结果偏好（outcome preferences）、策略先验（policy priors）与行动精度（action precision），并将其指派给生成模型中的隐状态。随着后验信念逐试次演化，有效控制参数通过信念加权混合（belief-weighted mixing）涌现。这一机制使得状态条件化策略招募成为可能，而无需为每一情境独立参数化。研究在概率反转学习（probabilistic reversal learning）情境中，通过基于模拟的模型恢复（model recovery）与参数恢复（parameter recovery）对该框架进行评估，并将基于画像的模型与静态及不确定性耦合精度基线进行比较。模型比较结果支持基于画像的架构，且一致的参数恢复结果表明其具备结构可辨识性（structural identifiability）。在预测拟合之外，该框架还支持将行为机制性归因于特定自适应通道，从而区分智能体“偏好什么”的变化与“行动决断性如何”的变化。总体而言，可复用价值画像为信念条件化控制提供了一种可计算且可追踪的阐释，为行为灵活性提供了一种模态式（mode-like）表征方案，兼具可辨识性与理论根基。

论文解读：可复用价值画像驱动的状态条件化主动推断——面向波动环境的信念加权控制机制

一、研究背景与问题提出

在动态奖励环境中，智能体需要根据环境统计特征的变化调整价值更新策略。波动性（volatility）是决定新结果显著性的关键因素：高波动环境下，智能体应提高有效学习率以快速修正价值；而在稳定环境下，低波动性则要求较小的逐试次更新，以避免对随机结果过度反应。预测加工（predictive processing）与层级贝叶斯框架将这一权衡形式化为生成模型下的推断过程，其中精度（precision）作为预测误差的置信加权机制，调控学习与注意等过程。然而，现有模型虽假设智能体根据推断情境调整策略精度等控制参数，但决定“哪些控制参数应改变、如何跨潜在情境分配”的计算原则仍缺乏明确刻画。此外，许多主动推断（active inference）实现将关键控制参数视为全局或情境级量，此类参数在经验上往往难以辨识，也难以映射到机制性约束。

针对上述问题，研究人员提出价值画像（value profiles）框架：一种状态条件化的可复用、可辨识动机价值控制机制。其核心思想是，智能体无需为每一推断情境独立学习价值设置，而是维护一个小型画像库——将结果偏好（C）、策略先验（E）与策略精度（γ）捆绑为统一对象——通过信念加权混合（belief-weighted mixing）实现状态条件化招募。该框架的理论动机源于基本约束：智能体无法为每一潜在情境维护独立偏好与精度参数，而必须将价值空间压缩为可复用的策略/参数束库。通过跨隐状态复用有限画像集，智能体在保持行为灵活性的同时实现计算效率。

二、研究设计与核心方法

研究人员在概率反转学习（probabilistic reversal learning）任务中评估该框架。任务为双臂老虎机设计，包含波动与稳定两种隐式情境：波动情境中较好手臂奖励概率为0.70、较差为0.30，且每10试次切换手臂身份；稳定情境中概率分别为0.90与0.10，手臂身份在情境内保持不变。每试次智能体从四个动作中选择（act_start、act_hint、act_left、act_right），接收提示、奖励与选择确认三种观察模态。情境身份不可直接观察，需从奖励模式推断。

研究采用的主要技术方法包括：（1）离散部分可观察马尔可夫决策过程（POMDP）框架下的生成模型构建；（2）贝叶斯滤波（Bayesian filtering）进行隐状态推断；（3）信念加权混合机制计算有效试次参数；（4）两阶段粗到细网格搜索（coarse-to-fine grid search）进行参数估计；（5）5折交叉验证（5-fold cross-validation）评估预测性能；（6）模型恢复（model recovery）与参数恢复（parameter recovery）分析验证结构可辨识性。

三、研究结果

3.1 模型恢复：非对称结构辨识

模型恢复结果显示恢复具有非对称性：M3生成的数据被正确识别（M3下AIC_CV最低），而M1与M2生成的数据则被M1优先捕获。M3是唯一利用推断情境信念通过画像招募调节策略偏好的模型。当M3生成数据时，智能体在推断波动情境（70%/30%奖励判别）时转向探索性信息寻求，在推断稳定情境（90%/10%判别）时转向开发性直接行动选择。M1使用固定策略偏好，M2仅基于更好手臂状态的局部不确定性调节策略精度，二者均无法复现M3的信念加权画像招募所表达的情境依赖策略转换。M3对M3生成数据的测试对数似然（-31.05）显著高于M1（-93.78）与M2（-84.52）。相反，当数据由M1或M2生成时，M3因额外自由度被惩罚而不占优势，表明其优势并非源于通用灵活性，而是特定于包含信念加权画像招募计算特征的行为。

3.2 参数恢复与结构保持

参数恢复分析表明，在该任务与假设类别下，情境依赖的策略精度变化并非解释留出行为的必要条件：最佳拟合配置为两画像分配相似γ值。相反，拟合保留了波动画像（画像0）在策略先验上的画像间分离，一致恢复出E缩放[2.0, 0.5, 0.5]并具有提升的提示寻求倾向。这一模式与提示动作在波动与稳定情境中的非对称信息价值一致：波动情境持续要求提升的信息寻求。恢复参数跨折高度一致，所有折均选择相同参数。该结果表明，画像招募在此情境中主要通过策略先验结构（E）而非精度调节表达适应，同时保留γ差异在更强调决断性或速度-准确权衡任务中可能具有信息性的可能性。

3.3 机制归因：拟合模型中的画像动态

机制分析验证了恢复的M3参数如何在情境需从奖励观察推断时产生情境依赖行为策略。画像权重轨迹显示，当情境信念偏向波动状态时，混合权重向画像0（探索性、信息寻求）转移；当偏向稳定状态时，权重向画像1（开发性、最小提示寻求）转移。画像招募在推断不确定性下运作：情境期早期信念弥散时，画像按信念强度比例混合而非确定性招募。有效策略偏好随情境信念演化平滑变化，产生M1与M2无法捕捉的行为特征。

四、讨论与结论

研究讨论指出，价值画像可视为层级主动推断（hierarchical active inference）的一种有损摊销（lossy amortized）形式：将层级调制压缩为可复用的可解释控制模式，通过后验情境信念招募而非引入额外层级并运行显式多层级推断。该框架在科学问题是行为能否由少量重复出现的控制模式（如信息寻求与开发）解释时具有优势：通过结构化参数共享减少有效自由度数，提升从噪声选择序列中恢复情境依赖适应的能力。相反，显式层级主动推断在领域呈现跨时间尺度嵌套结构时更为适用。

研究结论：可复用价值画像为信念条件化控制提供了可计算且可追踪的阐释。模型比较支持基于画像的架构优于静态与不确定性耦合精度基线，一致的参数恢复证明其结构可辨识性。该框架支持将行为机制性归因于特定自适应通道，区分“偏好什么”的变化与“行动决断性如何”的变化，为行为灵活性提供模态式表征方案，兼具可辨识性与理论根基。