一种集合变换方法用于语言理解的句子格式塔模型中的不确定性

《Journal of Mathematical Psychology》：An ensemble transform approach to uncertainty in the Sentence Gestalt model of language comprehension

　　

人工神经网络广泛用于建模句子处理，但即使在存在模糊或冲突的语言线索时，也经常在其输出行为中表现出过度自信的点估计。这一局限性通过逆转异常（reversal anomalies）——即具有意外角色反转从而引发句法和语义信息之间冲突的句子——得以说明，并且在诸如句子格式塔（Sentence Gestalt, SG）模型等成熟模型中已被观察到。为了解决这一问题，研究人员通过应用集合卡尔曼滤波器（ensemble Kalman filter, EnKF）的扩展，在模型参数层面进行贝叶斯（Bayesian）推断，引入了SG模型的贝叶斯公式化表述。将句子理解框架化为一个贝叶斯逆问题，使得研究人员能够表征模型输出表示中的后验预测不确定性，而不是依赖点估计。通过数值实验以及与标准最大似然（maximum likelihood, ML）训练的SG模型的比较，研究人员表明，贝叶斯方法在线索冲突下系统地产生较不自信的输出激活，反映了在处理语言歧义时增加的不确定性。

在语言理解建模领域，人工神经网络（ANN）虽被广泛用于句子处理，但常表现出过度自信的点估计，尤其在面对逆转异常（reversal anomalies）等歧义或冲突线索时。这种确定性行为与人类语言理解中的灵活性、修订能力和不确定性管理形成鲜明对比。句子格式塔（Sentence Gestalt, SG）模型作为模拟早期自动语义处理的计算框架，在逆转异常条件下也呈现高置信度，无法反映人类处理中因线索冲突产生的内部不确定性。为解决该问题，研究人员引入贝叶斯（Bayesian）推断框架，将句子理解视为贝叶斯逆问题，采用基于集合卡尔曼滤波器（Ensemble Kalman Filter, EnKF）的丢弃确定性采样器（Dropout Deterministic Sampler）进行后验推断，从而在模型输出中表征不确定性而非点估计。该研究发表在《Journal of Mathematical Psychology》。

研究人员采用了以下关键技术方法：基于最后层贝叶斯近似（last-layer Bayesian approximation），仅在输出层施加先验分布，而将低层固定为最大似然（MLE）训练的特征提取器；使用丢弃确定性采样器（Dropout Deterministic Sampler）模拟粒子系统，通过常微分方程演化粒子集合以近似后验分布；训练语料为合成生成的10,000个句子，包含72个独特词元（12个动作、4个可能施事等），语义特征采用176个二值手编特征，模型结构由更新网络和查询网络组成。

研究结果分为两个部分：
**3.1 处理一致和逆转异常句子**：通过对比标准MLE训练SG模型与贝叶斯SG模型在一组（n=8）一致句及其对应逆转异常句上的输出激活。在一致句中，两模型均对语义合理角色（如“woman”作为施事、“pizza”作为受事）产生高激活。在逆转异常句中（如“During dinner, pizza eats woman”），MLE模型仍维持对语义合理角色的高激活，体现过度自信；而贝叶斯模型则降低语义合理角色激活，同时提高句法指示角色（如“pizza”作为施事）的激活，反映对竞争角色分配的不确定性。
**3.2 逆转异常句子的统计分析**：通过模型水平（10次不同初始化）和项目水平（8个句子）的配对t检验，量化贝叶斯与MLE模型在逆转异常句上的激活差异。结果显示，贝叶斯模型对句法指示施事（t=4.6858, p<0.005）和语义合理施事被探针为受事（t=6.1014, p<0.005）的激活显著高于MLE模型，而对非相关受事（t=-5.4184, p<0.005）的激活显著降低，说明贝叶斯方法在冲突线索下系统地增加了不确定性，并更选择性分配不合理的角色。

讨论部分指出，贝叶斯SG模型在逆转异常条件下将概率质量重新分配到竞争解释上，增强了模型对线索冲突的敏感性，优于传统MLE模型。研究结论总结为：确定性神经网络虽强大，但在线索冲突条件下表达不确定性能力有限；本研究引入的贝叶斯方法提供了有力扩展，允许预测反映分级信念而非点估计，从而产生与线索冲突下不确定性相容的表示。局限性在于未直接与人类行为或电生理数据比较，未来工作将聚焦于人类数据验证及扩展贝叶斯处理到更丰富训练环境。