《Cognitive Science》：Factors Influencing the Emergence of Dependency Length Minimization in Neural Agent Simulations
编辑推荐：
在存在多种语法选项时，语言使用者偏好能够降低句法依存（syntactic dependencies）总体长度的词序选择，这一原则被称为依存长度最小化（dependency length minimization, DLM）。该偏好的起源仍是一个开放问题，尤其是
在存在多种语法选项时，语言使用者偏好能够降低句法依存（syntactic dependencies）总体长度的词序选择，这一原则被称为依存长度最小化（dependency length minimization, DLM）。该偏好的起源仍是一个开放问题，尤其是其是否源于高效信息加工的约束。计算模拟为识别影响语言现象涌现的因素提供了有力途径。然而，既往DLM模拟未考察现实交互情境，且结果不一致。本研究使用近期提出的基于循环神经网络（recurrent neural networks, RNNs）的语言学习与交流框架，考察人工语言中DLM的涌现。在该框架中，智能体（agents）被训练以说出和解释人工语言，随后使用这些语言进行交流。利用该框架，研究人员考察了交流情境中若干与加工限制相关因素的影响，例如聆听过程中的噪声（noise during listening）、有限说话者容量（limited speaker capacity）以及增量句子加工（incremental sentence processing）。结果揭示了这些因素在塑造神经智能体词序偏好中的复杂交互作用。具体而言，在完整意义空间（full meaning space）中，智能体正则化（regularize）为单一优势词序；在半意义空间（half meaning space）中，智能体表现出“短成分先于长成分”（short-before-long）偏好，该偏好仅在动词初始语言（verb-initial languages）中与DLM一致。只有当智能体受到增量加工压力时，才出现一致的DLM偏好。这些结果表明，人类认知加工限制可能确实在塑造DLM中发挥作用。研究人员的发现为理解神经模型在何种条件下复现人类相似的句法依存距离最小化偏好提供了见解，并凸显了设计能够捕捉语言加工中人类认知偏好的涌现交流模型所面临的挑战。
论文解读：
人类语言使用者在多种词序选项中偏好减少句法依存（syntactic dependencies）总体长度，即依存长度最小化（dependency length minimization, DLM；指减少句法中心词与依存词之间的线性距离）。其起源仍存争议：DLM究竟来自语言输入统计、领域一般认知偏差，还是高效交流压力，尚不清楚。跨语言语料和人工语言实验支持DLM的普遍性，但既往神经模拟结果混合。主要问题包括：未考察真实交互情境；线性化意义表示可能隐含偏向特定词序；预训练Transformer可能继承英语训练偏差且缺乏人类记忆约束；多数范式忽略动态交流压力。为此，研究人员采用近期提出的NeLLCom（neural-agent language learning and communication；神经智能体语言学习与交流框架），基于人工语言学习范式，避免预训练，使用不偏向任何线性顺序的意义表示，并以Fedzechkina et al. (2018)的人类实验为灵感。研究聚焦三类与加工限制相关的因素：聆听噪声、有限说话者容量和增量句子加工。
研究人员开展三项关联实验。结果表明：在完整意义空间中，词序正则化压倒DLM；在半意义空间中，短先于长偏好压倒DLM，并受噪声和有限说话者容量促进；只有引入增量加工压力时，才在动词初始语言和动词最终语言中一致引发DLM。该研究说明，人类认知加工限制可能参与塑造DLM，同时表明神经模型复现人类偏好需要特定条件，设计捕捉人类认知偏好的涌现交流模型仍具挑战。
关键技术方法概括（不超过250字）：研究使用NeLLCom框架，说话者采用线性到序列结构，听者采用序列到线性结构；智能体先以监督学习（supervised learning, SL）学习预定义人工语言，再以强化学习（reinforcement learning, RL）通过REINFORCE算法优化交流成功。人工语言受Fedzechkina et al. (2018)启发，包含动词初始/最终混合词序、主宾语角色标记、修饰短语和固定九词长度，并引入Zipf式非均匀词分布与动词选择偏好。噪声通过词dropout（p=0.1）模拟；有限说话者容量通过降低说话者隐藏层规模实现；增量加工采用Impatient Listener，并将增量准确率纳入奖励。比较RNN与GRU架构；使用贝叶斯多层线性模型评估。无人类样本队列，数据为模拟生成。
研究结果：
Experiment 1: Word order regularization overrides DLM。在完整意义空间、一半主语修饰和一半宾语修饰条件下，SL后智能体保留输入中长短依存各半的分布；交流后，个体随机种子正则化为VSO或VOS单一词序，平均局部依存比例仍接近50%。因此，交流压力促使词序正则化、降低词序熵，从而压倒DLM。
Experiment 2: Short-before-long overrides DLM。在半意义空间，条件包括基线、噪声、低说话者容量、低说话者容量+噪声。SL后无DLM；交流后，动词初始语言的局部依存比例升高，动词最终语言的长依存比例升高，均反映统一的短先于长偏好；噪声和低说话者容量增强该偏好，联合条件最强。GRU较RNN更稳定，对噪声不敏感。故短先于长偏好压倒DLM，仅在动词初始语言中表面上与DLM一致。
Experiment 3: Incremental processing elicits DLM。使用Impatient Listener，条件为基线、不耐烦听者、不耐烦听者+噪声。交流准确率初期下降后恢复。与基线相比，不耐烦听者条件在动词初始和动词最终语言中均提高短依存比例；噪声未引入额外系统效应。因此，增量加工压力引发一致DLM。
讨论部分指出，标准交流中产出偏好由词序正则化或短先于长主导；听者增量加工使短依存具有交流优势。作者基于语法编码理论提出，短先于长可能反映概念驱动与形式驱动过程之间的平衡，并推测递归生成顺序性可能使短成分起始更简单稳定，但需进一步分析隐藏态。Impatient Listener逐词解释并更新预测，减少临时歧义，从而使DLM出现。作者还强调，神经网络可能以不同于人类的机制复现行为，未来可探索归纳偏差、记忆约束、图表示、变长、融合学习与交流、字符级建模及更丰富多智能体结构。
结论翻译：本研究纳入若干因素（聆听噪声、有限说话者容量、增量句子加工）以提高神经智能体语言涌现模拟的真实性与认知合理性，并将其应用于DLM研究。研究人员以暴露于混合模式人工语言的神经学习者为实验对象，发现聆听噪声和有限说话者容量不足以在动词初始语言和动词最终语言中引发一致的DLM偏好。相反，智能体产出似乎与短成分先于长成分的偏好一致。这种短先于长偏差与说话者将较短名词短语置于较早位置的产出研究一致，通常归因于词汇可及性或产出效率（例如Behaghel的递增成分定律（Behaghel, 1909））。只有引入增量加工，才导致智能体产出在两类语言中与DLM一致。本工作考察的多种因素构成了感知、加工和记忆上的内部与外部约束组合。对于以最大化交流成功为首要目标的智能体，每种约束都会对涌现系统施加选择压力，塑造智能体发展的策略与偏好。这些压力之间的交互高度非线性，常导致权衡或意外协同。计算建模为探索这些动态提供了有力手段，使研究人员能够分解其贡献并研究它们如何共同塑造交流行为。
