SGN 类表示学习中噪声分布的词 - 上下文分类视角

《Neurocomputing》：A word-context classification view of noise distributions in SGN-like representation learning

　　

• •
  WCC 在一般词—上下文噪声律的统一框架下整合了 SGN 类目标函数。
• •
  条件 WCC 严格推广了与中心词无关的 SGN 噪声采样。
• •
  加权 JSD 分析解释了在数据与噪声精确匹配下的坍缩现象。

引言

负样本构造是表示学习中负采样目标函数的一项核心设计选择。在 SGN 类的词—上下文分类中，噪声分布决定了哪些负样本会与观测到的词—上下文配对进行对比，从而塑造了所诱导出的分类问题、梯度信号的信息量，以及所学习表示被鼓励捕捉的结构。近期综述记录了负样本设计在表示学习各领域的广泛影响 [1]。然而，关于一般的联合噪声律或中心词条件噪声律如何决定 SGN 类词—上下文分类中的目标得分、有限秩加权以及端点行为的正式论述仍然不完整。视觉对比学习中配对构造的领域特定综述以及稠密检索中负采样的研究同样表明，负样本设计仍是一个活跃的研究课题 [2]、[3]。

带负采样的 SkipGram（SGN）为该问题提供了经典且可分析化的测试平台 [4]。其显式的词—上下文分类结构能够隔离噪声分布的作用，并允许在不引入上下文架构所带来额外复杂性的情况下进行直接分析。

迄今为止，对 SGN 的理论分析主要集中于受限的配置。移位 PMI 分析刻画了与中心词无关的噪声边缘分布的特定选择 [5]。因此，对任意、条件性或自适应性噪声分布的正式处理需要一个更广义的框架。特别是，允许噪声律依赖于中心词会同时改变被近似的目标得分矩阵和有限秩目标的逐元素加权；这些后果并不能仅由二分类公式本身所决定。

这留下了一个自然的问题：当噪声分布被允许偏离先前研究所考察的固定设定而发生变化时，应如何刻画 SGN 类目标函数？回答这一问题需要一个既能保持词—上下文分类机制显式表达、又能容纳一般噪声分布的公式化框架。

为研究这一问题，我们将 WCC 构建为针对具有一般噪声分布的 SGN 类词—上下文学习的统一框架。该框架包含 SGN 作为其特例，并支持对固定、条件性以及自适应性噪声分布的统一理解。在 WCC 内部，我们分析了噪声律如何塑造所学到的得分，并将移位 PMI 恢复为特例，研究了不同噪声分布如何改变所诱导出的分类问题。我们进一步证明与中心词无关的 SGN 是一个严格子族，推导出了精确的噪声变换与重构关系，并展示了噪声律如何决定有限秩近似的权重与最优风险。这些结果导出了“邻近性—对比性—多样性”原则。该视角为自适应性条件变体提供了动机，包括 caSGN 与 ACE，作为 WCC 的具体实例化 [6]、[7]。

该分析还将条件密度比目标扩展到了显式采样假设下的单正样本候选集目标。

实证研究旨在检验：分析所暗示的定性机制是否在共同的实验设定下仍然能在所学到的表示中得以体现。通过在所研究模型之间保持一致的训练架构与评估协议，我们能够考察噪声分布的变化如何从优化问题传导到标准词嵌入基准任务上的表现。

本文的主要贡献如下：

• •
  我们将 WCC 形式化为针对具有一般噪声分布的 SGN 类词—上下文分类的统一视角。我们进一步证明了经典的与中心词无关的 SGN 构成一个严格子族，并推导出了精确的噪声变换与重构关系。
• •
  我们刻画了给定的噪声分布如何塑造 WCC 中的最优得分，并将移位 PMI 的解释恢复为特例。我们进一步表明噪声律决定了有限秩嵌入近似的加权以及最优分类风险，从而导出了面向噪声分布设计的受约束“邻近性—对比性—多样性”原则。
• •
  我们将自适应性条件变体作为 WCC 的具体实现进行研究，并评估由此产生的表示差异是否在标准词嵌入基准任务上依然可见。直接的邻近性与多样性干预、组件消融实验，以及固定 $$ 与固定计算量的对照比较，为该机制提供了有针对性的检验。

本文其余部分的结构如下。第 2 节回顾负采样与表示学习的相关工作。第 3 节形式化 WCC 框架，并对噪声分布的选择如何塑造底层优化问题给出理论刻画。第 4 节给出实验评估以及将分析联系到基准行为上的实证证据。第 5 节讨论这些模型的概念范围与计算考量。最后，第 6 节总结主要发现。

章节摘要

相关工作

我们将相关工作分为四类，从最接近的理论背景到更广的概念性背景依次排列。

词嵌入问题

设 $$ 表示词表，$$ 表示上下文集合。在 SkipGram 模型中，一个上下文通常就是一个单词，此时 $$ 等于 $$。为了区分词与上下文，我们使用 $$ 表示所有上下文的集合。

在此设定下，给定的训练语料可以被解析为来自 $$ 的一组 $$ 的词—上下文配对 $$。例如，按照标准做法 [4]，我们可以沿语料滑动一个长度为 $$ 的窗口。在每个窗口位置上，我们收集 $$ 个词—上下文配对：中心词作为 $$，

实验

实验考察在共同条件下，噪声分布 $$ 的不同形式如何影响训练过程与所学到的表示。在描述数据、模型、实现方式与统计分析之后，我们检验密度比恒等式以及“邻近性—对比性—多样性”机制，在固定 $$ 与固定计算量的情况下比较不同采样器，评估其向候选集目标与标准基准任务的迁移能力，并刻画其可扩展性与鲁棒性。

解释与适用范围

综合来看，这些结果表明噪声律是一种表示设计变量，而不仅仅是一种采样工具。精确得分验证确认了所预测的目标与风险恒等式；oracle 与熵干预定位了噪声空间中的非退化区域；配对对照则识别出中心词条件化与持续自适应各自的作用。固定条件下的比较进一步将等 $$ 下的表示质量与较大 $$ 情形下 SGN 的早期计算效率区分开来。

结论

我们将 WCC 构建为一个统一框架，其中噪声分布决定了最优的词—上下文得分、其有限秩近似的加权以及最优分类风险，并将移位 PMI 恢复为特例。精确匹配的边界细化了“邻近性”直觉：信息丰富的噪声既保持与数据的接近，又保留了配对特有的对比性以及条件多样性。

精确得分验证、直接干预、组件对照、固定条件下的

CRediT 作者贡献声明

刘德智（Dezhi Liu）：撰写—审阅与编辑、撰写—原稿撰写、可视化、验证、软件、方法论、调查研究、形式化分析、数据整理。Richong Zhang：撰写—审阅与编辑、监督指导、资源提供、经费获取、概念构思。王梓桥（Ziqiao Wang）：撰写—原稿撰写、可视化、验证、软件、方法论、调查研究、形式化分析、概念构思。

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。

致谢

本工作由国家自然科学基金委员会（项目编号 U23B2056）资助，部分由国家自然科学基金委员会（项目编号 U2433212）资助，部分由北京市科技计划（项目编号 Z221100007122003）资助，部分由中央高校基本科研业务费资助，部分由复杂关键软件环境国家重点实验室资助。

刘德智（Dezhi Liu） 于 2018 年在中国沈阳获得沈阳工业大学计算机科学与技术学士学位，2021 年在中国北京获得北京航空航天大学计算机技术工程硕士学位。他自 2021 年至 2026 年在中国北京航空航天大学计算机科学与工程学院攻读博士学位。他的研究方向涵盖图数据挖掘、图表示学习以及大语言模型的应用。

Dezhi Liu | Richong Zhang | Ziqiao Wang