大语言模型中的拓扑聚焦：对齐条件下的语义转变模式与信息质量

《Information Processing & Management》：Topological focusing in large language models: Alignment-conditioned semantic transition patterns and information quality

　　

# 摘要

本研究提出了拓扑聚焦（Topological Focusing）框架，将大语言模型（LLMs）中的语义转移概率建模为 P(j∣i)∝(A?C)/r^α，其中 α 为经验聚焦指数。我们从 GPT-3.5-turbo 和 GPT-4o 中收集了 2055 个语义转移样本，涉及三种对齐表达条件（基线、对齐和高级参考）。结果表明，欧几里得距离对语义传播的解释力极低（R2 < 0.02），而生成概率表现出与排名相关的稳健幂律衰减，该衰减被用作拓扑可达性的操作性代理指标。对齐提示条件与更高的 α 值相关（从 2.18 到 6.60）（Δα = 4.42，p<0.001）。在 DeepSeek-V4-Flash 上的跨模型复制研究——一个具有不同对齐流程的独立模型系列——为幂律动力学和条件关联的 α 放大提供了汇合证据（基线 α = 3.27，对齐 α = 13.40，Δα = 10.13）。一项独立的温度消融实验表明，该模式不能通过推理时的缩放来复制。在消融数据集中，α 在五种温度设置下保持不变（ANOVA p = 0.296，η2 = 0.004）。外部验证显示，在对齐条件下，外部嵌入距离与生成概率之间的正相关更强（β = +3.07，p = 0.004）：对齐条件优先产生嵌入距离较远的概念，这一模式与向效用导向生成转变的模式一致。在两个独立的嵌入模型中一致观察到更强的正距离-概率关联。此外，在初步的中文复制研究中，使用 DeepSeek-V4-Flash 观察到条件关联的 α 放大。在 100 个查询的多义词消歧任务中，拓扑感知的重排序在完全重排序深度下实现了 30.0% 的绝对精度提升和近乎完美的消歧效果（Precision@2 = 99.0%，MRR = 1.000）。结果表明，对齐提示与排名-概率聚焦的系统性变化相关。这一视角对检索增强生成系统的设计和信息服务质量评估具有重要启示。

## 引言

大语言模型（LLMs）现已广泛应用于生产系统中，推动了自动文本生成、问答和知识检索的重大进展（Madhu et al., 2026）。然而，这种快速采用带来了关键挑战：语义影响在这些模型内部传播的机制仍不充分理解。这一问题对检索增强生成（RAG）系统尤为重要，因为它们越来越依赖语义距离来选择相关上下文（Gao et al., 2023）。如果我们误判语义传播的方式，可能会损害上下文相关性、响应质量和系统可靠性。掌握这些动态不仅对改进 LLM 设计至关重要，也对解决关于信息服务质量和 AI 知识表征能力的核心问题具有重要意义（Wei & Chen, 2026）。事实上，信息科学研究的近期趋势越来越多地关注 Transformer 模型、AI 伦理以及将认知科学与计算语言学联系起来的跨学科工作（Khorshidi et al., 2025）。

语义传播的常见建模方式假设各向同性扩散，即语义影响在通过高维嵌入空间时均匀传播，并随欧几里得距离平滑衰减。这一想法与 Transformer 使用的欧几里得点积注意力机制紧密相关（Vaswani et al., 2017），并支撑了大多数基于嵌入的检索系统（Karpukhin et al., 2020；Muennighoff et al., 2023）。但近期研究越来越质疑这一假设。大语言模型展现出新兴的语义组织能力（Wei, Tay et al., 2022），并对对齐变化强烈响应（Bai et al., 2022；Ouyang et al., 2022；Rafailov et al., 2023），表明语义传播可能遵循不同于几何扩散的规则。研究人员开始探索对齐如何影响表征信息、语言拟合度和认知负荷等领域中的输出质量（Wei & Chen, 2026），以及 RLHF 奖励模型中过度优化的风险（Zhai et al., 2026）。此外，对齐可能导致模式坍缩，即 RLHF 和 DPO 通过偏好多数选择而降低输出多样性（Slocum et al., 2025；Zhang et al., 2025）。

先前的工作已确立语义网络具有非欧几里得性质，包括无标度度分布和小世界拓扑结构（Steyvers & Tenenbaum, 2005；Utsumi, 2015），以及双曲嵌入能更有效地捕获层级语义（Nickel & Kiela, 2017；Nickel & Kiela, 2018）。对 LLM 的近期几何分析进一步揭示，这些模型内部化了具有拓扑复杂度的结构化流形，其超出了平滑的欧几里得假设（Joshi et al., 2025；Robinson et al., 2025）。关键的是，表征工程方法已证明，诚实性和无害性等高级认知现象作为方向线性编码于 LLM 激活空间中（Marks & Tegmark, 2024；Zou et al., 2023），而拓扑数据分析已成为表征神经网络表征结构特性的可行工具（Kushnareva et al., 2021；Naitzat et al., 2020；Rathore et al., 2023）。这些发展的详细综述见第 2 节。

尽管取得了这些重要进展，关键空白仍然存在：没有正式的方法来表征 LLM 输出中语义影响如何随基于排名的可达性衰减，或这种模式如何随对齐表达条件而变化。为填补这一空白，本研究引入了拓扑聚焦框架。该框架将对齐相关过程视为沿优选概念路径产生非均匀概率聚焦的潜在来源。在本研究设计中，这一想法通过模型权重不变的系统中提示条件进行评估；因此本研究测试的是条件关联的输出模式，而非 RLHF 训练的孤立因果贡献。实证发现被组织为五个范式-发现对应关系，如表 6 所示：各向同性否定（欧几里得距离无法预测转移）、基于排名的幂律支持、条件调节（对齐提示条件与更高的 α 值相关）、温度消融（α 对采样温度保持不变）以及操作验证（拓扑感知重排序提高了 RAG 精度）。本文结构如下：第 2 节阐述研究目标并回顾相关工作；第 3 节呈现理论框架；第 4 节说明方法论；第 5 节展示结果；第 6 节讨论启示；第 7 节讨论局限性；第 8 节总结。

## 研究片段

### 研究目标与相关工作

尽管先前的文献提供了证据，表明对齐相关的训练和干预可以改变 LLM 表征（Khamassi et al., 2024；Qu et al., 2025；Zou et al., 2023），但当前研究没有提供定量框架来表征对齐条件下的排名-概率模式及其对信息服务质量的影响。本研究旨在通过追求以下目标来填补这一空白：

**RO1：** 建立语义影响衰减的拓扑表征。

### 理论框架

基于第 2 节回顾的研究脉络，本节引入拓扑聚焦框架。第 3.1 节通过结合三个互补的传统来阐述理论基础。第 3.2 节陈述主要假设。第 3.3 节解释数学细节及其与信息引力和 Ollivier-Ricci 曲率的概念联系。第 3.4 节为检索增强生成发展双边界预测。

### 研究设计

我们使用了汇合式混合方法设计，将观察性测量与条件操纵实验相结合。观察性部分称为自然田野采样，通过系统性测量语义转移来建立基线衰减模式。实验性部分称为因果调节，改变对齐表达条件以观察衰减参数是否随条件变化。此处"因果"指的是实验操纵的提示条件对观察到的输出结果的影响。

### 结果

在本节中，排名是拓扑可达性的操作性代理指标而非直接观测的测地距离，α 是经验聚焦指数而非测量的几何不变量。下文使用的曲率术语是对观察到的统计规律的概念性解释。

### 讨论与启示

本节涵盖实证发现的理论重要性（第 6.1 节）、区分对齐提示条件与标量温度缩放的分布性证据（第 6.2 节）、本工作如何关联并区别于近期关于对齐和信息服务质量的研究（第 6.3 节），以及对检索增强生成系统的实际影响（第 6.4 节）。

### 局限性与未来方向

尽管拓扑聚焦框架提供了稳健的基于排名的表征和对齐提示条件下语义传播的几何解释，但若干方法论和范围相关的局限性限制了本研究的发现。这些局限性也界定了后续研究的明确方向。

**方法论约束与黑箱挑战。** 第一个约束涉及测量。排名是拓扑可达性的操作性代理指标，而 α 是……

### 结论

本研究挑战了当前大语言模型语义模型中的欧几里得假设。实证分析表明，外部欧几里得距离对生成转移的解释力极低（R2 < 0.02；RO1），而排名作为拓扑可达性的操作性代理指标，通过幂律衰减 P(j∣i)∝(A?C)/r^α 与语义传播强相关。经验聚焦指数 α 随对齐表达条件系统性变化。

### 伦理批准声明

本研究完全依赖于通过与商业大语言模型 API（OpenAI）的自动交互进行的计算实验和观察性数据。本研究不涉及人类受试者、动物实验或个人可识别信息（PII）的收集。所有 API 交互均严格遵守提供者的使用条款进行。因此，不需要正式的机构审查委员会（IRB）伦理批准和知情同意。

### 生成式 AI 和 AI 辅助技术在写作过程中的声明

在本工作准备过程中，未使用大语言模型进行数据收集、统计分析或实证结果解释。作者根据需要对内容进行了审阅和编辑，并承担发布内容的全部责任。使用 OpenAI 的 GPT-3.5 和 GPT-4o 模型生成语义转移数据与写作过程不同，作为主要实验方法论在第 4 节（方法）中详细描述。

### 资金支持

本研究未获得公共、商业或非营利部门资助机构的任何特定拨款。

### 利益冲突声明

作者声明，他们没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

### 致谢

我们感谢信息处理与管理特刊（VSI: FLLM）的匿名审稿人和处理编辑们的时间和建设性反馈。

朱钰暄