注意力连接性（Attention Connectivity）：一种揭示自监督语音 Transformer 中显著长程连接的可解释框架

《Neurocomputing》：Attention connectivity: An interpretable framework for revealing salient long-range connectivity in self-supervised speech transformers

　　

自监督语音 Transformer 在自动语音识别（ASR）中取得了强性能；然而，其跨层信息组织仍未被充分理解，限制了可解释性。现有可解释性研究考察了单个注意力模式、注意力头特征以及标记级跨层归因，但跨层注意力头之间的模型级统计依赖仍未得到充分刻画。受神经科学中动态功能连接（DFC）分析的启发，研究人员提出 Attention Connectivity，一种可解释框架，用于量化跨层注意力头之间的依赖以刻画交互模式。通过该框架，研究人员识别出 Salient Long-range Connectivity，一种跨越多层的结构基元。该基元表现出增强的敏感性、方向依赖特性以及非冗余功能贡献；值得注意的是，剪枝分析提供了功能证据，表明相关注意力头对识别性能具有重要贡献。此外，声学对齐分析显示，这些连接与连续语音的能量相关特征持续相关。在 wav2vec 2.0 变体、HuBERT、WavLM 以及另一语音数据集上的实验揭示出反复出现的显著跨层连接模式，支持所提出分析的稳健性和跨模型泛化性。该工作提供了系统方法学，用于揭示语音 Transformer 中的结构化跨层组织，并推进基于连接性的注意力可解释性。

论文解读

研究背景与问题：自动语音识别（ASR）已成为现代人工智能的核心技术，能够将口语转换为文本并服务语音助手、实时转录和人机交互等应用。近年来，自监督学习（SSL）通过掩码预测目标从大规模无标注语音中学习信息性语音表征，推动 ASR 显著进展；Transformer 架构成为主导框架，代表模型包括 wav2vec 2.0、HuBERT 和 WavLM。多头注意力可捕获语音序列中的长程依赖和复杂上下文关系，并保持并行化与泛化能力。然而，自监督语音 Transformer 如何在无显式监督下建立关键跨层依赖仍认知不足，导致模型呈“黑箱”特性，内部计算难以解读。这种可解释性限制制约了模型在医疗、辅助技术等对安全性和可靠性要求严格的高风险语音驱动场景中的部署。现有可解释性研究考察了单个注意力模式、注意力头重要性以及跨层归因，但跨层注意力头时间注意力模式之间的模型级统计依赖仍未被充分刻画。为弥补这一空白并系统理解自监督语音 Transformer 的跨层交互机制，研究人员提出显式建模注意力头之间的依赖。

研究开展、结论与意义：受神经科学动态功能连接（DFC）分析启发，研究人员构建 Attention Connectivity 框架，以刻画注意力头交互，并从连接性视角识别 Salient Long-range Connectivity，即由多个相邻层强依赖形成的连接模式。研究人员在 wav2vec 2.0 架构中识别出该模式，发现其具有高敏感性、非冗余功能贡献以及与能量相关声学线索的一致关联；剪枝分析提供功能证据，表明相关注意力头对识别性能重要。跨 wav2vec 2.0 变体、HuBERT、WavLM 和额外语音数据集的实验反复识别出显著跨层连接模式，支持稳健性和跨模型泛化性。该工作提供系统方法学，揭示语音 Transformer 中的结构化跨层组织，推进基于连接性的注意力可解释性，并可能作为模型诊断工具关联内部跨层组织与 ASR 性能，为靶向头选择、连接感知剪枝和模型压缩提供潜在基础。

关键技术方法概括：研究人员从自监督语音 Transformer 提取时间分辨注意力权重，沿主对角线取固定大小子矩阵，以 Pearson 相关系数（PCC）计算头间依赖，构建注意力连接序列；采用 K-means 聚类和轮廓系数提取连接模式；按比例阈值保留 top 10% 跨层连接，识别显著长程连接。功能分析包括 ATTATTR、KL 散度、全局连接权重贡献（GCWC）、注意力头分类、时间方向性、单头与联合剪枝、词错误率（WER）、注意力方差和声学对齐（RMS 能量、Hilbert 包络等）。数据来源包括 Wav2Vec2-BASE-960 h、wav2vec 2.0 变体、HuBERT-Base 和 WavLM-Base；Narratives 数据集约 4.6 h 连续叙述故事语音，LibriHeavy-small 约 509 h 英语朗读语音，含 417 名说话者和 173 本书。

研究结果：

4.1 实验设置：使用 Wav2Vec2-BASE-960 h，其含 12 个 Transformer 编码层，每层 12 个注意力头，并在 LibriSpeech 上微调；实验覆盖 Narratives 和 LibriHeavy-small。测试时提取序列长度 75 的时间分辨注意力权重矩阵，对应每时间点 1.5 s 时间分辨率；语音重采样至 16 kHz，并分割为 20 s 片段以便批量处理。结论：为跨层注意力连接分析建立统一实验条件。

4.2 连接模式：通过 Attention Connectivity 建模得到注意力连接序列，K-means 聚类将注意力连接组织为不同交互类型，并识别出主要模式 Pattern 1 和次要模式 Pattern 2；两种模式的主要区别位于中间层注意力头，对全部音频样本得到一致结果。结论：注意力连接可揭示可重复的跨层依赖结构。

4.3 显著长程连接：设置相关系数阈值 0.7，保留 top 10% 连接，得到两种连接模式下的头级跨层依赖；跨音频样本一致识别 Salient Long-range Connectivity，其在主要和次要模式中均出现。稳健性分析显示，LibriHeavy-small 中识别出相同显著长程连接；窗口为 1.0、1.5、2.0 s 时一致；保留比例在 10%、15%、20% 时稳定，top 5% 时部分断裂。非语音控制分析显示，白噪声和器乐虽聚为四类，但连接模式与语音明显不同，未识别出显著长程连接。结论：该连接组织对数据集、时间窗口和保留比例具有稳健性，并非任意声学输入的通用响应。

4.4 多维功能解释：

4.4.1 连接敏感度：使用 ATTATTR 计算 144 个注意力头的自注意力归因，显著长程连接涉及的头均位于整体 ATTATTR 得分前 20%。结论：这些连接捕获功能重要的跨层依赖。

4.4.2 注意力特征：显著长程连接涉及头的 KL 散度低于 0.3，位于所有头后 30%；其 GCWC 位于最低 37.5%；头分类均为 Diagonal。结论：这些头偏好局部注意力而非全局注意力。

4.4.3 时间方向性：全部相关头表现 forward diagonal offset，优先从即将到来的声学帧提取信息。结论：呈未来导向处理模式。

4.4.4 剪枝评估：单头剪枝中，大多数相关头导致 WER 增加，L₉H₉ 单独剪枝略降；联合剪枝 L₈H₃、L₁₀H₆ 与一个第 9 层头时，L₉H₉ 导致最大 WER 增加；增量联合剪枝中 L₉H₉ 产生最大额外增加；注意力方差显示相关头不在冗余下尾。结论：相关头对 ASR 性能重要且非冗余，L₉H₉ 的功能贡献依赖跨层连接背景。

4.4.5 声学对齐：比较多个帧级声学描述符，RMS 能量平均相关最高，为 0.3015；其次为 Hilbert 幅度包络，为 0.2790；RMS 相关统计显著；显著长程连接涉及头对齐分数高于其他头。结论：显著长程连接与连续语音能量相关特征，尤其语音强度动态，持续关联。

4.5 跨自监督语音 Transformer 的稳健性与泛化：

4.5.1 wav2vec 2.0 变体稳健性：在 Wav2Vec2-BASE、LARGE、LARGE-LV60k 的 10 m、100 h、960 h 设置中，960 h 模型表现最佳；BASE 为 12 层 12 头，LARGE 和 LARGE-LV60k 为 24 层 16 头；所有 960 h 模型均识别出两个连接模式。LARGE-960 h 显著长程连接为 L₁₂H₂→L₁₃H₃→L₁₄H₇→L₁₅H₉→L₁₆H₅；LARGE-LV60k-960 h 为 L₁₁H₁₄→L₁₂H₉→L₁₃H₂→L₁₄H₃→L₁₅H₇。相关头 ATTATTR 位于前 20%，分类为 Diagonal，剪枝和声学对齐结果一致；BASE 和 LARGE-960 h 局部偏差更强，LARGE-LV60k 更趋全局；时间方向性上，BASE 未来导向更强，LARGE 过去导向，LARGE-LV60k 更平衡。结论：跨模型尺度存在稳定连接组织，但模型容量和预训练规模影响全局与时间信息组织。

4.5.2 对 HuBERT 和 WavLM 的泛化：HuBERT-Base 与 WavLM-Base 均为 12 层 12 头；连接模式各聚为四类，两个主导模式为 Pattern 1 和 Pattern 2；top 10% 下两模型主次模式均识别出相同四头显著长程连接，跨四个连续 Transformer 层；连接矩阵不同但显著连接一致，其他显著连接也一致；WavLM 基于 HuBERT 框架并保留掩码语音预测，增加门控相对位置偏置和话语混合。结论：显著长程连接不限于 wav2vec 2.0，具有跨模型泛化性。

讨论与结论：

讨论部分总结：研究人员提出 Attention Connectivity，不依赖静态注意力可视化，而是显式建模跨层依赖并识别显著长程连接；该连接是实验识别的结构化基元，而非预定义功能模块。多维分析揭示敏感性、注意力特征和时间方向性，剪枝验证功能相关性，联合剪枝表明个体头功能取决于连接背景；声学对齐从语音角度补充证据。该框架可能作为模型诊断工具，将内部跨层组织与 ASR 性能关联，并潜在用于目标头选择、连接感知剪枝和模型压缩，但当前聚焦可解释性和功能验证。跨模型和数据集一致，HuBERT 和 WavLM 同样识别出四头显著长程连接，但具体头和层跨度可能随架构变化。局限包括：仅用 Pearson 相关，无法表征非线性和因果；剪枝不能完全分离交互或补偿机制；研究仍限于自监督语音 Transformer 和 ASR。未来可纳入非线性依赖、因果探测、干预分析，扩展到不同架构、下游任务、多模态或多任务，并跟踪预训练和微调中的连接演化。

研究结论翻译：本文提出 Attention Connectivity，一种面向自监督语音 Transformer 的以连接性为核心的可解释分析框架。该方法不依赖孤立注意力可视化，而是系统建模注意力头之间结构化的跨层依赖，从而对内部交互模式进行原则化分析。通过该框架，研究人员识别出 Salient Long-range Connectivity，一种反映跨多个层连续且协调的头间依赖的结构化跨层交互基元。此外，多维分析提供一致证据，支持所识别显著长程连接在语音表示和识别中的功能相关性。这些连接模式在不同模型规模和训练语料上的一致性表明，它们并非特定架构或数据集的偶然效应，而是反映注意力机制的稳定组织特征。尽管当前表述基于相关性连接建模，但它为未来纳入因果分析、非线性依赖度量或拓扑感知度量的扩展提供方法学基础，从而更结构化地理解语音 Transformer 中的跨层依赖和功能组织。