《PLOS Computational Biology》：Interpretable embeddings of speech explain and enhance the brain encoding performance of audio models
编辑推荐：
语音基础模型（Speech Foundation Models, SFMs）正日益被视为人类语音感知的强大计算模型。然而，由于其表征本质上是黑箱，目前尚不清楚究竟是什么驱动了它们与大脑反应的对齐。为解决这一问题，研究人员构建了线性编码模型，其预测变量涵盖六类可
语音基础模型（Speech Foundation Models, SFMs）正日益被视为人类语音感知的强大计算模型。然而，由于其表征本质上是黑箱，目前尚不清楚究竟是什么驱动了它们与大脑反应的对齐。为解决这一问题，研究人员构建了线性编码模型，其预测变量涵盖六类可解释特征族——梅尔频谱图（mel-spectrogram）、Gabor滤波器组（Gabor filter bank）特征、语音存在概率、音素特征、句法特征与语义特征——以及三种最先进语音基础模型（Whisper、HuBERT、WavLM）的上下文相关嵌入（contextualized embeddings），并量化了特征类别之间共享的皮层脑电（electrocorticography, ECoG）反应方差。方差分解（variance partitioning）分析揭示了若干关键发现：第一，语音基础模型与大脑的对齐大部分可归因于其学习和编码简单可解释语音特征的能力；第二，语音基础模型在各层之间表现出对脑相关低层特征与高层特征编码的系统性权衡（trade-off）；第三，结果表明语音基础模型习得了无法由低层语音特征解释的脑相关语义信息，且该能力随模型规模与上下文长度（context length）的增加而增强。综合而言，这些发现提示了一种原则性途径：通过以可解释特征增强语音基础模型嵌入，构建更可解释、准确且高效的大脑编码模型。
研究背景：近年来，大规模基础模型已成为研究大脑语言与语音处理的重要工具。大型语言模型（Large Language Models, LLMs）已被证明可基于内部表征有效预测叙事刺激引发的神经反应；语音基础模型（Speech Foundation Models, SFMs）亦被广泛用于研究语音感知的神经表征。然而，现有研究多聚焦预测成功本身，对究竟是哪些表征成分驱动SFM与大脑的对齐缺乏深入认识。由此产生两个悬而未决的问题：SFM各层编码性能的近乎单调提升，究竟反映高层脑相关信息的真实积累，还是掩盖了低层特征上的权衡？SFM不受可解释特征空间约束的表征优势，相比简单可解释特征究竟带来多少额外收益？这些核心问题构成本研究的出发点。
研究内容与结论：为回答上述问题，研究人员利用九名癫痫患者聆听30分钟播客时记录的皮层脑电（electrocorticography, ECoG）数据，系统比较三个最先进SFMs（Whisper、HuBERT、WavLM）最大变体与六类手工可解释特征预测ECoG反应的能力，并采用方差分解（variance partitioning）量化SFM表征与可解释特征间共享的神经方差。研究得出三项核心结论：其一，SFM与大脑对齐的大部分可归因于其学习和编码简单可解释语音特征的能力；其二，SFM在各层间表现出对脑相关低层与高层特征编码的系统性权衡；其三，SFM习得了无法由低层语音特征解释的脑相关语义信息，且该能力随模型规模与上下文长度（context length）增加而增强。这些发现为构建更可解释、准确、高效的大脑编码模型提供了原则性途径。
关键技术方法：研究人员采用的关键方法包括：基于含九名癫痫患者颅内记录的开源Podcast ECoG数据集（筛选后保留1,268个电极），聚焦宽带高伽马活动（70–200 Hz），经零相位带通无限脉冲响应（Infinite Impulse Response, IIR）滤波提取解析幅度后降至4 Hz并标准化；构建梅尔频谱图（mel-spectrogram）、Gabor滤波器组（Gabor filter bank, GBFB）特征、语音存在概率、音素特征、句法特征（词性、依存与停用词标记）及语义特征（提示GPT-4回答56个关于词义的是/否问题生成）六类可解释特征；以带状岭回归（banded ridge regression）整合异质特征空间，配合五折交叉验证与嵌套交叉验证，并用方差分解量化特征间共享与唯一方差；在0.5至30秒间系统改变上下文长度（context length）以考察SFM表征动态特性。
研究结果：
（1）用可解释特征分解SFM脑编码性能。方差分解显示，SFM表征捕获的神经方差大部分可归因于可解释特征：最早层超过95%，最深层仍高于75%。层间存在系统性权衡：SFM与梅尔频谱图的共享方差在早期层达峰（HuBERT与WavLM为第0层，Whisper为第5层）后下降，而与音素、句法、语义等高层特征的共享方差随层深逐步上升，表明高层增益以牺牲低层特征为代价，而非简单单调累积。SFM的唯一神经方差随层深单调增加并随模型规模系统增大，Whisper末层的最大唯一贡献位于颞上回（STG）与额下回（IFG），提示残余方差反映高层非线性表征。
（2）用可解释特征增强SFM表征。将六类可解释特征与SFM各层表征联合建模，在所有层一致提升编码性能（p<0.001，Wilcoxon符号秩检验），一致优于"多层基线"（第0层与最佳层组合）与"多模型基线"（成对SFM最佳层组合），并缓解了WavLM与HuBERT末层的性能下降，同时SFM唯一方差仍随深度增长。
（3）SFM编码的声学信息在时间精度与时间窗口之间的权衡。以0.05至0.5秒不同时窗的梅尔频谱图与Whisper表征的共享方差分析发现，末层嵌入在早期层精确编码短时声学细节，随层深逐渐丢失精细细节而扩展至更长时窗；直接预测实验亦证实深层表征所预测频谱的时间范围更宽。脑区间呈解剖依赖模式：Heschl回（HG）与脑岛对精细细节敏感且共享方差随层下降，STG则在约第16层前持续上升，反映从初级到非初级听觉皮层时间整合窗口的延长。
（4）SFM编码脑相关语义信息。基于GPT-4回答生成的问答（Question Answering, QA）语义特征可显著预测GPT-2表征，且在额下回三角部（IFG-Tri）具有显著大于零的唯一神经方差；SFM表征加入非语义特征后显著降低语义特征的唯一神经方差，证明SFM确实编码脑相关语义。该共享比例对词汇可预测性特征稳健，随上下文长度（WavLM与HuBERT增至5秒，Whisper增至30秒）与模型规模增加而上升，且随深度一致增强。
讨论部分：讨论指出，SFM捕获的大部分神经方差可归因于可解释特征（最早层几乎全部，深层约80%），与大模型研究中"简单混杂因素即可解释大部分模型-脑对齐"的发现相平行；唯一方差主要位于STG与IFG并随模型规模增大。层间权衡表明不存在包含语音感知所需的全部神经相关特征的单一层；模型间差异可能源于架构：HuBERT的卷积相对位置嵌入使其自第0层即具长接收窗口，WavLM的门控机制，以及Whisper在log-mel频谱上直接使用固定正弦位置编码。针对SFM是否编码脑相关语义的长期争论，本研究以可解释语义嵌入直接检验并提供强证据，调和了相反结论：有研究使用语义编码最少的Whisper-small中间层而低估了规模化模型的能力；但SFM仅解释IFG语义约40%的唯一方差，语义表征仍属部分。增强策略克服单层局限且更高效：表示0.5秒音频，Whisper-large需约32,000维，而六类可解释特征合计1,431维即可捕获早期SFM层的全部神经方差。研究同时强调分析本质为相关性，"编码"意指信息可线性读出而非计算机制的论断，验证需干预性方法；并承认局限：样本仅九名临床ECoG被试聆听单一英语播客，无法完全排除未控混杂，残余方差有待识别，且仅限于SFMs。
研究结论（译文）：综合而言，这些发现提示了一种原则性途径：通过以可解释特征增强SFM嵌入，构建更可解释、准确且高效的大脑编码模型。
