引言
语音信号天然蕴含丰富的副语言与生物特征信息，如情感、性别、年龄和健康状况，使其成为人机交互（HCI）、个性化服务和情感计算等多个领域的重要研究对象。随着人工智能的快速发展，人们对分析说话者属性并从语音数据中提取说话风格表现出越来越浓厚的兴趣，这已超越了简单的内容转录。在语音内容识别领域，HuBERT（Hsu et al., 2021）和 Whisper（Radford et al., 2022）等预训练模型已取得令人印象深刻的自动语音识别（ASR）性能。HuBERT 利用掩码预测进行结构化语音表示的自监督学习，在下游 ASR 任务中表现出卓越性能。相反，Whisper 采用在大规模多样化数据集上训练的多语言编码器—解码器架构，即使在噪声条件下也能提供鲁棒的识别能力。这些语音表示学习的进展为分析超越内容本身的更丰富语音特性奠定了关键基础。此外，研究还展示了语音分离与识别任务的端到端集成，利用自监督学习表示在复杂声学环境中提升性能（Chang et al., 2026）。然而，不同语音表示如何贡献于副语言风格描述仍有待深入探索。
早期的语音分析研究主要集中在说话者属性的分类任务上，如性别、年龄和情感。音高、语速、能量、共振峰频率和梅尔频率倒谱系数（MFCCs）等常用声学特征（Koolagudi and Rao, 2012），Das and Prasanna (2018) 得到了广泛应用。例如，性别分类对于在 TTS 系统和对话代理中生成自然声音的合成语音至关重要。Hansen & Hasan（Hansen and Hasan, 2015）报告称，使用 MFCC 和音高结合传统的 SVM、GMM 和 HMM 方法，性别分类准确率超过 90%。近期研究已应用深度神经网络（DNNs）自动学习复杂声学特征，从而提升了分类性能（Nagrani et al., 2017, Hinton et al., 2012）。Nagrani et al.（2017）利用 CNN 在 VoxCeleb 数据集上显著提升了说话人识别准确率，展示了所学特征的可泛化性。Hinton et al.（2012）开创性地使用 DNN 进行声学建模，展示了其自动学习有效声学特征的能力，这是超越传统统计建模方法的革命性一步，为后续基于深度学习的语音识别奠定了关键基础。尽管这些方法在分类方面表现出色，但它们通常输出数值标签或嵌入，缺乏对潜在说话风格的直接人类可解释的文本描述。
除了离散的声学分类，近期工作已深入探讨更细微的语音风格信息，涵盖韵律、情感和语调（El Ayadi et al., 2011, Wang et al., 2018, Bott et al., 2024, Guo et al., 2023）。El Ayadi et al.（Wang et al., 2018）表明，使用 SVM、KNN 和 GMM 等传统机器学习方法，结合 MFCC、音高和能量特征，在情感分类中实现了 70%–80% 的准确率。为克服劳动密集型手动特征工程的局限性，出现了 Wang et al. 的全局风格令牌（GST）（Bott et al., 2024）等方法，实现了风格变化的无监督学习和控制，提升了表现力并使 MOS 分数较 Tacotron 提高了 0.3–0.5。此外，TTS 中用于风格控制的自然语言提示的出现显著推动了该领域的发展（Guo et al., 2023, Xu et al., 2024, Hai et al., 2024, Zhao et al., 2023）。（Guo et al., 2023）提出了一种基于从自然语言提示中提取的嵌入条件进行训练的 TTS 系统，证实了对韵律特征（如语调、节奏、强调）的直观控制，MOS 分数最高达 3.37/5。PromptTTS（Guo et al., 2023）进一步表明，自然语言描述提供了更细腻的风格指令，相较传统监督方法带来了性能提升。SECap（Xu et al., 2024）通过利用大语言模型（LLMs）为语音情感生成详细的自然语言描述，将此扩展到了超越固定标签的范围。DreamVoice（Hai et al., 2024）和 TextrolSpeech（Zhao et al., 2023）也展示了通过自然语言提示进行基于文本或数据集驱动的语音风格迁移与控制的范例。在相关领域中，LLMs 也已被有效应用于任务导向对话系统的用户模拟，通过精密的提示技术展示了其在直接语音合成应用之外的多样性（Algherairy and Ahmed, 2025）。稳健的自然语言生成原理同样至关重要，近期工作提出了诸如 Seq2Seq 动态规划网络等模型，用于渐进式文本生成，以解决长文本合成中的规划与一致性问题（Wang et al., 2025）。然而，大多数先前工作依赖于文本输入、标注标签或外部提示生成流水线，而非系统性地分析声学表示本身如何贡献于描述性风格描述的生成。
与此同时，大规模模型的高效利用推动了轻量化微调技术如 QLoRA（Dettmers et al., 2023）和参数高效微调（PEFT）（Hu et al., 2021）的采用。这些技术对于在有限计算资源下训练大规模 TTS 和语音风格控制模型至关重要，促进了更广泛的部署。此外，诸如双解码器架构（Zifeng et al., 2022）等架构创新——从单一输入分别解码内容和风格——已被提出，为多目标学习提供了途径。这些进展使得在受控实验条件下研究语音到语言的风格生成成为可能，而无需进行全规模模型重新训练。在此基础上，近期的架构探索——如双解码器和多模态提示框架——暗示了分离或聚合内容与风格表示的潜在好处。然而，结合监督式与自监督语音编码器用于说话风格描述生成时的表示级别效应仍未得到充分探索。
尽管取得了这些进展，许多先前研究依赖于外部模块、专家标注或大语言模型（LLMs），需要单独的文本输入才能从语音中生成风格提示。这些依赖关系在为直接声学到提示的生成流水线引入额外复杂性。本研究并非提出架构新颖性，而是专注于直接从声学特征和多编码器聚合策略中进行说话风格描述生成的受控实证评估和表示级别分析。具体而言，我们设计了一个实验框架，结合使用基于 HuBERT 的 Transformer 编码器提取的高层声学特征，同时使用 Whisper 并行编码梅尔频谱。我们进一步考察了表示聚合策略——两种表示被独立转换为固定长度特征向量，然后拼接并输入到经过 QLoRA 微调的 LLaMA 3.2 1B 模型中，以生成最终提示。我们分析了模型生成人类可解释风格描述（如"快速且低音高的男声"）的能力，同时也通过双提示架构生成与内容相关的提示，显著增强了语音驱动系统的表现力和实用性。通过在多个数据集（PromptTTS、DreamVoice 和 TextrolSpeech）上的广泛评估和跨领域泛化测试，我们定量展示了模型的稳健性能和面向实时、轻量级应用的实际可部署性，在识别说话者属性如性别和语速方面实现了高准确率。我们还对生成提示与参考提示之间的相似度进行了定量分析，进一步验证了我们的方法。我们还评估了计算效率和部署可行性及实时使用场景，在个性化 TTS、情感虚拟人控制和情感人机交互方面具有广阔的应用前景。
