《Frontiers in Neuroscience》:A digital audio workstation approach for matching the sound quality of speech and music for single-sided deaf patients fit with cochlear implants
编辑推荐:
本研究针对单侧聋(Single-Sided Deafness, SSD)人工耳蜗(Cochlear Implant, CI)使用者,开发了一种基于数字音频工作站(DAW)的音质匹配新方法。研究团队通过交互式音频处理插件,让受试者对比CI耳听到的原声与对侧正常听力耳听到的经处理声音,以评估其相似度。结果表明,语音匹配的平均相似度评分(9.3/10)显著高于音乐匹配(6.7/10),且音乐匹配常需更多复杂的声学处理。这揭示了音乐感知涉及语音匹配未涵盖的感知维度,为未来优化CI使用者的音乐体验提供了重要基础。
当我们听到一段美妙的音乐或一段清晰的语音时,声音的丰富细节和自然感通常被视为理所当然。然而,对于成千上万依靠人工耳蜗(Cochlear Implant, CI)来恢复听觉的单侧聋(Single-Sided Deafness, SSD)患者而言,声音的世界常常是扭曲、机械甚至令人困惑的。尤其令人沮丧的是,尽管CI技术在语音理解方面取得了长足进步,但音乐听起来往往不自然,甚至令人不快。一个核心问题长期困扰着研究者和临床医生:对CI使用者来说,声音听起来究竟是什么样的? 传统上,语后聋的CI患者只能依靠对过往声学听觉的记忆来评估CI音质,这种主观回忆限制了评估的精确性。幸运的是,CI适应症的扩大,将SSD患者(即一耳植入CI,另一耳保留正常或接近正常听力)纳入了研究视野。这群独特的患者能够直接、实时地比较声学听觉(正常耳)与电刺激听觉(CI耳)之间的差异,为量化CI音质提供了独特的机会。
先前的研究主要集中在语音上。自2017年起,Dorman等人开发了一套系统方法,让SSD-CI患者通过交互式调整语音信号的基频、共振峰、频谱/时间扩散等声学参数,来匹配其CI感知到的语音音质,并取得了平均高达8.7分(满分10分)的相似度。然而,将这种成功的匹配范式扩展到音乐领域的研究尚属空白。音乐相比语音具有更复杂的时域和频谱特性,这使得匹配工作更具挑战性。鉴于音乐体验对生活质量的重要性,以及CI用户在音乐感知方面众所周知的困难,理解并改善CI的音乐音质成为了一个迫切的研究目标。
为此,发表在《Frontiers in Neuroscience》上的这项研究,首次将SSD匹配范式应用于音乐,旨在探索CI使用者感知语音与音乐音质的差异,并建立一种使用商用数字音频工作站(Digital Audio Workstation, DAW)来生成这两种信号音质匹配的可行方法。研究团队假设,由于音乐更复杂,其匹配的相似度评分将低于语音,且需要更广泛的声学处理。
研究方法概览
研究人员招募了11名单侧植入MED-EL品牌CI且对侧耳有残余听力的成年受试者。他们开发了一套基于DAW软件REAPER的方法学。在实验中,原始音频信号(包括语音句子和音乐片段,后者部分由受试者自选)通过直接音频输入(DAI)电缆直接馈送至CI耳。同时,同一信号经过一系列实时音频处理插件(如带通滤波、音高移位、失真、均衡、调制等)调整后,播放给对侧的正常听力耳。受试者在实验者的引导下,循环听取并比较两耳听到的声音,实时反馈并调整插件参数,直到两者音质尽可能相似,最后在1-10分的量表上给出相似度评分。此外,研究还使用传统的MATLAB方法对语音样本进行了匹配,以验证新DAW方法的有效性。研究记录了每位受试者对语音和音乐的最佳匹配评分、所使用的插件数量及具体类型。
研究结果
语音匹配成功率更高
平均而言,语音匹配的相似度评分(9.3/10)显著高于音乐匹配(6.7/10)。这表明,现有基于语音开发的声学处理技术能够较好地模拟CI的语音音质,但难以完全复现音乐通过CI被感知到的复杂特性。
匹配音乐需要更复杂的处理,但个体差异大
虽然音乐匹配平均使用了更多插件(6.4个 vs. 语音的5个),但该差异在统计上不显著。重要的是,音乐匹配通常需要额外操作,如频率均衡和调制。具体所需的处理方式在受试者间差异很大,甚至有受试者尽管经过大量尝试也无法完成音乐匹配。这突显了音乐感知的个体化和复杂性。
DAW方法有效可行
使用REAPER DAW方法获得的语音匹配评分(平均9.3/10)与之前使用定制MATLAB软件的方法(平均8.7/10)无显著差异。这证明了使用商用、易得的DAW软件来研究CI音质的可行性和可及性,为其他研究者复制和扩展该研究提供了便利。
插件选择揭示了CI音质的声学特征
为达成匹配而选择的插件类型,为了解CI音质的声学基础提供了线索。多数受试者为语音匹配选择了带通滤波、失真和音高移位,这与之前的研究一致。失真和压缩插件的频繁使用,可能反映了CI基于包络的信号编码存在异常。一些受试者报告听到的是单调的声音而非旋律,这与CI用户众所周知的音高感知缺陷相符。
研究结论与重要意义
本研究成功地将SSD匹配范式从语音扩展到音乐,证实了使用DAW方法研究CI音质的可行性。核心结论是:音乐引入了语音匹配程序未能完全解决的感知维度,因此通过声学信号模拟CI的音乐音质比模拟语音音质更具挑战性。
这项探索性研究具有重要的临床和科研意义。首先,它揭示了当前临床实践中一个被忽视的领域:音质优化。研究表明,音质不佳(尤其是音乐)与设备使用率低、佩戴时间减少及生活质量下降密切相关,其预测作用甚至可能强于言语识别分数。然而,当前的临床框架几乎只强调言语识别结果,而忽视了系统性的音质优化。其次,该方法为未来研究奠定了基础。研究者可以纵向追踪患者从CI开机到使用一年的音质变化,以了解神经适应过程;可以探索设备特性(如电极长度)、映射参数与音质匹配之间的关系;还可以比较不同信号输入方式(如直接流传输与外置扬声器)对音乐享受的影响。最后,该研究强调了优化音乐体验的迫切性。超过80%的CI用户认为音乐听起来不自然或令人困扰,乐器识别准确率远低于正常听力者。本研究表明,即使是熟悉的音乐,其通过CI感知的“声音负担”也远大于语音。因此,未来的研究和临床实践需要超越语音,将音乐音质的表征与优化纳入核心议程,从而真正提升CI使用者的整体听觉体验和生活质量。