《Proceedings of the National Academy of Sciences》:Intuitive knowledge of object acoustics enables perceptual separation of physical variables from impact sounds
编辑推荐:
在听到物体碰撞时,人类可以估计诸如材质(material)和质量(mass)等物理属性。尽管声音产生的物理学(physics)已得到充分确立,但听者所解决的逆问题(inverse problem)——即从声音中推断物理参数(physical parameter
在听到物体碰撞时,人类可以估计诸如材质(material)和质量(mass)等物理属性。尽管声音产生的物理学(physics)已得到充分确立,但听者所解决的逆问题(inverse problem)——即从声音中推断物理参数(physical parameters)——仍未被充分理解。经典理论认为,人类使用了与物理变量相关的声学线索(acoustic cues),但这些理论并未解释人类如何区分多个并发的物理原因。为研究该问题,研究人员测量了数百个日常物体的脉冲响应(impulse responses),提取了它们的共振(resonances),并利用这些共振的统计规律构建了撞击声的概率生成模型(probabilistic generative model)。随后,研究人员使用该模型合成并操控刺激材料,以开展测量物理变量判断的实验。人类能够准确地从碰撞声中判断物体属性。然而,当两个碰撞物体均发生变化时,若物体共振的分布偏离了真实世界物体所测得的分布,则其判断绩效会受到损害。这些发现表明,人类已经内化了真实世界物体声学的统计规律(statistical regularities),并利用这些知识来分离世界上不同物体所产生的声音对声学信号的贡献。
研究人员探究人类如何从声音中推断物理属性。首先,研究人员展示了来自400多个日常物体的大规模声学测量数据集,从而能够估计物体共振(object resonances)的分布以及根据物理变量生成真实撞击声(impact sounds)的概率模型。其次,研究人员证明听者能够从单一声音中解离多个物理变量(physical variables)——例如,即使两个球落在不同表面上,仍能判断哪一个更重。第三,研究人员表明这种能力依赖于对自然声学规律(natural acoustic regularities)的隐性知识(implicit knowledge),当物体共振取自非自然分布时,该能力即会崩溃。这些发现表明,人类已经内化了真实世界的声学统计规律,并利用它们来推断声音的物理成因。
当两个物体发生碰撞时,人类能够依据声音估计其材质、质量等物理属性。尽管声音产生的物理学机制已得到充分确立,但听者所面临的逆问题——即从声音中推断物理参数——仍未被充分理解。传统观点认为,人类通过学习与物理变量相关的声学线索来完成判断,例如将硬度与衰减速率的比值相关联,或将质量与频谱质心及整体声级相联系。然而,一个关键挑战在于,声音总是由多个物理变量共同产生。例如,物体下落撞击表面时,声音同时受到撞击力与被撞击表面脉冲响应的影响,而撞击力本身又取决于下落高度、物体质量、物体与表面的刚度等多个并发因素。因此,任何单一声学线索都可能同时受到多种物理变量的干扰,使得基于单一线索的解释面临巨大困难。既往研究多在实验中仅改变单一物理变量,因此人类能否在多重物理原因并存的情况下判断物理变量、以及如何解决这种本质上的不适定问题,仍不清楚。这类似于"鸡尾酒会问题"中从混合语音中分离单一声源,或从房间混响中分离声源的问题,均涉及多个因果变量。
为系统研究该问题,研究人员首先开展了一项大规模声学测量研究,对400余个日常物体进行了脉冲响应测量,提取了物体的共振参数,并据此构建了撞击声的概率生成模型。随后,研究人员利用该模型合成并操控刺激材料,开展了一系列在线行为实验。研究得出以下核心结论:人类能够从碰撞声中准确判断物体属性;当两个碰撞物体均发生变化时,听者仍能辨别诸如质量等物理变量;然而,若物体共振分布偏离真实世界物体的统计分布,人类判断绩效将显著下降。这些发现表明,人类已经内化了真实世界物体声学的统计规律,并利用这些知识分离不同物体对声音的贡献,从而克服多重物理变量并存所带来的不适定性。该研究表明,大脑并非简单地依赖个别声学线索,而是基于对声音生成过程的内隐知识进行推理。
研究人员为开展研究采用了多项关键技术方法。首先,利用接触式扬声器和麦克风对日常物体进行脉冲响应测量,通过伪随机噪声的广播与重录估计物体表面的脉冲响应,并采用参数化模型将其分解为指数衰减的正弦共振模式与宽带噪声起始段。其次,基于测得的物体共振参数,拟合了以材质和尺寸为条件的多变量高斯分布,构建了脉冲响应的概率生成模型。第三,基于经典弹簧模型扩展计算碰撞接触力,将其与脉冲响应模型结合,建立了完整的撞击声生成模型。最后,通过在线行为实验范式,要求听者在合成或真实声音条件下完成材质识别、质量辨别及阻尼感知等任务,并采用置换检验等统计方法分析结果。样本队列来源于针对五个尺寸类别(小于10厘米至大于3米)所开展的在线日常物体调查,尽可能覆盖日常生活中的常见物体。
在物体脉冲响应测量方面,研究人员通过接触式设备对400余个日常物体进行了脉冲响应测量,建立了首个大规模日常物体声学数据库,为后续建模与感知实验奠定了数据基础。
真实世界物体测量揭示脉冲响应的刻板形式这一研究表明,绝大多数物体的脉冲响应具有高度一致的形态,即由一组离散的共振频率构成,这些模式呈非谐波关系,其能量近似指数衰减,且脉冲响应起始段具有宽带咔哒声。该发现证实并扩展了经典声学理论在日常物体中的普遍适用性。
物体脉冲响应统计——材料和尺寸效应显示,物体的材质与尺寸对其共振参数具有系统性影响。硬度较高的材质往往具有更高频率和更长衰减时间的共振模式;较大物体往往具有较低频率的共振模式,且衰减时间更短。不同材质与尺寸类别的分布存在显著重叠。
碰撞力的物理与声学研究表明,基于经典弹簧模型计算的碰撞接触力近似为半周期正弦波,其持续时间与接触刚度及质量相关。在频域中,该力对物体脉冲响应起滤波作用,质量越大、材料越软,滤波越偏向低频。这解释了质量相关的声学线索,即整体振幅与频谱质心。
撞击声生成模型通过结合脉冲响应与接触力模型,仅需少量物理变量即可生成声音,为感知实验提供了可控的合成刺激。
实验0对脉冲响应记录和撞击声合成进行了验证。在材质识别任务中,被试对真实录音、基于实测脉冲响应合成及基于生成模型采样的合成声音均表现出相近的高准确率。混淆矩阵高度相关,表明生成模型与测量假设足够精确,合成声音能被感知为与真实声音相似。
实验1研究了合成撞击声的真实性。在真实性判别任务中,听者无法区分生成模型合成的声音与真实物体声音。然而,对于模型变体——包括改变衰减形态、减少模式数量、反转或缩放协方差分布、采用均匀或反转分布——听者均能显著区分。这表明生成模型成功捕捉了真实撞击声中感知上重要的物理与统计特征。
实验2检验了合成撞击声的材质识别。在材质识别任务中,完整生成模型产生的混淆模式与真实物体高度相关。而各模型变体产生的混淆模式则显著偏离真实情况,说明该模型捕捉了人类材质识别所依赖的声学规律,且物理规律性对感知至关重要。
实验3a研究了同一被撞击表面上的质量辨别。当两个声音使用同一脉冲响应合成时,听者能够依据振幅与频谱质心等线索准确辨别质量差异,且各模型变体间绩效无显著差异。这说明在问题不适定性较低时,听者可利用所有模型变体均保留的简单线索。
实验3b研究了跨不同表面的质量辨别。当两个声音使用不同脉冲响应合成时,质量辨别任务变得不适定。结果显示,真实录音与完整生成模型条件下绩效最佳,而各受损模型条件下阈值比率显著升高。辨别阈值与脉冲响应在真实世界分布下的对数似然值相关,支持听者利用关于脉冲响应的先验知识来分离物体共振与撞击力的贡献。
实验3c在等响度条件下研究了跨表面的质量辨别。在振幅线索已被消除的情况下,整体绩效下降,但真实与完整模型条件仍保持显著高于随机水平,而受损模型条件则显著更差。该结果进一步表明听者并非仅依赖振幅线索。
实验4研究了阻尼感知。在判断物体是否受到外部阻尼的任务中,研究人员通过降低共振模式衰减时间模拟不同程度的阻尼。结果表明,听者在真实与完整模型条件下显著优于受损模型条件,且辨别阈值与脉冲响应的对数似然值呈反比。这说明听者依赖关于共振属性分布的内隐知识来估计阻尼。
讨论部分指出,研究人员开展了首个大规模物体脉冲响应测量,揭示了不同材质与尺寸物体在受到撞击时的系统性声学规律,并据此建立了物理约束的生成模型。研究证实,该模型对于渲染真实且能传达物理变量的撞击声既是充分的也是必要的。更重要的是,当两个物理变量同时变化时,人类能够区分不同物体对声音的贡献,但此能力依赖于对真实世界声学统计规律的内隐知识。该发现表明,大脑已内化声音产生的物理与统计结构,并利用该结构克服感知推断的本质不适定性。结果质疑了将物理变量与特定声学线索简单对应的传统观点,因为若人类仅依赖此类线索,则不会表现出对共振是否服从自然分布的强依赖性。本研究在三个层面推进了既有研究:首先,直面真实场景中多物理变量未知的不适定性问题;其次,建立了可合成大量真实撞击声的方法;再次,估计了真实世界脉冲响应的分布,并可衍生出不同程度的非自然分布以量化偏离程度。研究局限性包括:物体清单依赖人类报告,可能存在偏差;实际样本量受限于物体采集难度;由于采样的是真实世界物体而非理想几何体,形状与材质效应存在一定混淆;测量装置对过小或过大的物体有限制;模型假设线性系统,忽略了声音辐射效应及物体弯曲或断裂;实验场景仅限于一个撞击物体发声的情况;此外,研究未区分内隐与外显推理过程。未来方向包括将该生成模型扩展至混响、频谱色彩、距离等其他环境效应的因果推断研究,以及推广至刮擦、滚动等更复杂声音序列和跨物种听觉感知研究。
这些结果表明,人类已经内化了真实世界物体声学的统计规律,并利用这些知识来分离世界上不同物体所产生的声音对声学信号的贡献。在听到物体碰撞时,人类可以估计诸如材质和质量等物理属性。尽管声音产生的物理学已得到充分确立,但听者所解决的逆问题——即从声音中推断物理参数——仍未被充分理解。经典理论认为人类使用了与物理变量相关的声学线索,但这些理论并未解释人类如何区分多个并发的物理原因。为研究该问题,研究人员测量了数百个日常物体的脉冲响应,提取了它们的共振,并利用这些共振的统计规律构建了撞击声的概率生成模型。随后,研究人员使用该模型合成并操控刺激材料,以开展测量物理变量判断的实验。人类能够准确地从碰撞声中判断物体属性。然而,当两个碰撞物体均发生变化时,若物体共振的分布偏离了真实世界物体所测得的分布,则其判断绩效会受到损害。