基于无人机的计算机视觉与植物水分含量动态的多模态融合技术，用于高通量大豆成熟度分类

《Crop and Environment》：Multimodal fusion of UAV-based computer vision and plant water content dynamics for high-throughput soybean maturity classification

本研究通过两个实验探讨注意力（top-down）和 multisensory 信号（bottom-up）在听觉指错觉中的作用。实验1发现注意力影响问卷评分但不影响行为判断；实验2显示不同 multisensory 行为（拉、触、拉长）均增强错觉效果，且行为与听觉信号一致时效果更显著。结论表明语义关联必要但不足，还需 multisensory 信号共同作用。

　　### 身体感知与多感官整合的科学探索

在我们感知自身身体和空间的过程中，时间空间和语义的多感官方面发挥着关键作用。例如，当人们垂直拉伸手指并同时听到一个向上的音调滑音时，他们会感知手指变长，这种现象被称为“听觉匹诺曹效应”。这一效应表明，通过将与身体生态无关的音调变化与手指的拉伸联系起来，可以进一步研究语义和多感官贡献在身体感知中的作用。然而，这种联系的形成条件尚不明确。为了进一步探索这一问题，我们设计了两个实验，分别考察了注意力对身体感知的影响以及不同多感官线索对听觉匹诺曹效应的贡献。

### 实验设计与方法

在第一个实验中，我们操纵了参与者对垂直位置手指的注意力，观察在听到向上或向下的音调变化时，这种注意力是否足以形成与手指的联系，从而产生听觉匹诺曹效应。根据已有文献，大多数关于身体错觉的研究都支持多感官线索的同步性作为连接不同感官信息的关键因素。然而，听觉匹诺曹效应的特殊性在于其依赖于一种非自然的音调变化与身体动作之间的关联，这种关联可能更多地依赖于认知预期和文化背景。因此，我们期望通过注意力的干预，揭示这种效应是否与个体的想象力有关。

在第二个实验中，我们比较了不同多感官线索（如拉伸、触摸或拉动手指）对听觉匹诺曹效应的影响。我们预期，拉伸手指时产生的多感官信号（包括动作和声音）会比单独的声音或触摸更强烈地影响身体感知的变化。为了验证这一点，我们使用了问卷调查和行为判断任务，测量了参与者对手指长度的主观感受和实际判断。此外，我们还评估了参与者在不同实验条件下的多感官想象力水平，以探讨这些因素是否会影响听觉匹诺曹效应的强度。

### 实验结果与分析

在第一个实验中，我们发现注意力对问卷调查中手指长度的感知有显著影响，但在行为判断任务中没有表现出类似的效应。这意味着虽然注意力可以增强参与者对声音与身体之间联系的感知，但它并不足以改变他们对实际手指长度的判断。相比之下，多感官线索（如拉伸或拉动手指）在两个测量方法中都产生了影响，说明这些直接的触觉和运动线索对于听觉匹诺曹效应的形成至关重要。

在第二个实验中，我们进一步验证了不同多感官动作对听觉匹诺曹效应的贡献。结果表明，所有三种多感官动作（拉伸、拉动手指和触摸）都对身体感知产生了影响，但触摸条件下的感知变化较小。这可能是因为触摸动作本身并不包含与声音方向一致的垂直运动，因此其与听觉线索之间的关联较弱。此外，我们发现，参与者在触摸条件下对上升音调的感知有更高的麻木感，这可能与预期的垂直运动与实际触摸动作之间的不一致有关。

我们还发现，问卷调查中的感知变化与多感官想象力之间没有显著相关性。这表明，尽管多感官想象力在其他身体错觉研究中被提及，但在听觉匹诺曹效应中，它并不是决定性因素。相反，感知变化更多地依赖于直接的多感官信号，而不是单纯的语义关联。

### 实验意义与未来展望

这些发现为理解身体感知的多感官整合机制提供了新的视角。听觉匹诺曹效应的形成不仅依赖于语义关联，还需要多感官信号的支持。这意味着，当人们听到与身体动作无关的音调变化时，他们可能会产生某种感知变化，但这需要身体动作与声音之间的直接联系。这种联系可能通过多感官信号的同步性来实现，而不是单纯依赖于注意力或想象力。

此外，我们发现，在听觉匹诺曹效应中，身体感知的变化与行为判断之间存在一定的关联。这表明，虽然注意力可以影响主观感受，但只有当多感官信号被激活时，身体感知的变化才会在行为上体现出来。这一结果可能对未来的多感官研究具有重要意义，尤其是在探讨如何通过声音和触觉的结合来增强身体感知的准确性。

在实际应用方面，这些发现可能对开发新的听觉假肢或增强现实技术产生影响。例如，通过将声音线索与身体动作同步，可以提高用户对自身身体状态的感知能力。此外，这些研究结果也可能有助于理解如何在日常生活中利用多感官线索来改善身体感知，特别是在需要同时处理多个任务的情况下。

### 实验局限与改进建议

尽管我们的研究提供了有价值的见解，但仍存在一些局限性。首先，在第一个实验中，我们使用了500毫秒的延迟，这可能影响了参与者对声音与动作之间联系的感知。未来的研究可以考虑缩短这种延迟，以更精确地模拟自生成声音与身体动作之间的关系。其次，我们的问卷调查可能不够全面，某些问题可能更适合特定的实验条件。因此，未来的研究可以进一步优化问卷设计，以更准确地捕捉参与者对身体感知变化的主观体验。

总的来说，听觉匹诺曹效应的研究为我们理解多感官整合在身体感知中的作用提供了重要的线索。通过结合注意力、多感官线索和想象力，我们可以更全面地探讨身体感知的变化机制。这些研究结果不仅有助于基础科学的发展，还可能在临床治疗和实际应用中发挥重要作用。