《Frontiers in Computer Science》：Inverse and indirect mappings in embodied AI systems in everyday environments
编辑推荐：
本综述提出具身人工智能（Embodied AI）新范式，通过逆向（inverse）与间接（indirect）映射机制将音乐化技术（musicking technology）融入日常环境。系统分析了反应型鸟鸣装置、交互式绘画、自演奏吉他及智能音乐球四种案例，阐明如何通过无意识交互引发复杂音乐体验，为降低AI系统复杂度同时提升环境艺术性提供创新路径。
2 关键概念
具身音乐认知理论提出音乐体验是多层次过程，包含身体与心智的动作-感知循环（action–perception loops）、表演者与感知者间的互动、表演者与乐器的动作-反应循环（action–reaction loops），以及个体与环境的交互作用。该理论强调人类认知基于身体经验，通过多模态感知（multimodal perception）和感觉运动整合（sensorimotor integration）实现。研究表明，听众在感知节奏时会激活相应运动皮层，改变姿势会影响节奏稳定性判断，证明听觉与运动系统的紧密耦合。
音乐化技术（musicking technology）概念融合了Leman的"中介技术"与Small的"音乐行为化"理念，将音乐视为动词而非名词。该技术区分故意反馈（intentional feedback）与偶然反馈（incidental feedback）：前者如触屏设备的震动反馈，后者如机械键盘的敲击声。数字音乐系统通过动作-声音映射设计，可创造从直接到间接、从意识到无意识的交互连续体。
人工智能系统分为规则驱动（rule-based AI）与学习驱动（learning-based AI）两类。规则系统采用预定义逻辑，如音乐生成软件Band-in-a-Box；学习系统则通过数据驱动自我优化，如神经网络。研究指出，规则系统在音乐交互中仍具重要价值，特别是结合两种方法的混合模型。
主动系统（active systems）基于内部目标自主运行，如AI作曲系统；反应系统（reactive systems）对外部刺激作出直接响应，如采样触发器；交互系统（interactive systems）则需持续双向反馈循环。许多传统乐器实际属于反应系统而非交互系统，因其缺乏真正的反馈机制。
具身音乐交互强调将身体作为交互核心，区别于仅关注功能集成的嵌入式系统（embedded systems）。具身系统需具备多模态传感与驱动能力，通过身体存在、运动等感官输入影响系统响应。
3 具身AI交互框架
直接控制（direct control）表现为用户动作对系统输出的即时影响，如钢琴演奏，产生明确的代理感（agency）。间接控制（indirect control）则通过环境传感器等中介实现非明显影响，如运动传感器触发鼓声。逆向映射（inverse mappings）故意反转输入输出关系，如减少运动反而增强音量，打破直觉以激发探索行为。
框架基于"音乐化象限"理论，将具身AI系统视为表演者与感知者之间的桥梁。系统设计者（maker）通过预设映射关系定义交互特性，这些映射的可感知性（perceived affordances）受环境因素与用户意识状态影响。表演者的自愿/非自愿、意识/无意识参与程度，以及感知者（perceiver）的外部观察视角，共同构成完整交互分析体系。分析师（analyst）则通过外部观察完善设计迭代。
4 案例研究
4.1 鸟鸣盒（Birdbox）
该装置通过运动传感器触发20秒鸟鸣采样，属典型反应系统。当人们经过其1.9米探测范围时，声音自动播放且不循环。研究表明参与者主要通过因果聆听（causal listening）尝试识别声源，音量大小显著影响体验感受：过响令人不适，过轻则被环境噪声掩盖。这种非故意交互展示了如何通过环境变化实现被动音乐化（passive musicking）。
4.2 反应式绘画（Reactive painting）
以蒙克作品《卡尔约翰街的夜晚》为蓝本，将静态画作转化为多感官装置。内置光敏电阻和红外传感器检测环境光线变化与人流运动，通过Bela板运行Pure Data程序控制LED灯光与声音效果。采用随机选择逻辑确保每次经过产生不同体验，如黄昏阈值触发窗户亮光，运动激活昆虫鸣叫或人群嘈杂声。这种规则系统通过不可预测性促进认知参与。
4.3 自演奏吉他（Self-playing guitars）
六把传统吉他配备红外距离传感器、加速度计和麦克风，通过Bela微计算机产生电子声音。其中"微交互"模式实现逆向映射：用户静止站立反而触发模拟呼吸声，将运动抑制转化为交互方式。系统既可采用规则算法（如接近阈值触发），也可运行学习算法（如Firefly启发的频率同步模型），通过分布式架构创造高于部件叠加的复杂涌现行为。
4.4 智能音乐球（Muzziball）
3D打印球体集成Raspberry Pi与SenseHAT模块，通过加速度计检测方向、速度等参数。规则模式下预设LED颜色与声音响应；学习模式下神经网络通过俯仰角（pitch）和滚动角（roll）识别四种方位对应不同预设。设备具备持续活动能力，即使未被触碰也会通过灯光节奏吸引互动，研究从被动到主动音乐化的心理转换机制。
5 讨论
5.1 设备比较
四类系统均通过非音乐性动作实现环境声音融合。具身性（embodiment）在此表现为通过存在、运动等非触觉交互扩展传统乐器概念。被动音乐化场景中，系统对环境输入的响应超越明确目标导向手势。
5.2 代理（Agency）
用户对系统意向性的感知程度取决于动作-输出关系的清晰度。间接与逆向交互通过模糊因果关系增强系统自主感，这种模糊性（ambiguity）提升参与度。人类与机器代理的不同组合形成独立操作到深度互依的连续谱系。
5.3 意向性（Intentionality）
设计者编码的意图与用户解读常存在差异，这种间隙正是音乐化技术的创意源泉。智能音乐球对环境声音的被动检测可能被解读为有目的响应，自演奏吉他基于环境声学的发声让人感知乐器具有独立音乐意向性。
5.4 具身AI视角
本研究重新定义具身AI，转向以细微环境嵌入交互为核心的计算简约范式。系统作为主动中介而非被动工具，通过多感官参与实现常处意识边缘的交互。案例表明具身交互无需故意发起，通过存在与语境即可产生被动音乐化体验。
6 结论
研究质疑了具身AI必须依赖直接意向交互的预设，提出通过间接与逆向映射实现背景化交互的新路径。这种设计需平衡被动与主动模式，使AI驱动物体既能融入环境又不过度吸引注意。历史上前有萨蒂家具音乐与埃诺环境音乐的先例，但需注意商业场景中背景交互的伦理问题。未来研究应深入探索具身AI在注意力边缘的运行机制，开发与日常生活节奏协同的交互系统。
