《International Journal of Human-Computer Studies》：Speech2Pro: Speech-driven in-situ projection authoring for stage performance
编辑推荐：
本研究将语音驱动的原位投影创作定义为一个交互问题。研究人员提出了Speech2Pro系统，该系统结合了语音输入、生成式模型（Generative AI, GenAI）和深度感知技术。其中，CLIPF（Contrastive Learning Integrate
本研究将语音驱动的原位投影创作定义为一个交互问题。研究人员提出了Speech2Pro系统，该系统结合了语音输入、生成式模型（Generative AI, GenAI）和深度感知技术。其中，CLIPF（Contrastive Learning Integrated with Perception data Fusion）算法通过在训练阶段采用对比学习（Contrastive Learning），并在推理阶段融合深度/红外（Depth/IR）数据进行场景感知。通过组件消融比较实验，分别评估了提示词优化（prompt refinement）、CLIPF和深度感知（depth sensing）模块的贡献。一项用户研究表明，该系统在提示理解（prompt understanding）和空间精度（spatial precision）方面取得了显著提升。
论文解读
一、研究背景与问题
在智能环境中的公共显示和舞台表演领域，投影映射（Projection Mapping）扮演着至关重要的角色。空间增强现实（Spatial Augmented Reality, SAR）通过直接将视觉内容投射到物理物体表面，改变了其颜色、纹理和几何属性，使表演者和观众能够专注于真实的舞台环境。然而，尽管投影的技术流程已被充分探索，但伴随投影过程的原位创作（in-situ authoring）环节——即在实际场景中生成、编辑、校准和迭代视觉内容的过程——仍然耗时费力。这一局限性在需要快速、精确且富有创意的舞台表演等场景中尤为突出。
现有研究大多聚焦于投影工作流的后期阶段，如动态定位、校准技术和多投影组合以增强观众体验。相比之下，早期阶段的创作过程虽对创意产出和迭代速度影响巨大，却相对未被充分探索。近年来，生成式人工智能（Generative AI, GenAI），特别是基于扩散模型（Diffusion Models）的文生图模型（如Stable Diffusion Model, SDM）的出现，为支持人机协作提供了新的可能。然而，这些通用模型通常针对无约束场景开发，在面对舞台表演这种需要适应性、可解释性和空间精度的情境化、时间紧迫的任务时面临局限。研究人员认为，这不仅是技术短板，更是生成系统嵌入真实世界创意工作流时产生的交互挑战。
具体而言，语音输入虽然高效，但常引入冗余、指代不清和依赖上下文的表述，导致用户意图与生成结果之间的错位。同时，投影创作对空间一致性有严格要求，生成内容必须与物理环境的几何结构对齐。因此，如何解决语音输入的歧义性以及投影环境下的空间一致性问题，成为本研究的核心驱动力。
二、研究内容与结论
为应对上述挑战，研究人员开发了Speech2Pro，一个面向舞台表演场景的语音驱动原位投影创作系统。该系统并非单纯的新图像生成技术，而是旨在探究语音输入和空间感知如何在情境化投影工作流中介导人与生成系统的交互。通过允许设计师和艺术家通过口语指定修改，并直接参照物理场景，Speech2Pro聚焦于模糊性、控制权和用户意图与系统输出对齐相关的交互问题。
研究的主要结论包括：
- 1.
交互框架创新：将面向投影的GenAI创作定性为一个情境化的人机交互（Human-Computer Interaction, HCI）问题，而非独立的图像生成基准任务。
- 2.
系统实现与验证：成功实现了Speech2Pro原型系统，并通过组件比较和用户研究证明，其集成的对比学习机制（CLIPF）和深度感知传感技术能有效改善用户意图、生成内容与投影输出之间的对齐。
- 3.
实证洞察：用户研究表明，Speech2Pro在某些条件下能支持更快的迭代和更一致的投影结果，但也揭示了在模糊性、控制和任务复杂度方面的权衡。
三、关键技术方法
为实现上述目标，研究人员采用了以下几项关键技术方法：
- 1.
对比学习融合感知数据（CLIPF）：这是一个两阶段算法。在训练阶段，采用复合对比损失函数（包括跨模态、自监督和对抗对比损失）来加强语音派生文本与视觉表征之间的语义对齐。在推理阶段，集成深度感知数据融合，利用Intel RealSense D435相机提供的同步RGB、深度和红外（Infrared, IR）流，替代软件单目深度估计，以增强对低光照和视点模糊等投影环境约束的鲁棒性。
- 2.
提示词优化（Prompt Refinement）：利用大型语言模型（Large Language Model, LLM，如ChatGPT）将转录后的口语指令重写为更明确、更具描述性的提示词，以减少语音输入固有的歧义和指代不明。
- 3.
硬件配置：采用三星Freestyle便携投影仪、英特尔RealSense D435深度相机、Alienware X17 R2笔记本电脑和Bose QC35蓝牙耳机组成的便携式硬件平台，所有计算均在本地GPU工作站上完成，不依赖云服务。
四、研究结果
1. 初步研究（Preliminary Study）
通过内部试验，研究人员识别出语音驱动投影创作的两个核心挑战：一是语音驱动提示词的特性，即口语化输入常导致对象、属性、范围和指示上的歧义；二是投影环境特性，包括低光导致的RGB清晰度下降和视点依赖的视觉错觉引起的深度模糊。这些发现指导了后续系统设计。
2. 研究一：客观算法级评估（Study 1: Objective Algorithm-level Evaluation）
- •
对比学习阶段：通过消融实验，证明了完整复合对比损失函数在初始分数（Inception Score, IS）、弗雷歇初始距离（Fréchet Inception Distance, FID）和召回率-精确度（Recall-precision, R-prcn）指标上均优于基线SDM。定性比较显示，CLIPF在处理简短、动作导向的语音风格提示时，能更好地保留参考图像的结构并执行预期编辑。
- •
深度感知数据融合阶段：示例表明，融合红外（IR）的RGB增强可改善低光下的生成保真度；使用硬件深度测量替代单目深度预测（如MIDAS），能更好地区分视觉上相似但分离的物体，减少纹理“溢出”。
- •
整体量化比较：与DDPM、DDIM、SDM和ControlNet等基线相比，CLIPF在所有报告指标上取得最佳成绩，且在统计上显著优于SDM。
3. 研究二：主观用户体验评估（Study 2: Subjective User-centered Evaluation）
- •
内部差异比较：在GenAI条件内，通过对比Speech2Pro（完整版）与三个消融基线（CLIPF+RGB、SDM+RGB、Prompt+SDM+RGB），评估了提示理解、交互流畅性、光照鲁棒性、空间精度、图像质量和投影质量。结果显示，Speech2Pro的完整组合在感知性能上表现最优。
- •
外部特征比较：将Speech2Pro与传统创作工具（如Photoshop）及混合工作流进行对比，从生产力、用户友好性、创造力和灵活性四个维度进行评估。结果表明，Speech2Pro在快速迭代和降低入门门槛方面具有优势，但在精细控制和特定复杂任务上不如传统工具。混合工作流则显示出平衡效率与控制力的潜力。
五、结论与讨论
研究人员总结道，Speech2Pro将面向投影的GenAI创作重新定义为一种情境化的人机交互问题。通过提出CLIPF算法，该系统在训练阶段利用对比学习增强语义对齐，在推理阶段融合深度/红外数据进行感知，从而改善了语音输入下用户意图与生成内容的对齐，并提升了投影输出的空间一致性。算法评估和用户研究共同证实了其各组件（提示优化、对比对齐、深度感知）的有效性，同时也揭示了在模糊性、控制权和任务复杂度方面的固有权衡。这项工作不仅为舞台表演提供了实用工具，也为其他情境化创意领域（如展览和公共显示）中语音驱动多模态生成系统的设计提供了更广泛的意义。未来工作将随着硬件集成成熟度的发展，进一步探索在专用SAR场景中的部署。
