《Multimodal Technologies and Interaction》:Vellum of Lies: Designing and Evaluating a Multimodal Tangible Interaction System for Embodied Serious Historical Narratives
编辑推荐:
许多现有的历史叙事体验仍依赖于基于屏幕的观看和有限的多模态交互,这往往使用户处于被动接受的角色,并限制了他们的认知理解、反思性思维、用户参与度和情感反应。为解决这一问题,研究人员设计了Vellum of Lies,一种用于反封建历史叙事的沉浸式有形用户界面(T
许多现有的历史叙事体验仍依赖于基于屏幕的观看和有限的多模态交互,这往往使用户处于被动接受的角色,并限制了他们的认知理解、反思性思维、用户参与度和情感反应。为解决这一问题,研究人员设计了Vellum of Lies,一种用于反封建历史叙事的沉浸式有形用户界面(Tangible User Interface, TUI)。该作品整合了实体道具、传感器、基于运动的输入和投影映射(Projection Mapping),将故事组织为连续的交互节点,使用户能够通过具身交互(Embodied Interaction)参与叙事推进,包括空间移动、物体操作和最终选择。最终选择机制将悲剧性能动性(Tragic Agency)操作化,允许用户做出有意义的选择,同时限制其改变最终悲剧结局的能力,旨在唤起感知选择与叙事必然性之间的张力。一项混合方法用户体验评估(N = 32)将Vellum of Lies与视频观看叙事体验进行了比较。在这项小规模探索性研究中,实验条件在叙事理解问卷(HUQ)总分、反思、用户参与度量表简版(UES-SF)总分、审美吸引力、兴趣/享受、愉悦/效价和唤醒度方面表现出显著优势,同时在NASA任务负荷指数(NASA-TLX)总分、心理需求和努力方面得分较低。其他测量子维度未达到统计学显著性。这些初步发现表明,多模态有形交互可能不仅作为一种呈现技术,而且作为一种叙事机制运作,该机制协调物理输入、身体运动、投影反馈和受限选择,以支持严肃历史叙事中特定方面的理解、参与和情感反思。
随着数字媒体发展,年轻受众接触历史内容的方式已从传统教育转向社交媒体和短视频等碎片化形态。虽然这提高了信息可获取性,但削弱了历史叙事的连续性、解释深度和价值传递,导致理解多停留在事件识别层面,难以产生深层卷入和反思。传统展览和视频叙事多采用单向信息传递,用户处于被动接受角色,交互形式局限于点击、滑动和选择,无法映射为历史情境中的意义建构。基于此,该研究旨在探索多模态有形交互与具身交互如何增强严肃历史叙事中的认知理解、反思、参与和情感反应。
研究人员设计并实现了Vellum of Lies,一个沉浸式有形用户界面(Tangible User Interface, TUI),将反封建历史叙事组织为连续交互节点。系统整合实体道具、传感器、运动捕捉、投影映射和音频反馈,支持用户通过空间移动、物体操作和最终选择参与叙事。其最终选择机制操作化了“悲剧性能动性”(Tragic Agency),允许用户做出有意义选择但无法改变悲剧结局,以制造感知选择与叙事必然性的张力。研究贡献包括多模态有形交互架构、具身交互策略,以及将悲剧性能动性转化为可实施的设计策略。
研究采用混合方法被试间设计,实验组(16人)体验完整交互系统,对照组(16人)观看相同视觉风格的线性视频。参与者通过个人网络和滚雪球抽样招募,多为英国学生或大学工作人员,预筛排除有相关中国历史知识者。定量工具包括叙事理解问卷(HUQ)、NASA任务负荷指数(NASA-TLX)、用户参与度量表简版(UES-SF)、内在动机量表(IMI)和自我评估模型(SAM);定性采用半结构化访谈。系统技术架构中,Arduino和Kinect构成输入层,TouchDesigner为核心处理层,驱动投影和音频。物理交互模块使用超声波传感器、压力传感器和按钮;运动交互模块通过Kinect骨骼追踪映射到皮影角色;可视化系统采用皮影风格投影。
量化结果方面,在促进认知理解与反思上,独立样本t检验显示,实验组HUQ Overall(p = 0.011)和Reflection(p = 0.010)显著高于对照组,Details未显著(p = 0.097)。NASA-TLX Overall(p = 0.001)、Mental Demand(p = 0.045)和Effort(p = 0.013)显著较低,其他维度无显著差异,表明系统在降低认知负荷的同时支持了理解与反思。在增强用户参与上,实验组UES-SF Overall(p = 0.016)和Aesthetic Appeal(p < 0.001)显著更高,Focused Attention、Reward和Perceived Usability未显著,其中Aesthetic Appeal差异最大,说明视觉、有形和数字整合对参与有重要作用。在激发情感反应上,实验组IMI Interest/Enjoyment显著更高(p = 0.007),Perceived Competence等未显著;SAM Pleasure/Valence(p = 0.003)和Arousal变化(p = 0.017)显著,Dominance未显著,说明系统提升了兴趣和情感唤醒。此外,研究进行了Mann-Whitney U检验作为非参数敏感性分析,t检验结果仍是主要推断依据。
质性结果方面,在深层理解与降低认知负荷上,实验组因需逐步操作而更关注叙事,主动思考剧情因果,且认为任务简单;对照组被动观看易遗漏细节、感到疲劳。在减少时间感知与增强具身感上,实验组感觉时间过得快,木块触感和身体映射增强了在故事空间中的存在感;对照组觉得视频长、注意力下降。在增强情感投入、共情与现实关联上,实验组在倒计时和选择时感到紧张、压力,并能共情角色、联系现实;对照组情感连接较弱,多自认旁观者。在机会与挑战上,用户反馈建议扩大交互空间、提高传感器识别稳定性、增强初期提示,以及结合生成式AI和3D打印实现个性化与内容扩展。
讨论指出,多模态有形交互不仅是呈现技术,更是叙事机制。TUI将抽象历史信息转化为可感知的认知线索,降低认知负荷;最终选择按钮作为悲剧性能动性的具身表达,创造了操作与无法逆转结局之间的张力,推动道德反思。研究将具身交互嵌入完整叙事因果链,使情感体验随情节推进而发展。局限包括便利样本、短期测量、文化背景影响以及无法隔离各模态贡献;未来需更大样本和更精细实验设计。研究结论认为,Vellum of Lies通过三个设计层次(有形用户界面与空间化交互、具身交互、悲剧性能动性