迈向四维指令：用于知识传递的增强现实辅助

《Proceedings of the Design Society》：Towards 4D instructions: augmented reality assistance for knowledge transfer

　　

混合现实辅助可指导姿势与手部定位，并在工艺原型制作中帮助熟悉材料行为。所得开发框架聚焦于非侵入式辅助。现存障碍包括沉浸感降低、精确手部动作观察困难、空间解读受限以及对材料行为的理解不足。基于具身知识的3D动画原型旨在提升空间理解力并增强对工艺过程与材料的认知。最终框架应能为设计技能传递提供虚拟辅助支持。研究人员提出，尽管沉浸式技术在技能培训中已被广泛研究，但其所采用的视觉语言在传递过程性与具身知识方面的机制尚未得到充分探索。本研究通过分析与原型化视觉表征，将材料实践中的隐默方面转化为教学性增强现实内容，以填补该研究空白。

## 研究背景与问题提出

手工艺原型制作中的材料实践长期以来依赖于"通过制作思考"的具身化模式，使设计人员能够与材料、空间约束及感觉反馈进行深度互动。然而，生成式人工智能等计算解决方案的兴起正将设计过程推向基于屏幕的离身化构思，可能侵蚀支撑熟练设计实践的隐默、触觉与经验性知识形式。材料实践中不可或缺的"感觉"与"直觉"难以通过传统物理方法完全传授，这催生了对基于认知的隐默知识学习及肌肉记忆发展机制的研究需求。同时，设计/工艺导师在传递精确指令时面临视角转换困难——材料行为、手部定位和身体姿态的传达对非专业人员而言尤为棘手。在此背景下，如何借助增强现实技术将隐默的具身知识转化为可教学、可传递的内容，成为亟待探索的课题。

## 研究设计与方法

本研究采用归纳推理方法，以欧洲地平线2022项目"Tracks4Crafts"为平台，选取柳条编织作为研究用例——该工艺尚未经历工业化，每件作品均为手工制作。研究人员通过田野调查（工作场所情境 inquiry）采集设计师/工匠的材料实践数据，并对比分析不同来源的记录：包括YouTube教程视频、作者自行录制的工作坊影像、当地柳条专家的描述性指导手册、欧洲资助项目的视觉媒体资料、传统手绘插图书籍等。基于时间线分析识别制作过程中的关键节点与瓶颈后，研究人员选取具体机会点，利用Adobe Aero平台搭配平板电脑显示AR内容，并通过Blender软件进行材料与物件的手动动画制作，构建初步AR原型。研究最终整合形成"4D指令"概念性视觉框架，包含五个核心环节：情境映射—瓶颈识别—可供性选择—构建模块—内容创建。

## 研究结果

### 3.1 用例时间线分析

时间线分析揭示，不同媒介对材料实践过程的视觉表征存在显著梯度差异。当代数字媒介（如YouTube教程）呈现更高的步骤显性化程度，通过图像与插画详细分解制作过程；而年代较早的文献资料（如传统手绘书籍）则呈现"压缩式"描述，多个动作被整合为单一叙述单元，隐含对读者经验性熟悉度的预设。尽管表征密度差异显著，柳条篮制作的核心阶段——"基底准备""基底执行""底边收束""篮壁准备""篮壁执行""顶边准备""顶边执行"——在所有媒介中保持结构性一致，构成工艺知识的共享框架。粉色分段标记在低视觉媒介中的聚类现象表明，核心步骤的普遍性使其更适合作为辅助视觉化的重点对象。

### 3.2 材料实践可供性

基于文献研究，材料实践可被概括为四类可供性（affordance）范畴：材料属性（如阻力、缺陷、可塑性）、劳动特征（如工作角度、压力大小、力度强弱）、工作流程规划（如提前准备、物理/心理引导）以及设计意图（如心理或物理参照）。研究发现，"人类预期"类可供性因与通用指令关联而具有更广的迁移性；而材料属性与劳动特征等基于物质性的可供性则受特定情境约束较强，但在领域或材料类型相似时仍具一定可转移性。

## 讨论与框架构建

### 4D指令概念框架

研究人员提出"4D指令"概念性视觉框架以系统化AR辅助内容开发：首先通过情境映射精确呈现制作过程；继而识别瓶颈环节；随后基于文献或田野研究选取相关可供性；进而根据真实感需求选择适当构建模块（静态过程动画、视频演示、参考图像/三维模型、对象追踪动画）；最终创建与材料实践专家迭代校准的增强内容。该框架将材料实践可供性抽象为可传递的知识单元，为跨学科、跨材料的认知传递提供潜在共同语言。

### 研究局限

框架存在三方面局限：其一，时间线分析依赖研究人员的深度投入及个体从业者的独特性， outcome 在不同材料、工具、个体与教育环境中可能存在显著变异；其二，可供性与机会的选择受研究人员自身经验影响，存在主观偏误风险；其三，将具身的隐默知识转译为离散视觉构建模块的过程，可能过度简化材料实践的体验性与感觉性维度；其四，框架暂未纳入持续实时学习支持所需的动态反馈与自适应引导，此类功能的实现需倚赖人工智能中介或用户数据分析等额外计算系统。

### 研究意义

AR可视化一方面增强学习者理解复杂物理动作的能力，另一方面通过抽象化反复出现的可供性（材料行为、劳动特征、工作流程规划、设计意图）促进知识的普遍化。该视觉框架为设计领域提供了跨学科、跨材料知识传递的潜在共同语言，有助于在数字工具不断演进的同时，维系设计工作的具身性与交互性品质，为动态化、具身化、情境感知的学习体验提供支撑。

### 结论

本研究表明，增强现实能够通过可视化具身与隐默知识、建立情境关联来刺激材料实践中的知识传递。通过时间线分析与可供性映射，研究证实AR可针对精细运动动作的表征局限等特定瓶颈——如柳条编织中手部姿态与材料处理紧密配合的技术环节——提供精准干预。基于研究发现，研究人员假设了一个概念性视觉框架，通过映射过程、识别教学缺口、选取相关可供性、利用基于AR的构建模块来定制适应特定实践需求的辅助内容。该框架的有效性、普适性及对交互式技术的未来整合需求，有待通过情境适配与迭代验证进一步确认。

### 未来工作

研究人员展望，大型语言模型（LLM）未来可促进学习者、材料与工具之间的自适应与反思性互动模式，实现实时AR可视化与基于AI的辅导对话，进一步深化学习者的参与度并增强对材料实践过程的认知。