基于行为门控三线性注意力机制的多模态交互非遗数字博物馆展项设计与用户体验优化

《Systems and Soft Computing》：Research on Exhibit Design and User Experience Optimization of Intangible Cultural Heritage Digital Museum Based on Multimodal Interaction

　　

非物质文化遗产（Intangible Cultural Heritage，ICH）的数字保护正经历从静态记录到沉浸式人机交互的范式转变。然而，现有系统普遍无法感知用户实时认知状态，且难以处理非遗场景中高耦合的音视特征。针对该挑战，研究人员提出一种基于多模态交互网络的自适应展项设计框架。本文设计了一种新颖的行为门控三线性注意力机制（behavior-gated trilinear attention），深度融合三个独立输入维度：由Swin Transformer V2提取的视觉细节、由Wav2Vec 2.0捕获的瞬态声学特征，以及作为动态门控信号的用户行为特征（注视点与手势），以优化跨模态语义对齐。在自建ICH-MModal-2024数据集上的实验表明，该模型在识别特定用户交互意图（即主动探索、被动浏览与困惑）上准确率达94.2%，超越单模态VideoMAE算法及MBT、Perceiver等先进多模态网络，且单帧推理延迟维持在24ms，满足实时渲染需求。此外，60名参与者的用户体验研究显示，系统将用户平均展项停留时间提升至195s，并显著降低认知负荷。研究结果证实，该框架不仅保障高并发工程的鲁棒性，还有效增强文化传播中的沉浸感与交互深度，为复杂文化遗产的智能传承提供新技术路径。

研究背景与问题提出

非物质文化遗产承载特定群体的历史记忆与情感认同，其“活态传承”特性决定数字保护不能停留在静态记录层面。随着元宇宙与数字孪生技术发展，数字博物馆正从“以物为中心”转向“以人为中心”。然而现有系统多采用预设线性交互逻辑，缺乏对用户实时认知状态的智能感知，导致展项信息输出与用户认知需求错配。同时，非遗数字化面临“高耦合”与“单一交互”两大挑战：戏曲、传统乐器、手工艺、民间舞、传统武术等场景中动作细节与声音反馈在特征层非线性深度交织，通用多模态模型难以捕捉这种细粒度跨模态关联；传统系统依赖单向输出（如预设视频播放），缺少多维用户输入。为此，研究人员开展本研究，旨在构建能实时感知用户多维意图并提供自适应反馈的端到端框架。

论文发表于《Systems and Soft Computing》，提出MM-ICH-Net模型，通过独立提取主干解耦复杂音视特征，以用户注视与手势作为动态门控信号实现“多交互”，在意图识别准确率、实时性与用户体验三项指标上均取得提升。

主要关键技术方法

研究人员采用Swin Transformer V2作视觉主干，利用其移位窗口注意力捕获非遗服饰纹理等细粒度视觉细节，并引入相对位置编码偏置；音频端采用Wav2Vec 2.0提取上下文，叠加一维卷积增强模块处理瞬态声学特征；用户行为端以眼动注视点与手势骨架作为动态门控信号。跨模态融合设计为行为门控三线性注意力机制，在特征层以行为向量调制音视张量，规避全张量积计算瓶颈。实验在自建ICH-MModal-2024数据集（覆盖戏曲、乐器、手工艺、民舞、武术五类场景）完成意图三分类（主动探索/被动浏览/困惑），并与VideoMAE、MBT、Perceiver对比；用户体验研究招募60名参与者，定量记录停留时间与认知负荷。

研究结果

3.1 视觉与听觉特征编码

视觉编码器通过窗口注意力计算Attention(Q,K,V)=Softmax(QK^T/√d+B)V，其中B为相对位置偏置，输出经LayerNorm与MLP得F_out=MLP(LN(F_attn))；音频端更新式为h_t=Conv1D(c_t?k,…,c_t+k)+Transformer(c_t)。该阶段实现异构音视特征的解耦式独立提取，为后续门控融合提供高表达力底层表征。

3.2 跨模态语义对齐与意图识别

行为门控三线性注意力将注视/手势特征映射为门控权重，对Swin V2与Wav2Vec 2.0输出做通道级调制，使跨模态对齐随用户实时意图动态偏移。在ICH-MModal-2024上意图识别准确率94.2%，单帧延迟24ms，优于VideoMAE、MBT、Perceiver。

3.3 自适应反馈渲染

交互体验优化引擎将分类意图映射至展项参数：检得“主动探索”时提升3D文物LOD（Level of Detail，细节层次）并深化叙事；“困惑”或“被动浏览”时简化AR叠加并生成引导提示。60人实验中平均停留时间升至195s，认知负荷显著下降。

讨论与结论翻译

讨论指出，该框架通过模块解耦兼顾高并发鲁棒性与特征表达力，行为门控机制填补了现有AR系统仅将眼手用于空间导航、忽视行为与音视深层语义耦合的方法论空白。结论部分原文表述为：研究结果证实，该框架不仅确保高并发工程的鲁棒性，还有效增强文化传播中的沉浸感与交互深度，为复杂文化遗产的智能传承提供新技术路径。