基于双网络多尺度融合模型的非物质文化遗产数字化复原与创新设计方法研究

《Scientific Reports》：The dual-net multi-scale fusion framework for the digital preservation and creative transformation of intangible cultural heritage

　　摘要本研究提出了一种基于卷积神经网络（CNN）算法结合多尺度特征学习的深度神经网络模型——双网络多尺度融合模型（Dual-Net Multi-Scale Fusion, DN-MSF）。该模型旨在解决当前非物质文化遗产（ICH）数字化过程中高精度复原困难和创新设计效率低下的问题，从而能够更好地实现对多类别非物质文化遗产结构完整性和语义连贯性的双重保障。该模型采用双分支结构。一个分支捕获局部多尺度细节并增强纹理，另一个分支对全局语义进行建模。通过特征融合模块，模型动态分配跨尺度权重并保持语义一致性。同时，本研究引入了可变感受野卷积和分层注意力机制，以优化静态和动态场景下的性能。研究对象涵盖中国非物质文化遗产网（https://www.ihchina.cn/）上第六批国家级非物质文化遗产的8个类别的视频资料（包括民间文学、传统音乐、传统舞蹈等）。此外，还使用这些视频进行了预训练和验证实验。结果显示：（1）在训练和测试80%数据集的情况下，DN-MSF在八大类非物质文化遗产上的准确率和召回率均保持在83%以上，总体F1分数达到0.899。这一发现表明，DN-MSF能够实现不同类别的高保真复原和准确的语义识别。（2）在数字化保护方面，DN-MSF在静态非物质文化遗产的图像重建方面展现了出色的精度，同时对动态非物质文化遗产也取得了显著的运动建模效果。（3）在创新设计任务中，具有突出静态特征的类别（如传统工艺和美术）生成的静态非物质文化遗产样本的风格保留得分均高于0.97，分布相似性指数低于30。这一结果证明，DN-MSF能够在有限样本的情况下实现高质量的风格重建。各类别的语义一致性在文本-图像语义匹配相似度与文本精度之间呈现出Δ<0.02的相关性，验证了跨模态输出的语义可靠性。本研究旨在构建一个能够支持数字化保护和创新设计任务的深度学习框架。通过视觉特征建模、非物质文化遗产重建和语义一致性控制，该研究在构建的数据集和评估指标体系下，为非物质文化遗产数据的数字化表达和创新设计提供了计算支持。