生态高效深度学习模型赋能可持续文化数字化

《Scientific Reports》：Sustainable cultural digitization enabled by eco efficient deep learning models

　　

摘要

本研究提出了一种用于文化数字化的生态高效深度学习（EEDL）框架，该框架在轻量级多模态架构中集成了视觉数据和上下文文化元数据。该框架旨在资源受限的文化遗产环境中平衡分类性能和计算效率。使用包含 3,000 条文化遗产记录的多模态数据集，在六个文物类别上评估了所提出的方法。实验结果表明，EEDL 框架在所有评估模型中取得了最高的分类性能，准确率达到 0.918，F1 分数为 0.912，同时相对于未压缩基线减少了参数数量、计算复杂度、推理延迟和能耗。与 MobileNetV3、EfficientNet-Lite、MobileViT、TinyViT 以及复现的最先进方法进行的比较实验证实了所提出框架的有效性。消融和多模态融合分析进一步表明，上下文元数据对分类性能有显著贡献，并减少了视觉相似文物类别之间的歧义。跨多次运行的统计验证确认了所报告结果的鲁棒性和可重复性。研究结果表明，将多模态元数据集成与生态高效模型设计相结合，可以提高在计算和能源约束下运行的文化数字化应用的预测性能和部署效率。