《Heritage》:Artificial Intelligence for Musical Cultural Heritage: Preservation, Interpretation, and Human-Centered Creativity at the Centro di Sonologia Computazionale
编辑推荐:
人工智能(Artificial Intelligence, AI)正日益塑造音乐文化遗产(Musical Cultural Heritage)的保存、解读、管理和重新激活,尤其是在受技术过时影响的领域,如计算机音乐、电子声学作品和模拟音频档案。这篇视角与案例研
人工智能(Artificial Intelligence, AI)正日益塑造音乐文化遗产(Musical Cultural Heritage)的保存、解读、管理和重新激活,尤其是在受技术过时影响的领域,如计算机音乐、电子声学作品和模拟音频档案。这篇视角与案例研究文章通过三个经过分析选择的研究方向,审视了帕多瓦大学计算声学中心(Centro di Sonologia Computazionale, CSC)的研究轨迹:AI辅助音乐共同创作、以心理物理研究为基础的多模态生成系统,以及基于AI的音乐文化遗产保存。选择这些案例是因为它们代表了人类专业知识与计算之间的互补关系(创造性对话、感知为基础的生成和历史知情的保存),并且它们既包含已完成的研究,也包含正在进行的实施。文章区分了先前发表的结果、当前的实施和未来的组成部分。文章主张,CSC案例提供了一个有历史基础的模型,在该模型中,AI增强而非取代音乐、档案和解读方面的专业知识。案例研究包括用于Disklavier演奏的生成模型、将声音与味觉和情感联系起来的系统、为Music V定制的OCR(Optical Character Recognition)和RAG(Retrieval-Augmented Generation)工作流,以及MPAI/IEEE-CAE ARP框架内的模拟音频保存AI模块。
音乐文化遗产中的人工智能:从共同创作到保存——CSC案例解读
音乐文化遗产不仅包括乐谱、录音和文字档案,还涵盖软件、硬件配置、编程语言、交互系统以及隐性技术知识。这些数字与非数字材料极易遭受物理退化与技术过时,尤其在计算机音乐、电子声学作品和模拟音频档案领域。人工智能(AI)可为其保存、解读与重新激活提供支持,但计算过程必须始终保持对历史证据和人类专业知识的可追溯性与责任。当前研究呈现碎片化:音乐AI研究多聚焦于生成性能与内容分析,数字遗产研究集中于大规模数字化与访问,软件保存研究则很少触及计算机音乐特有的语义、物质载体和创作实践,因而在技术驱动型AI与统一遗产方法论之间形成明显鸿沟。帕多瓦大学计算声学中心(CSC)的长期研究传统为此提供了理想案例。CSC起源于20世纪50年代末的电子声音与语音合成研究,1979年正式成立,作曲家、工程师、演奏家、音乐学家、档案学家和认知科学家在其研究文化中协同工作,构成了人类参与计算过程的连续性传统。该文以定性比较案例研究法,选取三个研究方向——AI辅助音乐共同创作、多模态生成系统、AI用于音乐文化遗产保存——分析其方法论原则、人类专家角色、验证方式与实施成熟度,最终提出AI作为增强而非替代人类专业知识的综合框架。该研究发表于《Heritage》期刊。
为开展研究,研究人员采用了多项关键技术与方法。在共同创作研究中,使用基于循环神经网络(RNN)的PerformanceRNN模型,以作曲家Ardavan Vossoughi创作的十首Disklavier短曲为数据,进行微调并生成MIDI符号输出。多模态生成研究基于心理物理实验验证的跨模态映射,利用Taste & Affect Music Database微调MusicGEN架构,该架构是自回归Transformer模型。Music V保存研究开发了定制光学字符识别(OCR)流程,结合计算机视觉预处理和基于ResNet、Vision Transformer的深度网络,并采用检索增强生成(RAG)技术,通过CSC历史手册限制大语言模型解释代码。模拟音频保存研究基于MPAI/IEEE-CAE ARP标准,使用深度神经网络(DNN)、卷积神经网络(CNN)等模型分析音频和视频信号。样本来源包括CSC历史档案中的Music V纸质乐谱、意大利语文档、数字化磁带语料以及上述作曲家数据集。
4.1 关于Disklavier音符:音乐作曲家-AI协作研究。该研究通过实践性案例探索共同创造力。研究人员用十首目的性创作的短曲微调PerformanceRNN,从100个生成输出中筛选20个,作曲家选出1个进行再加工,通过“lightening”和“doubling”等步骤重新编排。结果发现,AI并未识别或复制作曲家作品中的序列数字模式,而是生成了融合原作元素并发展出新内容的作品,过程显示出共同创造力特征。但研究也指出结果依赖于单一作曲家的判断和有限的数据集,属于探索性研究,但建立了一种可追溯、可复现的作曲家-AI协作分析方法。
4.2 从心理物理到情感感知的多模态生成AI。该研究衔接CSC在感知心理学与生成深度学习方面的专长。早期的“How Blue is Mozart?”范式已证明音乐特征(发音、音高、响度)与视觉/触觉属性(颜色、形状、质感)之间存在一致且非任意的映射。最新工作基于Taste & Affect Music Database微调MusicGEN,将味觉概念映射至音乐结构:“甜”对应高音、协和、连奏结构,“苦”对应低频、不协和纹理。该实验初步证明生成式AI可用作心理物理理论的验证工具,因为Fréchet音频距离(FAD)的优化表明跨模态关联可编码进神经网络的潜在空间。同时,大模型“黑箱”问题促使研究向“情感感知AI”演进,即系统推断用户情感或感官意图并进行多模态对话。
5.1 保存计算机音乐遗产:恢复与解读CSC的Music V。Music V是1968年开发的早期计算机音乐语言,CSC保存有大量纸质代码打印件和意大利语手册。由于文本褪色、对比度低,通用OCR字符错误率(CER)高达50%–70%,而定制OCR结合图像预处理与深度网络后,初步CER降至10%–15%。在代码解释阶段,RAG系统利用CSC手册和文档约束大语言模型,生成代码的自然语言解释和可视化信号流图。目前OCR和图像处理模块已完成,语法校正层开发中,RAG与模式生成仍为原型。该研究证明AI可辅助软件考古,保存对象不仅是代码,还包括操作知识、文档、语法和创作实践。
5.2 使用AI保存和修复模拟音频文档。模拟磁带数字化常遇到速度识别错误、均衡曲线应用不当、声道配置误解及两面录音等问题。CSC基于其历史档案数字化经验,在MPAI/IEEE-CAE ARP标准下开发了五个AI模块:音频分析器(识别均衡曲线、读取/写入速度、反向音频段)、视频分析器(检测磁带表面物理不规则)、磁带不规则分类器、磁带音频修复和打包器。深度神经网络(DNN)在均衡检测中表现最佳,CNN用于速度检测和视频不规则识别。当前功能仍有局限,如训练数据来自CSC特定档案,扩展识别类型需要更多真实磁带样本。
跨案例讨论表明,三个研究方向共享人类与AI的分配模式:AI是计算参与者,其输出在文档化的人类实践中获得意义;人类对AI辅助决策及其后果负责。这一框架将AI研究评估从生成流畅性转向可追溯性、可控性和上下文有效性,同时也将软件、信号处理逻辑、硬件依赖、载体条件和隐性知识视为相互依存的保存对象。研究局限包括数据集小且高度特化、大语言模型可能产生幻觉、模型不透明限制艺术控制、自动修复可能规范化有历史意义的痕迹。未来需进行系统性验证,包括跨评分者评估、来源跟踪、可解释多模态模型,并可能将框架扩展至声学考古学。
该文结论可翻译为:本文解决了技术驱动的音乐AI研究与整合创造力、感知、过时计算和档案责任的遗产方法论之间的鸿沟。比较分析表明,在共同创作、多模态生成和保存中,CSC的AI从未被视为中立或独立的工具,而是协作工具。文章的主要贡献是综合分析框架,而非具体技术进展。它区分了已发表研究、已实施和验证的系统及未来工作,并使用可追溯性、可控性和上下文有效性评估AI的作用,而非仅生成流畅性。对于遗产机构,这提供了指导原则而非普遍解决方案:自动化应以模块化和透明方式构建;来源和决策过程必须保留并可逆;单个组件应在完整工作流实施前经过验证。仍然存在的问题包括:小而高度专业化的数据集限制泛化;LLM解释在文档不完整时有错误推断风险;生成和修复模型的不透明性限制艺术和档案控制;模型、训练语料库和软件栈的长期可行性本身是保存问题。在持续验证条件下,AI可以在不取代作曲家、表演者、档案学家、工程师和学者对音乐意义责任的前提下,支持保存、解读和文化传播。