《SCIENCE ADVANCES》:PATCH: A deep learning method to assess heterogeneity of artistic practice in historical paintings
编辑推荐:
为解析文艺复兴及早期现代绘画中复杂的作者归属问题,特别是当作品由多位艺术家(如大师与学徒)共同创作时,传统方法因缺乏“金标准”训练数据而面临挑战。本研究开发了一种名为“成对分配训练以分类异质性(PATCH)”的创新机器学习方法,它无需外部训练数据即可识别个体艺术实践体系。研究将该方法应用于西班牙文艺复兴大师埃尔·格列柯的两幅画作,其分析结果对其中一幅画作(《基督受洗》)主要由工坊成员完成的主流观点提出了挑战。PATCH在此类缺乏“地面实况”的复杂成对比较问题中,表现优于统计和无监督机器学习方法,为解决艺术史及更广泛科学领域的类似问题提供了有力工具。
在文艺复兴和早期现代时期,那些陈列在博物馆中的传世杰作,其创作过程往往比我们想象的更为复杂。许多作品并非由大师独立完成,而是在大师的指导下,由工坊中的学徒、助手共同参与绘制的产物。几个世纪过去,如何精准地辨别一幅画作中不同艺术家的“手笔”,成为了艺术技术史领域的核心难题,也是一个传统方法难以解决的“非平凡问题”。艺术家们使用不同的画笔、颜料和技法,在画布上留下了独特的微观纹理“指纹”,但这些差异人眼难以分辨,而机器学习则有望将分析扩展到微观尺度,为揭秘艺术创作过程提供新的视角。
然而,将机器学习应用于工坊绘画的分析面临着一个根本性挑战:我们通常没有确切的外部样例来训练网络进行识别。关于工坊成员、创作过程的历史记录往往语焉不详,这意味着我们缺乏监督学习所必需的“地面实况”数据。尽管无监督学习方法看似合适,但其分类结果严重依赖超参数设置,且无法预先知道存在多少种不同的艺术实践体系。那么,有没有一种方法,既能利用深度学习的强大识别能力,又能在没有先验标签的情况下,有效区分出画作中由不同艺术家或不同材料技法创造的部分呢?
为了回答这个问题,一项发表于《SCIENCE ADVANCES》的研究提出了一种名为“成对分配训练以分类异质性(Pairwise Assignment Training for Classifying Heterogeneity, PATCH)”的全新机器学习方法。这项研究的目标是开发一种不依赖外部训练数据,仅通过画作自身的微观形貌信息,就能识别其中不同艺术实践体系(即不同艺术家或不同材料组合)的方法,并量化艺术实践的异质性,最终将其应用于解决真实的艺术史争议。
研究人员首先在一个受控实验数据集上开发并验证了PATCH算法。该数据集包含9位已知学生艺术家在相同工具、材料和主题下创作的25幅画作的高分辨率地形数据。PATCH方法分为两个阶段:第一阶段是“成对分配训练”。简单来说,该方法的核心思想是“测试网络能否学会区分两幅画(或画作的两个区域)”。研究人员从两幅画作中各提取大量1-cm2的图像块(patch),然后训练一个卷积神经网络(Convolutional Neural Network, CNN)将这些块分类到它们各自来源的画作。其背后的逻辑是:如果两幅画由不同艺术家创作,网络能够学会区分它们,分类准确率会显著高于随机猜测;如果两幅画由同一位艺术家创作,网络将无法有效学习,其准确率与随机分配无异。通过比较网络的实际准确率分布与随机分配分布,即可判断两个区域是否源自相同的艺术实践。第二阶段是“社区发现”。基于第一阶段识别出的所有“相同艺术家”区域对,构建一个网络图(节点代表区域,边代表“相同”关系),然后利用社区发现算法(如Louvain算法)自动识别出网络中的社区(community),每个社区即对应一个潜在的艺术实践体系。网络模块度(modularity, Q)则被用作衡量艺术实践异质性(Heterogeneity of Artistic Practice, HAP)的指标。
在成功验证了PATCH在已知艺术家数据集上的卓越性能(F1分数高达0.889和0.991)后,研究团队将其应用于两幅具有不同作者归属背景的西班牙大师埃尔·格列柯(El Greco)的历史画作:一幅是普遍认为完全由大师本人完成的《十字架上的基督》(Christ on the Cross),另一幅是长期以来被认为由埃尔·格列柯开始,但由其工坊(尤其是其儿子Jorge Manuel)在大师去世后完成大部分的《基督受洗》(The Baptism of Christ)。研究使用非接触式激光三角测量扫描仪获取了画作表面的高分辨率地形数据,并手工选取了画作中的多个区域进行分析。
研究结果
PATCH算法的发展与验证
PATCH方法在受控的学生画作数据集上表现出色,能够准确识别相同艺术家和不同艺术家的画作对,其性能显著优于基于表面粗糙度的统计方法以及多种无监督和聚类方法。社区发现算法成功地将九位不同艺术家的画作准确分区,网络模块度Q值高达0.875,显示出很高的异质性。
埃尔·格列柯的《基督受洗》与《十字架上的基督》
- •
应用与《基督受洗》:对《基督受洗》55个区域的分析生成了一个包含四个社区的网络,模块度Q值为0.341(通常Q≥0.3被视为网络具有结构)。这四个社区在画布上的空间分布大致对应于先前艺术史学家提出的作者归属区域:例如,一个社区覆盖了画作顶部(通常归因于埃尔·格列柯),另一个社区覆盖了施洗者约翰(常被归因于Jorge Manuel)。然而,一个独特的小社区(橙色)孤立于其他社区,它覆盖了画作底部基督的腿部和岩石景观区域,而历史记录表明该区域在画作交付后被大幅修改过。值得注意的是,识别出的三个主要社区(黄、绿、蓝)之间存在大量的连接边,表明它们并非完全独立。
- •
应用与《十字架上的基督》:对《十字架上的基督》24个区域的分析产生了两个社区的网络,模块度Q值为0.231,略低于表示显著结构的阈值。两个社区在空间上有所聚集,一个主要重叠于基督的头和躯干,另一个重叠于腿部等区域。这种微弱的社区结构可能与单一位艺术家的创作实践一致,也可能受到后期修复或画布损伤的影响。
讨论与结论
PATCH方法首次被证明可以无需外部真实数据,就能分析历史画作中的艺术实践异质性。它对《基督受洗》的分析提出了对传统艺术史叙事的挑战。虽然PATCH识别出的社区在空间上与先前学者们归因于不同作者的区域有粗略对应,显示出一定的“语义保真度”,但整个网络的模块度(Q=0.341)仅略高于阈值,且三个主要社区之间存在大量连接。这与受控实验中多位不同艺术家创作的高异质性网络(Q=0.875)形成鲜明对比,反而更接近于疑似单一作者创作的《十字架上的基督》(Q=0.231)。
这一发现暗示,将《基督受洗》中不同区域归因于多位不同艺术家的传统观点可能需要重新审视。连接这些社区的“统一因素”可能源于同一位艺术家(埃尔·格列柯本人)使用了不同的画笔、在绘制“不可见”(神与天使)与“可见”(基督与施洗者约翰)主题时变换了技法,或者其风格因健康原因(有研究指出其在晚年可能经历了一系列缺血性疾病)随时间发生了变化。PATCH成功地将已知被后世修改的区域(橙色社区)清晰地分离出来,证明了该方法识别独特艺术实践的敏感性。
总之,这项研究开发并验证的PATCH方法,为艺术技术史及更广泛的图像分析领域提供了一个强大的新工具。它能够在没有“地面实况”的情况下,通过微观形貌分析有效区分艺术实践体系,并量化其异质性。其应用不仅限于解决艺术史上的作者归属争议,未来还有望拓展到比较不同画作、区分材料与艺术家影响等方面。更重要的是,PATCH作为一种通用方法,在医学影像、农业遥感、城市发展设计、制造业异常检测等众多缺乏标注数据的图像分割和模式识别领域,都具有广阔的应用前景。它通过结合深度学习的判别能力和网络分析的洞察力,开启了一扇从微观物理痕迹解读复杂创作过程的新窗口。