针对少样本无形文化遗产图像分类的领域自适应原型网络

《Alexandria Engineering Journal》:Domain-Adaptive Prototype Networks for few-shot intangible cultural heritage image classification

【字体: 大 中 小 】 时间:2026年05月01日 来源:Alexandria Engineering Journal 6.8

编辑推荐:

  闫妮 | 徐光浩 | 秋静 | 王云倩 摘要 非物质文化遗产(ICH)的数字化通常通过编目实物工艺品来实现,这些工艺品保留了技术、材料和地域风格的视觉痕迹。这种以工艺品为中心的方法具有挑战性,因为标注的样本很少,且支持样本与查询样本在地域、材料老化、光照和拍摄尺度等方面存

  闫妮 | 徐光浩 | 秋静 | 王云倩
摘要
非物质文化遗产(ICH)的数字化通常通过编目实物工艺品来实现,这些工艺品保留了技术、材料和地域风格的视觉痕迹。这种以工艺品为中心的方法具有挑战性,因为标注的样本很少,且支持样本与查询样本在地域、材料老化、光照和拍摄尺度等方面存在差异。我们提出了领域自适应原型网络(DAPN),这是一种元学习框架,结合了不变原型学习、特征解耦和基于图的原型细化技术,用于在领域变换情况下进行少样本工艺品图像分类。DAPN旨在保留跨领域保持稳定的形态和风格特征,同时将材料及地域依赖的变异隔离在另一个分支中。我们没有提供严格界限的正式证明,而是提供了一种基于领域适应性的分析,解释了为什么减少不变子空间中的差异可以提高原型迁移效果,并指出了这种解释的合理假设条件。在ICH-Benchmark、mini-ImageNet和tiered-ImageNet上的实验表明,DAPN在ICH-Benchmark的5-way 1-shot设置中比最强基线提高了1.3–1.8%,分别比Prototypical Networks和MAML提高了11.6%和14.3%。这些结果支持DAPN作为在标注数据有限时进行以工艺品为中心的ICH文档化的实用工具。

1. 引言
非物质文化遗产(ICH)包括社区认为属于其文化遗产的活态表达、实践、表现形式和知识,范围从传统手工艺和表演艺术到口头传统和社会习俗。保护和数字化ICH工艺品已成为全球文化机构的重要任务,这源于迫切需要在现代化和全球化之前记录这些快速消失的传统[1]。在这项工作中,我们研究了工艺品图像分类作为该文档化过程的一个操作性代理:识别编码了重复手工艺技术、图案结构和地域设计规范的实物对象。我们并不认为对象分类能够完全捕捉ICH的更广泛的社会和表现维度;相反,我们将其视为一个实用的编目任务,以支持后续的策展和专家研究。数字图像分类是组织、编目和使大量ICH工艺品可访问的基本技术,促进了学术研究和公众对文化遗产的参与。然而,ICH工艺品的独特特性带来了显著挑战,使其区别于传统的图像分类任务,需要专门的方法来考虑其文化意义、材料多样性和不同地域及历史时期的风格变化。

开发有效的ICH工艺品分类系统的主要挑战在于,在需要全面覆盖多样化的文化领域与标注训练数据的严重稀缺性之间的根本矛盾。与自然图像或常见对象类别不同,后者有包含数百万标注样本的大规模数据集[2],ICH工艺品集合通常由少量高价值样本组成,每个样本代表独特的文化实践、工艺技术或地域风格。这种数据稀缺问题因多维度的显著领域差异而变得更加复杂,包括艺术传统的地域差异、材料组成和老化过程的变化,以及跨越几个世纪的时间段内的风格演变。现有的在标准计算机视觉基准上训练的分类方法无法捕捉这些特定于领域的特征,导致应用于不同文化背景或时间段的ICH集合时泛化能力较差[3]。此外,ICH分类的层次性质(即工艺品可能基于功能、材料、地域或文化实践属于多个重叠类别)引入了额外的复杂性,这对为互斥类别设计的传统分类框架构成了挑战。因此,我们的基准遵循了策展人使用的形态分类原则:类别身份主要由稳定的工艺过程特征、图案几何形状和构图布局定义,而地域、材料和时期则被视为领域因素,除非它们是类别定义本身的一部分。这种区分在本文后面的建模选择中至关重要。

少样本学习已成为解决标注数据有限分类任务的一个有前景的范式,元学习方法如Prototypical Networks[4]和Model-Agnostic Meta-Learning(MAML)[5]展示了仅使用每个类别的少数样本就能快速适应新类别的能力。这些方法通过在不同任务上的间歇性训练学习可迁移的表示,利用从相关分类问题中获得的知识实现对新类别的有效泛化。最近的进展探索了领域适应技术,以增强跨领域泛化能力,例如[6]提出的特征解耦策略,将领域不变特征与领域特定特征分开。然而,现有的少样本学习框架假设支持样本和查询样本来自同一分布,这一假设在ICH分类场景中经常不成立,因为来自不同地域、材料或时间段的工艺品尽管具有相似的文化意义,但表现出显著的领域差异。我们发现原型污染是核心挑战:当使用标准特征平均值从支持样本计算原型时,它们会被领域特定变异(如地域风格、材料纹理)污染,从而无法准确匹配来自不同领域的查询样本。这种污染降低了分类准确性,因为查询嵌入无法与来自不同领域的原型准确匹配。这种情况不同于传统的领域适应,因为支持集本身非常小:该方法必须在任何特定目标微调之前构建可靠的原型。它也不同于通用的解耦方法,因为关键决策不仅在于是否存在不变特征,还在于原型计算是否明确限制在这些特征上。虽然之前的工作独立探索了特征解耦[6]和基于图的少样本学习[7],但这些方法缺乏在领域变换下明确处理原型污染的机制:解耦本身不能确保原型是从不变特征计算得出的,而基于图的方法在传播信息时没有考虑领域边界。

为了解决这些限制,我们提出了领域自适应原型网络(DAPN),这是一种专门为领域变换条件下的少样本ICH图像分类设计的元学习框架。与将特征解耦和原型计算视为独立问题的现有方法不同,DAPN联合优化了领域不变特征学习和基于原型的分类,确保原型是从领域不变特征计算得出的,而不是受污染的表示。我们的方法引入了可学习的领域不变原型,这些原型明确区分了跨领域一致的语义内容特征和在不同地域、材料或时间期间变化的领域特定特征。在元训练期间,DAPN采用对抗性领域适应技术,鼓励特征编码器学习对工艺品分类具有区分性的表示,同时对领域变换保持不变。该框架包含了一个图神经网络组件,基于工艺传承、地域风格和文化实践建模工艺品类别之间的关系,从而在相关类别之间传播知识并提高分类准确性。原型是使用从支持样本提取的领域不变特征计算得出的,图结构为基于分类法中其他类别关系的原型细化提供了额外上下文。我们的新颖性声明是有意狭窄的:DAPN不是一个新的骨干网络或通用的GNN封装,而是一个联合设计,它(i)实现了形态与领域的区分标准,(ii)将原型构建限制在不变分支上,(iii)使用没有查询泄露的稀疏图来细化仅基于支持的原型。本文的主要贡献包括:
• 领域自适应原型学习:一个元学习框架(第3节),它联合优化了领域不变特征学习和原型计算,解决了原型污染问题,并在不需要领域标签的情况下实现了跨多样化ICH领域的稳健少样本分类。
• 操作性区分标准:一个明确的形态学标准,用于区分具有风格的结构特征和材料及地域特定特征,并提供了量化实际分离程度的验证探针。
• 图增强关系推理:一个基于图的细化模块,根据文化和地域亲和力建模工艺品类别之间的关系,采用仅基于支持的构建程序,防止信息泄露,并允许在测试时逐步插入新类别。
• 基于理论的解释和实际评估:一种基于领域适应性的解释,而不是严格界限的正式证明,以及在ICH-Benchmark和标准少样本基准上的实验,显示了比强基线高出1.3–1.8%的改进,同时具有可重复性、鲁棒性和部署分析。

本文的其余部分组织如下。第2节回顾了少样本学习、领域适应和文化遗产图像分类的相关工作。第3节介绍了提出的DAPN框架,包括问题表述、架构设计和理论分析。第4节描述了实验设置、数据集、基线和结果。第6节总结了本文并讨论了未来的发展方向。

2. 相关工作
我们的工作涉及三个主要领域:少样本学习和元学习、用于跨领域泛化的领域适应,以及用于分类任务中关系推理的图神经网络。

2.1. 少样本学习和元学习
少样本学习解决了从有限标注样本中学习新概念的基本挑战,元学习提供了一个跨多样化任务获取可迁移知识的原理性框架。Matching Networks[8]通过使用注意力机制和间歇性训练从支持集进行预测,开创了基于度量的方法。Prototypical Networks[4]引入了通过间歇性训练学习类别原型的范式,其中原型作为支持样本在学习到的度量空间中的均值嵌入计算得出。这种方法证明,在嵌入空间中的简单最近邻分类可以在少样本基准上实现有竞争力的性能,确立了基于原型的方法作为少样本学习研究的基石。Model-Agnostic Meta-Learning(MAML)[5]采取了不同的方法,通过梯度下降快速适应新任务,提供了适用于各种学习算法的灵活框架。Relation Networks[9]通过用可学习的关联模块替换固定距离度量来扩展这一范式,计算查询样本和支持样本之间的相似性,实现了更丰富的相似性度量。最近的进展探索了通过改进特征提取[2]、视觉变换器架构[10]和贝叶斯不确定性量化[11]来增强基于原型的方法。Category alignment mechanisms[12]已被提出以更好地对齐跨类别的特征,而强化学习已被应用于原型细化[13]。Query-driven twin networks[14]通过基于优化的元学习证明了在少样本高光谱分类中的有效性。Dynamic prototype networks[15]表明,通过聚类生成的适应原型可以更好地捕捉具有挑战性的领域内的类别内变异。基于原型的方法也已扩展到包括放射成像[16]和联邦学习场景[17]在内的专门领域,其中隐私限制了数据共享。Unsupervised meta-learning approaches[18]、[19]通过结合自监督预训练和基于度量的分类来解决从无标签数据中学习的挑战。然而,这些方法假设支持样本和查询样本来自同一分布,这一假设在训练和测试分布之间存在领域变换的现实世界场景中经常不成立。虽然最近的工作在异常检测[20]和故障诊断[21]等专门领域解决了少样本学习问题,但原型增强方法[22]、[23]、[24]在不平衡学习任务中显示出潜力,但基于原型的少样本学习中的领域变换挑战仍然大部分未得到解决。我们的方法通过明确学习跨领域边界的领域不变原型来解决这一限制。最近的表示学习研究还表明,注意力和姿态感知的对比对齐可以在抑制混淆变异的同时保留身份线索[25]、[26]。尽管这些方法不是为少样本工艺品识别设计的,但它们强调了在相似性计算之前分离稳定结构特征和偶然外观变化的价值。

2.2. 用于跨领域泛化的领域适应
领域适应技术旨在通过学习对领域特定变化不变的表示来弥合源领域和目标领域之间的差距,同时保持分类任务的区分能力。Adversarial domain adaptation[27]引入了领域对抗训练,通过混淆领域分类器来鼓励特征编码器学习领域不变表示,为无监督领域适应建立了基础框架。最近的工作将这一范式扩展到多源和多目标场景,evidential reasoning methods[1]、[3]通过信念函数解决了领域对齐的不确定性问题。Multi-source heterogeneous domain adaptation[28]采用了双重对抗特征对齐来处理具有多个源领域和不同数据分布的场景。Feature disentanglement approaches[6]证明了明确分离领域不变特征和领域特定特征的有效性,仅保留可迁移的特征以实现更好的泛化。基于原型的领域适应方法[29]通过利用动态熵基原型学习,在标注数据有限的应用中显示出潜力。Domain-generalizable representation learning approaches[30]通过混合欧几里得动态和希尔伯特统计量,在学习跨领域可区分的特征方面展示了有效性。跨域少样本学习是一个特别具有挑战性的场景,其中需要同时解决少样本学习和领域适应问题。基于图的方法[7]利用关系结构来提高跨域迁移能力。对抗性差异方法[31]通过结合对抗性训练和统计差异对齐,在具有挑战性的领域转换场景中展示了有效性。然而,现有的领域适应方法通常在训练期间需要领域标签,并假设可以访问目标领域数据,这些限制使得它们在少样本场景中的适用性受到限制,因为在这些场景中,标记示例和领域标签都很少。虽然多源适应方法[32]解决了跨多个领域的知识转移问题,但它们通常假设源领域中有丰富的标记数据,而这在少样本设置中是不可用的。监督式对抗性领域适应[33]在抗噪声特征提取方面显示出有效性,但它需要明确的领域标签和每个领域的足够标记示例。我们的框架将领域适应原理直接集成到元学习范式中,使得无需明确的领域注释即可进行领域不变的原型学习。权重感知的多源适应[34]进一步表明,当源分布不同时,应该明确建模领域可靠性。这一观察结果激发了我们使用平衡的情节采样和逆频率加权来构建领域判别器的想法。

2.3. 图神经网络用于关系推理
图神经网络(GNNs)在各种机器学习任务中已被证明对于建模关系结构非常有效,包括在少样本学习场景中,类别之间的关系可以提供有价值的归纳偏差。早期关于GNNs在少样本学习中的工作[35]表明,通过图结构明确建模类别之间的关系可以通过促进相关类别之间的知识传播来提高分类准确性。多图卷积网络[36]在捕捉复杂的时空依赖性方面表现出有效性,而分层图网络[37]则能够为工业应用实现多尺度特征提取。基于图的方法已被应用于跨域少样本学习[7],其中图结构模拟了源领域和目标领域之间的关系,以促进知识转移。时空图神经网络[38]展示了捕捉多变量时间序列数据中的时间动态和空间相关性的能力。自适应图频率定位也被用于在复杂的频谱背景下隔离显著的异常结构[39],这说明了精心设计的图操作符如何能够抑制误导性的局部相关性。然而,现有的基于GNN的少样本方法通常基于特征相似性或预定义的分类法构建图,而没有明确建模领域关系或将领域不变的特征学习纳入图构建过程。最近用于检测高度重叠视觉模式的检测器,如AO-DETR[40],同样强调了在区分出干扰证据之前延迟关系聚合的必要性。我们的方法将GNNs与领域自适应原型学习相结合,其中图结构同时模拟了类别关系和领域关系,从而实现了关系推理和领域不变特征学习的联合优化。

2.4. 定位我们的工作
DAPN的核心贡献在于解决领域转换下的原型污染问题,即使现有方法结合使用也无法解决这一问题。考虑一个自然的基线组合:特征解耦(例如DFR[6])、原型网络[4]和基于图的细化[7]。虽然DFR学习分离领域不变的特征,但它并不能确保这些特征用于原型计算——标准的原型平均可能仍然会包含领域特定成分。基于图的方法可以细化原型,但没有领域意识,它们可能会将领域特定信息传播到类别边界之外。DAPN通过三项关键创新解决了这些限制:(1)领域不变特征学习与原型计算的联合优化,确保原型是从不变特征中明确计算出来的;(2)具有领域意识的图构建,仅从训练集特征构建边,从而避免信息泄露;(3)通过明确的约束进行解耦验证,防止领域信息污染原型表示。我们在第4.4节提供了实证证据,表明部分之和基线(DFR + ProtoNet + GNN)的性能不如DAPN,验证了我们联合优化方法的协同优势。我们的理论讨论基于领域适应理论[41],因此应被视为对该设计的解释,而不是证明DAPN具有普遍更紧的泛化界限。

3. 提出的方法
本节介绍了领域自适应原型网络(DAPN),这是一个用于领域转换下的少样本ICH图像分类的元学习框架。我们首先正式定义问题并介绍符号,然后描述所提出的架构及其关键组成部分。

3.1. 问题表述
我们考虑少样本分类任务,其目标是仅使用少量标记示例来学习对新类别的图像进行分类。正式地,我们定义一个任务T=(S,Q),其中S={(xis,yis)}i=1N是包含来自K个类别的N个标记示例的支持集,Q={(xjq,yjq)}j=1M是包含M个待分类的未标记示例的查询集。这通常被称为K-way N-shot分类任务。本工作解决的关键挑战是领域转换,其中支持集和查询集可能来自不同的领域。我们将领域定义为输入的分布Pd(X),它捕捉了由于区域风格、材料类型或时间周期等因素造成的变化。让Dtrain={d1,d2,…,dD}表示在元训练期间可用的源领域集合,Dtest={dD+1,…}表示在元测试期间未看到的目标领域集合。与标准少样本学习假设Pds(X)=Pdq(X)对于支持集和查询集不同,我们处理的是Pds(X)≠Pdq(X)的情况。我们的目标是学习一个分类器fθ:X→Y,它由θ参数化,可以使用来自潜在不同源领域的支持示例计算出的原型来准确分类查询示例。分类是通过将查询嵌入与跨领域边界泛化的领域不变原型进行比较来执行的。表1总结了本文中使用的符号。

表1. 本文中使用的符号
符号 描述
TFew-shot learning task S,Q 支持集和查询集
(xi,yi) 图像-标签对
N,K 射数和方式数
Dtrain,Dtest 训练和测试领域集
d 领域索引
fθ 带有参数θ的特征编码器
? 特征嵌入
?inv,?spec 领域不变和领域特定特征
pc 类c的原型
G 类别的图结构
A 类别图的邻接矩阵
Gω 带有参数ω的图神经网络
L 任务损失和对抗损失
Ldisentangle Lgraph 解耦损失和图损失
λ1,λ2,λ3 损失加权超参数

3.2. 文化分类法和操作分离标准
我们的建模假设遵循合作伙伴策展人描述文物类别的方式。每个类别由工艺过程、图案几何和组成布局的稳定组合定义,即使相同的文化形式在不同的地区或材料中实现,也应该仍然可识别。因此,地区、材料家族和时期被视为领域,因为它们通过染料调色板、釉料反射率、氧化、纤维老化和背景上下文来调节表面外观,但它们本身并不决定语义身份。这种形态学先验解释了为什么我们将类别和领域视为耦合但可分离的因素,而不是将它们合并到一个标签空间中。在操作上,当一个线索在至少两个区域或材料领域中对同一类别保持预测性,并且专家将其识别为工艺形态的一部分(如编织拓扑、雕刻结构、轮廓或重复图案排列)时,就为其分配一个线索。当一个线索强烈预测地区、材料或时期但在类别实例之间不稳定时(如基底纹理、铜绿、釉料光泽、获取背景或地区颜色偏差),则为其分配一个特定线索。一些线索保持混合状态,这就是为什么我们将解耦视为部分而非绝对的,并在第4.8节中通过实证验证分离。

下载:下载高分辨率图像(696KB)
下载:下载全尺寸图像
图1. 领域自适应原型网络(DAPN)架构概述。该框架通过特征解耦学习领域不变的原型,并通过基于图的关系推理对其进行增强。

3.3. 方法概述
图1展示了DAPN的总体架构。该框架由四个主要组成部分构成:(1)提取图像表示的特征编码器;(2)分离领域不变特征和领域特定特征的特征解耦模块;(3)仅使用不变特征计算类别原型的领域不变原型学习模块;(4)通过关系推理增强原型表示的图神经网络组件。在元训练期间,DAPN学习提取捕获与分类相关的语义内容的领域不变特征?inv,同时过滤掉领域特定变化。特征编码器fθ针对领域判别器进行对抗性训练,以确保领域不变性,同时优化分类准确性。每个类别c的原型pc作为来自支持示例的领域不变特征的均值嵌入计算出来,然后通过利用类别之间关系的基于图的消息传递进行细化。在元测试期间,使用学到的编码器对查询图像进行嵌入,并通过计算与嵌入空间中领域不变原型的距离来进行分类。

3.4. 领域不变特征学习
DAPN的核心创新在于学习对领域变化不变的特征表示,同时保持分类的区分能力。给定来自领域d的输入图像x,特征编码器fθ:X→RH产生一个初始特征表示?=fθ(x),其中H是特征维度。我们的方法基于对抗性领域适应[27]来强制在特征级别实现领域不变性,确保学习到的表示能够跨多样化的ICH领域泛化。为了实现领域不变性,我们采用对抗性训练,使用领域判别器Dψ:RH→[0,1]D来预测给定特征嵌入的领域标签。判别器Dψ被训练以最大化其从特征表示中识别来源领域的能力,而特征编码器fθ同时被训练以产生使判别器困惑的特征。这种对抗性训练过程鼓励编码器学习跨领域共享的语义内容的领域不变特征,同时抑制领域特定特征。对抗性损失被表述为:(1)Ladv(θ,ψ)=?E(x,d)~Ptrain∑d′=1D1[d′=d]logDψ(fθ(x))d′,其中1[?]是指示函数,Dψ(fθ(x))d′表示判别器预测特征?=fθ(x)属于领域d′的概率,期望是在训练分布Ptrain上的图像及其领域标签上取的。特征编码器旨在最小化Ladv关于θ,而判别器旨在最大化它关于ψ,从而创建一个最小-最大优化问题:(2)minθmaxψLadv(θ,ψ)。

在实践中,我们通过交替梯度更新来优化这一点,遵循对抗性领域适应框架。具体来说,我们首先更新判别器参数ψ以最大化其预测领域标签的准确性,然后使用梯度反转层[27]更新编码器参数θ,以最小化判别器从学习到的特征中识别领域的能力。

领域标签要求。我们强调,只有在元训练期间需要领域标签来监督对抗性领域适应过程。在元测试(推理)期间,不需要领域标签——训练好的编码器可以自动从任何输入图像中提取领域不变特征,无论其领域如何。这是一个关键的实用优势:领域标签通常可用于策划的训练集合,但对于新的测试文物来说可能不可用。我们在第4.5节评估了DAPN对噪声或部分领域标签的鲁棒性,发现即使20%–30%的训练领域标签被损坏,该方法仍然表现良好。为了防止领域判别器被某个领域内的频繁类别所主导,每个元训练批次在各个领域之间均匀分层,并通过每个领域内的逆类别频率进行重新加权。具体来说,判别器项乘以wd,c∝1/nd,c,其中nd,c是来自领域d的类别c的训练图像数量。这种平衡很重要,因为一些文物类别在不同地区和材料中的表示是不均匀的。

3.5. 特征解耦
除了对抗性训练之外,我们还通过专门的解耦模块明确地将领域不变特征?inv与领域特定特征?spec分离。这种明确的分离使我们能够更精确地控制哪些特征在原型计算中得到保留,并允许我们从领域特定变化(如材料组成、地区艺术风格或时间特征)中分离出领域不变的语义内容。特征编码器fθ被分解为两个并行分支:fθinv:X→RHinv用于领域不变特征,fθspec:X→RHspec用于领域特定特征,其中Hinv+Hspec分别是不变特征空间和特定特征空间的维度。解耦通过两种互补机制实现。首先,我们强制不变特征和特定特征之间的正交性,以确保无法从领域不变特征中恢复领域特定信息。这种约束防止了两个特征空间之间的信息泄露,并鼓励学习真正独立的表示。正交性约束表示为:(3)Lortho=Ex~Ptrain(?inv)T?spec,其中?inv=fθinv(x)和?spec=fθspec(x)是从输入x中提取的领域不变和特定特征。最小化这个约束使得不变特征和特定特征之间的内积趋于零,从而确保正交性。其次,我们采用重构损失来确保连接的特征[?inv,?spec]包含足够的信息来重构领域特定特征。这是通过一个领域预测器Rξ:RH→R|D|来实现的,它以连接的特征作为输入并预测领域标签:(4)Lrecon=E(x,d)~Ptrain?logRξ([?inv,?spec])d,其中Rξ([?inv,?spec])d表示连接的特征属于领域d的预测概率。这个重建目标确保了领域特定信息被捕获在?spec中,而正交性约束防止了这些信息泄露到?inv中。总的分离损失结合了这些目标以及权重超参数:(5)Ldisentangle=λorthoLortho+λreconLrecon,其中λortho和λrecon分别是平衡正交性约束和重建目标的超参数。在交替更新中,我们将λortho设置为0.3,λrecon设置为0.2,因此正交性项的影响略大于重建项。我们发现这种3:2的比例是在抑制领域泄露和防止不变分支退化为低信息表示之间的最佳折中。当λrecon超过0.3时,领域信息会通过共享编码器重新进入?inv;当λortho低于0.2时,第4.8节中的探针分类器保留了更强的领域线索。

限制和验证。我们承认正交性是统计独立性的必要条件,但不是充分条件——高维特征可以满足正交性,同时仍然表现出高阶依赖性。为了验证我们的分离效果是否达到了预期的分离程度,我们在第4.8节进行了明确的验证实验:(1) 仅使用?inv特征训练领域分类器应该能够达到接近机会水平的准确率(4个领域为25%),这表明领域信息已成功移除;(2) 仅使用?spec特征训练类别分类器应该会获得较低的准确率,这证实了类别区分信息主要存在于?inv中。这些实证验证补充了正交性约束,提供了有效分离的更强证据。

3.6. 领域不变原型学习
在标准的原型网络[4]中,原型是通过支持示例的平均嵌入来计算的:pc=1|Sc|∑(xi,yi)∈Scfθ(xi),其中Sc={(xi,yi)∈S:yi=c}表示来自类别c的支持示例集。然而,这种方法在原型计算中混合了领域不变信息和领域特定信息,导致原型受到支持集和查询集之间变化的领域差异的污染。当存在领域偏移时,这种污染会降低分类性能,因为来自不同领域的查询示例无法准确匹配到从其他领域的支持示例计算出的原型。在DAPN中,我们通过仅使用从支持示例中提取的领域不变特征来计算原型,从而确保原型捕获语义类别信息的同时对领域偏移具有鲁棒性。具体来说,类别c的领域不变原型计算如下:(6)pcinv=1|Sc|∑(xi,yi)∈Scfθinv(xi),其中pcinv∈RHinv表示类别c的领域不变原型,|Sc|是类别c的支持示例数量。通过仅使用领域不变特征fθinv(xi),原型捕获了跨领域的共同语义特征,同时过滤掉了领域特定变化。对于分类,查询示例xq属于类别c的概率是使用对领域不变原型的负平方欧几里得距离的softmax来计算的:(7)P(yq=c|xq)=exp(?d(?qinv,pcinv))∑c′=1Kexp(?d(?qinv,pc′inv)),其中?qinv=fθinv(xq)是查询示例xq的领域不变特征嵌入,d(?,p)=‖??p‖2是查询嵌入和原型之间的平方欧几里得距离。softmax归一化确保所有K类的概率之和为一。

元训练的任务损失是通过对查询集预测计算的标准交叉熵损失:(8)Ltask=?E(xq,yq)~QlogP(yq|xq)=?1|Q|∑(xq,yq)∈QlogP(yq=yq|xq),其中期望值是通过对查询集Q进行平均得到的。这种损失鼓励模型使用从支持示例中学习的领域不变原型正确分类查询示例。

3.7. 图增强原型细化
为了利用ICH文物分类法中固有的关系结构,我们结合了一个图神经网络(GNN)组件,该组件通过类别图上的消息传递来细化原型。我们构建了一个图G=(V,E),其中节点V={1,2,…,K}代表文物类别,边E编码了诸如共享的工艺技术、区域邻近性或文化传承等关系。

图构建过程。为了确保可重复性和防止信息泄露,我们定义图构建如下:
1. 训练阶段:使用训练集中的训练类特征构建邻接矩阵Atrain∈{0,1}Ktrain×Ktrain。对于每一对训练类别(i,j),我们使用训练示例计算它们的原型相似度,并且如果余弦相似度超过阈值τ=0.5,则设置Aijtrain=1。
2. 测试阶段:对于新的测试类别,仅使用支持集特征来推断边——不使用查询信息。具体来说,给定支持集原型{pcinv}c=1K,如果cos(piinv,pjinv)>τ,则构建Aijtest=1。这个过程保证了没有查询信息泄露到图结构中,保持了小样本评估协议的完整性。GNN仅传播来自支持示例的信息。阈值τ=0.5是在{0.3,0.5,0.7}的扫描后选定的。较低的值会产生过于密集的图,导致在视觉上相关但在语义上不同的类别之间传播不必要的相似性,而较高的值则会使图变得碎片化,减少有用的信息传递。选定的阈值使得验证过程中的平均节点度保持在1.8到2.4之间,这在区域和材料变化时被证明是稳定的。
给定初始原型Pinv=[p1inv,…,pKinv]T∈RK×Hinv,GNN Gω通过图卷积来细化它们:(9)Prefined=Gω(Pinv,A)=σA?PinvW,其中A?=D??1/2(A+I)D??1/2是带有自连接的标准化邻接矩阵,D?是度矩阵,W∈RHinv×Hinv是可学习的权重矩阵,σ是激活函数。这种公式遵循图卷积网络(GCN)架构[35],使每个原型能够聚合来自相关类别的信息。细化的原型pcrefined在方程(7)中替换pcinv,用于最终分类。这种基于图的细化使得知识能够在相关的文物类别之间传递,特别是在支持示例有限时特别有益。因为图是在测试时从支持原型重建的,所以可以通过添加一个原型节点并仅重新计算当前剧集的局部边来逐步插入新发现的类别。编码器保持不变,因此适应新类别不需要重新训练整个图,除非特征分布本身发生了显著变化。

复杂性分析。GNN模块每个剧集的计算复杂度为O(K2Hinv+|E|Hinv),其中K是类别数量(对于5路任务通常为5),Hinv=256是特征维度,|E|是边的数量。对于小的K值,这种开销与特征提取成本相比可以忽略不计。内存复杂度为O(K2+K?Hinv),用于存储邻接矩阵和原型。

3.8. 训练过程
DAPN使用基于剧集的元学习进行训练,每个剧集包括从元训练集中采样一个任务T=(S,Q)。完整的训练目标结合了所有损失组成部分:(10)Ltotal=Ltask+λ1Ladv+λ2Ldisentangle+λ3Lgraph,其中λ1,λ2,λ3是平衡不同目标的超参数。图损失Lgraph鼓励原型沿着图边平滑过渡:(11)Lgraph=∑(i,j)∈E‖pirefined?pjrefined‖2,这使细化后的原型对于相关类别保持相似。在实现中,编码器从ImageNet-1K预训练开始,然后端到端进行元训练。每次外部迭代首先在领域平衡的迷你批次上更新(ψ,ξ),然后通过梯度反转更新θ,最后在支持派生的图上更新ω。梯度范数被限制在5.0以内。这种安排使得对抗性和重建目标与原型学习同步,并且比每次编码器更新时执行多个判别器步骤更加稳定。

算法1概述了DAPN的完整元训练过程。下载:下载高分辨率图像(222KB)下载:下载全尺寸图像

3.9. 理论分析
我们提供了为什么领域不变原型在领域偏移下能够提高泛化能力的理论直觉,将讨论基于已建立的领域适应理论[41]。我们强调以下分析是解释性的,而不是形式化的证明,并且我们不声称DAPN有特定的更紧的界限。

假设。我们做出以下假设:(A1) 特征空间可以分解为领域不变和领域特定的子空间,以便在不变子空间中保留类别区分信息;(A2) 对抗性训练成功地减少了不变特征空间中的领域差异;(A3) 即使来自不同领域,支持集和查询集在不变特征空间中也共享相同的类别条件分布。

分析。根据Ben-David等人[41]的领域适应框架,假设h∈H的目标领域风险Rtarget(h)被限制为:(12)Rtarget(h)≤Rsource(h)+dH(Dsource,Dtarget)+λ?,其中dH(?,?)是衡量领域差异的H-散度,λ?是理想联合假设的组合误差。对于在领域不变特征?inv上运行的DAPN,让Hinv表示不变特征空间上的假设类别。在假设(A2)下,对抗性训练目标鼓励:(13)dHinv(Diinv,Djinv)?dH(Di,Dj),其中Dinv表示在不变特征空间中诱导的分布。这种领域差异的减少表明了泛化的改善,但并不保证。实际收益取决于假设(A1)–(A3)的成立程度、不变分支排除材料和区域线索的干净程度,以及在稀疏监督下支持集图的可靠性。

对于原型学习的解释。标准原型计算为pc=1|Sc|∑x∈Scfθ(x),它聚合了不变和领域特定特征。当支持示例和查询示例来自不同领域时,原型的领域特定组成部分可能不匹配查询表示,从而降低分类准确性。领域不变原型pcinv通过排除领域特定变化来缓解这一问题,改善了跨领域原型和查询表示之间的对齐。基于图的细化通过结合来自类别结构的关系归纳偏见提供了额外的正则化,可能减少了有效的假设空间复杂性。然而,当领域-类别相关性很强时,图项也可能放大虚假的相似性,这就是为什么我们将其好处视为有条件的,并在第4.9节中通过实证检验其失败模式。然而,这些好处的形式化分析超出了我们目前的范围。

4. 实验
我们进行了全面的实验,以评估所提出的领域自适应原型网络(DAPN)在领域特定的ICH分类任务和标准的少样本学习基准测试上的表现。在修订中,我们根据审稿人提出的四个方向扩展了这一部分:基准可重复性、捕获条件鲁棒性、支持集和骨干敏感性以及实际部署分析。我们的评估解决了三个关键研究问题:(1) DAPN与最先进的少样本学习方法相比如何?(2) 领域自适应原型学习在跨领域泛化方面的效果如何?(3) 我们框架中每个组件的贡献是什么?

4.1. 实验设置
4.1.1. 数据集
我们在三个数据集上评估DAPN,这些数据集涵盖了领域特定的ICH分类和一般的少样本学习基准测试:
ICH-Benchmark:一个全面的非物质文化遗产图像分类数据集,包括五个主要文物类别:传统纺织品(800张图像,40个类别)、陶瓷(750张图像,30个类别)、木雕(700张图像,25个类别)、剪纸(650张图像,20个类别)和金属制品(600张图像,15个类别),总共3500张图像,涵盖130个类别。该数据集在三个维度上表现出显著的领域差异:区域风格(中国北部、南部、东部、西部)、材料组成(陶土、瓷器、木材、纸张、金属)和艺术时期(1800年之前、1800-1950年、1950年之后)。图像来自博物馆收藏、文化遗产机构和档案库,分辨率范围从224 × 224到512 × 512像素。数据集被分为65个基础类别用于元训练,25个验证类别和40个新类别用于元测试,确保各个分割之间没有类别重叠。领域标签使用策展人设计的形态学协议进行分配。每张图像包含(i)一个工艺类别,(ii)一个起源地区或主要风格流派,(iii)一个材料家族,以及(iv)一个时期段。注释手册通过主题拓扑、笔触或编织组织、边缘几何和重复的构图模式来定义艺术风格,而材料线索、老化痕迹和获取方式被视为领域因素,除非它们是工艺身份本身的组成部分。图像来自23个博物馆和档案合作伙伴。新捕获的图像在允许的情况下在漫射LED照明(4200–5000 K)下拍摄,而档案扫描则通过白平衡校正、灰度世界归一化和手动眩光过滤进行标准化。我们包括这些细节是因为非均匀照明可能会扭曲精细的视觉诊断[42]。

数据集可用性和可重复性:为了在评审期间提高可重复性,我们现在在手稿中直接报告了注释标准、分割生成种子、类别/领域直方图、剧集采样程序和预处理设置。注释通过两个阶段的过程进行了验证:首先由来自合作文化机构的领域专家进行初步标记,然后由第二位专家进行交叉验证(注释者间一致性:Cohen’s κ=0.89)。该数据集显示出中等的类别不平衡(基尼系数:0.23),类别大小从18到32张图像不等,区域领域分布大致平衡:北部(26%)、南部(28%)、东部(24%)、西部(22%)。由于部分原始图像受博物馆许可协议的限制,我们目前还不能在公共盲审仓库中发布完整的图像集。我们将在发布时发布分割文件、元数据模式、预处理脚本和评估代码,并且我们正在准备一个公共图像子集以及受限项目的访问程序。

mini-ImageNet:一个来自ImageNet的标准少样本学习基准,包含100个类别,每个类别有600张图像。按照标准分割,我们使用64个类别进行元训练,16个类别进行验证,20个类别进行元测试。这个数据集评估了我们方法在ICH领域之外的泛化能力。

tiered-ImageNet:一个更大的层次化基准,包含608个类别,分为34个高级类别,提供了更具挑战性的评估场景和更大的多样性。我们使用标准的划分方法,其中351个类别用于元训练,97个类别用于验证,160个类别用于元测试。这种层次结构使我们能够评估我们的图增强关系推理组件。4.1.2. 基线我们将DAPN与十种最先进的少样本学习方法进行比较,这些方法分为三类:经典方法:我们包括了原型网络[4]作为基础的基于原型的方法,模型不可知元学习(MAML)[5]作为代表性的基于梯度的元学习方法,以及匹配网络作为基于记忆的方法。这些基线方法确立了性能的下限,并展示了相对于现有方法的改进。最新方法:我们将其与关系网络[9]进行比较,后者学习用于相似性计算的关系模块;特征图重构网络(FRN)[43]用于重构特征图以提高泛化能力;以及深度地球移动者距离(DeepEMD)[44],它使用结构化的相似性度量。这些方法代表了基于度量的少样本学习的最新进展。领域适应方法:为了评估我们的领域适应方法的有效性,我们将其与领域对抗神经网络(DANN)[27]进行比较,后者使用对抗训练来获得领域不变的特征;以及条件领域对抗网络(CDAN)[45],它在DANN的基础上增加了条件对抗学习。这些方法评估了显式领域适应是否能够提高少样本学习的性能。最新的SOTA方法:我们包括了三篇最近的TNNLS论文,它们代表了最先进的少样本学习方法:解耦特征表示(DFR)[6]用于解耦类别区分特征;类别对齐机制(CAM)[12]用于自适应地对齐查询特征到类别;以及原型贝叶斯元学习(PBML)[11],它将贝叶斯不确定性纳入原型学习中。这些比较展示了相对于最新发表方法的改进。主表中的所有基线都是在统一协议下重新实现的,使用相同的图像分辨率、 episodic采样器、优化器家族、验证预算和骨干网络家族,只要原始代码允许的话。原始论文中报告的数字仅用于验证我们的实现,并不出现在最终的比较表中。对于DANN、CDAN和DFR,领域标签和源-目标划分与DAPN使用的保持一致,以确保公平比较。4.1.3. 实现细节我们使用PyTorch实现DAPN,并遵循标准的少样本学习评估协议。除非另有说明,否则特征编码器从ImageNet-1K预训练开始,然后在每个基准测试上进行元训练。默认编码器使用带有四个残差块的ResNet-12骨干网络,产生512维的特征。领域不变特征提取器fθ(?)和领域特定特征提取器g?(?)各自输出256维的嵌入,这些嵌入仅在重构和探针时连接。图神经网络使用具有256个隐藏层的双层GraphSAGE架构和ReLU激活函数,领域分类器D(?)是一个具有256个隐藏单元的双层MLP。图像被调整大小,使得较短的一边为256像素,然后在训练期间进行随机的224 × 224裁剪,在评估期间进行中心裁剪。为了考虑尺度并捕捉变化,训练使用[0.8,1.25]范围内的尺度抖动、随机水平翻转、轻微的颜色抖动和照明扰动。在episodic采样之前,我们还应用了灰度世界白平衡和对比度归一化。模型使用Adam进行训练,初始学习率为0.0001,权重衰减为10?4。在第60和80个周期时,学习率降低0.1。我们训练100个周期,批量大小为16,每个批次包含四个平衡的5-way K-shot场景。超参数设置如下:λadv=0.5,λortho=0.3,λrecon=0.2,图细化权重α=0.1,图阈值τ=0.5。这些值是在验证分割上选定的。为了处理每个领域内的类别不平衡,判别器损失使用逆频率权重,episodic采样器限制了由主导类别贡献的重复示例的数量。在元测试期间,我们在每个配置上评估600个随机采样的场景,并报告平均准确率以及使用不同随机种子进行的五次独立运行计算出的95%置信区间。所有实验都在四个NVIDIA V100 GPU上进行,每个GPU具有32 GB内存。ICH-Benchmark的训练大约需要8-10小时,mini-ImageNet和tiered-ImageNet需要12-14小时。4.1.4. 评估协议我们遵循标准的N-way K-shot评估协议,其中每个场景包含N个类别,每个类别有K个支持示例和Q个查询示例(通常Q=15)。我们报告5-way 1-shot和5-way 5-shot分类任务的结果,这些任务代表了最具挑战性和最常评估的场景。对于跨领域评估,我们不报告单一的示例性迁移。相反,我们平均所有12个有序的区域源-目标对(北→南、北→东……,西→东),并在材料转移场景上确认了相同的趋势。这种协议大大减少了由于任务采样引起的方差。4.2. 主要结果表2展示了ICH-Benchmark数据集上的主要比较结果。DAPN达到了最先进的性能,在5-way 1-shot和5-way 5-shot设置中分别比最强的基线(PBML)高出1.8%和1.6%。与经典的基于原型的方法相比,DAPN显示出显著的改进:在1-shot场景中比原型网络高出11.6%,比MAML高出14.3%。领域适应基线(DANN、CDAN)在经典方法上显示出适度的改进,但低于我们的方法,这突显了将领域适应直接集成到元学习框架中的重要性,而不是将其作为单独的预处理步骤。表3和表4展示了在标准少样本学习基准mini-ImageNet和tiered-ImageNet上的结果。在mini-ImageNet上,DAPN在1-shot和5-shot设置中的准确率分别为67.23%和82.45%,分别比PBML高出1.3%和1.2%。在所有三个数据集上的一致改进表明了我们的方法具有超出ICH领域的泛化能力。值得注意的是,ICH-Benchmark上的改进幅度(1.8%)大于mini-ImageNet(1.3%),这表明在存在显著领域转移的情况下,领域适应学习提供了更大的好处,正如ICH中不同区域和材料的工件所显示的那样。表2. ICH-Benchmark数据集上的分类准确率(%)。最佳结果用粗体表示,第二佳结果用下划线表示。结果以平均值±95%置信区间报告。方法5-way 1-shot5-way 5-shot原型网络 [4]54.12 ± 0.5872.34 ± 0.46MAML [5]51.34 ± 0.6269.87 ± 0.49匹配网络52.78 ± 0.6071.23 ± 0.47关系网络 [9]58.45 ± 0.5476.89 ± 0.42FRN [43]59.23 ± 0.5277.56 ± 0.41DeepEMD [44]59.89 ± 0.5178.12 ± 0.40DANN [27]57.34 ± 0.5675.67 ± 0.43CDAN [45]58.78 ± 0.5377.23 ± 0.41DFR [6]62.45 ± 0.4980.34 ± 0.38CAM [12]63.12 ± 0.4881.01 ± 0.37PBML [11]63.89 ± 0.4781.78 ± 0.36DAPN(我们的)65.67 ± 0.4483.34 ± 0.34表3. mini-ImageNet上的分类准确率(%)。最佳结果用粗体表示,第二佳结果用下划线表示。方法5-way 1-shot5-way 5-shot原型网络 [4]49.42 ± 0.5268.20 ± 0.44MAML [5]48.30 ± 0.5566.23 ± 0.46关系网络 [9]55.88 ± 0.4872.67 ± 0.40FRN [43]61.45 ± 0.4578.23 ± 0.37DeepEMD [44]62.78 ± 0.4479.56 ± 0.36DFR [6]64.23 ± 0.4380.45 ± 0.35CAM [12]65.12 ± 0.4281.34 ± 0.34PBML [11]65.91 ± 0.4181.23 ± 0.33DAPN(我们的)67.23 ± 0.3982.45 ± 0.32表4. tiered-ImageNet上的分类准确率(%)。最佳结果用粗体表示,第二佳结果用下划线表示。方法5-way 1-shot5-way 5-shot原型网络 [4]51.23 ± 0.5071.34 ± 0.42MAML [5]50.67 ± 0.5269.78 ± 0.44关系网络 [9]57.89 ± 0.4675.23 ± 0.38FRN [43]63.45 ± 0.4381.12 ± 0.35DeepEMD [44]64.78 ± 0.4282.34 ± 0.34DFR [6]66.12 ± 0.4183.56 ± 0.33CAM [12]67.23 ± 0.4084.67 ± 0.32PBML [11]68.01 ± 0.3985.45 ± 0.31DAPN(我们的)69.45 ± 0.3786.78 ± 0.304.3. 跨领域评估为了评估领域适应原型学习在领域转移下的有效性,我们在ICH-Benchmark上进行了跨领域评估实验,其中训练和测试领域不同。表5报告了所有12个有序区域源-目标转移的平均值,而不是单个挑选的对。DAPN展示了出色的跨领域泛化能力,在1-shot设置中达到了61.23%的准确率,而PBML为59.45%,原型网络为51.12%。这种1.8%的改进突显了领域不变原型学习的价值。在涉及陶瓷和金属制品的转移中,收益最大,因为氧化、釉面反射和特定区域的处理引入了强烈的干扰变化。当训练期间有领域标签可用时,DAPN可以利用它们进一步提高性能,达到62.89%的准确率,尽管我们的方法在推理期间不需要显式的领域标签。表5. ICH-Benchmark上跨领域评估的平均值,涵盖了所有12个有序的区域源-目标转移。最佳结果用粗体表示。方法5-way 1-shot5-way 5-shot原型网络 [4]51.12 ± 0.6568.23 ± 0.54MAML [5]48.89 ± 0.6865.67 ± 0.57DANN [27]53.45 ± 0.6171.34 ± 0.51CDAN [45]54.78 ± 0.5972.67 ± 0.49DFR [6]56.23 ± 0.5774.45 ± 0.47CAM [12]57.34 ± 0.5575.78 ± 0.45PBML [11]59.45 ± 0.5377.12 ± 0.43DAPN(我们的)61.23 ± 0.5078.89 ± 0.41DAPN(带领域标签)62.89 ± 0.4880.34 ± 0.394.4. 消融研究我们进行了全面的消融研究,以分析DAPN中每个组件的贡献。表6显示了逐个移除组件在ICH-Benchmark上的结果。移除领域不变特征学习(w/o Domain-Adapt)会导致最大的性能下降(在1-shot中下降2.1%),这证实了显式的领域不变学习对于处理ICH分类中的领域转移至关重要。移除特征解耦(w/o Disentangle)会导致1.4%的下降,表明分离领域不变和领域特定特征可以提高原型质量。图神经网络组件贡献了1.2%的改进(w/o GNN),表明跨工件类别的关系推理提供了有价值的归纳偏差。当所有组件都被移除时,性能下降到60.12%,接近原型网络基线(54.12%),这证实了每个组件都对整体改进有显著贡献。受控的部分之和比较。为了验证DAPN的改进是否来自联合优化,而不是简单地组合现有技术,我们将其与天真地组合现有方法的基线进行了比较:DFR [6] + ProtoNet(使用DFR的不变分支进行原型计算)和DFR + ProtoNet + GNN(添加图细化)。如表6所示,DAPN的性能比DFR+ProtoNet高出2.34%,比DFR+ProtoNet+GNN高出1.45%,这表明我们的联合优化策略提供了超出单个组件总和的协同效益。表7和图2展示了ICH-Benchmark上关键超参数λadv、λdis和α的敏感性分析。我们还报告了图阈值τ,因为审稿人询问了如何选择邻接性。性能在一系列值中相对稳定,最佳值为λadv=0.5,λdis=0.3,α=0.1。领域适应权重λadv在0.5左右时表现最佳,当太小时(领域适应不足)或太大时(过度正则化)性能会下降。特征解耦权重λdis在0.3时获得最佳结果,平衡了保持领域不变特征和维持重构质量。图细化权重α在0.1时表现最佳,表明适度的图影响提供了最佳的原型细化。阈值研究证实τ=0.5是最佳折中:τ=0.3会使图过于密集,而τ=0.7会断开信息关系。表6. ICH-Benchmark(5-way 1-shot)上的消融研究。完整模型实现了65.67%的准确率。通过600个场景的配对t检验计算统计显著性。变体准确率(%)p值完整模型(DAPN)65.67 ± 0.44–w/o Domain-Adapt63.56 ± 0.48(?2.11)<0.001w/o Disentangle64.23 ± 0.46(?1.44)<0.001w/o GNN64.45 ± 0.45(?1.22)<0.001w/o Domain-Adapt + Disentangle61.34 ± 0.52(?4.33)<0.001w/o Domain-Adapt + GNN62.12 ± 0.50(?3.55)<0.001w/o Disentangle + GNN62.89 ± 0.48(?2.78)<0.001基线(w/o all)60.12 ± 0.56(?5.55)<0.001部分之和基线:DFR + ProtoNet(不变分支)63.33 ± 0.47(?2.34)<0.001DFR + ProtoNet + GNN64.22 ± 0.46(?1.45)<0.01表7. ICH-Benchmark(5-way 1-shot)上的超参数敏感性分析。超参数值准确率(%)λadv0.163.45 ± 0.480.364.89 ± 0.460.565.67 ± 0.440.764.23 ± 0.471.062.78 ± 0.49λdis0.164.34 ± 0.470.365.67 ± 0.440.565.12 ± 0.450.764.56 ± 0.461.063.89 ± 0.48α0.0565.12 ± 0.450.165.67 ± 0.440.265.34 ± 0.450.364.78 ± 0.460.563.45 ± 0.48τ0.364.91 ± 0.470.565.67 ± 0.440.764.72 ± 0.46下载:下载高分辨率图像(145KB)下载:下载全尺寸图像图2. ICH-Benchmark(5-way 1-shot)上的超参数敏感性分析。性能准确率与超参数值λadv(领域适应权重)、λdis(特征解耦权重)和α(图细化权重)的关系。阴影区域表示95%置信区间。因此,我们在四种捕获设置下评估了DAPN的性能:默认的预处理流程、一个没有尺度抖动的版本,以及两个查询时的光度应力测试,这些测试模拟了白平衡校正后较低和较高的照明条件。表9显示,尺度增强和照明归一化都很重要。去除尺度抖动会使准确率降低0.69%,这表明跨域支持查询不匹配部分是通过明显的物体大小来体现的。低照明和高照明扰动分别使准确率降低了0.86%和0.93%。这种下降是适度的,而不是灾难性的,这表明改进后的预处理流程抑制了大部分干扰性变化,尽管它并不能完全消除极端捕获条件的影响。

4.7. 支持集敏感性和图稳定性
支持示例的数量不仅影响分类准确性,还影响由支持集衍生的图的稳定性。表10报告了随着支持示例数量增加时的跨域性能。准确率从1次采样到5次采样稳步提高,但更有意义的观察是平均节点度也从1.7增加到2.4。每个类别只有一张支持图像时,图是稀疏的,更容易受到偶然视觉相似性的影响;而当有3张或5张样本时,原型被更好地平均化,结果图变得更密集且在语义上更清晰。这种行为解释了为什么在样本量较少的情况下GNN的贡献最大,同时也解释了为什么图阈值必须保持保守。

4.8. 解耦验证
为了实证验证我们的特征解耦能够成功分离领域不变信息和领域特定信息,我们进行了两个探针实验:(1)仅使用?inv特征训练领域分类器;(2)仅使用?spec特征训练类别分类器。如果解耦有效,领域分类器应该达到接近机会水平的准确率(4个领域为25%),而类别分类器的表现应该较差。表11证实了我们的解耦是有效的。仅使用不变特征的领域分类器达到了28.3%的准确率(接近机会水平),表明领域信息已被成功移除。仅使用特定特征的类别分类器达到了34.2%的准确率(远低于使用不变特征时的65.67%),这证实了类别区分信息主要存在于?inv中。为了回答艺术风格是如何被评估的问题,我们在第4.1节注释标准中定义的12个专家风格家族上添加了一个风格家族检索探针。不变分支在这个探针上的表现显著优于特定分支,这支持了我们的观点,即携带风格的形态主要存在于?inv中。剩余的领域准确率略高于机会水平(28.3% vs 25%),这表明存在轻微的领域信息泄漏,这与我们承认的正交性并不保证完全统计独立性是一致的。

4.9. 失败分析
我们分析了系统失败案例以了解DAPN的局限性。我们确定了两种主要的失败模式:
失败模式1:领域-类别相关性。当领域特定特征与类别标签高度相关时,解耦变得具有挑战性。例如,某些金属工艺技术是特定地区独有的,因此在不丢失类别区分信息的情况下实现完全的领域不变性是不可行的。在我们的数据集中,12%的类别表现出强烈的领域-类别相关性(通过互信息>0.5衡量),DAPN在这些类别上的准确率比不相关类别低8.3%(57.4% vs 65.7%)。
失败模式2:误导性的图关系。当GNN在具有视觉相似性但代表不同语义概念的类别之间传播信息时,分类准确率可能会下降。例如,装饰性金属工艺和陶瓷釉面图案可能在视觉上相似,但代表不同的文化实践。我们在7%的测试案例中观察到了这一点,图细化通过强制原型之间的相似性降低了准确率。

物理和文化机制。材料老化是这些失败模式持续存在的一个原因。金属制品的氧化、陶瓷的釉面裂纹以及纺织品的染料褪色产生了细微的对比图案,这些图案在视觉上显著但在不同地区在语义上不稳定。当这些线索主导支持图像时,不变编码器仍然保留了它们的微弱痕迹,这解释了表11中看到的部分剩余领域泄漏。文化因素在图中也起着类似的作用。例如,花卉格子图案既出现在剪纸作品中,也出现在雕刻木制品中,但制作约束不同:剪纸保留了细小的负空间桥梁,而木雕则强调浮雕深度和斜边。一个纯粹基于相似性的图可能会过于强烈地连接这些类别,即使策展人将它们视为不同的工艺流派。

缓解策略。对于领域-类别相关性,我们建议使用部分解耦来保留与类别标签相关的领域信息。对于误导性的图关系,将语义知识(例如,文化分类法)纳入图构建中,而不仅仅依赖视觉相似性可能会有所帮助。

4.10. 额外分析
表12和图3展示了ICH-Benchmark上每个类别的性能分解。DAPN在所有艺术品类别上都显示出一致的改进,特别是在陶瓷(+2.8%)和金属制品(+2.5%)等具有较大材料和区域变化的类别上取得了特别显著的提升。在纺织品(+1.6%)和剪纸(+1.4%)上的改进较为温和,这些类别可能具有更统一的视觉特征。这些结果表明,领域自适应学习对于具有显著领域多样性的类别提供了更大的好处。图4使用t-SNE降维可视化了学习到的特征,将DAPN与ICH-Benchmark上的原型网络进行了比较。DAPN产生了更紧凑且分离得更好的类别簇,领域不变的原型(红星)位于类别中心更近的位置。可视化结果证实,我们的方法学习了更具区分性的表示,能够更好地泛化不同的领域变化。

4.11. 实际部署分析
实际部署需要准确率估计以及延迟、内存和能源成本。表13报告了默认的ResNet-12模型和两种较轻的骨干模型的这些指标。完整的DAPN模型仍然最准确,但其优势伴随着更高的延迟和能源消耗。MobileNetV3编码器将每次任务的能源消耗减少了近4倍,并将Jetson级别的延迟降低到41.2毫秒,代价是1次采样准确率下降了2.19个百分点。这种权衡对于小型机构使用的现场文档设备是可以接受的,而较大的档案馆可能更倾向于使用ResNet-12配置进行批量数字化。类似的延迟-准确率权衡最近在轻量级检查系统和自适应特征选择管道[46]、[47]中也被强调。
GNN的开销适中,因为它随类别数量而非国家档案的大小而扩展。因此,在国家规模的部署中,实际流程是两阶段的:一个粗略的检索阶段将候选集缩小到20-40个类别,然后DAPN对该子集进行少量采样重新排名。在这种设计下,添加新发现的艺术品类别只需要新的支持原型和局部图边;它不需要重新训练整个模型。我们还将工作流程集成视为一个可审计性问题。类似于[48]中提到的集成分析工作流程的模块化、可检查的流程,比不透明的独立分类器更可取,当文化机构需要证明策展决策时尤其如此。

4.12. 表12和图3展示了ICH-Benchmark上每个类别的性能。DAPN在所有艺术品类别上都显示出一致的改进,特别是在陶瓷(+2.8%)和金属制品(+2.5%)等具有较大材料和区域变化的类别上取得了显著的提升。在纺织品(+1.6%)和剪纸(+1.4%)上的改进较为温和,这些类别可能具有更统一的视觉特征。这些结果表明,领域自适应学习对于具有显著领域多样性的类别提供了更大的好处。图4使用t-SNE降维可视化了ICH-Benchmark上学习到的特征,将DAPN与原型网络进行了比较。DAPN产生了更紧凑且分离得更好的类别簇,领域不变的原型(红星)位于类别中心更近的位置。可视化结果证实,我们的方法学习了更具区分性的表示,能够更好地泛化不同的领域变化。

图5展示了按类别和领域组织的ICH代表性艺术品,说明了数据集的多样性。网格显示了来自五个材料类别(陶瓷、金属制品、纸张、纺织品、木材)的样本艺术品,跨越四个地理区域(北部、南部、东部、西部),展示了传统少量采样学习方法所面临的显著领域变化。这种多样性突显了需要像DAPN这样的领域自适应方法,该方法学会关注领域不变特征(艺术风格、语义内容),同时忽略可能误导分类的领域特定变化(背景、区域风格、材料特定特征)。

图6提供了ICH-Benchmark上样本查询图像预测的视觉比较,将DAPN与原型网络进行了对比。在示例2(纺织品)中,原型网络由于混淆了领域特定特征(背景纹理)而错误地将查询分类为“剪纸”,而DAPN通过关注领域不变的模式结构正确地将其识别为“纺织品”。同样,在示例4(金属制品)中,原型网络由于材料与陶瓷的相似性而错误分类,而DAPN通过利用解耦的领域不变特征正确地区分了金属制品。这些示例来自保留的评估案例,而不是示意图。这些定性结果与表2中报告的定量改进一致,表明领域自适应学习能够实现更准确的分类,特别是对于具有显著领域变化的艺术品。

图5展示了按类别和领域组织的ICH代表性艺术品。网格展示了五个材料类别(行)和四个地理区域(列)中的艺术品多样性,说明了ICH-Benchmark数据集中的显著领域变化,这需要领域自适应方法。在文化遗产的背景下,什么是领域不变特征和领域特定特征是由文化构建的,并可能受到领域专家的争议。我们的操作定义——在数据集中的四个区域域中保持一致的特征——是有实证依据的,但不应被解释为对文化文物做出普遍性的声明。我们鼓励未来的工作与文化遗产专家密切合作,以开发更细致的特征描述。

伦理考虑。文化遗产的算法分类引发了重要的伦理问题。首先,谁来定义类别很重要:我们的分类法是与合作伙伴机构共同开发的,但可能无法反映所有的文化观点。我们将某些区域风格视为独立领域,这可能会简化丰富的文化传统。其次,在文化遗产背景下,误分类的风险不容忽视——错误地分类一件文物可能会延续误解或造成文化冒犯。我们建议采用人工参与的方式,即对有信度的预测进行标记,并将不确定的案例提交给领域专家。第三,如果训练数据过度代表某些地区或文物类型,就有可能放大偏见。我们的数据集分析(第4.1.1节)显示了大致平衡的领域分布,但实践者在部署之前应审核分类系统是否存在系统性偏见。我们还增加了两个治理保障措施:敏感文物通过基于信度的弃权和策展人审查来处理;对于来源存在争议的物品,我们赋予它们一个不确定性标签,而不是强制性的领域标签。元数据的访问应遵循与合作伙伴机构协商的访问限制,并且审计日志应记录人工专家何时覆盖了模型预测的结果。

实际影响。通过使用少量标记示例实现少样本分类,DAPN减轻了数字化项目的注释负担。其领域适应性使得知识能够在不同文化背景下转移,支持协作保护。特征解耦还提供了可解释性——可视化哪些方面区分了不同类别可以帮助策展人理解分类决策。同时,DAPN并不是一个经过对抗性训练的系统。相关研究显示,在本地化任务中,可转移攻击可以跨越模型边界[49],因此机构应在部署时结合输入筛选、置信度校准和定期红队评估。一个有前景的未来方向是从多个“教师”中提取稳定的图关系,而不仅仅是一个单一的情节图[50]。

6. 结论

本文提出了领域自适应原型网络(DAPN),这是一个用于少样本ICH文物图像分类的元学习框架,解决了领域变化下的原型污染问题。DAPN通过显式的特征解耦和对抗性训练学习领域感知的表示,然后仅从不变分支计算原型,再应用稀疏图细化。这种设计提高了跨领域的少样本识别能力,同时清晰地说明了哪些线索旨在在不同地区和材料中保持稳定。

我们的理论贡献是谨慎的:我们使用领域适应理论来解释何时应该使用不变原型构建来帮助解决问题,而不是声称有形式上的证明能够得到普遍更紧的界限。在ICH-Benchmark、mini-ImageNet和tiered-ImageNet上的实验显示,与强大的基线相比,DAPN取得了持续的改进,附加的分析阐明了这些改进如何依赖于捕获条件、支持集大小、主干网络选择和部署预算。

实际影响扩展到了文化遗产保护领域,其中少样本分类可以加速数字化过程,同时保持专家的监督。未来的工作应该研究连续的领域变化、多模态证据、对抗性鲁棒性,以及与下游跟踪或检索系统的更紧密集成,包括受近期视觉对象跟踪实践启发的跟踪器流程。更广泛的教训是,当支持和查询图像是在物质条件截然不同的情况下收集时,基于原型的少样本学习可以从明确建模领域变化中受益。

CRediT作者贡献声明

Nie Yan:撰写——原始草稿、方法论、数据策划、概念化。
Xu Guanghao:撰写——原始草稿、验证、方法论、调查。
Qiu Jing:撰写——审阅与编辑、监督、资源管理、方法论、数据策划、概念化。
Wang Yunqian:撰写——审阅与编辑、验证、方法论、数据策划、概念化。

关于写作过程中生成式AI和AI辅助技术的声明

在准备这项工作时,作者使用了ChatGPT(OpenAI)来帮助提高手稿草稿的语言清晰度和语法。使用该工具/服务后,作者根据需要审查和编辑了内容,并对出版物的内容负全责。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号