交叉注意力中的广义上下文：用于不相交表格数据的迁移学习

《Neural Networks》：Generalized Context in Cross Attention for Transfer Learning of Disjoint Tabular Data

　　

与图像和文本不同，由于不同领域间特征类型、结构和语义的异质性，表格数据上的迁移学习具有挑战性。现有方法假设数据表之间共享特征以实现领域间的知识迁移，但这在实践中并不现实。本文引入广义上下文学习以消除跨领域共享特征的需求。由Transformer投影权重（key、value和query）捕获的广义上下文提供了基于规则的泛化能力，而非传统上从Transformer激活中学习的领域特定上下文。来自源领域的key投影权重与目标领域的query权重交互，以数据无关的方式实现跨域注意力迁移学习（Cross-domain Attention Transfer Learning, CATTLE）。研究团队在十对不相交的源-目标数据集上的实验表明，CATTLE能够从单一源数据集学习广义上下文，并且在排名和统计上均优于九种最先进的基线方法，包括机器学习、深度学习以及使用大规模预训练模型的迁移学习方法。CATTLE取得了最佳平均排名（2.9），相比基线方法平均AUROC提升了3.7%。CATTLE源代码可在以下网址获取。

一、研究背景与问题

表格数据在金融、医疗、制造等现实应用中无处不在。与图像和文本数据不同，表格数据由异构特征空间组成，包含数值型、类别型、有序型和文本型等多种数据类型，且来自不同领域的数据表之间通常具有不重叠的特征空间。例如，银行交易记录与电子健康档案之间不存在合理的共享特征。现有迁移学习方法通常假设源域和目标域之间存在特征重叠，通过对齐共享嵌入或特征分布来实现知识迁移，但这一假设在现实跨域场景中往往不成立。此外，传统机器学习方法在表格数据上仍然具有竞争力，而深度学习方法虽然具备表示学习、增量学习和迁移学习等优势，却鲜有能在不共享特征的情况下实现跨域迁移的有效方案。因此，如何在特征空间完全不相交的表格数据集之间实现有效的知识迁移，是当前面临的关键挑战。

二、研究内容与结论

针对上述问题，研究团队提出了一种新颖的广义上下文学习方法，即跨域注意力迁移学习（Cross-domain Attention Transfer Learning, CATTLE）框架。该方法的核心理念在于：传统方法依赖Transformer激活值（即key、value和query表示）来学习领域特定的上下文，而CATTLE利用Transformer投影权重矩阵来获取数据无关的广义上下文。投影权重编码了关于如何从表格数据进行投影和学习的基于规则的泛化知识，而非特定领域的内容知识。研究发现，仅使用单一源数据集进行自监督预训练即可获得足够的广义上下文，无需大规模多领域数据集。在十个不相交源-目标数据集对上的实验验证表明，CATTLE在AUROC和准确率方面均取得了最优的平均排名（分别为2.9和2.4），相比九种基线方法平均AUROC提升3.7%，经Wilcoxon符号秩检验证实其改进具有统计显著性。

三、主要技术方法

研究团队采用了以下关键技术方法：

1. 门控特征标记化Transformer（Gated Feature-Tokenized Transformer, gFTT）作为基础架构，将每个特征视为一个标记（token）进行注意力计算。

2. 自监督预训练策略：以35%的掩蔽率随机掩蔽数据值，通过重建掩蔽条目学习特征间依赖关系。数值特征采用均方误差重建损失，类别特征采用余弦相似度重建损失，并分别归一化以平衡两类特征的贡献。

3. 跨注意力权重迁移机制：将预训练gFTT最高层中与key和value相关的投影权重（W_s^k和W_s^v）作为冻结的广义上下文基础，置于下游gFTT的最低两层，同时利用目标数据更新query投影权重（W_t^q），通过源key投影与目标query投影之间的缩放点积实现数据无关的跨域注意力。

4. BERT编码器用于获取类别特征名称和类别值的语义嵌入，数值特征嵌入则由特征名称嵌入乘以数值得到。

5. 数据集来源为OpenML仓库，共选取14个来自健康、金融、制造、软件测试和工业设计等不同应用领域的数据集，构成9个源数据集和5个目标数据集，形成10对特征空间完全不相交的源-目标数据对。每个数据集按70:10:20划分为训练、验证和测试集，使用10个随机种子重复采样10次，超参数通过Optuna进行优化。

四、研究结果

1. 模型训练与选择：自监督预训练需要1000轮训练才能收敛，而有监督预训练仅需150轮。这是因为自监督学习通过重建掩蔽值提供较弱的训练信号，而有监督学习使用明确标签可更快收敛。下游微调阶段统一使用150轮训练。

2. 比较模型性能：基于AUROC和ACC两种指标对模型进行排名。结果显示，CATTLE（自监督预训练）在两种指标下均取得最佳平均排名（AUROC：2.9±2.4，ACC：2.4±1.5），综合排名第一。传统机器学习方法（如XGBoost和逻辑回归）在AUROC上的表现优于大多数深度学习方法，但仍不及CATTLE。在迁移学习基线中，TransTab在ACC上表现最优，XTab和CM2在AUROC上较好，但均被CATTLE超越。

3. 统计检验的胜率矩阵：通过Wilcoxon符号秩检验（显著性水平α<0.05）对成对方法的AUROC进行统计比较。结果表明，CATTLE（自监督预训练）在所有统计显著的比较中均赢得对全部基线方法的胜利。例如，在四个统计显著的数据集对上，CATTLE以3:1战胜XGBoost；有监督CATTLE对MLP、TabNet和CM2分别赢得所有显著案例（2/2、7/7、2/2）。

4. 与大规模预训练模型的比较：CATTLE与TabPFNv2（预训练于1.3亿个合成数据集）和TARTE（使用维基百科文本数据预训练）进行比较。在多个数据集对上，自监督CATTLE优于TabPFNv2，且在大多数情况下超越TARTE。CATTLE仅需单一数据源即可与依赖大规模数据资源的预训练模型保持竞争力。

5. 消融实验：研究开展了四组消融实验。第一，注意力层选择实验表明，将源模型顶层权重转移到下游模型底层（本文方法）在十个数据集对中的六个上取得最佳性能。第二，源数据集影响实验显示，不同源数据集导致的AUROC最大差异仅为0.018，表明源数据领域特定上下文的影响可忽略不计，验证了广义上下文的有效性。第三，权重迁移机制实验表明，随机选择权重（random-weights）、训练权重（trained-weights）和直接微调（direct finetune）三种变体均不如提出的冻结关键值投影权重迁移方案，CATTLE在十个组合中的七个上取得最高性能。第四，编码策略消融实验显示，使用预训练BERT编码器（利用特征名称和类别值的语义信息）显著优于匿名化变体和Word2Vec风格的可训练嵌入，在所有十对数据集上AUROC均有大幅提升。

五、讨论与结论

讨论部分总结了四点核心发现：第一，通过Transformer权重而非key、value和query表示实现跨注意力，在跨域迁移学习中取得了最先进的性能；第二，Transformer权重级别的跨注意力产生独立于源域上下文和表示的广义上下文；第三，单一数据源即可提供数据无关的广义上下文，无需大量跨领域数据集；第四，使用未标记源数据的自监督预训练优于有监督预训练。在传统迁移学习与所提方法的对比中，传统方法直接微调在不相交数据集上会导致跨域知识冲突，而CATTLE通过向新模型迁移注意力层权重而非微调预训练模型，以及使用Transformer权重代替key和value表示来实现跨域注意力，有效降低了知识冲突。关于单源与多源预训练的选择，研究指出由于表格数据不像图像和文本那样存在跨域的共享模式，使用大量跨域不相交数据训练可能损害知识完整性，这解释了为何在2000个表格数据集上预训练的CM2性能反而不如使用单一或较少数据集的基线方法。针对小样本表格数据，CATTLE在样本量最小（540）且特征维度最高（39）的Cylinder Bands数据集上超越XGBoost，为少样本表格数据学习提供了有效方案。局限性方面，注意力层选择基于深层知识分布的既有认知，尚缺乏理论支撑，需要更系统的层选择方法以及深入理解多头注意力层中的知识分布。

本文结论为：文章提出了一种新颖的跨域注意力方法，解决了异构表格数据迁移学习所需的归纳偏置问题。基于Transformer权重级别而非key和value表示的注意力机制产生数据无关的广义上下文，这是跨域迁移学习所必需的。单一源数据集即可为不同领域的下游任务学习广义上下文。所提出的迁移学习广义上下文方法在表格数据的分类和迁移学习任务上优于最先进的方法，以及在大规模表格数据集上预训练的模型。

作者贡献声明：Kazi F. Akhter：撰写-审阅与编辑、撰写-初稿、可视化、验证、软件、方法论、经费获取、数据整理。Ibna Kowsar：撰写-审阅与编辑、验证、方法论、正式分析。Manar D. Samad：撰写-审阅与编辑、监督、软件、资源、项目管理、方法论、经费获取、正式分析、概念化。