MTMT：多任务提升建模的分层处理效应分解方法

《Neurocomputing》：MTMT: Tiered treatment effect decomposition for multi-task uplift modeling

　　摘要：提升模型旨在估算营销干预措施（如游戏奖励）对用户行为的个体层面因果效应，比如用户是否会玩游戏，从而提升业务绩效。然而，现有的大多数提升方法都是为单一处理、单一任务场景设计的，要么将多种处理视为等同，并用共享表示来建模其效应，要么忽略处理特征与用户特征之间的交互作用。在现实的多处理、多任务场景中，处理组与控制组之间的差异可能远大于不同处理之间的差异，且不同任务对处理的反应也各不相同，这些假设就会带来问题。本文提出了一种多处理多任务提升网络，专门针对这种场景设计。我们将多处理提升问题构建为一个具有分层响应的因果推断问题，将处理效应分解为基础效应（来自任何处理）和增量效应（来自特定类型处理），其中基础效应在数值上通常要大得多。MTMT通过共享的用户表示和处理感知型交互作用，同时建模多个任务和处理，从而能够分别为每个任务估计基础效应和增量效应。在公共离线数据集和大规模私有数据集上的实验表明，MTMT在单/多处理以及单/多任务场景中的表现始终优于强大的基准方法。MTMT已在我们的大型在线游戏平台中得到应用，提升了用户体验。

1. 引言
为了提供更好的个性化体验并提高用户参与度，在线营销平台通常会提供各种激励措施，如广告[20]、折扣[8]和奖励[1]。尽管这些激励措施对于创造额外收入和活跃度至关重要，但它们往往成本高昂，而且不同用户对不同激励的反应也各不相同。例如，有些用户没有奖励就不会玩下一款游戏，而另一些用户则无论如何都会继续游戏。因此，准确建模个体用户的反应，并识别那些可能因激励而受到积极影响的用户群体，对于提升营销效果至关重要[37]。

衡量反应的一个基本挑战是反事实问题的存在，即一个个体要么接受处理（处理组），要么不接受处理（控制组）。因此，在同一情境下，我们无法同时观察到用户对某种激励的反应或无激励时的反应。这类问题可称为因果推断[38]。为了解决这一问题，提出了提升模型[10]，用于估算个体处理效应（ITE），也就是描述个体用户对激励反应程度的指标[40]。

目前的提升模型框架主要致力于直接建模处理组和控制组的响应函数，以推断反事实预测值。其中，基于元学习者的方法利用现有模型来估算个性化处理的个体处理效应。例如，S-learner[16]先估算处理组和控制组的条件平均结果，然后通过相减计算ITE。在此基础上，又提出了其他包含额外操作的两步元学习器，包括X-Learner[16]、DR-Learner[14]、R-Learner[24]等。不过，这些方法容易受到处理组与控制组之间样本不平衡的影响。另一类方法是基于树的结构，根据特定的分割标准（如对处理的敏感度）将用户群体划分为子群体，并在每个叶节点上预测提升效果。一个著名的例子是因果森林[2]，它通过整合多棵树来估算异质性的处理效应。随着深度学习的进步，许多基于神经网络的模型被开发出来，这些模型从相关特征中学习嵌入向量，从而更灵活地预测提升效果。基于表示学习，这类模型要么分别预测处理组和控制组的处理效应[3]、[4]、[28]、[29]、[30]、[45]，要么直接从用户、上下文和处理特征中建模提升效果[12]、[13]、[19]。在本研究中，我们专注于基于神经网络的模型，并提出直接建模提升效果的方法。

虽然现有的提升模型在合成数据和基准产品数据集上表现良好，但当应用于真实的在线环境时，却存在两个关键缺陷。首先，现实场景中往往涉及可以分配给用户的多种处理方式，以及需要同时优化的多个业务目标（即多处理多任务场景）。相比之下，大多数现有的提升模型都是为单一处理和单一响应（单处理单任务）设计的，因此忽视了共同决定是否进行处理以及每项任务应使用何种处理的复杂结构。这种不匹配会导致处理效应的表示不完整，以及个体处理效应估算出现偏差。

有一些基于表示的方法开始着手解决提升模型中的多处理或多任务问题[12]、[19]、[31]、[32]，但它们要么隐含地假设不同的处理是“等同”的，可以通过处理组间的共享表示来建模，要么没有明确区分接受处理的基线效应与选择某一种处理而非另一种处理的增量效应。我们将在第2节详细讨论这些研究。

在许多在线营销和激励系统中，这种假设存在问题。从实证来看，我们发现控制组与处理组之间的反应差异（即提供任何处理时的基线效应）通常远远大于不同处理之间的反应差异（即选择特定处理时的增量效应）。我们在图1中展示了这一点，该图显示了在我们的在线游戏服务器上，在基础处理决策（处理组与控制组对比）以及不同次要处理方式下的活动增长率。由于过去的活动情况会显著影响未来的活动水平，因此增长率还按用户的历史活动情况进行了分层。在各个层次中，控制组与处理组之间的差距明显大于不同处理类型之间的差异。因此，如果不明确建模这种分层结构，而简单地将所有处理方式结合起来，估算每组的单一提升效果，可能会导致统计效率低下且提升效果估算不理想。

下载：下载高分辨率图片（396KB）
下载：下载全尺寸图片
图1. 我们在线游戏服务器上基于基础处理及多处理方式的不同活动增长率。由于过去的活动情况会对未来活动产生重大影响，因此增长率是按照用户的历史活动情况分别展示的。

其次，现有的模型通常会利用用户特征和上下文特征，但要么忽略处理因素，要么只是浅层地将其纳入模型——通常是通过对单独编码的处理特征和用户特征进行拼接或加权相加的方式[12]、[13]、[19]、[37]。这忽视了处理方式与用户画像之间的任务特定交互作用，而在多处理场景中，这种交互作用至关重要：例如，活跃度较低的用户对更高价值的奖励更为敏感，而活跃度较高的用户则可能无论奖励类型如何都会继续游戏。

为了解决上述缺陷，我们提出了一种多处理多任务提升建模框架，该框架直接建模用户与处理方式之间的交互作用。我们采用分而治之的方法，将多处理分为两个层次：基础处理决定了用户是否接受处理，而次要处理则决定了具体的处理类型和数量。例如，首先必须决定是否给予用户游戏奖励（我们称之为处理决策），然后再决定给予哪种奖励（我们称之为处理选择）。之后，我们分别估算处理组的基线提升效果，以及特定处理在基线提升效果之上的增量提升效果。MTMT通过基于多门控专家混合模型的表示网络对用户特征进行编码，生成的嵌入向量被用来计算每项任务的自然响应。同时，处理编码器被用来独立编码基础处理及其后续的次要处理信息。接着，一个用户-处理交互模块明确建模处理方式如何影响每个用户特征。这些综合信息经过进一步优化后，被用来预测不同处理组的表现。这种方法能够更准确、更细致地估算处理效应，有效应对多处理和多任务场景的复杂性。总之，我们的贡献如下：
• 背景：我们旨在准确建模具有多种潜在处理方式和多种目标响应的提升效果。据我们所知，这是首个在不假设处理方式或任务特性的情况下进行多处理多任务提升建模的研究。
• 方法：我们提出了一种提升模型，该模型将标准的交叉注意力机制适配到提升建模场景中，并在处理效应的分层基线/增量分解结构中系统地应用这一机制：两条平行的交叉注意力路径——分别以基础处理标识和次要处理标识作为关键——输入到两个结构不同的模块中，用于估算基线提升效果和增量提升效果。通过分别估算基线提升效果以及不同处理之间的提升差异，该模型能够考虑处理之间最小的提升差异，从而以端到端的方式准确估算不同处理和任务对应的提升效果。
• 评估：我们使用公共数据集以及包含多种任务和处理方式的大规模产品数据集，证明了所提模型的有效性。实验结果表明，MTMT的表现显著优于其他竞争模型。MTMT模型已在我们的大型在线游戏平台中投入使用，服务着数百万用户。

2. 相关工作
2.1 提升建模
提升建模旨在通过测量相应的个体化处理效应（ITE），量化应用或不应用某些处理方式时用户行为的变化。现有的提升研究主要集中在三种场景中。
单处理单任务。大多数传统的提升方法假设存在一个二元处理方式和一个单一结果。基于元学习者的方法[14]、[16]、[24]整合现有的预测模型来估算ITE，而基于树的方法[2]、[33]则通过递归划分人群并在叶节点处估算ITE。随着深度学习的兴起，神经网络提升模型要么直接从学习到的表示中预测提升效果[13]，要么分别估算自然响应和处理后的响应，再通过相减得到提升效果[4]、[10]、[28]、[29]、[30]、[45]。除了二元处理方式，近期在因果表示学习领域的研究还探讨了具有连续处理方式的异质性剂量-反应曲线，例如用于剂量-反应估算的对比平衡表示方法[48]，以及在存在选择偏差和未观察到的混杂因素情况下基于最优传输的CATE估算方法[35]。这些方法侧重于为单一结果准确估算处理效应，但并未明确考虑多任务目标或我们所研究的分层基线/增量结构。
单处理多任务。在许多在线应用中，用户行为呈现出序列性特征，处理方式的效果可能会在不同任务之间传递。Huang等人[12]通过设计一个具有共享参数的双分支编码器，对两个连锁任务（点击率与转化率）进行建模，并预测每个任务的提升效果。最近，整体链提升建模方法（ECUP）[12]将这一理念扩展到整个行为链，提出了一个增强上下文信息的框架，用以减轻链式偏差并更好地利用处理特征。这些研究强调了沿着行为漏斗进行多任务提升的重要性，但仍然一次只考虑一个处理方式。
多处理单任务。另一类研究则考虑多种离散的处理方式，但仅有一个结果。Zhao等人[44]、[46]将元学习者扩展到多处理场景，而基于树的提升方法也被改造用于处理多种处理方式[42]、[43]。诸如[23]、[31]、[32]这样的神经网络方法则使用独立的模块来分别估算每种处理方式下的响应以及控制组的响应。Liu等人[19]更进一步，通过明确编码处理特征和用户特征，并使用共享模块来预测每种处理方式的提升效果。在推荐系统领域也有与之密切相关的研究，这些研究将激励分配问题视为一个最优处理方案问题[18]，或将因果学习与以决策为导向的营销优化相结合[47]。然而，这些方法仍然是在单任务场景下构建的，没有将处理效应分解为基线效应（处理组与控制组的差异）以及多种处理和任务中的增量效应。

与上述方法不同，本文考虑的是多处理多任务提升场景，即需要同时优化多种处理方式和多个业务目标。我们的MTMT框架将处理效应分层分解为基线效应（是否进行处理）和增量效应（使用哪种处理方式），并结合基于注意力的用户-处理交互模块以及多任务架构，据我们所知，之前的提升研究尚未系统地探索过这种架构。

2.2 多任务学习
多任务学习已在不同领域得到广泛应用。在在线业务中，多个目标（如短期用户参与度、长期用户留存率等）常常会影响营销策略。为每个目标单独训练模型不仅会浪费样本资源且成本高昂，还会忽略任务之间共享的有用信息[27]、[39]。因此，深度多任务学习方法会在任务之间共享参数，以此利用归纳迁移效应。硬参数共享[9]将所有任务编码为共享表示，再通过任务特定的头部进行处理，而软参数共享[6]则使用独立的分支，并通过加权求和或注意力机制实现分支间的信息交换。专家混合架构[22]更进一步，通过学习多个专家和门控网络，自适应地将输入路由到适合各任务的专家处。近期，多任务学习也被应用于因果推荐和去偏见预测领域。全空间反事实学习[34]通过联合建模曝光信号和点击信号来估算可靠的点击后转化率。在推荐系统中消除隐藏的混杂因素[17]提出了一种统一的多任务框架，利用少量无偏样本来纠正推荐中的偏见。在提升效应和因果多任务场景中，ECUP[12]模型化了给定处理方式下整个行为链上的提升效应，此外还有基于对抗学习的因果多任务框架被提出用于校正点击后转化率估算中的偏见[41]。这些方法都展现了多任务因果学习的优势，但要么专注于校正标准推荐目标中的偏见，要么一次只考虑一种处理方式。我们的工作在两个关键方面不同于这些研究：首先，我们明确地在单一框架内同时建模多种处理方式和多种任务，而非孤立地处理它们；其次，我们整合了多门控专家混合（MMOE）骨干结构与分层处理效应分解方法，从而能够在统一的提升效应建模框架中捕捉细致的处理方式差异。

3. 问题定义
假设观测数据由以下形式给出：其中表示第个个体的维度用户特征，是基础处理指示器，用于说明该用户是否获得任何激励（控制组为，处理组为）；表示当时分配的具体次要处理类型（例如不同的奖励种类）；收集了项任务的结果（如短期和长期活动），则是样本数量。处理方式具有排他性，即对于每个个体和决策周期，最多只能有一种次要处理处于活跃状态：当时不提供任何激励，而当时恰好选择了一种处理方式。作为特例，对应于传统的单处理单任务场景，对应于多处理单任务提升效应场景，而对应于单处理多任务提升效应场景。为确保能够识别基础个性化处理效应和增量个性化处理效应，我们采用了因果推断中的标准条件[29]、[36]。遵循Neyman–Rubin潜在结果框架[26]，每个用户和每项任务都对应着一组潜在结果。我们将决策过程分为两个概念阶段：在基础阶段，平台决定是否进行干预；在增量阶段，在决定干预的基础上，选择具体的处理类型。形式上，让表示在没有处理措施时的用户在任务上的潜在结果（即控制组情况），而让表示用户接受次要处理时的潜在结果。为连接这两个阶段，我们引入作为通用“处理中”状态下的潜在结果，它作为所有具体次要处理的共同参考点。直观而言，反映了将用户从控制组转移到基准处理状态后的效应，而差值则反映了选择某种特定处理而非该基准处理所带来的额外效应。由于因果推断的基本限制，对于每一个，我们只能观察到这些潜在结果中的一个，即根据实际处理分配情况确定的。在无混杂性（给定时处理分配与潜在结果相互独立）、重叠性以及稳定单元处理值假设（SUTVA）等标准假设下，这些潜在结果的条件期望值可以从观测数据中识别出来。我们的目标并非直接基于未被观测到的反事实情况训练模型，而是估算驱动个性化决策的预期处理效应差异。让表示任务和用户的基础提升效应，即量化了将用户从控制组转移到通用处理状态后在任务上所能获得的预期收益。类似地，让表示在第二阶段选择某种处理方式所带来的增量提升效应，其定义为，用于衡量相对于通用处理状态而言，分配某种次要处理所带来的预期边际效应。将这两部分结合起来，用户在任务上接受某种处理而非控制组的整体个性化处理效应为：(1)其中是示性函数，是给用户在任务上分配某种处理后的整体提升得分，而则表示该用户是否属于处理组。基础提升项反映了提供任何处理与不提供处理之间的效应差异，而增量提升项则反映了在基础效应之上选择某种特定处理所带来的额外收益（或成本）。这种分层分解方式清晰地反映了“是否处理”以及“选择哪种处理”这两个阶段的决策问题，且适用于多项任务。

4. 方法论
4.1 架构
MTMT框架如图2所示。对于一个样本，MTMT由以下四个部分组成，具体内容将在后续小节中阐述：（i）任务导向的用户特征编码器，用于生成每项任务的表示以及自然响应头部（4.2节）；（ii）分别用于编码基础处理和次要处理的编码器，生成嵌入向量（4.2节）；（iii）两个并行的用户-处理交互模块，通过将每种处理嵌入映射到用户表示上来计算具有处理意识的用户特征（4.3节）；（iv）两个增强与投影头部，分别用于估算基础提升效应和增量提升效应（4.3节用户-处理特征交互、4.4节多处理多任务提升效应估算、4.5节训练与推理）。下载：下载高分辨率图像（459KB）下载：下载完整尺寸图像图2. 所提出的多处理多任务（MTMT）框架示意图。为便于理解，此处仅展示两项任务的网络结构。

4.2 任务导向的特征编码器
我们采用多门控专家混合（MMOE）[22]作为用户特征编码器。我们并不认为MMOE本身是一种新组件，而是要说明为何这种架构适合我们的多任务提升效应分析场景。在实际应用中，这两项任务（短期活动的次日登录与长期活动的7天游戏游玩）在时间范围、标签噪声以及具有预测意义的用户特征子集方面存在差异：短期登录更受即时激励的影响，而长期游戏则更多取决于习惯和内容适配性。硬参数共享要求两种场景使用相同的表示方式，而按任务划分的编码器则会忽略跨任务的结构关系，而这种结构关系有助于让短期信号对长期处理头部起到约束作用。MMOE则提供了一种折中方案——它拥有一个共享的专家池，并通过任务特定的门控机制，让每项任务能够从同一共享表示中提取不同的专家组合。我们在5.5节提供了对该归纳先验的直接实证验证，通过可视化训练后的MTMT模型的门控行为，证明了这两项任务确实会指向大致不相交的专家子集。为明确建模任务间的关联并学习任务特定的表示，我们同样采用多门控专家混合（MMOE）[22]作为用户特征编码器。专家混合是一种集成学习方法，通过整合多个专家模型（如普通CNN）来学习共享表示，并利用这些模型的综合预测提升精度[7]。在此基础上，MMOE还引入了额外的门控网络，用于从每项任务的共享表示中筛选有用信息。为得到任务对应的编码表示，公式为：(2)其中是第个专家网络，共有个专家，而则是第项任务对应的门控网络。我们在实践中选择ResNet18[11]作为每个专家的骨干网络。需要注意的是，来自各个专家的嵌入向量会被堆叠起来，然后通过相应的门控网络进行过滤，从而生成该项任务的表示。门控网络可以是输入数据的简单线性投影，并附加一定的激活函数：(3)其中是可训练权重，是专家数量，是特征维度。每项任务的表示仅包含与处理无关的信息，因此可通过线性投影头部来估算控制组的自然响应：(4)由于大多数处理方式都是二值或离散的，我们首先分别对基础处理和次要处理进行独热编码，然后将得到的稀疏向量与对应的可学习密集矩阵相乘，从而生成嵌入向量：(5)其中是嵌入维度，是可能的处理方式数量。需要指出的是，用户特征编码器和处理特征编码器都可以替换为其他具有适当维度的特征表示学习网络。例如，可以使用单个ResNet18来进行用户特征提取，从而使多任务多处理（MTMT）模型适用于单任务场景。该设计的灵活性使得它能够轻松地应用于各种不同的问题场景。

4.3 用户-处理特征交互
为充分利用处理特征并建模它们与用户特征之间的关系，我们基于共注意力机制[25]提出了用户-处理特征交互模块。其结构如图3所示。该运算符本身（即下方的方程式(6)）是一种标准的缩放点积交叉注意力机制，我们并未声称这是一种新的注意力机制，而是将其视为交叉注意力在提升效应建模场景中的具体应用。它在MTMT中的作用体现在分层提升效应框架内的实现方式上：同一个运算符会被并行应用两次，一次以基础处理嵌入作为查询，另一次以次要处理嵌入作为查询，两次运算的输出分别进入两条结构不同的增强与投影路径，进而生成基础提升效应和增量提升效应（见方程式(7)和图2）。据我们所知，此前的多处理提升效应研究[12]、[13]、[19]、[37]要么通过拼接或加权求和的方式结合处理特征和用户特征，要么使用单一的共享交互模块，未能区分“是否处理”和“选择哪种处理”这两种信号。我们选择以处理嵌入作为查询，以用户特征作为键和值，这是出于提升模型可解释性的刻意设计。在这种配置下，注意力机制旨在回答这样一个问题：“对于这种特定的处理方式，用户的哪些特征对于确定其效果最为重要？”下载：下载高分辨率图像（100KB）下载：下载完整尺寸图像图3. 所提出的用户-处理特征交互模块。我们将处理嵌入视为查询，将用户特征嵌入视为键和值。随后，我们计算每种处理方式对每个用户特征的关注程度，再利用这些关注度得分来生成具有处理意识的嵌入向量：(6)其中线性投影处理嵌入和，线性投影用户特征嵌入。是缩放因子。最终得到的输出是用户的新表示，会根据所考虑的具体处理方式重新加权，从而突出与该处理方式最相关的用户特征。接着，我们会通过两条独立的增强与投影路径来处理这些具有处理意识的特征，以此分离出基础效应和增量效应。需要强调的是，所有处理类型对应的这些路径在架构上是统一的。具体而言，有两个不同的多层感知器（MLP）充当特征增强器，一个用于计算基础提升效应，另一个用于计算增量提升效应。经过处理的优化嵌入向量会被进一步投影，用以估算该处理方式的基础提升得分和增量提升得分：(7)其中和是投影矩阵。可扩展性分析。在多处理建模中，一个关键问题在于当次要处理方式的数量（）变得很大时（比如数百种或数千种），架构的可扩展性如何。那些依赖多分支架构的方法——即为每种离散处理方式单独训练一个输出头部——会面临参数爆炸和训练成本过高的问题。相比之下，MTMT框架通过利用方程式(5)中定义的处理嵌入来预测统一的增量效应，从而解决了这一问题。通过将具有处理意识的特征输入到共享的投影矩阵中，我们的模型将神经网络的复杂度与处理方式的数量解耦开来。唯一会随着线性增长的组件是嵌入查找表，与密集层相比，它的内存占用可以忽略不计。这样的设计使得MTMT能够在无需结构改动或大幅增加计算成本的情况下，高效地处理涉及大量处理方式的场景。

4.4 多处理多任务提升效应估算
已知自然响应、基础提升得分以及增量提升得分后，我们可以通过以下公式估算用户的响应：(8)其中表示用户对某种处理方式的行为反应，而则表示在基础提升效应之上，该特定处理方式所带来的增量效应。直观来说，只有当用户属于处理组时，这一效应才会生效。在处理信息未知的在线应用场景中，我们可以枚举所有可能的处理方式组合，然后对得到的基础提升效应和增量提升效应进行排序。

4.5 训练与推理
基于方程式(8)中的分解式预测模型，我们通过让模型拟合所有任务和所有样本的观测结果来训练MTMT。对于每个用户和任务，用表示模型在给定处理分配下对观测结果的预测。具体而言，其中是自然响应（控制组预测值），是任务的基础提升量预测值，是任务中次要处理的增量提升量预测值。我们使用均方误差损失来定义所有样本和所有任务的总体训练目标：(9)其中是任务数量，和分别表示控制组和处理组样本集（由和隐式定义），而则是均方误差损失。在实际应用中，所有样本都以统一方式处理：控制组用户的处理特征被设为零，因此他们的预测结果就变为自然响应，而处理组用户则还会得到非零的基础提升量和增量提升量。在推理阶段，我们无需预测完整的结果；而是直接使用方程(7)中定义的提升量组件。对于给定的用户和每个任务，我们首先计算每个可行处理的基础提升量，然后再计算增量提升量。这些得分随后会被排序，以支持两阶段的决策过程：(i)基础提升量决定是否提供任何处理；(ii)基础提升量和增量提升量的总和决定分配哪种具体的处理。这一选择需遵循业务约束——比如处理用户总数的限制——这些约束决定了应用于这些提升量得分的具体阈值。

5. 实验
我们进行了大量实验，以验证所提出的MTMT在单处理单任务、单处理多任务、多处理单任务以及多处理多任务场景下的有效性。主要关注以下问题：
•RQ1：所提出的MTMT在公共数据集和产品数据集上能否优于其他基线方法？
•RQ2：每种设计如何贡献于MTMT的整体性能？
•RQ3：模型产生的结果是否具有可解释性，并且与我们在线观察结果一致？

5.1. 实验设置
5.1.1. 数据集
•CRITEO[5]：CRITEO是一个用于在线广告的开源提升量建模数据集。该数据集通过整合各种增量测试的数据生成，其中包含一种特定类型的随机试验，即部分用户被随机排除在广告定向之外。我们包含了大约1400万个样本，每个样本有12个连续特征，以访问次数作为目标变量。
•产品数据集：我们使用了从我们的在线游戏平台随机收集的超过1000万个样本的产品数据集。这些数据集包含约700个离散和连续特征，用于描述用户的静态档案及近期游戏历史。为尽量减少混淆因素对提升量建模的影响，我们从随机对照试验中收集数据。在这些试验中，处理方式是随机分配的，每个用户都有非零的概率接受每种处理。在多任务场景中，我们使用两个二元标签：用户在接受或未接受处理后次日是否登录（短期活动），以及用户在接下来7天内是否玩更多游戏（长期活动）。在多处理场景中，我们将基础处理定义为“是否给予奖励”，次要处理定义为“奖励类型”（奖励类型A和奖励类型B），二者均为二元值。需要注意的是，在实际应用中，某些奖励类型仅对部分用户可用。因此，我们通过挑选能够获得所有类型奖励的用户，额外收集了一个多处理数据集。

5.1.2. 基线方法
为展示MTMT的性能，我们纳入了一组用于提升量建模的流行方法，包括：S-Learner [16]、T-Learner [16]、CFR [29]、DragonNet [30]、EUEN [13]、DESCN [45]、FlexTENet [4]、EFIN [19]以及M3TN [31]。对于多处理问题，我们采用了EFIN、M3TN以及HydraNet [32]。此外，我们还对S-Learner和T-Learner进行了扩展，使其能够处理多种处理方式。对于S-Learner，我们直接将多处理特征作为输入，并遍历所有可能的处理分配，以此计算相应的提升量得分。而对于T-Learner，我们则使用多个分支分别处理每种处理。

5.1.3. 评估指标
沿袭以往的研究，我们采用QINI曲线下面积、提升量曲线下面积以及前30%的提升量得分（LIFT@30）来评估不同模型的提升量排序能力。为便于更公平的比较，我们使用了标准化后的QINI和AUUC数值。

5.1.4. 实现细节
我们在NVIDIA A100硬件上使用Pytorch 2.1.2和Python 3.11来训练所有模型。优化器方面，我们采用了学习率为0.001的AdamW优化器[15]，并搭配余弦退火学习率调度器[21]。此外，批量大小设置为15,360，最大迭代次数定为50次。在MTMT的参数设置上，我们采用了不含分类器的标准ResNet作为用户特征编码器中的专家网络，并将专家数量设定为4个。

5.2. RQ1：性能比较
我们评估了所提出方法在单处理单任务场景下的表现，以及基线方法在单处理和多处理提升量估算方面的性能。相关结果分别呈现于表1和表2中。需要说明的是，在单处理场景下的MTMT中，我们仅使用方程(7)中的基础提升量来决定是否提供处理。

表1. MTMT单处理单任务版本及其对比方法在公共数据集和产品数据集上的整体性能。这里我们使用了产品数据集的两个目标变量，以及单一处理方式（即是否给予奖励）。最后一行为MTMT的多任务版本。表现最佳的基线方法以倾斜字体显示，最优方法则在各项指标下以粗体标出。
数据集 CRITEO 产品 - 短期活动 产品 - 长期活动
指标 QINI AUUC LIFT@30
QINI AUUC LIFT@30
QINI AUUC LIFT@30
S-Learner 0.0703 0.0283 0.0258 0.0420 0.0880 0.0057 50.13 10.010 10.0873
T-Learner 0.0706 0.0286 0.0271 0.0421 0.0890 0.0076 30.11 10.0083 70.0831
CFR 0.0715 0.0295 0.0278 0.0100 0.0182 0.0037 0.108 0.0211 0.0915
DragonNet 0.0183 0.0073 50.0121 0.0074 30.0156 0.0039 30.0812 0.0164 0.0792
EUEN 0.0730 0.0297 0.0279 0.0082 70.0262 0.0031 30.106 0.0113 0.0778
DESCN 0.0718 0.0289 0.0264 0.0351 0.0771 0.0043 80.0073 0.0110 0.0177
FlexTENet 0.0779 0.0322 0.0290 0.0321 0.0684 0.0026 80.111 0.0106 0.0796
EFIN 0.0725 0.0293 0.0215 0.0725 0.0293 0.0415 0.0340 0.0281 0.0554
M3TN 0.0395 0.0176 0.0205 0.0295 0.0416 0.0026 00.108 0.0204 0.0908
MTMT（单处理） 0.164 0.0593 0.0338 0.0886 0.155 0.0638 0.360 0.0579 0.110
MTMT（多任务） ––– 0.0586 0.118 0.0326 0.154 0.0218 0.111

表2. MTMT及其对比方法在多处理产品数据集上的整体性能。表现最佳的基线方法以倾斜字体显示，最优方法则在各项指标下以粗体标出。
处理类型 奖励A 奖励B
指标 QINI AUUC LIFT@30 QINI AUUC LIFT@30
S-Learner 0.0126 0.0236 0.0021 10.0077 10.0152 0.0010 5
T-Learner 0.0050 50.0087 80.0071 60.0037 40.0094 20.0014 1
HydraNet 0.0045 60.0084 40.0182 60.0061 16.0012 0.0089 5
EFIN 0.0142 0.0256 00.0076 60.0294 0513 0.0334 5
M3TN 0.0162 0.0281 00.0025 90.0010 70.0064 00.0175 5
MTMT（多处理） 0.0324 0.0653 00.0344 0.0291 0.0782 0.0491 5

在表1中，我们基于产品数据集的两种任务——短期活动和长期活动——测试了所有模型。同时我们也展示了MTMT的多任务版本在这两项任务上的表现。从表格可以看出，MTMT在CRITEO数据集上的QINI值为0.164，而在该数据集上表现最佳的基线方法是FlexTENet，其QINI值为0.0779。在产品数据集上，MTMT在两项任务上依然优于其他基线方法。在多任务场景下，MTMT的性能略有下降，但其整体表现仍远好于各基线方法。为进一步验证MTMT在多处理场景下的性能，我们在表2中展示了相关结果。我们分别针对奖励A和奖励B这两种处理类型计算了各项指标。从表格可知，在基线方法中，M3TN在奖励A上的表现最佳，EFIN在奖励B上表现最优，而MTMT在这两种处理类型上的表现都优于所有对比方法。

5.3. RQ2：消融研究
我们通过消融研究来验证MTMT关键设计的有效性。具体而言，针对模型架构，我们移除了用户-处理特征增强模块，用矩阵乘法替代了用户-处理特征交互模块。此外，我们还尝试使用在先前研究中更常用的MLP作为特征编码器。在多处理场景下，我们如图2所示移除了“次要处理特征”分支，仅用一个输出来估计多种处理的提升量。在多任务场景中，我们不再分别为每个任务估计 ITE值，而是共同估计所有任务的ITE值。相关结果呈现在表3中。从表格可以看出，改变网络架构或修改ITE估计流程都会导致性能下降。

表3. MTMT在产品数据集上的消融研究结果。在多处理场景下，我们以“奖励A/奖励B”的形式展示模型在不同处理上的表现；在多任务场景下，则以“短期活动/长期活动”的形式展示。所提出的设计方案以粗体标出。

空白单元格 空白单元格
产品 QINI AUUC LIFT@30
架构 无用户-处理特征交互 0.0426 0.0881 0.00849
无用户-处理特征增强模块 0.0759 0.1450 0.0474
MLP作为特征编码器 0.0819 0.1520 0.0627
MTMT 0.0886 0.1550 0.0638
多处理 无分层处理效应估计 0.0249/0.0233 0.0464/0.0514 0.0164/0.0186
MTMT（多处理） 0.0324/0.0291 0.0653/0.0782 0.0344/0.0491
多任务 无按任务划分的处理效应估计 0.0552/0.108 0.113/0.0118 0.035/0.0922
MTMT（多任务） 0.0586/0.154 0.118/0.0218 0.0326/0.111

5.4. RQ3：可解释性分析
为证明模型产生的结果具有可解释性，并且与我们在线观察结果一致，我们利用产品数据集可视化了基础处理效应和增量处理效应的密度分布。如图4所示，的均值（0.055）远远大于的均值，这一结果与我们在在线游戏服务器中的观察结果相符（见图1）。

下载：下载高分辨率图片（325KB）
下载：下载全尺寸图片

图4. 基础处理效应和增量处理效应的分布情况。可见，基础处理效应的数值远远大于增量处理效应。

为验证用户-处理特征交互模块的预期功能，我们通过可视化方程(6)中的注意力分数来进行可解释性分析。该分析旨在了解模型在估计不同处理对各类任务的影响时，认为哪些用户特征最为重要。如图5所示，该模块能够学会在用户特征空间中分配不同的注意力权重。我们观察到，根据不同的处理类型和预测任务，注意力模式也存在差异。例如，对于“奖励A”，获得高注意力值的用户特征子集与“奖励B”有所不同。这表明该模块能够有效识别并利用不同的用户特征，从而准确模拟每种独特处理的效果。

下载：下载高分辨率图片（835KB）
下载：下载全尺寸图片

图5. 多处理多任务场景下用户-处理特征交互模块的注意力分数分布情况。

此外，注意力分布还与任务相关。对于相同的处理类型，模型在两项任务中会优先考虑不同的用户特征。这进一步证明了该模块生成的表征不仅考虑了处理类型，还针对每项任务的特定目标进行了优化。这些发现支持了这样的结论：用户-处理交互机制成功创建了具备上下文信息的用户表征，而这正是在所提出的MTMT框架中准确区分基础提升量和增量提升量的关键步骤。

5.5. MMOE核心结构的任务级路由分析
表3中的消融实验（“MLP作为特征编码器”那一行）已经表明，用深度相当的MLP替代MMOE编码器会降低性能，但这本身并不能解释为何带门控的路由机制能带来提升。为明确这一机制，我们在产品测试集上运行了训练好的MTMT模型，并分析了其任务级的门控行为。对于每个用户和每个任务，我们会收集所有专家对应的门控权重，然后在图6中呈现两种互补的分析视角：(i)每对（任务，专家）组合下，各用户的门控权重分布情况；(ii)门控权重的平均利用率矩阵。

下载：下载高分辨率图片（226KB）
下载：下载全尺寸图片

图6. MTMT在产品测试集上MMOE核心结构的任务级路由分析。(a)每个专家和每个任务对应的门控权重分布情况。(b)门控权重的平均利用率热图。两项任务的大部分门控权重都集中在不同的专家组合上——短期活动任务对应的是某组专家，而长期活动任务对应的是另一组专家——这说明存在任务特定的专业化分工，而非统一的路由方式。两项任务招募专家的模式也有明显差异：短期活动任务将大部分权重分配给专家1和专家2，仅将少量权重分配给专家3和专家4；而长期活动任务则相反，大部分权重集中在专家4和专家3身上，仅给专家1和专家2分配少量权重。图6(b)中的平均利用率矩阵大致呈块对角结构，高权重区域集中在特定的矩阵单元中。图6(a)中的提琴图进一步表明，这种专业化分工不仅在平均意义上存在，而且在大多数用户的门控权重分布中也是如此——短期活动模式和长期活动模式在专家1和专家4处的重叠程度极低。

这一模式为表3中MLP与MMOE的对比提供了直接的机制解释：仅仅堆叠密集层（即MLP编码器）无法实现这种基于任务条件的路由功能，而这正是MMOE核心结构相比单纯增加参数数量所带来的优势。这也印证了第4.2节中提到的归纳先验：短期活动任务与长期活动任务在时间范围、标签噪声以及预测所需特征子集等方面存在足够差异，因此门控机制能够学会为每种任务匹配不同的专家组合，同时仍然可以从共享的专家池中选取专家。因此，我们并非声称MoE是提升量估算的必要条件，但可以肯定的是——图表也证明了这一点——带门控的路由机制确实能带来超出单纯容量提升之外的显著性能改善。

5.6.在线部署
我们在线部署的主要目标是利用提升建模来个性化奖励分配，从而提升用户的体验。为此，我们设计了多种奖励措施以改善整体游戏体验。该在线部署的过程如图7所示。首先，使用用户特征和处理效果的历史数据，在离线环境中训练多任务多处理（MTMT）模型。训练完成后，该模型会根据用户预估的基准行为以及对不同处理的预期反应，将用户划分到不同的组别中。对于每个用户组，游戏服务器会确定最优策略，包括决定是否发放奖励以及发放何种具体奖励，同时还需遵循预定义的操作约束。

下载：下载高分辨率图片（116KB）
下载：下载全尺寸图片
图7. 我们在线奖励部署平台的概览。

为在真实环境中验证我们的方法，我们进行了在线A/B测试。我们在生产环境中建立了四组独立的用户组，每组包含数百万用户，且用户特征分布保持一致。在测试中，我们比较了四种不同策略的性能：随机策略（对照组）、EFIN策略、MTMT单任务策略以及我们提出的MTMT多任务策略。

测试涉及两种不同的奖励。我们根据两个关键指标来评估每种策略的效果：短期用户活跃度，以次日登录的用户比例衡量；长期用户活跃度，则以月活跃用户数量来表示。下表展示了实验结果，表明我们提出的模型具有统计学上的显著优势（p < 0.01）（表4）。

表4. 在线部署中MTMT策略的测试结果
策略 | 平均短期活跃度 | 平均长期活跃度
--- | --- | ---
随机策略 | 0.0% | 0.0%
EFIN策略 | +8.7% | +6.4%
MTMT单任务策略 | +15.5% | +10.5%
MTMT多任务策略 | +16.1% | +11.9%

6. 结论与未来工作
在本文中，我们探讨了多处理、多任务框架下的提升建模方法。为有效提取不同任务的特征并准确估算各种处理的效果，我们提出了多处理多任务（MTMT）提升建模框架，该框架明确使用了用户-处理特征。此外，为精准捕捉不同处理之间的提升差异，我们提出分别估算基础处理效应和增量处理效应。大量的实验和消融研究证明了我们方法的有效性。

在未来工作中，我们计划扩展该框架，以支持连续处理空间（例如可变折扣率）。从技术上讲，可以通过用参数化投影网络（如MLP或正弦编码）替代离散嵌入查找，将连续标量映射到密集的处理嵌入空间中，从而保留我们用户-处理交互模块的效用。这一方向上的主要挑战包括建模非线性剂量-响应曲线（如饱和效应）以及解决连续处理流形中的数据稀疏性问题。

CRediT作者贡献说明
魏宇翔：撰写——初稿、可视化、验证、软件、资源、方法论、研究、正式分析、数据整理、概念设计。邱兆新：数据整理、概念设计。李英杰：数据整理、概念设计。孙宇科：数据整理、概念设计。李晓玲：撰写——审阅与编辑、研究、数据整理、概念设计。

魏宇翔|邱兆新|李英杰|孙宇科|李晓玲
美国亚特兰大，乔治亚理工学院