用于点击率预测的状态自适应门控双流产品交互网络

《Knowledge-Based Systems》：Two-Stream Product Interaction Network with State-Adaptive Gating for CTR Prediction

　　

摘要 在互联网广告和推荐系统中，点击率（CTR）预测的准确性直接影响内容分发和收入生成。特征交互是 CTR 预测的核心组件，直接决定模型性能。双流模型已成为 CTR 预测的主流架构。然而，尽管现有的双流模型在特征交互学习方面取得了进展，但它们仍存在三个显著不足：(1) 大多数仅从单一维度学习特征重要性，导致感知受限。(2) 它们未能自适应匹配不同交互流的特性。(3) 对显式乘积交互的挖掘不足，且缺乏对潜在特征的有效增强。为了解决这些局限性，本文提出了双状态乘积交互网络（DSPIN）。该网络由五个模块组成：嵌入层、双状态特征自适应层、乘积交互层、特征增强层和融合层。在四个公共基准和一个工业数据集上的实验表明，DSPIN 模型在 AUC 和 LogLoss 两个核心评估指标上显著优于现有的主流基线模型。消融研究和超参数敏感性实验进一步验证了每个模块的必要性以及关键配置的有效性。

引言 点击率（CTR）[1,2] 预测是个性化推荐系统和在线广告投放等核心互联网商业场景中的关键任务 [[3], [4], [5], [6]]。其核心目标是根据用户画像、物品属性和上下文信息，准确估计用户对目标内容的点击概率，为内容分发和资源分配提供决策支持 [7,8]。长期以来，它一直是工业界和学术界的关注焦点。随着数据规模不断扩大和应用场景日益复杂，CTR 预测研究已从简单的线性相关建模逐步演进为更复杂的方法，强调细粒度的特征重要性感知和复杂交互模式的全面建模。AFM [9] 作为一个早期模型，引入了注意力网络来量化特征交互的重要性。FiBiNET [10] 采用挤压 - 激发网络（SENet）构建通道级注意力机制，以动态调整字段级特征重要性。FDIIIN [11] 中提出的双状态特征重要性感知模块（FDIN）通过并行结构捕捉特征的静态固有重要性和动态上下文重要性。上述方法从交互粒度、字段维度和双状态表示等各个方面捕捉特征重要性。然而，大多数现有方法以固定方式将学习到的重要性信息整合到后续的交互模块中。它们缺乏根据不同交互流特性进行自适应调整的能力，这最终限制了特征重要性指导在交互建模中的有效性。在特征交互建模中，并行双流结构已成为主流的设计范式。DeepFM [1] 通过 FM 和 MLP 并行捕捉低阶显式交互和高阶隐式交互，实现交互信息的自动学习。DCN [12] 引入与 MLP 并行的 CrossNet 来显式建模高阶和隐式交互，平衡表达能力和计算效率。在此基础上，FinalMLP [13] 进一步通过采用双 MLP 流的纯隐式交互建模方法简化了架构，表明经过良好调整的双流 MLP 即使在未引入专门显式交互模块的情况下也能实现强劲的性能。然而，纯 MLP 结构在学习乘积特征交互方面存在固有局限性。此外，这些模型通常将原始嵌入直接输入交互模块，而不进一步挖掘或增强潜在表示。这种设计选择限制了可捕捉的交互信息的丰富性和多样性。为了解决上述问题，本文提出了双状态乘积交互网络（DSPIN）。首先，该模型获取静态和动态双状态重要性表示，并通过两个独立的门控单元自适应学习内积和外积流的融合比例。这克服了固定比例融合的局限性，并确保每个交互流都能获得与其自身特性相匹配的重要性。其次，构建了一个双流交互结构，分别采用“内积 +MLP"和“外积 +MLP"的组合。在保留 MLP 隐式捕捉高阶交互能力的同时，加强了基于乘积的显式交互建模，弥补了 MLP 的表达局限性。最后，将 PeNet 的特征挖掘思想集成到 MLP 结构中，通过潜在特征增强进一步丰富交互信息的维度。本文的主要贡献如下：1. 提出了一种双状态特征适应机制，通过门控单元实现了双状态重要性与双流交互之间的动态匹配，缓解了传统双状态融合缺乏特定场景适应性的局限。2. 设计了一种差异化的双流结构，即“内积 +MLP"和“外积 +MLP"。在保留捕捉隐式高阶交互能力的同时，加强了显式乘积交互的建模，拓宽了特征交互的覆盖范围。3. 引入并集成 PeNet 潜在特征激发机制到 MLP 结构中，通过潜在特征增强丰富了特征表示的维度，提高了复杂场景下的交互建模效果。4. 在四个公共基准和一个工业数据集上进行了系统实验。结果表明，所提出的模型在 AUC 和 LogLoss 方面显著优于主流基线模型，验证了模型的有效性。关于本文的其余部分，第 2 节介绍了相关工作的文献综述。第 3 节详细介绍了 DSPIN 的基本架构、数据流、复杂度和训练算法分析。第 4 节记录了一些实验结果。在第 5 节中，我们总结并指出了潜在的未来研究视角。

章节片段

相关工作 与我们模型相关的工作涵盖 CTR 预测中的三个方向：传统机器学习模型、早期深度学习模型和最近的深度学习模型。在本节中，我们回顾了这些关键研究方向及其各自的特点。

我们提出的模型 我们提出的 DSPIN 的整体架构包括嵌入层、双状态特征自适应层、乘积交互层、特征增强层和融合层。以下详细阐述模型的各个部分。

图 1.

实验 为了全面验证所提出的模型在 CTR 预测任务中的性能，本章设计了一系列系统实验，重点关注以下目标：1.（Q1）所提出的模型在四个公共基准数据集上的整体性能是否优于主流基线模型？2.（Q2）模型核心组件对整体性能的贡献是什么？移除关键组件后性能如何变化？3.（Q3）什么是...

结论 在本文中，我们提出了双状态乘积交互网络（DSPIN）。以双状态自适应门控、双流乘积交互和 PeNet 潜在特征增强三大核心设计为中心，该模型实现了特征重要性感知与交互建模之间的高效协调。在四个公共基准和极度稀疏的阿里 - 淘宝数据集上的实验证实，DSPIN 优于最先进的基线模型。消融和参数研究验证了...

作者贡献 Fei Guan：监督、资源、项目管理、形式分析、写作 - 审查与编辑。Yue Yang：写作 - 原创草稿、可视化、软件。Chenxia Jin：方法论、概念化、写作 - 审查与编辑、验证。Fachao Li：写作 - 审查与编辑、方法论、概念化。

数据可用性 Criteo: https://labs.criteo.com/downloads/download-terabyte-click-logs Avazu: https://www.kaggle.com/c/avazu-ctr-prediction Movielens: https://grouplens.org/datasets/movielens Frappe: //www.baltrunas.info/context-aware

未引用参考文献 [51,53]

CRediT 作者贡献声明 Fei Guan：写作 - 审查与编辑、监督、资源、项目管理、形式分析。Yue Yang：写作 - 原创草稿、可视化、软件。Chenxia Jin：写作 - 审查与编辑、验证、方法论、概念化。Fachao Li：写作 - 审查与编辑、方法论、概念化。

竞争利益声明 作者声明他们没有已知的竞争财务利益或个人关系，可能会被认为影响了本论文报道的工作。

致谢 本工作由国家自然科学基金（编号 72101082）、河北省教育厅科学研究项目（JCZX2025021）、河北经贸大学科学研究与发展计划（2026ZD10, 2026ZD09）资助。

Fei Guan|Yue Yang|Chenxia Jin|Fachao Li