双状态特征重要性感知与自适应交互重要性建模在点击率预测中的应用

《Expert Systems with Applications》：Dual-state Feature Importance Perception and Adaptive Interaction Importance Modeling for CTR Prediction

CTR预测中提出FDIIIN模型，通过双状态重要性机制（静态+动态）和交互重要性网络，结合注意力机制与残差连接，有效捕捉特征及交互的重要性，在公开数据集上显著优于基线模型，并首次引入静态重要性概念，增强解释性。

　　在现代推荐系统中，点击率（CTR）预测是一个至关重要的任务。CTR作为衡量广告效果的核心指标，直接影响着广告投放策略和收益。随着在线平台的不断发展，例如电子商务网站和社会媒体，这些平台通过个性化推荐广告来吸引用户，从而成为互联网企业的重要收入来源。因此，如何提高CTR预测的准确性，不仅关系到广告投放的效率，还可能带来显著的经济效益。当前，尽管深度学习方法在CTR预测中展现出了良好的性能，但仍然存在两个关键性的问题，限制了模型的进一步优化。

首先，现有模型在复杂推荐场景中对特征重要性的表达能力不足。在实际应用中，用户和广告的特征往往具有高度的异构性和复杂性，例如用户的年龄、性别、兴趣偏好，以及广告的类型、位置、发布时间等。这些特征在不同的上下文中可能表现出不同的重要性，但传统模型通常难以全面捕捉这种变化。因此，如何在模型中更有效地表示特征的重要性，尤其是在不同场景下保持其稳定性，成为提升CTR预测性能的重要课题。

其次，现有方法在建模特征交互时，往往过于关注交互的方式，而忽视了交互本身的重要性。特征交互是CTR预测中的关键环节，它能够揭示不同特征之间的潜在关系，从而提高预测的准确性。然而，目前大多数模型在处理特征交互时，只是简单地将特征进行组合，而未能区分不同交互对预测结果的影响程度。例如，在预测用户是否会点击房产广告时，用户的收入水平与职业之间的交互可能比性别与年龄之间的交互更具预测价值。因此，如何在模型中识别并强调这些重要的交互关系，是提升CTR预测性能的另一个重要方向。

针对上述两个问题，本文提出了一种新的模型——Feature Dual-state Importance and Interaction Importance Network（FDIIIN）。该模型通过引入双状态特征感知机制，分别捕捉静态内在重要性和动态上下文重要性，从而在特征表示学习方面建立了一个新的范式。此外，FDIIIN还采用了一种轻量级的动态学习架构，通过通道级注意力机制与残差连接，实现了在高维特征空间中对特征交互重要性的高效计算。为了优化模型的性能和计算效率，FDIIIN还引入了权重共享机制，有效减少了模型的复杂度，同时保持了预测的准确性。

FDIIIN的核心思想在于同时考虑特征的重要性和特征之间的交互关系。模型由两个主要模块组成：Feature Dual-state Importance-aware fusion Network（FDIN）和Feature Interaction Importance-aware Network（FIIN）。FDIN模块负责在特征层面捕捉静态和动态的重要性信息，通过将静态重要性与动态重要性进行融合，提升了模型对特征重要性的感知能力。FIIN模块则专注于捕捉特征交互的重要性，通过设计轻量级的注意力机制，实现了对大量潜在交互关系的动态评估，从而增强了模型对特征交互的处理能力。

为了验证FDIIIN的有效性，本文在三个公开的基准数据集上进行了广泛的实验。实验结果表明，FDIIIN在预测性能上优于现有的许多先进模型，展现出较强的竞争力。此外，本文还对FDIN与其他常见的特征重要性感知方法进行了对比实验，进一步证明了FDIIIN在融合静态和动态重要性信息方面的优势。通过引入SHAP（Shapley Additive Explanations）图，本文还对模型的可解释性进行了分析，揭示了静态重要性信息在实际应用中的意义。

在特征层面，FDIIIN引入了静态重要性这一新概念，强调了特征的固有属性及其对CTR的潜在影响。传统的特征重要性感知方法，如多头自注意力机制，主要关注特征在不同上下文中的动态变化，而未能体现特征的稳定性。静态重要性则不同，它是指特征在特定任务目标下的固有价值，与特征的具体值变化无关。例如，在预测用户是否会点击与校园相关的广告时，用户的职业特征通常比其手机类型更具重要性，这种重要性在不同用户群体中保持一致。因此，静态重要性不仅能够提升模型的预测能力，还能增强对特征作用的理解。

在特征交互层面，FDIIIN引入了交互重要性这一概念，强调了不同特征之间的交互关系对预测结果的影响。传统的模型在处理特征交互时，往往将交互视为一种固定的组合，而未能区分不同交互的重要性。例如，在预测用户是否会点击房产广告时，用户的收入水平与职业之间的交互可能比性别与年龄之间的交互更具预测价值。因此，如何在模型中识别并强调这些重要的交互关系，是提升CTR预测性能的关键。

为了实现上述目标，FDIIIN采用了通道级注意力机制，结合残差连接，实现了对特征交互重要性的高效计算。这种机制不仅能够捕捉特征之间的交互关系，还能根据交互的重要性动态调整模型的权重分配，从而提高预测的准确性。此外，FDIIIN还引入了权重共享机制，有效减少了模型的复杂度，同时保持了预测的稳定性。

在实验部分，本文设计了一系列实验来验证FDIIIN的有效性。首先，通过对比实验，本文评估了FDIIIN与其他先进模型在CTR预测任务中的表现。实验结果表明，FDIIIN在多个数据集上均取得了优于其他模型的预测性能，证明了其在处理复杂特征关系方面的有效性。其次，本文还对FDIN模块与其他常见的特征重要性感知方法进行了对比，进一步验证了FDIIIN在融合静态和动态重要性信息方面的优势。此外，通过引入SHAP图，本文对模型的可解释性进行了深入分析，揭示了静态重要性信息在实际应用中的意义。

本文的研究成果不仅为CTR预测提供了一种新的方法，也为推荐系统中的特征表示学习和交互建模提供了新的思路。通过引入静态重要性和交互重要性这两个关键概念，FDIIIN能够更全面地捕捉特征的重要性，从而提升模型的预测能力。此外，模型的轻量级设计和高效的计算架构，使得其在实际应用中具有更高的可行性。通过实验验证，本文证明了FDIIIN在提升CTR预测性能和增强模型可解释性方面的有效性，为未来的推荐系统研究提供了新的方向。

在推荐系统的发展过程中，CTR预测一直是核心任务之一。随着用户和广告特征的不断增多，传统的线性模型和简单的交互方法已经难以满足实际需求。因此，如何在复杂场景下有效捕捉特征的重要性，并准确建模特征之间的交互关系，成为提升推荐系统性能的关键。本文提出的FDIIIN模型，通过引入双状态重要性感知机制和交互重要性建模方法，解决了这两个关键问题，为CTR预测提供了一种新的解决方案。

FDIIIN的创新点在于其对静态重要性和动态重要性的同时捕捉。静态重要性强调了特征的固有属性，而动态重要性则关注特征在不同上下文中的变化。通过将这两者进行融合，FDIIIN能够更全面地表示特征的重要性，从而提升模型的预测能力。此外，FDIIIN还引入了交互重要性这一概念，通过设计轻量级的注意力机制，实现了对特征交互重要性的动态评估，从而增强了模型对复杂特征关系的理解。

在实际应用中，FDIIIN能够有效处理高维特征空间中的复杂特征关系。通过引入通道级注意力机制，模型能够动态调整特征交互的重要性，从而提高预测的准确性。同时，权重共享机制的引入，使得模型在保持预测性能的同时，降低了计算复杂度，提高了运行效率。这些创新点使得FDIIIN在实际应用中具有更高的可行性。

通过实验验证，本文证明了FDIIIN在提升CTR预测性能方面的有效性。在多个公开数据集上的实验结果表明，FDIIIN在预测准确性上优于其他先进模型，同时在模型的可解释性方面也表现出较强的优势。通过引入SHAP图，本文对模型的静态重要性信息进行了直观的解释，揭示了不同特征对预测结果的影响程度。这些实验结果不仅验证了FDIIIN的有效性，也为未来的推荐系统研究提供了新的思路。

总之，本文提出的FDIIIN模型在CTR预测任务中展现出了显著的优势。通过引入静态重要性和交互重要性这两个关键概念，模型能够更全面地捕捉特征的重要性，从而提升预测的准确性。此外，模型的轻量级设计和高效的计算架构，使得其在实际应用中具有更高的可行性。通过实验验证，本文证明了FDIIIN在提升CTR预测性能和增强模型可解释性方面的有效性，为未来的推荐系统研究提供了新的方向。