基于谱双聚类的可扩展性方法：提升推荐系统的事后可解释性

《Knowledge-Based Systems》：Spectral Biclustering-Driven Scalability for Post-Hoc Explainability in Recommender Systems

可解释性在推荐系统中至关重要，但传统观察级删除方法存在扩展性问题。本文提出块删除诊断框架，通过谱双聚类将用户和物品划分为块，删除整块而非单个交互，减少重新训练次数，同时提供用户群、物品类及交互关系的解释。实验表明，顶层推荐对特定块更敏感，不同用户群对块的依赖存在异质性，且块删除诊断能揭示传统指标无法捕捉的辅助或负面影响。该框架为推荐系统提供模型无关、计算高效的解释方法。

　　

何塞·L·萨尔梅隆 | 伊琳娜·阿雷瓦洛

西班牙马德里CUNEF大学工程学院

摘要

在推荐系统中，可解释性对于确保透明度、问责制和信任至关重要，然而现有的事后方法往往面临严重的可扩展性挑战。观察级删除诊断提供了一种反事实方法，通过移除个别用户或项目后重新训练模型来分析推荐结果，但其成本会随着数据集规模的增加而迅速增长。为了提高这种分析的实际可行性，本文介绍了一种基于块删除的诊断框架，该框架使用谱双聚类对用户和项目进行分组，然后移除整个交互块。与更细粒度的删除策略相比，这种方法减少了重新训练的次数，并在用户群体、项目组及其交互的层面上生成解释。该框架在两个具有代表性的推荐范式上进行了评估：奇异值分解（SVD）和神经协同过滤（NCF），使用了MovieLens和Amazon数据集。结果表明，排名较高的推荐结果往往对特定交互块更为敏感，有些块起到支持作用，而另一些块则会对推荐质量产生负面影响。分析还表明，不同用户群体对块删除的敏感性不同，这表明它们对局部交互模式的依赖程度存在差异。这些发现提供了标准推荐指标无法直接显示的诊断信息。总体而言，结果表明，基于块删除的诊断框架为推荐系统提供了一个实用且与模型无关的事后分析方法，同时也强调了所得解释结果取决于所选的块结构。

引言

由于人工智能（AI）系统在医疗保健、金融和自动驾驶系统等高风险领域的广泛应用，可解释性变得越来越重要。透明且可解释的模型使利益相关者能够理解算法决策背后的理由，从而促进信任并增强问责制[1]。此外，可解释AI（XAI）在识别偏见、揭示故障模式以及确保符合新兴监管框架（如欧盟的AI法案）方面发挥着重要作用[2]。除了伦理和法律考虑之外，可解释性还通过提供来自复杂模型的可操作见解来支持实际决策，使领域专家能够验证预测并提高系统可靠性。随着AI系统变得越来越复杂和不可预测，平衡性能与可解释性的方法对于安全负责任的采用变得越来越重要。

在XAI中，有几种方法旨在从不同角度提供可解释性。内在方法通过使用决策树、线性回归或基于注意力的神经网络等透明架构将可解释性直接集成到模型中[3]。相比之下，事后方法在不改变模型结构的情况下为已训练的模型提供解释，包括特征归因、反事实示例生成和敏感性分析[4]。XAI方法还可以分为全局方法（旨在理解模型的整体行为）和局部方法（解释单个预测）。这种多样性使得可解释性方法能够适应不同层次的模型复杂性和用户需求。即使对于通常被认为是黑盒模型的神经网络，也提出了特定的可解释性方法来洞察其内部决策过程[5]。

本研究引入了基于块删除的诊断方法，该方法将观察级删除扩展到用户和项目簇的层面，以提高基于重新训练的分析的实际可行性。具体来说，使用谱双聚类对交互矩阵进行划分，然后在重新训练之前系统地移除整个用户-项目块。这在用户群体、项目组及其交互的层面上生成解释，同时减少了与更细粒度删除策略相比的重新训练次数。由于分析基于实际的数据删除和重新训练，因此它提供了与模型无关的反事实诊断视图。

该方法在矩阵分解（SVD）和神经协同过滤（NCF）模型上进行了评估，使用了广泛研究的MovieLens和Amazon数据集。分析表明，排名较高的推荐结果往往对有限数量的簇更为敏感，某些用户群体对局部信号有更大的依赖性，而某些块会对推荐质量产生负面影响。这些效应无法通过传统的性能指标直接观察到，突显了这项工作的诊断价值，对研究人员和实践者都有帮助。

这项研究的贡献有三个方面：

•

引入了一种基于块删除的诊断框架，用于通过用户-项目块的重新训练进行反事实干预来分析推荐系统。

•

该框架结合了谱双聚类和基于重新训练的诊断方法，以研究用户群体、项目组及其交互的解释。

•

该方法在SVD和NCF模型上进行了评估，使用MovieLens和Amazon数据集，表明它可以识别支持性和有害的交互块，并揭示用户群体敏感性的差异。

这项研究并没有单独提出新的聚类算法或新的归因机制。相反，它的贡献在于将基于重新训练的可解释性重新定义为在用户-项目块层面，而不是单个观察层面。通过这种方式，基于块删除的方法提供了一种与模型无关的反事实诊断程序，比更细粒度的删除策略更具计算可行性，且不依赖于替代模型或基于梯度的近似方法。

现有的基于删除的诊断方法在理论上是吸引人的，但随着用户或项目数量的增加，成本会越来越高。本文将这一限制视为一个粒度控制问题：不是在单个观察层面进行删除，而是将交互矩阵组织成用户-项目块，并在块层面进行基于重新训练的反事实分析。

在这里，谱双聚类不是作为独立的聚类工具使用的，而是作为一种在交互矩阵上定义结构化删除单元的机制。这项工作的贡献在于将双聚类与基于重新训练的诊断相结合，使得在块层面进行反事实分析更加计算可行。这种集成允许更有效地研究交互组的效果，同时仍然在考虑的实验设置中提供有意义的诊断信号。

本文的其余部分组织如下：第2节回顾了推荐系统中可解释性的相关工作。第3节介绍了本研究所需的方法论背景。第4节介绍了所提出的基于块删除的诊断框架，详细介绍了聚类策略、删除程序和评估指标。第5节描述了实验设置，包括数据集、模型和基线，并报告了分析结果。最后，第6节总结了本文并概述了未来研究的有希望的方向。

相关研究

推荐系统中的可解释性已成为一个快速发展的领域，涉及机器学习可解释性、人机交互和信息检索的研究。

下面，作者概述了最相关的研究方向，重点强调了它们在大规模、与模型无关的设置中的可扩展性和适用性。

可解释的推荐

鉴于推荐系统在创建大规模内容、塑造用户体验以及决策过程影响方面的关键作用，可解释性是推荐系统的基本要求[26]，[27]。尽管推荐算法很有用，但它们往往继承了来自用户行为或项目属性的系统性偏见[18]，[28]。这些偏见可能会扭曲模型输出，加剧现有的不平等现象并破坏系统的公平性。

方法论提案

簇级删除诊断框架通过将用户-项目交互矩阵划分为定义结构化交互块的用户和项目簇来扩展观察级重新训练。设$R\in R^{n_u\times n_i}表示交互矩阵，其中$n_u是用户数量，n_i是项目数量，R_ui代表一个观察到的交互，如评分、点击或隐式反馈。

为了对用户和项目之间的异构活动进行归一化，使用对角矩阵$D_u\in R^{n_u\times n_u}$

实验方法

为了评估所提出的簇级删除诊断的有效性，我们在多个数据集和模型上进行了实验。目的是确定该方法是否能够提供一致且可解释的见解，同时保持计算上的可行性。

实验在两个成熟的基准数据集上进行。第一个数据集是MovieLens数据集，它提供了明确的评分以及丰富的元数据，如类型。第二个数据集包括

结论

本研究引入了一种用于推荐系统可解释性的基于块删除的诊断框架。该框架扩展了传统的观察级删除诊断方法，利用用户和项目的双聚类在用户群体、项目类别及其交互的层面上提供解释。这种方法相对于更细粒度的删除策略降低了与重新训练相关的计算成本，同时提供了与模型无关的反事实诊断

CRediT作者贡献声明

何塞·L·萨尔梅隆：撰写——审稿与编辑、撰写——原始草稿、可视化、验证、监督、软件、资源、项目管理、方法论、调查、形式分析、数据管理、概念化。伊琳娜·阿雷瓦洛：撰写——审稿与编辑、撰写——原始草稿、可视化、验证、监督、软件、资源、项目管理、方法论、调查、形式分析、数据管理、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。