基于Shapley的数据市场中结合人类反馈的特征估值

《Knowledge-Based Systems》：Shapley-based feature valuation with human feedback in data markets

　　

•利用Shapley值公平地衡量各特征的贡献。•人工标注者评估特征组合的实用性，用于Shapley计算。•可聚合的特征估值，用于特征组合的多次评估。•基于动态Shapley的增量特征估值，适用于新特征场景。引言数据市场在推动数据驱动应用的发展中发挥着关键作用，近年来涌现出众多此类平台。例如，Xignite提供实时金融数据，可访问500万个金融衍生品[1]。这些市场通常包含卖方、买方和经纪人[2]。卖方将数据提供给经纪人，经纪人对其进行加工和转售，或将其用于训练机器学习模型并向买方出售。因此，数据估值评估了各种数据对象的经济价值[3]。然而，仅在对象层级对数据进行估值可能不够充分，因为数据对象通常包含多种特征，这些特征对下游机器学习模型的贡献各不相同。在这种情况下，评估单个特征的价值或重要性至关重要。特征估值可以量化每个特征对模型预测的贡献，帮助识别影响性强的特征和信息量较少的特征。此类评估不仅有助于更细致地理解数据价值，还支持特征选择、冗余特征移除、数据定价以及数据获取和利用的优化[4]、[5]。Shapley值源于合作博弈理论，已被应用于特征估值，尤其是在流行的SHAP包中1。在合作博弈中，参与者协作以实现集体成果，称为效用，Shapley值通过评估所有可能的参与者组合来量化每个个体的边际贡献。该方法确保了公平地评估每个参与者对群体效用的影响[6]。当应用于特征估值时，特征被视为参与者，特征子集代表合作博弈中可能的联盟。动机：在实际应用中，将人类反馈纳入Shapley值基础的特征估值中，对于评估特征子集的实际实用性至关重要。这是因为特征子集对机器学习模型的预测贡献并不一定对应于人工标注者或领域专家所感知的其实用性。例如，先前的研究收集了领域专家关于变量相关性的反馈，并将此类反馈纳入特征选择过程。他们的实验表明，专家反馈可以在图像分类和现实世界风险分类任务中改进特征选择和模型性能[7]。此外，基于人类反馈的强化学习（RLHF）可以改善语言模型与人类偏好的一致性，从而产生更有用且更少有害的输出[8]。这些例子表明，人类反馈可以提供超越基于模型评估的互补信息，并帮助机器学习系统更好地反映人类偏好和预期目标。基于这一认识，本文研究了通过纳入人类反馈来进行Shapley值基础的特征估值，以更好地捕捉特征子集的实际实用性。以下给出两个说明性示例。示例1考虑一个提供患者数据的医疗数据交易平台。可用的特征可能包括年龄、血压、心率、实验室检测结果和病史。如果仅根据特征子集对模型预测性能的贡献来评估特征子集，包含年龄的子集可能获得较高的效用分数，因为年龄与许多疾病的风险高度相关。然而，关键问题在于，临床医生可能赋予生理指标、实验室检测结果和病史更大的实际价值，因为这些特征为诊断和治疗规划提供了更具操作性的信息。因此，纳入临床医生的人类反馈可以提供与临床实际需求互补的领域知识[9]。示例2考虑一个提供医学图像用于训练计算机视觉模型的图像数据交易平台。图像可能包含来自病灶区域、组织、纹理、扫描伪影和标注的特征。包含扫描伪影或标注的特征子集可能因与疾病标签的虚假相关性而获得高分。然而，临床医生认为此类特征几乎没有诊断价值，他们更关注病灶边界和组织形态。因此，仅依赖预测性能可能会错误地反映实际实用性。临床医生的反馈有助于识别与诊断需求更加一致的特征[10]。挑战：计算精确的Shapley值需要评估特征的每一种可能组合，导致指数级时间复杂度O(2^n)。因此，大多数研究采用近似Shapley值，通常通过对特征子集进行采样来估计。在本文中，我们采用基于互补贡献的近似方法[11]，该方法与传统边际贡献方法不同。先前的研究表明，互补贡献方法不仅减少了计算开销，而且实现了更高的近似精度[11]。尽管有这些进展，将人类反馈纳入Shapley值基础的特征估值仍然面临重大挑战。•第一个挑战是聚合Shapley值。从多个标注者收集反馈可以提高最终评估的可靠性，利用多样化的判断并减轻个体标注者的偏差[12]。因此，每个特征子集与不同标注者提供的多个效用分数相关联。然而，隐私问题可能阻止标注者或领域专家共享他们的原始效用分数。类似于联邦学习，参与者在协作训练模型的同时不暴露其本地数据，标注者可能只愿意共享本地Shapley值而非他们的原始评估。这提出了一个根本性问题：如何从分布式本地Shapley值计算全局Shapley值？•第二个挑战是随着新特征的加入进行动态Shapley估值。由于每个特征的Shapley值取决于其在采样特征子集中的互补贡献，引入新特征会改变联盟结构，并可能影响每个现有特征的贡献。因此，更新Shapley值需要评估新形成的特征子集并收集额外的人类效用评估，这使得完全重新计算代价过高。如何在不大幅增加新人类评估需求的情况下增量更新Shapley值？•第三个挑战是在不确定性下选择高质量标注者进行效用评估。由于Shapley值源自特征子集的效用评估，标注错误会直接传播到估计的特征重要性上。在实际场景（如众包）中，标注者表现出异质性的专业知识和可靠性，而其真实质量通常事先未知[12]。此外，招募标注者会产生资金成本。如何在预算有限的情况下识别和参与标注者，以最大化整体反馈质量？先前研究的局限性：现有的数据市场中Shapley估值研究大致可分为两类。第一类专注于提高Shapley值估计的计算效率。代表性方法采用蒙特卡洛采样或其他近似技术来避免枚举所有特征联盟，从而降低指数级计算复杂度[11]、[13]、[14]、[15]。第二类将Shapley值扩展到特定数据场景，如动态数据[16]和Beta分布[17]，或提出特定任务的变体，如概率Shapley[18]和kNN-Shapley[19]。尽管存在差异，这些研究具有两个基本特征。首先，它们根据机器学习模型的性能定义联盟的效用，隐含地假设联盟效用可以自动评估。相比之下，我们的工作从人类反馈中获取效用，引入了此前未被现有研究考虑的若干挑战，如前文所述。其次，现有研究主要基于边际贡献估计Shapley值。唯一考虑互补贡献的研究[11]并未涉及Shapley值聚合或动态Shapley值计算的问题。此外，由于招募标注者会产生资金成本，在有限预算下识别高质量标注者至关重要。这些挑战尚未被现有的基于Shapley的估值方法所解决，因此激发了我们提出本文框架的动机。贡献：在本文中，我们提出了ShapleyHF，一个整合人类反馈的统一特征估值框架。我们采用基于互补贡献的Shapley值来评估数据特征的重要性。为解决第一个挑战，我们证明了基于互补贡献的Shapley值的可分解性，从而实现分布式本地Shapley值的聚合。这种分解支持并行计算，从而在保护本地效用评估隐私的同时减少计算开销。为解决第二个挑战，我们推导了引入新特征时Shapley值的增量更新公式，消除了从头重新计算Shapley值的需要。我们还通过考虑期望误差界和置信水平，建立了动态Shapley估计所需样本量的下界。为解决第三个挑战，我们将标注者招募建模为多臂老虎机（MAB）问题，通过平衡探索与利用，在缺乏先验知识的情况下在线学习标注者质量。基于汤普森采样，我们动态调整招募策略，以在不同数据分布下识别高质量标注者。图1展示了ShapleyHF框架的工作流程。考虑示例1中的医疗数据交易场景，数据买方希望购买包含感兴趣特征的数据对象。经纪人首先运行基于Shapley值的特征估值算法来评估这些特征的重要性。在估值过程中，每个采样特征子集都需要一个效用分数。为了获得该分数，采用基于老虎机的标注者招募算法来选择合适的标注者并收集他们对特征子集实用性的反馈。收集的反馈随后用于确定子集效用，作为基于Shapley值的特征估值算法的输入。特别地，当标注者有隐私顾虑且不愿意披露其原始效用分数时，Shapley聚合算法被用于在不直接共享原始分数的情况下聚合他们的反馈。基于所得的子集效用，特征估值算法计算单个特征的重要性。随后，当医疗数据的新特征进入数据市场时，动态特征估值方法更新现有特征值，而非从头重新计算。在此动态更新过程中，每当需要评估特征子集的效用时，再次采用标注者招募方法。这样，标注者招募、效用聚合、特征估值和动态更新依次连接，形成ShapleyHF的操作工作流。本文的主要贡献如下：•我们提出了ShapleyHF，一个将人类反馈整合到基于互补贡献的Shapley估值中以评估特征重要性的特征估值框架。•我们研究了人类反馈在分布式和动态场景下的Shapley估值。对于分布式人类反馈，我们建立了基于互补贡献的Shapley值的可分解性定理，实现了在无需访问原始效用评估的情况下对分布式本地Shapley值进行隐私保护的聚合。对于动态特征空间，我们推导了引入新特征时基于互补贡献的Shapley值的增量更新公式，并据此开发了高效的更新算法。与从头重新计算Shapley值相比，我们的方法显著降低了计算开销和人工标注成本。•我们将人类反馈收集的标注者招募建模为具有未知标注者质量的预算约束多臂老虎机（MAB）问题。我们采用汤普森采样同时学习标注者可靠性，并通过探索-利用权衡自适应优化招募决策。•我们进行了广泛的实验评估。结果表明，与基准特征估值算法相比，基于互补贡献的特征估值方法在MSE和时间开销方面均取得了显著更好的性能，两项指标平均提升约1.5个数量级。与静态Shapley算法相比，动态Shapley算法将平均时间开销减少了18.83%，将MSE减少了1至2个数量级。汤普森采样算法将人工标注者招募的整体质量提高了58.54%，同时与随机招募相比将偏差减少了约一个数量级。本文其余部分的组织结构如下：我们在第2节讨论相关工作，在第3节提供必要的前提知识。第4节详细说明了特征估值及其聚合的设计。第5节介绍了动态特征估值方法。第6节介绍了标注者招募过程的设计。第7节讨论了实验评估。最后，我们在第8节对全文进行了总结。章节摘要相关工作Shapley值。Shapley值[6]是合作博弈理论中广泛采用的一种解概念，它根据各参与者的贡献公平地将联盟效用分配给个体参与者。由于这一特性，它已被广泛应用于数据市场[20]、[21]和机器学习[14]、[22]等领域。

然而，精确计算Shapley值需要评估所有可能的联盟，导致指数级的计算复杂度[23]。

**初步定义**

给定特征集C=c1,c2,…,cn中的一个特征ci，我们评估ci并将其值表示为Φi。我们使用Cl?C (1≤l≤2n?1)表示一个特征子集。通过组合C中的不同特征，我们获得C的2n?1个可能的非空特征子集。我们的目标是基于这些子集的评分来确定每个特征ci的Φi。Shapley值是合作博弈论中的一个基本概念。在这类博弈中，C=c1,c2,…,cn表示n个玩家的集合，s:2[n]→R表示一个效用函数。

**Shapley值的计算**

我们使用Shapley值来评估特征。然而，如果我们直接根据公式(1)计算特征的Shapley值，我们需要枚举包含和不包含待评估特征的所有C的子集。由于这样的子集数量为2n?1，时间复杂度为O(2n)。因此，我们使用近似算法[11],[13]来计算近似的Shapley值。这些近似算法的核心思想是从C中采样子集。其时间复杂度...

**动态特征评估**

第4节考虑静态场景下的特征评估，即特征集C是固定的。在实际应用中，新特征可能被添加到原始特征集中。因此，在本节中，我们考虑动态场景下的特征评估，其中新特征ci∈C+按到达顺序被添加到原始特征集C中。我们使用C=c1,c2,…,cn表示原始特征集，C+=cn+1,cn+2,…,co表示新特征集。

**问题表述中特征ci的Shapley值**

如前所述，在计算特征Shapley值时，特征子集Ci的评分可能来自人类反馈。这种反馈的可靠性对于准确评估至关重要。因此，本节旨在招募能够在规定预算限制内提供可靠评分的高质量标注者。我们将招聘策略形式化为多臂老虎机(MAB)过程——一个为不确定环境下的在线决策设计的强化学习框架。

**实验评估**

在本节中，我们对所提出的特征评估框架进行了广泛的实验评估。所有算法均用Python实现，运行50次，报告平均值。所有实验均在配备Intel Core i7 12700H 2.3 GHz处理器、16 GB内存和Microsoft Windows 11家庭版操作系统的PC上进行。我们的实验包括三个部分的评估：特征评估、动态评估和标注者招募。

**结论**

我们解决了基于Shapley值且包含人类反馈的特征评估问题。由于Shapley值的计算代价高昂，我们探讨了聚合和动态更新基于互补贡献的Shapley值。这些方法分别实现了分布式的和增量的Shapley值计算。为了确保可靠的人类反馈，我们使用多臂老虎机过程解决了高质量人类标注者的招募问题。广泛的实验...

**CRediT作者贡献声明**

Bo Yin：撰写-审阅与编辑、验证、方法论、调查研究、概念化。Tianxu Wang：撰写-初稿、方法论、形式分析、数据整理、概念化。

**利益冲突声明**

作者声明他们没有任何已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

**致谢**

本研究由中国湖南省教育厅科学研究基金（项目编号24A0230）支持。

Bo Yin | Tianxu Wang