在移动环境中，针对文本数据的基于信息意识的估值与动态定价方法

《Information Processing & Management》：Information-aware valuation and dynamic pricing for textual data in mobile environments

　　文泽雄|叶彤王|万欣莉|郝国|洁张|浩宇王
奥克兰大学商学院，12 Grafton Road，奥克兰1010，新西兰

**摘要**
在信息时代，数据已成为一种基本资产。然而，缺乏通用化的估值和定价框架给数据交易带来了重大挑战。本研究提出了一种基于加权困惑熵（WPE）的文本数据信息感知估值方法，以及一种基于强化学习（RL）的动态定价机制。在数据估值方面，我们首先在三个异构文本数据集上评估了所提出的WPE方法，随后在噪声注入场景下进行了鲁棒性评估。在数据定价方面，我们将它构建为一个马尔可夫决策过程（MDP），目标是实现利润最大化，并引入了提前提交的激励机制以鼓励及时提供数据。我们开发了两种不同的定价策略，考虑了即时利润和长期利润。实验结果表明，我们的WPE估值方法和基于RL的定价策略始终优于现有的估值和定价基准。具体而言，与三个选定的基准相比，我们的定价策略分别可以增加16%、80%和230%的利润。这些发现进一步强调了将信息理论与数据经济学联系起来的理论相关性，以及实现更高效和知情的数据获取的实际价值。

**1. 引言**
数据指的是数字化信息，涵盖了从诗歌和社交媒体帖子到非同质化代币和专利等多种形式（Veldkamp, 2023）。在大数据时代，数据的潜在价值正在不断被挖掘（Lu et al., 2024）。在零售、金融和公共管理领域也报告了类似的价值创造（Jiang et al., 2024, Kromidha, 2023, Zhou et al., 2025）。随着移动设备的迅速增加（Douch et al., 2022），数据生成在各种平台和环境中变得越来越普遍，从而扩展了数据估值和定价挑战的范围和复杂性。

尽管数据展示了其经济潜力，但确定数据集的价值（估值）以及如何在市场上进行交易（定价）仍然是两个相互关联但不同的挑战。估值旨在根据数据的信息内容、质量和潜在效用来量化其内在价值。另一方面，定价则通过结合市场需求、竞争和战略考虑将这种估值转化为交易价格。没有可靠且合理的估值方法，就无法构建一个稳健的定价机制。本文通过提出一种针对文本数据的信息感知估值方法，并将其整合到一个动态定价框架中，来解决这两个挑战。

随着数据生成现已成为日常生活不可或缺的一部分，开发系统化的数据估值和定价机制的紧迫性尤为明显。从搜索历史到用户生成的内容，每一次在线互动都会产生有价值的数据，而这些数据往往在未补偿数据创造者的情况下被货币化（Fleckenstein et al., 2023）。这种价值创造与价值分配之间的不匹配突显了需要严格的估值方法来确定数据的经济价值，以及促进有利可图和高效交易的定价机制。这一挑战在移动环境中尤为突出，因为分布式设备会产生数据（Ghafari & Mansouri, 2025），而资源限制给传统估值方法带来了额外的限制。虽然我们使用“移动环境”一词来描述通过移动设备提交数据的移动数据市场，但本研究中的数据集并未明确编码移动性特征（例如位置轨迹或网络切换）。因此，我们将“移动”主要视为一个部署环境，而不是建模假设。本研究的方法论贡献——基于WPE的估值和强化学习定价——是通用且适用于非移动场景的。

在这一更广泛的背景下，文本数据占据着独特的地位。作为数字信息的基本形式，文本数据支撑了自然语言处理（NLP）、情感分析以及众多智能应用的进步（Liu et al., 2026）。然而，正如Malieckal等人（2024）所指出的，数据具有无形性、复杂性和异质性，从特定问题中获得的知识可以决定数据的价值。这些特性挑战了传统的估值方法，后者旨在在数据交易之前估计其内在价值。现有的算法方法（Cong et al., 2022, Miao et al., 2020, Sim et al., 2022）和基于质量的模型（Xing and Wang, 2024, Yang et al., 2019）往往过度依赖特定数据集的特征，并缺乏跨领域的通用性。此外，许多估值方法仅关注结构或统计属性，未能充分捕捉文本数据的语义和上下文丰富性，导致估值不完整或有偏见。

除了估值之外，定价机制还通过结合市场需求、竞争和战略考虑来确定实际的交易价格。拍卖和斯塔克伯格博弈（Stackelberg games）等经济方法（Agarwal et al., 2024, Duan et al., 2023, Xiao et al., 2020）提供了灵活的市场结构，但往往忽视了数据定价的长期盈利能力。较新的计算模型，如多臂老虎机（MAB）（Xu et al., 2024），将定价视为基于估计价值和用户接受的固定选项的离散选择。尽管在短期设置中有效，但这些模型受到离散价格空间、短视优化和对动态条件适应能力差的限制。这激发了采用强化学习（RL）的动机，RL将定价建模为一个具有连续动作空间的序贯决策过程，从而在现实的数据交易环境中实现适应性和长期策略。

**1.1. 研究目标**
为了解决数据估值和定价的双重挑战，本文提出了一个信息感知框架。我们首先创建了一种基于文本信息内容的可靠估值方法，以克服现有工作的局限性。然后利用这种估值为现实世界的数据市场构建一个动态定价机制。本研究由两个主要目标指导：
（1）开发一种高效且无监督的文本数据估值方法。目标是创建一个能够捕捉数据内在信息价值的指标，而无需昂贵的标签或计算密集型的重新训练。
（2）设计一个自适应且有利可图的动态定价系统。目标是构建一个能够学习做出明智定价决策的机制，以最大化利润，同时尊重预算限制并处理不确定的用户行为。

**1.2. 贡献**
我们工作的主要贡献总结如下：
• 我们提出了一种基于加权困惑熵（WPE）的文本数据信息感知估值框架。通过结合语言特征（词性、依存关系）和统计度量（TF-IDF），WPE能够对样本的信息量进行细致评估。我们在多个数据集和噪声干扰下验证了其有效性。
• 我们设计了一种将WPE整合到强化学习框架中的动态定价机制。通过将交易过程建模为马尔可夫决策过程（MDP），我们的方法使用两种近端策略优化（PPO-A，即时利润）和PPO-B（长期利润）在预算和接受不确定性下调整价格。
• 我们将我们的估值和定价方法与现有方法进行了基准测试。结果表明，WPE提供了更一致和稳健的排名，而我们的动态定价策略在现实交易条件下实现了更高的累积利润。

**2. 相关工作**
数据交易涉及两个密切相关但不同的任务：数据估值，根据数据的特征和潜在效用估计其内在价值；以及数据定价，通过结合估值结果、市场需求和战略考虑来确定市场环境中的交易价格。这两个领域现有的工作都借鉴了经济理论和计算技术（Hao et al., 2023）。

**2.1. 数据估值方法**
估值方法旨在在数据进入市场之前量化其内在价值。以经济为导向的方法将最初为实物资产开发的经典评估理论应用于数据。质量驱动的方法将多维数据质量指标与估计价值联系起来（Xing and Wang, 2024, Yang et al., 2019），而基于成本、收入和市场的模型则从生产成本、预期回报或可比交易的角度评估价值（Mehta et al., 2021, Mehta et al., 2022）。技术发展使得算法估值框架能够估计数据对分析或预测任务的边际贡献。Cong等人（2022）概述了ML模型在部署过程中的定价方式。Sim等人（2022）提供了全面的技术概述，正式分析了ML数据估值的组成部分及其相应属性。这些估值方法为后续定价机制提供了基础。

另一条有影响力的数据估值工作路线利用了Shapley值，这是一个最初用于公平分配玩家收益的合作博弈论概念。在机器学习背景下，Shapley值量化了每个数据点对模型性能的边际贡献。Jia等人（2019）提出了高效的计算近似方法，并后来为最近邻分类器开发了精确算法（Jia et al., 2019）。Ghorbani和Zou（2019）引入了一种截断蒙特卡洛抽样方案（TMC-Shapley），在多个ML任务中展示了其实证有效性，并随后将框架扩展到分布式Shapley（G-Shapley），其中数据点的价值相对于底层数据分布定义（Ghorbani et al., 2020）。

其他研究人员研究了困惑度作为数据质量和下游性能代理的作用。先前的工作表明，网页语料库验证损失与基准性能之间存在系统关系，这表明困惑度与基准分数之间的相关性可以作为数据选择政策的基础。在比较基于相同数据分布训练的大型语言模型时，文本语料库上的验证损失被广泛用作下游效用的指标（Hoffmann et al., 2022, Kaplan et al., 2020）。这些相关性在不同架构的模型中也成立。这些发现支持了困惑度能够捕捉数据有用性的有意义信息的观点。基于这一见解，我们的工作将困惑度扩展为加权困惑熵（WPE）框架，该框架结合了语言和统计权重，为文本数据提供了更细致且理论上有根据的估值方法。

**2.2. 数据定价机制**
定价机制将估值结果转化为实际的交易价格，同时考虑市场条件和战略互动。基于经济的定价通常采用拍卖设计，将数据分配给估值最高的买家，例如一个垄断数据卖家和n个潜在买家（Agarwal et al., 2024）以及多对多交易框架（Duan et al., 2023）。智能合约支持的拍卖无需可信中介即可防止串通（Xiong & Xiong, 2021）。博弈论模型，包括非合作博弈（Inegbedion et al., 2023）、斯塔克伯格博弈（Xiao et al., 2020）和两期博弈模型（Chen et al., 2026），捕捉了卖家和买家之间的战略动态，有些模型将隐私损失纳入定价以确保公平的利润分配（Yang et al., 2024）。

从计算角度来看，基于查询的定价使用预定义的视图价格为数据库查询分配价格，并已扩展到处理不完整的数据集（Miao et al., 2020）。保护隐私的定价根据量化的隐私暴露调整补偿（Shen et al., 2022），从而在医疗保健等敏感领域平衡效用和隐私。区块链支持的机制促进了安全、透明和自动化的定价和支付过程（Heideman et al., 2024）。在线学习方法已被用于模拟顺序数据获取和自适应定价。多臂老虎机（MAB）框架为平台与数据所有者之间的迭代互动提供了平衡探索和利用的自然范式。经典策略，如?-贪婪算法、上置信界（UCB）和汤普森采样，已被用于动态定价问题。上下文老虎机将这一范式扩展到定价取决于数据特征或用户配置文件的场景。多臂老虎机框架已在多个领域得到广泛应用（Li and Duan, 2025, Wang et al., 2022, Xu et al., 2024）。

强化学习（RL）作为一种具有适应性和持续学习能力的框架，已成为动态定价的有前景的方法。正如Sutton等人（1998）所描述的，RL算法通过试错与环境互动，发现最优定价策略，而无需假设固定的市场模型。在电动汽车充电、零售商定价决策和易腐产品等领域的应用证明了基于RL的方法在处理时变条件和多样化现实世界环境中的有效性（Hao et al., 2022, Kavoosi et al., 2025, Liu et al., 2024, Wu et al., 2023）。

**2.3. 与现有工作的比较**
如表1所示，现有的数据估值方法在四个关键维度上存在明显局限性。“无需标签”评估了一种方法是否可以在没有监督标签的情况下运行，这在标记数据稀缺或昂贵时至关重要。“无需重新训练”反映了该方法避免重复模型训练的程度，这一特性极大地影响了计算的可扩展性。“在线部署”衡量了该方法是否能够在动态或流式环境中适应，提供实时评估，而不仅仅依赖于离线计算。“语义显著性”则包含了超越表面统计特征的语言和语义特征的整合能力。这种能力对于文本数据任务至关重要。在这个框架内，基于Shapley的方法在所有维度上都表现不佳，因为它们依赖于监督、重复训练，并且完全离线操作，没有进行任何标记重要性建模。基于质量的方法消除了对标签和重新训练的需求。然而，它们的静态设计阻碍了在线部署，并且对语义信号不敏感。基于信息熵的方法以及最近的VAP方法通过支持无监督和在线评估而进一步放宽了这些限制，但它们仍然仅停留在统计层面，对语义结构视而不见。相比之下，我们提出的WPE方法独特地满足了所有四个标准，结合了无监督和计算效率高的评估，以及在线适应性和语言语义的明确整合。

在定价机制（表2）方面，现有方法面临着不同的权衡。“预算意识”表示该机制是否考虑了平台的有限预算，以防止低效分配或过早耗尽。“长期盈利能力”衡量了多次交互中的累积奖励是否得到了优化，而不仅仅是关注即时利润。“上下文适应”指的是根据单个数据样本的特征（例如，估计值）和平台状态（例如，预算比例、时间步长）来做出决策，而非非上下文方法无论样本特征如何都应用统一或启发式的报价。传统的拍卖和博弈论方法缺乏长期盈利能力。基于查询的定价能够实现交互式发现，但它仅限于离散的、非上下文的决策。“上下文强盗”算法引入了带有上下文信息的在线学习，但忽略了预算考虑，而带有背包（BwK）的强盗算法虽然考虑了预算限制，但仍然专注于短期、离散的目标，没有长期利润优化。我们基于强化学习的策略克服了这些限制：PPO-A能够根据上下文特征进行连续且预算意识强的定价，以实现即时利润；而PPO-B进一步扩展了这一点，实现了在预算限制下的长期利润最大化。

与现有分别处理评估或定价的工作不同，我们的框架统一了这两个维度。WPE方法提供了在线的、具有语义意识的样本评估，而基于强化学习的定价利用这些评估来进行预算受限的获取决策，实现了平衡即时利润与长期利润最大化的动态定价。

表1. 与现有研究的评估机制比较分析。

参考文献：
评估方法 | 需要标签 | 无需重新训练 | 在线部署 | 语义显著性
----------------|---------|-----------|---------|-------------------
Ghorbani和Zou（2019） | ×××× | × | × |
Xing和Wang（2024） | ??×× | ? | × |
Li等人（2017） | ??? | ? | × |
Xu等人（2024） | ??? | ? | × |
提出的WPE | ??? | ? | ? |

表2. 与现有研究的定价机制比较分析。

参考文献：
定价方法 | 在线部署 | 预算意识 | 长期盈利能力 | 上下文适应
----------------|---------|-----------|----------------|-------------------
Agarwal等人（2024） | ??×× | ? | × |
Xiao等人（2020） | × | × | × |
Miao等人（2020） | × | × | × |
Xu等人（2024） | ??? | ? | × |
提出的PPO-A | ??× | ? | × |
提出的PPO-B | ??? | ? | × |

下载：下载高分辨率图片（594KB）
下载：下载全尺寸图片

图1. 移动环境中的信息感知评估和基于强化学习的动态定价。

3. 机制概述
在移动和分布式环境中，用户生成的文本数据持续到达，其质量和与下游任务的相关性各不相同。在资源有限的环境中运行的平台（如通信带宽、注意力范围或资金预算）必须决定获取哪些数据样本以及支付多少费用，以构建用于健康监测或情感分类等应用的有用模型。数据到达的顺序性质进一步复杂化了这一挑战，其中平台作为数据获取者，与每个贡献具有潜在不同价值的数据样本的个体用户持续交互。本文解决了在这种环境中进行信息感知和动态数据获取的挑战。如图1所示，我们考虑了一个平台依次观察数据样本并通过提供金钱补偿来与数据所有者交互的设置。在每个时间步骤中，平台必须根据其内部评估和剩余预算来确定要提供的价格，而用户则根据他们的私人保留价格接受或拒绝该报价。目标是在预算限制内最大化获取数据集的累积利润，这自然引出了一个在预算和信息约束下的顺序决策问题。

为了解决这个问题，我们提出了一个两阶段框架，将评估和定价分开。第一阶段（信息感知评估）使用带有语言和统计权重的掩码语言模型为每个文本计算细粒度的信息量分数，包括词性标记、依存关系和TF-IDF特征。这种加权困惑熵（WPE）方法能够在不需要标签或模型重新训练的情况下实现语义感知的评估。第二阶段（基于强化学习的动态定价）将数据获取形式化为马尔可夫决策过程，并训练一个近端策略优化（PPO）代理，在预算限制和随机用户接受行为下定价，平衡了对高价值样本的早期利用和长期预算效率。我们采用PPO，因为它结合了信任区域更新的稳定性和策略梯度方法的可扩展性，特别适合连续动作空间和长期时段。此外，我们采用了无模型公式，因为在数据获取市场中准确指定用户接受行为的转移模型是具有挑战性的，其中保留价格、提交时间和用户异质性可能会随时间变化。基于模型的强化学习因此需要对行为动态做出强烈假设，这在实践中可能会引入模型误设偏差。尽管如此，当有可靠的行为模型或交互日志可用时，基于模型的方法构成了一个有前途的扩展。逆强化学习（IRL）通常依赖于专家演示来推断奖励函数，而在我们的设置中，最优定价策略不是直接可观察的。

在当前研究中，我们有意采用两阶段设计，在定价过程中评估模块保持固定。这种分离是基于方法论和实际考虑的。首先，允许评估和定价共同更新会引入一个强烈的非平稳学习信号：评估的变化会改变定价代理面临的奖励格局，使得策略优化变得不稳定，并使性能改进的归因变得复杂。其次，保持可分离的评估阶段有助于保持可解释性。WPE指标旨在提供信息价值的可解释估计，从而能够分析语言和统计贡献，这在端到端公式中会更加困难。第三，在许多实际的数据获取系统中，数据质量评估和定价决策在操作上是分开的，使得模块化设计既现实又可行。最近的研究明确支持这种分离作为基础设计选择。关于数据市场架构的研究表明，将质量评估与定价功能分离可以使得市场运营更加稳健和可扩展（Bauer-H?nsel等人，2024年）。模块化方法允许质量评估组件专注于技术指标，如准确性、完整性、一致性和及时性，而定价机制可以独立优化市场动态、消费者效用和利润最大化（Lin等人，2025年）。这种分离符合既定的数据治理原则，其中质量控制作为经济评估过程开始之前的独立验证层（Bernardo等人，2024年）。

我们对评估和定价的公式化捕捉了移动数据市场的关键挑战：异步数据到达、信息不对称下的评估、不确定性下的策略性定价以及在动态资源约束下的决策。通过将语义感知评估与预算意识的强化学习相结合，我们的框架为信息中心生态系统中的基于学习的 数据采购建立了原则性基础，超越了静态或短视的方案，实现了优化即时和长期利润最大化的动态定价。

4. 加权困惑熵评估
在本节中，我们提出了一种基于掩码语言模型（MLMs）下预测不确定性的新数据评估方法，即加权困惑熵（WPE）。与依赖于数据标签信息或模型参数空间的传统评估指标不同，WPE通过聚合标记级掩码的预测不确定性来捕捉文本样本的信息量，该不确定性由语言和统计重要性权重调节。

4.1. MLMs下的预测熵
设一个文本样本为T=[t1,…,tn]。我们均匀抽取一个标记索引子集I?{1,…,n}，大小为m=|I|（掩码比率ρ）。对于I中的每个i，掩码语言模型（MLM）通过用[MASK]标记替换ti来生成词汇表的预测分布Pi(?)。
标记级的负对数似然定义为（1）?i=?logPi(titrue)，其中titrue是位置i处的真实标记。然后样本级的预测熵为（2）H(T)=1m∑i∈I?i。
等价地，相应的困惑度为PP(T)=exp(H(T))。

4.2. 结合语言和统计权重
虽然未加权的困惑熵H(T)提供了样本级不确定性的基线度量，但它假设所有标记的贡献是均匀的。为了捕捉标记级信息量的变化，我们引入了一个权重wi来调节每个标记的熵项。
复合权重定义为（3）wi=wi(POS)?wi(DEP)?wi(TF-IDF)，其中每个因素突出了一种不同的属性：
4.2.1. 词性权重
(4) wi(POS)=ωpos(ti)，其中ω?是从POS标签到分数的固定映射（内容词如名词和动词获得较大的值）。
4.2.2. 依存关系权重
(5) wi(DEP)=ωdep(ti)，其中通过更高的权重强调中心句法角色（例如，主语、宾语、词根）。
4.2.3. 统计稀有性权重
(6) wi(TF-IDF)=TF(ti,T)?log1+N1+DF(ti)+1，其中TF(ti,T)是样本T中的术语频率，N是语料库大小，DF(ti)是文档频率。+1项是标准平滑常数。
这些因素为句法上中心、语义上信息丰富或统计上独特的标记赋予更高的权重。三个复合权重的具体参数设置可以在附录表A.1、表A.2、表A.3中找到。在下一小节中，它们与标记级困惑熵结合，定义了加权评估函数。

4.3. 加权困惑熵评估
将标记级困惑熵与重要性权重结合，我们定义了文本样本T的最终评估函数：（7）G(T)=1|I|∑i∈Iwi?i
该函数将模型不确定性与标记级显著性结合起来，为更难以预测且在语言上信息丰富的样本赋予更高的价值。得到的分数G(T)可以用于下游应用，如样本排名、噪声过滤和动态定价。
信息价值G(T)旨在量化文本数据项对下游学习和决策过程的预期贡献。从经济角度来看，获取数据的价值不是直接通过数据本身产生的，而是通过其对依赖数据的模型或系统性能的影响产生的。更高的信息价值意味着在数据被纳入下游任务时，有更大的潜力减少预测不确定性、提高泛化能力或加速学习效率。从这个角度来看，数据项的经济价值可以解释为从这些性能改进中产生的预期边际收益，而不是作为确定的货币收益。因此，我们将G(T)视为获取数据项的预期经济效用的原则性代理，抽象出了特定于任务的收益结构，同时保留了数据有用性的相对排序。这种抽象使得可以统一评估不同文本样本，根据它们对下游结果的预期贡献来进行比较和估值。

权重机制不是作为任意参数调整引入的，而是作为沿互补语言维度（频率、句法角色和依存结构）的可解释分解。虽然这些权重是启发式的，但它们为调节标记级不确定性贡献提供了结构化的、可解释的先验。

4.4. 理论依据
为了澄清WPE的概念定位，我们强调其贡献在于评估映射，而不是在熵理论或语言模型设计上。传统的困惑度是在均匀期望运算符下聚合标记级的惊讶度。WPE将这种聚合推广为加权期望，从而在将困惑度作为数据价值的代理时放宽了隐含的均匀标记假设。这种修改在评估的功能层面进行，而不是在语言建模层面。
提出的WPE评估基于信息理论和数据效用分析。未加权的熵H(T)定义为语言模型下真实标记的预期负对数似然，用于衡量预测不确定性。从这个角度来看，我们假设H(T)较高的样本具有更大的信息潜力，因此在训练中更有可能减少困惑度，这与信息价值原则一致。
权重方案进一步与语言信息量相关：wi(POS)、wi(DEP)、wi(TF-IDF)强调了句法上中心或统计上稀有的标记，从而放大了它们的熵贡献。因此，加权评估G(T)将预测不确定性与标记级显著性结合起来，作为样本边际效用的代理，这与将数据价值视为边际贡献的经典观点一致。
预测不确定性并不是数据效用的通用度量。从信息论的角度来看，熵量化了不确定性（香农信息），而效用本质上是任务依赖的，与预测损失的边际减少或后验不确定性相关。我们的框架并不声称高不确定性普遍意味着高效用。相反，在标准的基于似然的训练动态下，预测熵可以解释为相对于模型当前后验的预期信息增益的近似值。在这个意义上，WPE作为模型更新的预期边际影响的代理指标，而不是内在的语义价值。我们承认，高度可预测的样本仍然可能具有很大的效用，例如当它们代表原型或结构上关键的模式时。因此，WPE应该被视为一个受任务条件影响的代理指标，其有效性取决于学习目标和模型假设。为了部分弥合信息量和信息效用之间的差距，我们结合了语言重要性权重，并通过下游任务性能的提升来实证验证WPE。然而，我们并不声称WPE能够普遍捕捉所有形式的数据效用。

4.5. 实现和计算考虑
下载：下载高分辨率图像（147KB）
下载：下载全尺寸图像

算法1展示了用于实际实现的完整WPE计算过程。WPE的计算复杂性主要由MLM推理决定，这需要O(|I|?n)次操作，其中|I|是掩码位置的数量，n是序列长度。词性标注、依存关系解析和TF-IDF评分每个样本都需要O(n)次操作，而语料库级别的TF-IDF统计则一次性产生O(|D|?n?)的成本。因此，每个样本的总复杂性为O(|I|?n+n)，使得WPE在大规模文本评估中具有计算可行性。

在移动文本数据定价场景中，这种计算效率尤为重要，因为存在资源限制和实时处理需求。该方法可以部署在移动设备或边缘服务器上，为动态定价机制提供按需的数据评估。WPE的无标签特性使其特别适合于通常无法获得或获取成本高昂的真实标签的移动环境。此外，模块化设计允许针对不同移动应用场景（如社交媒体帖子、消息数据或基于位置的文本内容）自定义重要性权重。权重方案也可以根据具体任务进行调整或学习，以便进一步满足多样化的评估目标。

4.6. 数据评估指标的属性
4.6.1. 权重可分性
我们评估函数G(T)的一个重要属性是权重可分性，它指的是能够独立分析和解释聚合得分中每个权重组成部分的效果。
(8) G(T) = ∑_{i∈I} w_i ? ?_i
其中 w_i = w_i(POS) ? w_i(DEP) ? w_i(TF-IDF)

由于w_i的乘法结构，每个标记ti对最终评估G(T)的贡献可以分解为三个可解释的维度：
- 句法重要性：w_i(POS)反映了标记的语法类别，并突出了内容词与功能词的相对价值。
- 结构中心性：w_i(DEP)捕捉了标记在依存关系解析中的角色，强调了主语和词根等核心成分。
- 统计稀有性：w_i(TF-IDF)量化了标记在语料库中的独特性。

正式地，这种可分性使我们能够将总体得分表示为通过对数似然的加权和，这些似然值通过可解释的维度进行了调节。因此，G(T)不是一个黑盒指标，而是一个模块化且可解释的得分，有助于我们理解是什么使一个标记或样本具有价值。

4.6.2. 在掩码标记选择下的采样无偏性
WPE评估的一个理想属性是其对掩码引入的随机性的鲁棒性。由于评估是基于随机选择的标记子集I?{1,…,n}计算的，因此确保这种采样不会偏置最终得分是很重要的。这引出了以下属性：
设G(t)(T)表示在第t次试验中，使用随机标记子集I(t)对文本样本T进行的WPE评估。如果每个子集I(t)都是从标记位置中均匀无放回采样的，那么：
(9) E[I[G(T)] ≈ 1/M ∑_{t=1}^M G(t)(T)

这里M表示独立掩码试验的次数，G(t)(T)是在第t个随机掩码子集I(t)下获得的评估结果。

换句话说，多次随机掩码下的WPE期望值近似于对所有标记位置进行完整评估的结果。只要掩码策略是均匀的，无论使用的具体掩码比率如何，这一点都成立。因此，即使在只对部分标记进行计算时，WPE也能提供样本信息价值的无偏估计。这使得它在计算上高效，同时在不同运行中保持估计的可靠性。

4.6.3. 无标签适用性
WPE评估的一个显著优势是它不依赖于真实标签。与许多依赖于监督训练信号或任务特定损失函数的数据评估方法不同，WPE仅基于模型对掩码标记的预测不确定性以及标记级别的语言/统计权重来操作。由于评估仅依赖于模型内部的不确定性，因此它不需要监督信号，并且适用于标记和未标记的情况。这使得它在以下场景中特别有价值：
- 预训练语料库过滤：在任何微调之前选择高价值样本。
- 领域适应场景：目标领域标签不可用时。
- 隐私受限任务：使用真实标签可能会暴露敏感信息时。

本质上，WPE提供了一种原则性的、任务无关的、模型感知的样本质量度量方法，即使在应用特定于任务的注释之前也是有效的。

5. 强化学习用于动态数据定价
5.1. MDP设计
我们将动态数据定价问题表述为一个马尔可夫决策过程（MDP），其中平台依次与数据所有者互动，并为每个传入的数据样本决定一个价格。目标是开发一个定价策略，在遵守预算限制的同时最大化累积利润，并考虑用户响应的随机性。

5.1.1. 环境
在每个时间步骤t=1,2,…,T，平台观察到一个新的数据样本G_t（例如，基于WPE评估），并必须决定一个要提供的价格p_t。然后数据所有者根据一个潜在的接受函数接受或拒绝该报价。如果接受，则购买样本，平台的预算减少p_t。否则，交易被跳过，预算保持不变。

在每个剧集开始时，平台被分配一个预算B_0，该预算是从以总剧集价值的一定比例（例如，50%）为中心的高斯分布中抽取的。这种随机预算初始化捕捉了剧集间可用资源的不确定性，并鼓励学习更稳健和适应性的定价策略。平台旨在T步时间内最优地分配其预算。

5.1.2. 状态空间
代理在时间t的状态表示为：
(10) st = G_t, B_t, t
其中：
- G_t是当前样本的估计价值，
- B_t是归一化的剩余预算（即，剩余预算除以初始预算B_0），
- t是归一化的步骤索引，表示剧集中的当前进度。

5.1.3. 行动空间
在每个时间步骤t，代理选择一个连续的动作a_t∈[0,1]，代表平台作为价格提供的样本估计价值G_t的比例：
(11) p_t = a_t ? G_t

与传统的离散臂定价策略不同，这种表述使得能够针对每个单独数据样本的估计价值进行细粒度和适应性定价。

5.1.4. 转移动态
在确定动作a_t之后，环境计算实际提供的价格p_t = a_t ? G_t，并包括一个额外的提前提交激励Et，旨在鼓励在剧集内更早地获取数据：
(12) Et = κ ? G_t ? (1 ? t/T)
其中κ∈(0,1)表示提前激励系数，控制时间衰减奖励的幅度。因此，平台在时间t提供的有效总支付为：
(13) P_t = p_t + Et

接下来，环境采样一个二元结果xt∈{0,1}，表示接受（xt=1）或拒绝（xt=0）提供的价格，这由概率接受函数?(G_t, p_t)控制。我们采用了一个软预算约束：购买可能会暂时超过剩余预算B_t，在这种情况下会施加一个惩罚Penalty_t。预算状态根据公式(14)更新，其中B_t表示实际剩余的预算（以货币单位计）。
(14) B_t+1 = B_t ? P_t, 如果 xt=1; 否则，B_t保持不变。

5.1.5. 用户接受模型
我们假设每个数据所有者都有一个私人保留价格rt(user)，它独立地从均匀分布中抽取：
(15) rt(user) ～ U(r_min, r_max)

给定一个报价p_t，用户接受报价的概率由定价剩余的Sigmoid函数控制：
(16) ?(p_t, rt(user)) = σ γ_acc ? (p_t ? rt(user)) = 1 / (1 + e^(-γ_acc(p_t ? rt(user)))
其中γ_acc>0控制响应曲线的陡峭程度。这个概率模型捕捉了异质用户行为，并在环境中引入了现实的随机性。较大的γ_acc值导致更确定性的响应，而较小的值则允许更嘈杂的接受行为。

5.1.6. 建模假设
采用均匀保留价格分布和Sigmoid接受函数作为基线行为模型，主要是为了分析清晰性和稳定模拟。这些假设使我们能够推导出可处理的接受概率，并专注于数据评估与动态定价之间的互动。我们认识到，现实世界中的用户价格敏感性可能会偏离这种简化设置。实际上，保留价格可能会由于用户异质性、预算限制和上下文因素而表现出偏斜、重尾或多模态模式，而接受行为可能会在不同的用户群体和应用领域中有所不同。我们的框架不依赖于这些假设的准确性。相反，它们作为理论推导和初始策略学习的参考模型，提出的定价策略在替代分布和接受函数下的鲁棒性在实验敏感性分析中得到了系统的检验。我们进一步指出，现实世界移动环境中的用户接受可能会受到上下文因素（例如，时间、位置、认知负担）、隐私/数据敏感性和重复交互效应的影响。建模这种依赖于上下文和策略的行为将需要额外的用户端信号或纵向交易日志，这些在我们的当前实验设置中是不可用的。因此，我们采用了一个简约的基线，并在替代分布和接受函数下评估了鲁棒性。

5.2. 形式化的MDP定义
我们的动态定价问题被定义为一个马尔可夫决策过程（MDP）元组M=(S, A, P, R, γ_disc)，其中：
- 状态空间S: st = (G_t, B_t, t)，其中G_t是当前样本的估计价值，B_t是归一化的剩余预算（即，剩余预算除以初始预算B_0），t是归一化的步骤索引。
- 行动空间A: 连续动作a_t∈[0,1]，代表平台作为价格提供的样本估计价值G_t的比例。
- 转移动态P: 接受结果xt～Bernoulli(?(p_t, rt(user))，其中rt(user)～U(r_min, r_max)，如果接受则预算演变B_t+1=B_t?Pt。
- 奖励函数R: 定义为即时或总利润减去软预算惩罚。其详细设计（包括PPO-A和PPO-B）将在下一节中讨论。
- 折扣因子γ_disc: 通常设置为γ_disc=1，用于有限视野优化。

重要的是要澄清所提出的定价机制与传统的基于强化学习的动态定价有何不同。在大多数现有的强化学习定价研究中，目标是优化收入或在库存或需求曲线不确定性下的需求（Kavoosi等人，2025年；Qiao等人，2024年）。相比之下，我们的设置关注于预算受限的数据获取，其中每次交易对应于获取一个具有异质性和外生估计价值G_t的数据样本。因此，代理学习了一个定价策略，该策略在异质数据项目之间分配有限的预算，以最大化累积净效用，这与传统的价格-需求优化问题有根本不同。

5.3. 奖励函数
我们提出了两种奖励公式，每种公式捕捉不同的优化目标：
5.3.1. 预算惩罚机制
为了确保策略在训练期间尊重预算限制同时允许控制灵活性，我们采用了一个分层的软预算惩罚函数。设Pt为时间t的总支付，B_t为剩余预算。定义预算超额为：
(17) Δ_t = max(P_t ? B_t, 0)

惩罚函数使用三个与剩余预算B_t相关的阈值：
- 轻度惩罚区域：0 ≤ Δ_t ≤ α_light B_t
- 中等惩罚区域：α_light B_t < Δ_t ≤ α_heavy B_t
- 重度惩罚区域：Δ_t > α_heavy B_t

具体来说，时间t的惩罚计算如下：
(18) Penalty_t = w_light Δ_t_light + w_medium Δ_t_medium + w_heavy Δ_t_heavy
其中每个项定义为：
(19) Δ_t_light = min(Δ_t, α_light B_t)
(20) Δ_t_medium = min(max(Δ_t ? α_light B_t, 0), (α_heavy ? α_light) B_t)
(21) Δ_t_heavy = max(Δ_t ? α_heavy B_t, 0)

参数α_light、α_heavy以及权重w_light、w_medium、w_heavy控制惩罚的强度，指导策略进行谨慎但灵活的预算管理。惩罚缩放参数（例如，α_light、α_heavy）应被视为上下文相关的因素，而不是通用常数。在实际部署中，这些参数可以校准以反映短期预算违规与获取数据的长期价值之间的经济权衡。概念上，校准可以通过估计下游任务中额外数据的边际经济利益来指导，例如通过历史A/B测试、模型性能敏感性分析或成本效益评估。信息边际价值较高的应用可能证明需要更宽松的惩罚（较大的α），而成本敏感的环境可能需要更严格的预算纪律（较小的α）。

5.3.2. PPO-A的奖励函数
每个步骤t的即时奖励旨在最大化即时利润，明确考虑了提前提交激励和软预算惩罚。它定义为：
(22) rt(A) = (G_t ? P_t) ? Penalty_t, 如果接受；否则
其中有效支付Pt包括提前提交激励：
(23) Pt = pt + κ ? G_t ? (1 ? t/T)
并且 Penalty_t代表在公式(18)中定义的分层预算惩罚。因此，PPO-A直接在受控预算管理下优化了短期交易效率。

5.3.3.PPO-B的奖励函数与PPO-A类似，总支付Pt包括一个提前提交的奖金。这种增加的支付在下面定义的奖励函数的所有组成部分中都是一致的。在PPO-B中，奖励函数旨在优化整个剧集期间的总累积利润，整合了几种战略考虑，以平衡短期和长期目标：(24)rt(B)=rt(即时)+rt(价值密度)+rt(总表现)?Penaltyt。惩罚项 Penaltyt遵循方程(18)中描述的相同的分层惩罚机制。具体来说，每个组成部分定义如下：
•即时利润：(25)rt(即时)=Gt?Pt，如果被接受；否则为0
•价值密度奖金：(26)rt(价值密度)=δ?rt(即时)，如果Gt>AvgValue(t)，并且被接受；否则为0，其中δ是系数，AvgValue(t)是直到步骤t为止被接受样本的平均估值。这个组成部分防止策略在低价值但容易接受的样本上过度投资，从而在预算限制下提高获取数据集的整体质量。
•总表现奖金：(27)rt(总表现)=λ?rt(即时)?∑i=1Tri(即时)B0，如果最后一步且总利润比率>ξ0；否则为0，其中λ是缩放系数，ξ是最终利润比率阈值。通过将最终奖励与整体利润对预算比率联系起来，这个组成部分强制代理在整个时间范围内维持盈利策略，而不是最大化短期收益。因此，PPO-B系统地鼓励最优的长期决策，引导代理在保持有效预算管理的同时实现持续盈利能力。

5.3.4. 目标
该平台旨在学习一个最优定价策略π(s)，以最大化T轮内的预期累积奖励。与Bt≥0的硬约束公式不同，我们的环境采用了软预算约束：预算状态Bt允许暂时低于零，但这种超支会招致方程(18)中定义的惩罚 Penaltyt。因此，优化问题表示为：(28)maxπEπ∑t=1Trt?Penaltyt，其中rt包括即时利润组成部分和激励项，而 Penaltyt则抑制了过度预算超支。这种软约束设计在探索不确定的用户接受行为和可持续的长期预算管理之间取得了平衡。实际上，这种放宽可以解释为一种短期融资或信贷机制，其中临时预算超支会产生明确的惩罚成本，类似于现实世界金融系统中的利息或透支费用。在不需要严格实时预算匹配的平台运营中，这种机制很常见，但通过成本惩罚来执行财务纪律。

5.4. 策略优化
为了解决上述引入的动态定价MDP，我们采用了近端策略优化（PPO）（Schulman等人，2017年），这是一种广泛使用的策略梯度方法，它在样本效率和训练稳定性之间取得了平衡。PPO特别适合连续控制任务，例如自适应定价，其中动作空间覆盖一个实数值区间，并且细粒度的策略更新至关重要。在这个框架中，平台维护两个神经网络：一个策略网络πθ(pt∣st)，它将当前状态映射到价格报价的分布；另一个价值网络Vψ(st)，它估计给定状态的预期回报。

5.4.1. 优势估计
我们通过从即时奖励中减去预测的状态价值来计算优势估计：(29)At=rt?Vψ(st)。这些优势按训练批次进行标准化，以稳定更新：(30)A?t=At?mean(At)std(At)+?，?=10?8

5.4.2. 价值函数更新
价值网络Vψ(st)通过最小化其预测与经验回报之间的均方误差来更新：(31)Lvalue(ψ)=Et[(Vψ(st)?rt)2]，其中rt表示时间步t观察到的回报（我们通过即时奖励来近似回报）。这提供了一个学习的基线，以减少策略梯度估计中的方差。

5.4.3. 熵正则化
为了鼓励充分的探索并防止过早收敛到确定性策略，我们在PPO策略损失中引入了一个熵正则化项。最终的策略优化目标变为：(32)Lpolicy(θ)=?Etminρt(θ)At，clipρt(θ)，1??，1+?At?β?Hπθ(?|st)，其中：
•ρt(θ)=πθ(pt|st)πθold(pt|st)是策略概率比率。
•At是时间步t的估计优势。
•?是PPO剪裁参数。
•H(πθ(?|st))表示状态st下策略分布的熵，系数β控制熵正则化的强度。这种正则化确保了整个训练过程中的持续探索，使代理能够更彻底地寻找最优定价策略。

5.4.4. 训练程序
在实践中，每一批收集的轨迹被重复用于多个PPO更新周期。这种迭代更新方案提高了样本效率，同时保持了训练稳定性。

6. 实验
在本节中，我们从两个互补的方向展示了实验：数据估值和动态数据定价。我们首先评估所提出的WPE指标的有效性、鲁棒性以及与现有估值方法的比较。然后通过利润基准测试、消融研究和基于场景的适应性测试来评估基于强化学习的定价策略。所有实验都在真实世界的数据集上进行，以确保实际的泛化能力。

6.1. 实验设置
6.1.1. 数据集
我们使用三个真实世界的文本数据集来评估我们的数据估值方法，这些数据集代表了不同领域的典型移动生成内容：
- 医学摘要分类数据集（MACD）（Schopf等人，2023年）包含用于疾病类别分类的医学摘要，每个摘要描述了患者状况，以帮助医疗专业人员进行诊断。该数据集包含14438个医学摘要，涵盖5个疾病类别：肿瘤（3163个样本）、消化系统疾病（1494个样本）、神经系统疾病（1925个样本）、心血管疾病（3051个样本）和一般病理状况（4805个样本）。
- 药物评论数据集（DRD）（Gr??er等人，2018年）提供了关于特定药物的患者评论，反映了真实用户的体验和意见。该数据集包含4143条患者评论，涉及多种药物和医疗状况。每个条目包括药物名称、患者状况、三个方面的文本评论（益处、副作用和总体评论）、10星的整体评分，以及副作用和有效性的分类评分。
- 爱豆电影短评数据集（Douban）包含来自豆瓣平台的2.14百万条中文用户对28部电影的评论。每个条目包括评论ID、电影名称（英文和中文）、用户名、发布日期、星级评分（1-5分）、评论文本和点赞数。

对于数据估值，我们在WPE性能评估中使用了这三个数据集，而在鲁棒性测试和sota比较中仅使用DRD。对于动态定价实验，我们将DRD数据集分成大约51%用于训练学习环境，49%保留为测试的保留集，以保持两个集合之间的相似分布。

6.1.2. 评估指标
评估过程涉及两个不同但相关的视角：使用WPE的数据估值和使用PPO的动态定价。
对于数据估值（WPE），主要指标是增量准确性，它衡量随着按WPE分数排名的样本逐渐加入训练集时的分类准确性。这个指标直接反映了WPE是否能够识别并优先考虑加速模型学习的信息样本。第二个指标是Kendall的Tau相关系数（τ），它衡量在关键词删除和单词洗牌等令牌级别扰动下估值排名的鲁棒性。正式地，给定两个文本样本的排名R1和R2，Kendall的Tau定义为：(33)τ=C?D12n(n?1)，其中C表示一致的对数，D表示两个排名之间不一致的对数。较高的τ值表示更强的鲁棒性，因为尽管有扰动，相对估值排名仍然得以保持。
对于动态定价（PPO），性能主要通过每个剧集的累积利润来衡量，这代表了定价代理在整个交易序列中积累的总奖励。此外，训练过程的收敛率表明了学习的稳定性和效率，而交易期间的平均报价反映了代理的定价行为和市场适应性。这些指标提供了关于定价策略盈利能力和行为动态的全面视图。

6.1.3. 基线模型
为了有效验证我们的方法，本研究选择了六种基线方法，并在我们的研究数据集上重新实现了它们，以便进行性能比较。基线在相同的数据集和队列上执行，确保了公平的评估。我们将基线分为两组，根据它们的用途：
(A) 估值方法：TMC-Shapley、G-Shapley和Random（用于估值）；
(B) 定价方法：Half-Fix、LinUCB和Random（用于定价）。
- TMC-Shapley（Ghorbani & Zou，2019年）：该方法通过测量每个训练样本在多次重新训练排列中的边际影响来估计其贡献。这种方法提供了对真实Shapley值的准确但计算密集的近似。
- G-Shapley（Ghorbani等人，2020年）：该方法通过使用训练模型的梯度信息来近似影响分数，提供了一个更可扩展的替代方案。尽管效率较高，但G-Shapley仍然依赖于模型并且对训练稳定性敏感。
- Random（估值）：我们以均匀随机顺序移除训练样本，作为无信号的对照。这个基线近似了在没有估值信息下的预期性能轨迹。
- 影响函数（Koh & Liang，2017年）：该方法通过使用二阶影响近似来估计移除样本对验证损失的影响，提供了基于模型的数据效用敏感性分析，但在高维设置或模型假设被违反时，近似精度可能会下降。
- Beta-Shapley（Kwon & Zou，2021年）：该方法通过使用Beta分布对不同联盟大小的边际贡献进行加权，扩展了经典的Shapley值。它提供了一个灵活的博弈论估值框架，但仍需要蒙特卡洛近似，对于大型数据集来说计算成本可能较高。
- Half-Fix：一个简单的非学习启发式方法，为每个样本发布一个固定的报价率（例如，价值代理的50%），直到预算耗尽。这个基线反映了一个稳定的“一刀切”策略，不适应样本的异质性或剩余预算，为自适应方法提供了一个保守的下限。
- LinUCB（上下文强盗）（Xu等人，2024年）：一个线性置信度上限强盗，将定价视为在离散的报价率集合上的上下文动作选择。在每一步中，它根据当前上下文（例如，样本价值代理和剩余预算特征）选择具有最高UCB分数的比率，然后在线更新其线性模型。LinUCB在探索和利用之间取得了平衡，而不需要对长期回报进行建模，因此可以基准测试短视但适应性强的定价。

6.2. 实施细节
表3是实验设置表。对于数据估值，加权困惑熵（WPE）方法将其熵估计整合了三个语言特征，这些特征基于困惑度。这些特征包括TF-IDF加权、词性标注和依存关系。这种设计允许对每个样本进行详细的无监督评估，而无需重新训练模型。
对于动态定价，环境模拟了一个顺序数据获取市场，其中平台与众多数据提供者互动。每个数据样本都被分配了一个由WPE确定的潜在价值，卖家的接受决策遵循一个S型函数，将报价与其私人保留价格进行比较。每个剧集包括2100笔交易，初始预算来自以数据集总值的50%为中心的高斯分布。
实现了两种近端策略优化（PPO）变体来模拟动态定价过程。第一种，PPO-A，专注于在软预算约束下最大化即时利润，旨在实现短期效率。相比之下，PPO-B通过引入价值密度奖金和总表现奖金来扩展奖励函数，鼓励更策略性的长期优化。在这两种设置中，策略和价值网络都是轻量级的三层MLP（128–64–64，ReLU），使用Adam优化器（学习率为3×10?4）在3000个剧集中进行训练，批量大小为256，PPO剪裁比为0.2。这种配置确保了训练稳定性和计算效率之间的平衡，使得该方法适用于资源受限的移动或边缘环境。

6.2. WPE在数据估值上的性能
为了评估WPE作为估值指标的能力，样本按照其WPE分数的降序排列，并逐步添加到模型的训练集中。在(a)、(d)中，我们观察到累积困惑熵稳步上升，然后趋于平稳。如图2(a)所示，当在DRD数据集上应用逻辑回归时，随着更高价值的数据点被添加，模型准确性迅速提高，然后在大约0.53处收敛，表明每个额外样本的边际贡献随时间减小。在相同数据集的岭分类设置中也观察到了类似的趋势，如图2(d)所示，准确率从大约0.41提高到了超过0.525，并且在样本数量达到1200个之后，准确率的增长速度放缓。这些结果表明，WPE有效地优先考虑了对模型性能贡献更大的数据样本，尤其是在学习的初期阶段。我们进一步将分析扩展到MACD数据集，其样本规模和分布与DRD不同。(b)、(e)分别展示了逻辑回归和岭分类的结果。与DRD相比，准确率曲线虽然起始点较低，但随着样本数量的增加，准确率也表现出类似且一致的提高，并且再次显示出递减的斜率，这支持了在这种情况下评估指标的次模性质。此外，我们还在豆瓣数据集上使用随机选取的20000个样本来评估我们的方法。豆瓣数据集具有独特的中文文本内容和多样化的用户生成电影评论，为我们提供了在不同语言和文化背景下测试我们方法的机会。如图(c)、(f)所示，逻辑回归的准确率从0.55提高到了0.65，岭分类的准确率从0.525提高到了0.665，并且两者都在后期显示出明显的边际效应递减。这些结果验证了我们数据评估方法的稳健性，证实了我们的方法能够成功地识别出不同文本领域中的有信息量的样本。

6.3. 在文本扰动下的稳定性
为了检验我们的评估方法对现实世界中常见的文本变化的稳定性，我们设计了一个全面的鲁棒性评估框架。我们引入了两种类型的输入扰动来模拟不同形式的文本损坏：(1) 关键词删除，随机移除选定的信息性标记，以模拟可能由于数据预处理错误或不完整文本传输而导致的信息丢失情况；(2) 词序打乱，随机排列标记序列，以模拟自动翻译系统或文本生成过程可能引起的句法扭曲。为了系统地评估不同权重组成部分对整体鲁棒性的贡献，我们在五种配置下进行了消融实验：(1) 所有组件都启用，(2) 不使用TF-IDF加权，(3) 不使用词性加权，(4) 不使用依存关系加权，(5) 不使用任何加权机制。这种设计使我们能够隔离每个语言组件对我们评估方法稳定性的影响。表4中展示的鲁棒性评估结果表明了我们全面加权策略的有效性。使用所有三种权重类型的配置在两种扰动下都一致地获得了更高的相关性，关键词删除的τ值为0.6123，词序打乱的τ值为0.4427，这表明在句法结构被破坏的情况下，结合语言和统计信号有助于更稳定的评估。消融分析揭示了关于组件贡献的重要见解。移除TF-IDF组件会导致Kendall’s Tau显著下降，特别是在词序打乱的情况下（从0.4427下降到0.3284），表明术语频率信息在保持排名一致性方面起着核心作用。相比之下，单独移除词性或依存关系权重在单一噪声情况下会导致Kendall’s Tau的较小下降，但在不同的噪声条件下稳定性较低，这表明语言特征之间存在部分冗余以及它们在维持鲁棒性方面的互补作用。没有加权机制的配置在两种扰动类型下都获得了最低的稳定性，证实了我们提出的加权策略在句法和语义扭曲下增强评估稳定性的有效性。

6.4. 与评估基线的比较
为了验证所提出的WPE作为数据评估方法的有效性，我们在两个实验中将其与其他三种基线进行了比较。第一个实验按照估计价值的降序移除训练样本，并测量最终的测试准确率。如图3所示，移除WPE识别出的高价值样本会一致地降低测试准确率，这证实了WPE能够捕捉到关键的训练实例。重要的是，WPE随时间的下降更加平滑和单调，反映了稳定且可靠的排名信号。相比之下，基线方法（TMC-Shapley、G-Shapley、Random、Influence Functions和Beta-Shapley）显示出更大的波动和偶尔的停滞，表明它们的评估排名更加嘈杂且不如WPE可靠。第二个实验按照估计价值的从低到高的顺序移除样本（图4）。有效的评估应该能够容忍移除低贡献样本而几乎没有准确率的损失。WPE在早期表现出很强的鲁棒性，而G-Shapley和随机基线则下降得更快。TMC-Shapley最初有明显的波动，表明其对噪声敏感。Influence Functions和Beta-Shapley显示出一些停滞。一旦达到高价值区域，WPE的准确率下降得更剧烈，这证实了它在删除顺序的后期阶段能够有效地放置有价值的样本。这些结果表明WPE提供了一种可靠且高效的数据效用排名替代方法。虽然基于Shapley的方法提供了有用的基线，但它们对模型特定动态和重新训练的限制限制了可扩展性。WPE通过利用语言结构和掩盖预测不确定性避免了这些缺点，使其成为细粒度样本评估的有前景的方法。

6.5. 学习最优定价策略
我们首先检查了我们两种基于PPO的定价策略的训练动态：PPO-A（最大化即时利润）和PPO-B（考虑长期利润）。图5展示了每种策略在3000个训练周期内实现的累计利润（以千计）。两种策略都经历了一个初始探索阶段，在此期间代理学习了动作空间的动态。PPO-A初始收敛较慢，在大约第500个周期时达到稳定性能，而PPO-B则需要更少的周期才能完全收敛。一旦收敛，PPO-B在整个训练过程中始终优于PPO-A。PPO-A稳定在每个周期约4000美元，而PPO-B在每个周期约4600美元时表现出更好的性能。两种策略在收敛后都显示出稳定的学习曲线，反映了PPO的裁剪替代目标的稳健性。图5中观察到的收敛特性对于移动部署场景特别相关。PPO-B更快的收敛速度使其适用于需要快速策略适应的环境，例如当移动市场条件频繁变化时。此外，PPO-B的卓越长期性能使其非常适合优先考虑持续盈利的稳定移动市场。

6.6. 比较定价策略
我们将学到的PPO策略与三种基线策略进行了比较。图6比较了所有五种方法在2000个测试样本上的累计利润轨迹。随机策略由于缺乏明智的决策而表现出中等整体回报，最终累计利润约为2400。Half-Fix基线在大约3700时获得了适度的收益，但未能适应预算消耗或时间动态。LinUCB通过利用上下文特征（包括样本价值、剩余预算比率和标准化时间）改进了随机定价，但由于其线性限制，最终利润仅为1300。PPO-A和PPO-B都显著优于所有基线，PPO-A达到了约4000，而PPO-B在预算限制下成功优化了长期奖励，最终利润约为4300。这些结果清楚地证明了我们的强化学习策略在动态、预算有限环境中的优越性。

6.7. 定价消融和模型适应性
为了解释PPO-A和PPO-B之间的性能差距，我们进行了消融研究。如图7(a)所示，移除价值密度奖励会使PPO-B的累计利润减少0.5（在×1000的尺度上）。相比之下，图7(b)显示，移除总性能奖励不仅减少了累计利润，还减慢了学习速度，需要额外的500个周期才能达到收敛。图7的结果表明，在PPO-B的奖励函数中结合价值密度奖励和总性能奖励的价值，这引导代理进行更战略性的预算分配和更高效用的数据获取。PPO-B反映了产生高利润的复杂、长期优化策略。

6.8. 计算效率和可扩展性
我们报告了(i) WPE每个文本样本的估值时间，(ii) PPO训练，以及(iii) 策略推理延迟的 wall-clock 计算成本。所有测量都是在[AMD Ryzen 9 8945HX with Radeon Graphics]和[NVIDIA GeForce RTX 5070 Ti Laptop GPU]上使用PyTorch [2.8]和CUDA [12.8]进行的。对于GPU计时，我们使用torch.cuda.synchronize()来避免异步偏差。

6.8.1. WPE估值时间和可扩展性
表A.7报告了默认配置下WPE的每个样本运行时间。平均估值时间为每个文本129.7毫秒，其中MLM推理占总成本的85%以上，表明主要的计算瓶颈在于掩码语言模型的前向传递而不是语言预处理。表A.8评估了在更长序列和更大掩码比率下的可扩展性。正如预期的那样，运行时间随着掩码标记数量的增加而大致线性增加，而吞吐量则平稳下降，表明没有突然的性能下降。表A.9显示，嵌入提取从批量处理中受益，当批量大小从1增加到64时，吞吐量增加了五倍以上，显示出良好的GPU利用率。

6.8.2. PPO训练持续时间和策略推理时间
表A.10报告了3000个周期内的PPO训练时间。训练在大约8-9分钟内完成，每个周期的平均运行时间约为0.16-0.17秒。相对较低的运行时间是由于轻量级的策略网络和向量化接受模拟，避免了昂贵的环境部署。表A.11显示，策略推理每个决策大约需要0.2-0.3毫秒，这在不同批量大小下保持稳定，表明所提出的定价机制适用于实时部署。

6.9. 敏感性分析
6.9.1. 用户行为假设
为了检验我们定价结论的稳健性，我们通过扰动(a) 预订价格分布，(b) 接受功能形式，以及(c) 接受陡度参数来进行系统敏感性分析。这项敏感性分析旨在通过明确扰动预订价格分布和接受函数形式，来测试我们的结论是否依赖于基线的均匀分布和Sigmoid用户模型。我们考虑了六种与基线常见的偏差情况：（i）预订价格分布：均匀（U）、截断正态（N）和截断指数（E）；（ii）接受函数：Sigmoid（Sig）和线性阈值（Lin）；（iii）敏感性参数：γacc∈{2,5,10}，用于控制接受的陡峭程度。我们使用最后10个评估批次的最终累积利润和平均值/标准差来总结结果。表5显示，我们的核心结论在各种假设下保持定性稳定。首先，将Sigmoid接受模型替换为线性阈值模型（U+Lin，γacc=5）产生的盈利能力水平与基线模型（U+Sig，γacc=5）非常相似，这表明学习到的定价效果并不依赖于特定的函数形式。其次，将敏感性参数γacc从5改为2或10只产生中等程度的变化，表明学习到的策略对假设的价格响应程度并不过于敏感。第三，改变预订价格分布（N/E）会改变绝对利润水平，特别是在截断指数情况下，接受变得更加容易，但学习到的策略仍然有效，并且在分布变化下不会崩溃。总体而言，敏感性结果支持了所提出的定价框架在基线用户模型合理偏差下的稳健性。

表5. 在不同用户行为假设下定价性能的敏感性分析。U/N/E表示均匀/截断正态/截断指数预订价格分布；Sig/Lin表示Sigmoid/线性阈值接受函数；γacc控制接受的陡峭程度。

情景 PPO-A（即时利润） PPO-B（总利润）
空白单元 最后10个的平均值 最后10个的标准差 最后10个的平均值 最后10个的标准差
U+Sig(γacc=5) 399 2.87 22 19.29 11 80.77 41 97.44 23 64.76 12 33.41
N+Sig(γacc=5) 411 0.51 23 08.09 12 13.94 37 05.29 20 61.36 10 84.62
E+Sig(γacc=5) 720 3.79 40 54.43 21 06.14 74 89.12 42 04.67 21 96.66
U+Lin(γacc=5) 402 5.39 22 34.15 11 94.14 42 51.08 23 64.85 12 64.15
U+Sig(γacc=2) 402 4.33 22 23.91 11 81.96 39 52.39 22 22.80 11 47.90
U+Sig(γacc=10) 395 6.26 22 25.56 11 58.80 39 49.89 22 59.63 11 67.59 6.9

2. 对估值参数的敏感性
为了评估所提出的WPE估值的稳健性，我们进行了几项关于掩蔽比率、组件消除和手动指定语言权重的敏感性分析。首先，我们改变了熵估计中使用的掩蔽比率。附录表A.4中的结果显示，掩蔽比率的适度变化导致排名一致性变化有限，下游性能相对稳定。其次，我们分别移除了POS、依赖性和TF-IDF权重来进行组件消除。如附录表A.5所示，移除任何组件都会略微降低排名稳定性，表明每个组件都对估值信号有所贡献。最后，我们通过扰动一组代表性语言类别来进行敏感性分析，以评估对手动定义参数的敏感性。我们关注代表性语言类别，以确保结果可以清晰地呈现和解释。附录表A.6中的结果表明，在这些权重的合理变化下，WPE仍然保持稳定，支持了所提出方法的通用性。

尽管当前的实现使用了启发式的初始权重，但WPE框架并不限于固定参数。权重方案可以扩展为可学习的公式，其中语言权重被视为可调的超参数或与下游目标一起优化。这为自适应数据估值模型开辟了一条途径，这些模型可以自动调整以适应特定领域的特征。

6.9.3. 对定价参数的敏感性
我们对关键的PPO超参数进行了敏感性分析，包括熵系数β、价值密度权重δ和长期奖励权重λ。如附录表A.12、A.13、A.14所报告的，所提出的定价策略在广泛的超参数值范围内表现出稳定的性能。特别是，最终利润和预算利用率在不同设置下只有适度变化，表明所提出机制的有效性不依赖于精心调整的参数。我们还观察到，δ和λ的适度值往往能实现略好的利润和利用率，表明短期和长期奖励成分都对稳定的学习动态有所贡献。

7. 讨论
7.1. 用户行为建模
我们认识到，基线假设中的独立均匀分布的预订价格抽象掉了现实世界数据市场中可能出现的更复杂用户行为。实际上，用户可能会表现出相关的估值、对定价策略的战略性响应，或者通过重复互动进行学习而表现出适应性行为。明确建模这些行为需要更丰富的市场反馈、纵向用户数据或博弈论公式，这超出了当前研究的范围。相反，我们专注于建立一个可行的基线模型，并通过在实验敏感性分析中测试不同的预订价格分布和接受函数来评估其稳健性。这些结果表明，所提出的定价框架在基线假设的合理偏差下仍然有效。未来研究的一个重要方向是纳入用户行为的相关性或战略性模式。在此基础上，潜在的扩展可以探索考虑上下文和隐私的用户模型。例如，根据时间或上下文因素，或数据敏感性指标来调整预订价格或接受决策，只要这些信号可用。

从市场结构的角度来看，当前框架将平台建模为主要决策者，它发布收购价格，而数据提供者根据他们的预订价格做出响应。这种表述可以解释为一种简化的斯塔克伯格类型设置，在数据采购的实证研究中通常采用，重点是在预算和信息约束下的定价动态，而不是完全的市场均衡。我们认识到，现实世界的数据市场本质上是双边的，卖家在重复互动中可能会表现出战略性行为。然而，在这项研究中，我们的目标是在数据流式到达的不确定性下改进平台侧的定价决策。纳入更复杂的博弈论或机制设计模型将使重点转向均衡分析和市场设计。

除了在替代用户行为假设下支持稳健性之外，敏感性分析还提供了解释政策行为的间接视角。比较PPO-A和PPO-B在不同预订价格分布下的表现表明，学习到的策略不仅在分布变化下保持盈利能力，还会调整它们的定价风格。在更容易接受的环境中（例如，截断指数预订价格），长期策略更有可能利用低价、高量的收购，并更平滑地使用预算，而其奖励设计也有助于防止过度分配给低价值样本。在不太宽容的环境中，较低的价格不太可能被接受，PPO-B可能会通过减少边际交易并变得更加选择性和保守来响应。我们认识到，这些行为解释是从总体政策结果和奖励设计中推断出来的，而不是直接从用户-平台互动的结构识别中得出的。因此，未来工作的一个有前景的方向是用政策诊断（如平均报价、接受率、接受样本价值和预算消耗轨迹）来增强敏感性实验，使适应机制直接可见。

7.2. 对预算执行规则的稳健性
我们对PPO-B进行了不同的硬约束实验。图10展示了三种定价策略的训练收敛情况。我们观察到，PPO-B（Soft）在训练过程中表现出相对平滑和稳定的累积利润提升。相比之下，PPO-B（Hard）收敛到较低的奖励水平，反映了硬约束机制中更严格的预算可行性约束。图11显示，硬变体的较低收敛平台与其更为保守的购买行为一致，因为交易受到实时预算可用性的严格限制，没有基于软罚分的灵活性。

下载：下载高分辨率图像（275KB）
下载：下载全尺寸图像
图10. PPO-A和PPO-B在软约束和硬约束下的训练进度比较。
下载：下载高分辨率图像（185KB）
下载：下载全尺寸图像
图11. PPO-A和PPO-B在软约束和硬约束下的累积利润。

7.3. 操作示例
为了说明所提出的框架在实践中的运作方式，考虑一个收集用户生成的文本反馈以改进症状检测模型的移动健康评估平台。随着新评论的到来，平台首先使用所提出的信息估值模块评估每个文本对其对下游模型的潜在贡献。基于这个估计值和剩余的收购预算，定价模块为数据提供者确定一个动态报价。然后用户决定是否根据提供的价格分享他们的数据。收集到的评论被纳入学习过程，随着时间的推移提高模型性能，并影响后续的估值和定价决策。这种估值、定价和学习之间的闭环互动使平台能够在动态环境中更有效地分配其数据收购预算，并适应用户响应。

7.4. 移动环境中的部署考虑
所提出的WPE估值与基于模型重新训练的估值方法相比更为轻量级。RL定价策略仅在平台端执行，推理步骤只需要一个小型神经网络的前向传递，使得在移动驱动的数据收集系统中实现实时定价成为可能。在实际部署中，文本数据可以在本地或可信的边缘服务器上进行评估，只需要将估值分数或交易结果传输到平台。这种架构在某些情况下减少了传输原始数据的需要，并有助于缓解隐私问题。间歇性连接是移动环境的另一个常见特征。所提出的框架以异步方式处理提交，允许延迟或暂时不可用的提交被纳入而无需修改定价机制。这种设计使系统自然兼容移动或基于边缘的数据收集场景。

7.5. 理论和实际意义
这项研究提供了理论和实际意义。从理论角度来看，它桥接了两个以前不相关的领域，即信息论和数据经济学。通过引入加权困惑熵，该研究提供了一个基于预测不确定性的文本信息价值的正式度量，丰富了数据估值的理论基础。此外，基于强化学习的定价机制将经济决策理论扩展到了数字资产的背景下，将数据交易建模为在不确定性下的序列决策问题。

从实际角度来看，所提出的框架为数据市场和AI模型训练管道提供了一个可实施的解决方案。它允许平台确定哪些数据值得获取以及支付多少，优化预算使用并提高数据质量。这对于联邦学习、去中心化数据共享和AI模型微调尤为重要，其中定价公平性和效率至关重要。

8. 结论
本文提出了一个全面的框架，通过信息感知方法解决了移动环境中数据估值和定价的双重挑战。我们的加权困惑熵（WPE）方法有效地捕捉了文本数据的语义丰富性和信息内容，与现有的基于Shapley的方法相比，在不同的数据集上展示了更高的稳健性和排名一致性。基于强化学习的动态定价机制成功地适应了预算约束和市场条件，在移动数据交易场景中实现了比基线策略更高的累积利润。当前框架的一个重要扩展是实现估值模块的在线适应。在这种设置中，估值函数可以使用实际的交易结果、下游性能改进或强化学习信号进行更新，形成估值和定价之间的联合优化循环。更一般地说，这可以表述为一个双层或端到端的学习问题，其中估值作为一个可学习的组件，适应于特定任务的效用。探索这样的公式是未来研究的一个重要方向。

CRediT作者贡献声明
熊文泽：写作——原始草稿，写作——审阅与编辑，数据整理，可视化，验证，方法论，形式分析。
王业童：写作——审阅与编辑，软件，可视化。
李万欣：写作——审阅与编辑，监督，概念化，方法论，资金获取。
郭浩：写作——审阅与编辑，监督，资金获取。
张杰：写作——审阅与编辑，监督。
王浩宇：写作——审阅与编辑。