《Informatics》：How Data Quality Impacts Decision Outcomes: Scoping Review, Methodological Development, and Empirical Demonstration
编辑推荐：
公共部门的价值生成日益依赖于信息系统提供的数据，然而数据质量（DQ）对决策的影响仍未得到充分研究。尽管先前研究已识别出DQ与决策结果之间的关联，但强有力的因果证据仍然稀缺。本研究分两个阶段解决这一问题：首先，通过对价值关键型DQ维度（准确性、完整性、一致性、及
公共部门的价值生成日益依赖于信息系统提供的数据，然而数据质量（DQ）对决策的影响仍未得到充分研究。尽管先前研究已识别出DQ与决策结果之间的关联，但强有力的因果证据仍然稀缺。本研究分两个阶段解决这一问题：首先，通过对价值关键型DQ维度（准确性、完整性、一致性、及时性）影响的实验研究进行范围综述；其次，通过方法学发展。在Scopus、Web of Science、IEEE和PsycInfo中进行检索，并辅以引文检索和Google Scholar以避免纳入偏倚，经过筛选和全文审查后识别出20项研究。本研究并未根据方法学质量排除研究，而是批判性地审视了现有实验设计及其发现。文献揭示了显著弱点，包括客观与主观变量之间的区分不清晰、操纵薄弱、操作化定义模糊以及样本量小。因此，对DQ影响的现有理解仍然有限且往往不具结论性。为解决这些局限性，本文提出了DQ实验的形式化模型，并利用开放数据为完整性提供了概念验证。研究结果表明，完整性影响价值评估及随后的选择行为，尤其是在不确定性较高且备选方案之间价值差异较大时。
本文主体部分围绕数据质量（DQ）对决策影响的因果证据展开，通过范围综述、方法学发展和实证论证，系统评估了现有研究的局限性并提出了改进方案。以下按小标题顺序总结各部分内容。
**1. Introduction**
引言指出，政府越来越多地利用信息系统数据（如开放数据、大数据）支持透明度和决策，但数据质量（DQ）在实践中仍被低估。现有研究多为相关性设计，依赖调查测量感知准确性或自我报告决策质量，缺乏因果证据。DQ维度（如准确性、完整性、一致性、及时性）是分析重点，且需区分客观质量与主观感知。本研究采用两阶段结构：先综述现状，再改进实验方法，并通过完整性概念验证展示方法可行性。
**1.1. Theoretical Foundation**
**1.1.1. Experiments and Causal Validity**
信息系统（IS）领域理论发展薄弱，实验研究（尤其是在线实验）可强化因果推断。实验需满足两个条件：操纵自变量和随机化最小实验单元（通常为被试）。相关性设计无法排除混杂因素，而实验通过操纵和随机化减少选择偏差。组间设计（BS）通常优于组内设计（WS），但WS需充分平衡以消除顺序效应。现有研究示例（如[11]和[34]）展示了相关性设计可能因反向因果、混杂或碰撞变量（collider）产生误导性显著结果。当实验不可行时，前瞻性设计优于回顾性或横截面设计。样本量需满足统计要求，参考中心极限定理，每组约30个观察值较为充足。
**1.1.2. Data Quality**
DQ与组织解释、表演性和价值构建紧密相关。本研究采用理论视角（数据制造视角），区别于“适用性”（fitness-for-use）传统，聚焦于内在维度。基于Wand & Wang的本体论，DQ错误源于现实世界（RW）状态与信息系统（IS）状态之间的不匹配。重点分析四个维度：准确性（accuracy）指数据正确且无错误；完整性（completeness）指数据广度、深度和范围充分；一致性（consistency）指数据满足约束；及时性（timeliness）指数据年龄适合任务。每个维度均从本体论角度定义了错误类型。
**2. Materials and Methods**
采用范围综述方法，检索Scopus、Web of Science、IEEE Xplore和PsycInfo，辅以引文追踪和Google Scholar。关键词包括(data quality OR information quality), (experiment OR RCT), decision*, 以及(accuracy OR correctness) OR completeness OR consistency OR timeliness。纳入标准为实验研究，无方法学质量排除标准。排除非同行评审、非英文、无全文或非实验研究。初始检索获得296+135+14+52篇，筛选后保留20篇。评估方法包括：设计类型（BS/WS及随机化是否充分）、操纵方式（数据集操纵DM vs 数据质量信息DQI）、样本量（每组≥30为充足，20-29为临界，<20为不可靠）、操作化定义（是否与维度定义一致及可测量性）。所有评估标准用于识别研究弱点，而非直接排除。
**3. Results**
**3.1. Accuracy/Correctness**
多数准确性研究采用DQI方式，而非直接操纵数据，因此主要反映对质量差异的感知反应，而非客观数据质量的影响。DQI设计表明，质量陈述增加感知质量和决策信心，尤其当信息源可信时。但此类研究未直接证明准确性本身的效果，部分研究中被试从未看到底层数据。DM设计样本量不足，初步结果显示准确性操纵可改善任务和决策质量，但操作化定义存在偏差：如将准确性操作化为可靠性或概率正确性，或采用有缺陷的缩放误差度量（可能产生负值或与完整性重叠）。总体而言，准确性影响的实验证据有限，样本量不足且定义不统一。
**3.2. Completeness**
多数完整性研究操纵数据集（DM），通过提供部分材料来改变完整性。但具有充足样本量的研究未能拒绝零假设，而接近定义的操作化（如Ge & Helfert, 2015）因每组仅10名被试而不可靠。部分研究定性地增加或删除细节，导致操纵强度难以测量，可能造成弱差异。结果表3显示，完整性对决策的影响仍不明确。
**3.3. Consistency**
一致性研究数量少，结果不一致：一致性未提高论证说服力，但中等水平一致性可能使个体更可预测。然而，这些研究基于DQI（关于准确性和来源可靠性的信息），而非数据本身的不一致。唯一接近内部一致性定义的研究（Ge & Helfert, 2015）因样本量小无法得出可靠结论。总体而言，一致性对决策的影响证据不足。
**3.4. Timeliness**
及时性实验研究仅限于机器学习算法，而非人类决策者。操作化方法（如未替换元组比例）与准确性可能存在重叠，且及时性对人类决策的影响未知。理论上，及时性应在条件变化时影响判断，但效果依赖上下文。
**3.5. Experiments Using Non-Standard Dimensions**
少数研究采用整体质量而非单个维度，操作化宽泛，无法支持具体机制分析。但总体而言，数据清洗操作、上下文DQ、社交互动质量等均对任务性能有部分显著影响，提示整体DQ可改善表现。
**4. Discussion**
**4.1. Discussion of Review Findings**
现有实验证据稀疏，多数研究显示DQI影响判断和信心，但DQ本身对性能的影响有限。非显著结果可能源于弱操纵，而操作化定义不一致、样本量小、任务领域多样等问题限制了结论的推广。仅三项研究涉及管理相邻任务，且仅一项样本量充足的研究发现经验决策者更倾向于使用DQI。总体而言，DQ因果影响证据薄弱，需进一步研究。
**4.2. Methodological Development**
为解决现有局限，提出形式化模型，用集合符号定义数据集和DQ操纵。定义索引集、实体集、值空间等，构建正确数据集X和修改后数据集X'。准确性：通过基于原始分布的误差引入，使用百分比偏差度量（类似MAPE），避免与完整性重叠。DQI可区分知识状态，实现2×2析因设计。完整性：定义为缺失索引或缺失实体的比例，随机缺失更生态有效。一致性：关注数据内部比较（值一致性和格式一致性），不涉及与真实对象的对应。及时性：通过更新频率操纵，定义未更新元组比例。所有维度均需先导测试和事后调查验证操纵成功。
**4.3. Proof of Concept: Completeness Analysis**
**4.3.1. Setup**
利用Choices13k数据集（包含二选一风险选择任务），通过隐藏选项B的部分结果概率来操纵完整性。该数据集因完整性=1条件占主导，但完整性<1的条件仍有足够观察值。变量定义：完整性为呈现的信息数量与全部信息之比。考虑四种价值策略（乐观、悲观、等概率假设、期望价值EV）。采用β回归（logit链接）建模选择概率，并比较模型拟合。
**4.3.2. Completeness Results**
最佳策略依赖完整性：完整时EV最佳，不完整时等概率假设最佳。完整性主效应显著，且调节价值评估与选择概率的关系。反馈无显著影响。图3显示，完整性降低时，不确定性增加，决策者更不确信主导选项，且偏好随隐藏值数量增加而反转（在较小价值差异内）。补充分析支持Ellsberg悖论（H1），即完整性=0.75时略偏好A，而更不完整时偏好B。后验检验表明完整性解释超出选项数目的额外方差。
**4.3.3. Discussion of Completeness Results**
结果与Ellsberg悖论研究一致，但偏好反转现象（随不完整性增加转向B）为新颖发现，需进一步研究。
**4.4. General Discussion**
总体而言，DQ因果影响实验研究不足，现有设计存在样本量小、操作化不匹配等问题。提出的方法可澄清歧义、促进比较，并区分客观与主观DQ。概念验证展示了方法适用性，但需更直接的应用。研究强调，在扩展数据访问前应确保内在DQ，以避免决策者暴露于未知风险。局限性包括：排除非因果研究、单一理论视角、单作者审查、证据基础小、概念验证中每个问题平均被试数少（16.7）、生态效度有限等。未来研究应在更生态有效环境中检验DQ，并采用更严格的因果设计。
**5. Conclusions**
DQ对价值生成至关重要，但基本机制研究有限。本研究超越相关性证据，发现因果研究存在操作化不一致、样本量小、操纵弱、客观与主观质量区分不足等问题。提出具体设计建议，并通过概念验证展示完整性直接影响选择并调节效用评估，且极端效用差异下消极影响更强。未来研究应扩展至其他维度（如可访问性、相关性、可靠性），并在组织情境中考察DQ效应，同时比较因果与相关性证据的收敛与分歧。
