XAI的缺陷：影响人工智能辅助决策的各种现象

《ACM Transactions on Interactive Intelligent Systems》：Imperfections of XAI: Phenomena Influencing AI-Assisted Decision-Making

本研究探讨不完美可解释AI（imperfect XAI）对人类-AI协作决策的影响，通过混合方法分析不同解释模态（自然语言和视觉示例）及正确性对决策者适当依赖和团队性能的影响，发现专家与非专家的依赖行为存在显著差异，且认知风格（如视觉/语言偏好）会加剧视觉解释的误导效应。研究提出新指标“依赖欺骗度（DoR）”量化不完美XAI的误导性，并强调设计需结合用户认知特征与领域知识。

　　随着人工智能（AI）在高风险决策场景中的广泛应用，人机交互领域开始探索可解释性AI（XAI）以提升AI建议的可理解性。然而，目前的研究主要关注AI建议本身的准确性对决策者行为的影响，而忽视了不准确解释的潜在影响。此外，已有研究表明，不仅不同的解释模态会影响决策者，人类因素也扮演着关键角色。本文旨在通过概念化适当依赖理论，并首次提出实证研究，分析影响人机协作的关键因素。研究发现，不完美的XAI会影响人类对AI的依赖程度以及人机团队的绩效，同时认知风格也会影响决策者在不同解释模态下的表现。因此，本文揭示了多种影响人机协作的因素，并为设计师提供了如何根据个体需求定制人机协作系统的指导。

人工智能的引入改变了传统决策模式，尤其是在需要专业判断的领域，如医学影像分析、生物多样性监测和灾害后的建筑损毁识别。然而，由于AI模型本身可能存在缺陷，决策者在面对不准确的AI建议时会面临挑战。这种挑战不仅源于AI预测的不准确，还可能来自解释本身的质量。如果AI提供的解释不准确，即使AI的预测是正确的，决策者也可能产生误解，进而影响其对AI的依赖行为。例如，在鸟类识别任务中，专家可能基于对鸟类视觉特征、栖息地和迁徙模式的了解，能够更准确地判断AI建议的正确性，而普通用户则可能因缺乏相关知识而错误地依赖AI。这种差异可能导致人机协作中出现“互补团队绩效”（CTP）的现象，即结合人类和AI的各自优势，能够提升整体决策质量。

本文的研究具有重要的现实意义，特别是在当前AI技术被广泛应用于野生动物保护等非专业领域时。许多非专家可以通过AI工具参与生物多样性监测，这为研究人机协作提供了独特的场景。然而，AI模型的不完美性可能导致决策者误解或错误依赖AI的建议。因此，理解不完美XAI对人类决策行为的影响，对于优化人机协作系统至关重要。通过构建一个综合模型，本文试图揭示不同因素（如人类的专家水平和认知风格）如何调节不完美XAI对适当依赖和团队绩效的影响。

研究采用了一个混合方法，通过将参与者分为两个阶段：首先，参与者在没有AI建议的情况下对鸟类图像进行分类（第一阶段）；然后，他们会看到AI的预测和解释，并再次进行分类（第二阶段）。通过这种方式，研究人员能够评估参与者在收到AI建议后的行为变化。此外，参与者被要求评估他们的认知风格，以便分析不同认知风格如何影响其对解释的处理方式。结果显示，人类的认知风格在解释模态和适当依赖之间起着关键作用。例如，拥有视觉认知风格的参与者可能更倾向于通过图像来理解AI的建议，而拥有语言认知风格的参与者则可能更依赖文本解释。

在数据分析方面，本文采用了混合效应回归分析，以探讨不同因素对适当依赖和团队绩效的影响。研究发现，不完美的XAI在不同认知风格的参与者中产生不同的影响。例如，对于视觉认知风格的参与者，不准确的视觉解释可能导致他们对AI的依赖度下降，而语言认知风格的参与者可能更容易受到不准确解释的影响。同时，研究还发现，专家和非专家在面对不准确的AI建议时，其行为存在显著差异。专家可能更善于利用他们的专业知识来判断AI的可靠性，而非专家则可能因缺乏相关知识而过度依赖AI。

研究还提出了一种新的指标，称为“依赖的欺骗性（DoR）”，用于衡量不准确解释对人类决策行为的影响程度。通过计算正确解释和不正确解释之间的差异，研究人员能够量化不完美XAI对人类决策的干扰。例如，专家在面对正确但不准确的解释时，可能仍然错误地依赖AI，而非专家在面对不准确的解释时，可能更倾向于依赖自己的判断。这一发现表明，解释的准确性对人类决策行为具有重要影响，尤其是在高风险决策场景中。

本文的研究结果对于人机交互（HCI）和可解释AI（XAI）领域具有重要意义。首先，它提供了一个新的研究模型，用于分析不完美XAI对人类决策行为的影响。该模型结合了人类的专家水平和认知风格，以评估不同解释模态和解释准确性如何影响适当依赖和团队绩效。其次，本文通过实证研究揭示了不完美解释对人类决策行为的具体影响，特别是在不同认知风格的参与者中。最后，研究提出了一种新的指标（DoR），为未来的XAI设计提供了参考。

此外，本文还探讨了不完美XAI对团队绩效的影响。研究发现，当AI的预测和解释都正确时，团队绩效显著提高；而当AI的预测和解释都不准确时，团队绩效则受到较大影响。这表明，在设计AI支持系统时，需要考虑解释的准确性，以确保团队能够有效协作并达到互补团队绩效的目标。对于非专家而言，他们可能更容易受到不准确解释的影响，而非专家在面对不准确的AI建议时，其决策行为可能更倾向于依赖AI，而非自己的判断。

在实际应用中，这些发现可以为AI系统的设计者提供指导。例如，在医疗影像分析中，AI可能提供预测和解释，但这些解释可能不准确。在这种情况下，医生可能需要结合自己的专业知识来判断AI的可靠性，而非仅仅依赖AI的建议。同样，在野生动物保护领域，非专家可能通过AI工具参与鸟类识别任务，但需要确保AI提供的解释足够准确，以避免误导他们。因此，研究结果强调了在设计AI支持系统时，需要考虑人类的专家水平和认知风格，以优化系统的解释机制。

本文的研究还指出，认知风格在人机协作中的重要性。例如，拥有视觉认知风格的参与者可能更擅长通过图像理解AI的建议，而拥有语言认知风格的参与者则可能更依赖文本解释。这种差异意味着，设计AI支持系统时，需要根据用户的认知风格调整解释模态。例如，对于视觉认知风格的用户，提供图像解释可能更有效；而对于语言认知风格的用户，文本解释可能更合适。此外，研究还发现，不准确的解释可能对不同认知风格的参与者产生不同的影响。例如，视觉认知风格的参与者可能更容易识别不准确的图像解释，而非语言认知风格的参与者可能更难判断文本解释的准确性。

研究的局限性包括对鸟类识别任务的特定性，以及对认知风格的测量可能不够全面。此外，AI模型的不完美性可能导致解释的准确性受到限制，因此需要进一步研究如何提高AI解释的可靠性。未来的研究可以探索不同类型的解释模态（如文本、图像、音频等）对人类决策行为的影响，并考虑如何结合不同认知风格来优化人机协作。同时，研究还可以扩展到其他高风险决策场景，如医疗诊断、法律决策等，以验证其普适性。

总之，本文通过实证研究揭示了不完美XAI对人类决策行为的影响，强调了人类因素（如专家水平和认知风格）在人机协作中的重要性。研究结果不仅为AI系统的设计者提供了指导，也为未来的研究指明了方向。随着AI技术的不断发展，理解人类如何与不完美的AI系统互动，将有助于构建更高效、更可靠的人机协作系统。