AI解释的包容性设计：仅仅是为那些之前被忽视的人服务吗？

《ACM Transactions on Interactive Intelligent Systems》：Inclusive design of AI’s Explanations: Just for Those Previously Left Out?

性别包容设计通过改进AI可解释性原型提升包容性并缩小45%性别差距，但预测准确性下降形成“扶轮效应”。

　　

摘要

动机：可解释人工智能（XAI）系统旨在提升用户对人工智能的理解，但相关研究显示，许多XAI解释措施对某些用户有帮助，而对另一些用户则无效。在非AI系统中，软件开发者采用包容性设计方法来解决类似问题，有时能够创造出既惠及弱势群体也惠及其他用户的改进方案。这表明包容性设计方法也可能为AI解释带来类似的改进效果。

目标：我们的研究旨在探讨一个AI产品团队在采用包容性设计方法（GenderMag）改进其XAI原型时所产生的潜在效果。

方法：我们进行了一项涉及69名无AI背景参与者的实验。其中34名参与者使用原始版本的XAI原型，其余参与者使用经过改进后的版本。随后我们比较了两组参与者在概念理解方面的得分以及预测准确性，并评估了两个原型的包容性。

结果：研究得出了四个主要结论。首先，AI团队的改进措施总体上是有效的，新原型使参与者的概念理解能力有所提升。其次，这些改进措施对弱势群体的概念理解尤其有益，这与第一个结论共同体现了“折中改进”的效果。然而，这些改进措施并未提升参与者的预测准确性，反而可能产生了负面影响（即“反向折中效应”）。最后，这些改进措施促进了公平性，缩小了性别差距，降低了45%。