从指标到意义：是时候重新思考人机协同设计中的评估方式了

《ACM Transactions on Interactive Intelligent Systems》：From Metrics to Meaning: Time to Rethink Evaluation in Human–AI Collaborative Design

本研究通过对比实验发现，AI系统MAP-Elites生成的设计建议显著提升参与者的认知和行为投入，进而提高设计质量。传统评估方法未能涵盖情感维度，因此提出应全面评估人机协作系统，并将AI视为用户体验的核心组成部分。

　　

摘要

随着人工智能系统在创意设计领域中越来越多地影响决策过程，理解人类如何与这些工具互动已成为交互式智能系统研究中的一个关键挑战。本文提出了一种重新思考评估人机协作系统的方法，倡导采用更加细致和多维度的评估方式。研究基于迄今为止规模最大的相关领域研究之一（参与者数量为808人）——该研究探讨了人机协同创作系统“The Genetic Car Designer”的表现，并结合了一项受控实验室研究（参与者数量为12人）的结果。该系统采用了一种交互式进化算法，参与者需要设计汽车的二维图像。参与者会看到由智能系统MAP–Elites生成的设计建议图库，以及一个随机对照组提供的设计内容。研究结果表明，接触MAP–Elites生成的设计建议图库显著提升了参与者的认知和行为参与度，从而产生了更高质量的设计成果。对于整个研究领域而言，这一发现尤为重要：传统的评估方法通常仅关注行为和设计质量指标，未能全面反映用户的真实参与情况。我们将人机设计过程视为设计师情感、行为和认知状态的变化过程，因此提出应全面评估人机系统，并将智能系统视为用户体验的核心组成部分，而不仅仅是后台工具。