ChatGPT在提供可视化设计建议方面的能力如何？

《ACM Transactions on Computer-Human Interaction》：How Good Is ChatGPT in Giving Advice on Your Visualization Design?

本研究评估了ChatGPT作为数据可视化设计辅助工具的能力，通过定量分析VisGuides论坛的119个问题和响应，结合12名从业者的定性用户研究，发现ChatGPT在覆盖性、相关性和广度上表现优于人类专家，但深度和语境理解不足。用户更偏好人类专家的互动和深度建议，但认可AI在创意激发和快速响应中的潜力，提出了增强LLM图像理解、优化交互流程和建立可信知识库的设计考量。

　　在当今数据驱动的社会中，数据可视化已成为各行各业不可或缺的工具。然而，许多从事数据可视化的实践者并未接受过系统的培训，这使得他们在设计过程中面临知识缺口。为了解决这一问题，大型语言模型（LLMs）因其庞大的互联网训练数据和强大的文本处理能力，展现出巨大的潜力。本文探讨了ChatGPT在数据可视化设计问题上的表现，通过定性和定量的方法分析其与人类专家的对比，并提出未来基于LLM的设计反馈系统的优化方向。

### 1. 背景与研究动机

数据可视化不仅涉及美学设计，还包含对数据的理解和呈现方式的选择。在实际应用中，许多实践者依赖于个人经验或在线资源来学习相关技能，这可能导致设计选择的局限性。尽管已有大量关于数据可视化设计的研究，但这些知识往往难以有效传递给实践者。因此，研究如何利用LLMs来弥补这一知识差距具有重要意义。

在这一背景下，LLMs如ChatGPT，以其广泛的知识储备和对设计问题的快速响应能力，成为一种可能的解决方案。研究者们通过分析ChatGPT与人类专家在VisGuides论坛上的回答，评估其在数据可视化设计中的表现。此外，通过一项用户研究，探讨了实践者对ChatGPT作为设计助手的看法，包括其在反馈质量、互动性和实用性方面的表现。

### 2. 方法论与研究设计

本研究采用了混合方法，结合定量分析和定性研究。在定量分析中，研究者选择了VisGuides论坛上的119个问题，其中包含了设计反馈问题和可视化指南问题。通过将这些问题输入ChatGPT，并与匿名的人类回答进行比较，研究团队评估了ChatGPT在六个关键指标上的表现：覆盖范围、主题相关性、广度、深度、清晰度和可操作性。

为了确保评估的客观性，研究团队采用了一种开放编码方法，首先对20%的样本进行评分，随后讨论并达成共识，再对剩余的样本进行评分。这一过程不仅确保了评分的一致性，还帮助研究者更好地理解各指标的评分标准。

在定性研究中，研究者邀请了12位具有不同背景的数据可视化实践者参与访谈。他们被要求准备自己的可视化作品，并与ChatGPT和人类专家进行反馈交流。研究者采用了随机顺序的比较设计，以控制顺序效应。在每个反馈会话后，参与者填写了问卷，以评估他们的体验。

### 3. 定量分析结果

定量分析的结果显示，ChatGPT在多个指标上表现出色。例如，在覆盖范围方面，ChatGPT 4的平均评分为4.97，显著高于人类专家的4.37。这表明ChatGPT能够更全面地回应用户的问题，提供多样化的建议。在主题相关性方面，ChatGPT 4的平均评分为4.95，也优于ChatGPT 3.5和人类专家的评分。

然而，人类专家在某些方面也展现出优势。例如，在广度和深度指标上，人类专家的评分略高于ChatGPT。这可能是因为人类专家能够提供更具体的建议，并且能够根据实际设计情境进行调整。此外，人类专家的回答通常更具个性化和针对性，这使得他们在某些情况下更受欢迎。

### 4. 定性研究发现

定性研究揭示了实践者对ChatGPT和人类专家的不同看法。大多数参与者更倾向于与人类专家交流，因为他们能够进行更自然的对话，并提供更具针对性的建议。例如，P17提到：“人类专家的建议更加具体和针对性，而ChatGPT则更像是提供一连串可能的工具。”

然而，ChatGPT在某些方面也展现出优势。例如，它能够快速生成创意想法，并提供广泛的建议。P18指出：“ChatGPT有时会给出一些意想不到的建议，这些是我没有预料到的。”此外，ChatGPT的响应速度和广度使其成为初学者和时间紧张的实践者的重要工具。

### 5. 实践者对ChatGPT的看法

在与ChatGPT的交流中，实践者注意到其在提供广泛建议方面的优势。然而，他们也指出，ChatGPT的建议往往缺乏深度和具体性。例如，P19提到：“ChatGPT的建议似乎缺乏实际操作的深度，而人类专家则能够提供更具体的指导。”

此外，实践者在与ChatGPT交流时，发现其在互动性和对话流的方面有所不足。例如，P10提到：“与ChatGPT交流时，我感觉像是在输入问题，然后得到答案，而不是进行真正的对话。”这种缺乏互动性的体验使得一些参与者在使用ChatGPT时感到不自然。

### 6. ChatGPT的局限性

尽管ChatGPT在提供广泛建议和快速响应方面表现出色，但其在理解设计背景和提供具体反馈方面存在局限。例如，P16提到：“ChatGPT的建议有时候听起来像是教科书内容，而不是实际的指导。”此外，实践者对ChatGPT的可信度和可靠性也有所担忧，特别是在处理敏感数据时。

### 7. 未来设计考虑

基于上述研究发现，未来基于LLM的设计反馈系统需要在多个方面进行优化。首先，应增强LLM对设计背景的理解能力，使其能够提供更具针对性的建议。其次，应支持更自然的互动，例如通过允许用户进行注释和提问，增强对话的动态性。

此外，设计反馈系统应提供更多的上下文信息和实际例子，以增强建议的可信度。例如，通过提供实际案例和解释，帮助用户更好地理解建议的实际应用。最后，系统应具备更高的可操作性，例如通过提供明确的步骤和具体的实施建议，帮助用户将建议转化为实际的可视化设计。

### 8. 结论

本研究揭示了ChatGPT在数据可视化设计中的潜力和局限性。尽管ChatGPT在提供广泛建议和快速响应方面表现出色，但其在深度和具体性方面仍有改进空间。未来的工作应集中在如何优化LLM的设计反馈能力，使其在实际应用中更加实用和可靠。此外，研究还指出，ChatGPT在教育领域也具有潜力，可以作为辅助工具，帮助学习者更好地理解和应用数据可视化知识。