《Proceedings of the Design Society》：A novel approach to design creativity assessment: a comparative evaluation
编辑推荐：
各种方法被用于衡量设计创造力。然而，关于开发一种可靠且客观的方法来减轻评估中各种影响因素的争论仍在继续。因此，研究人员提出并开发了一种用于评估设计创造力的新工具和新方法，它将创造力评估重构为一个结构化和数据驱动的过程。该工具通过减轻客观因素的影响，代表了设计创
各种方法被用于衡量设计创造力。然而，关于开发一种可靠且客观的方法来减轻评估中各种影响因素的争论仍在继续。因此，研究人员提出并开发了一种用于评估设计创造力的新工具和新方法，它将创造力评估重构为一个结构化和数据驱动的过程。该工具通过减轻客观因素的影响，代表了设计创造力评估领域的一项重大进步。重要的是，该工具使研究人员和教育工作者能够自由、客观地采用它进行评估。
### **论文解读：一种基于三元比较与排名算法的设计创造力评估新方法**
#### **研究背景与问题提出**
设计创造力是产品设计、建筑、工程和人机交互等多个领域创新的基础，它关乎产生新颖且有用的想法的能力，从而推动技术和社会进步。因此，对设计创造力进行评估在设计领域至关重要，它不仅有助于从概念上理解创造性过程，还能为生产选择创意并促进创新。然而，由于设计创造力具有主观性、多面性和情境依赖性的特点，其评估一直面临挑战。传统的评估方法，如共识评估技术（Consensual Assessment Technique, CAT），依赖于专家对创造力的评判。尽管CAT等方法被广泛使用，但它们常常受到多种已知因素的影响，包括评估者偏见、顺序效应、偏好倾向以及审美影响等。这些因素凸显了对更科学、透明和可重复的设计创造力评估方法的需求。
#### **研究目的与核心贡献**
为了应对这些挑战，本研究旨在开发一种新的评估工具和方法，以减轻设计创造力评估中的客观影响因素。研究人员首先总结了影响创造力评估的因素，并将其命名为“创造力评估四要素（4ECE）”，包括评估者、被评估产品、评估过程和外部因素，并将其归类为主观因素和客观因素。基于此框架，研究提出并开发了一种基于三元比较而非绝对评分的创新评估工具。该工具将创造力评估重构为一个结构化和数据驱动的过程，代表了设计创造力评估方法的重要进展。本研究发表于《Proceedings of the Design Society》。
#### **关键研究方法**
为开发新工具，研究人员首先进行了理论梳理，明确了设计创造力及其评估的定义与要素，并构建了“创造力评估四要素（4ECE）”框架以识别影响因素。核心技术创新在于将认知心理学中的比较判断原理应用于设计评估，具体采用三元比较法（每次同时呈现三个想法进行排序）以替代传统的绝对评分，旨在提高判断准确性并减少认知负荷。为了在保证排序精度的同时控制比较轮次，研究人员将三元比较与锦标赛排序算法（Tournament Sort）相结合。该算法通过构建有向图来记录比较关系，并利用拓扑排序和循环解析机制（基于评分频率和新近度）来生成最终排名，从而高效处理大量创意想法的比较数据。最终，工具以前端交互界面与后端计算引擎结合的网页系统形式实现，并进行了功能性验证（使用24个带编号的虚拟图像测试其排序准确性）。
#### **研究结果与发现**
**1. 工具开发与有效性测试**
研究人员成功开发了一个交互式、基于网络的评估系统。该系统采用三元比较界面，要求评估者每次对三个想法进行排序（最佳、平均、最差）。后台利用锦标赛排序算法处理比较数据，构建有向图，通过拓扑排序和循环解析生成最终排名。为测试工具在理想条件下的排序有效性，研究使用了一组24个仅标有编号（如“想法1”至“想法24”）的空白图像进行模拟评估。测试过程包括上传图像、进行评估比较、查看结果和评估历史四个步骤。结果显示，该工具能够根据预设的编号顺序（即模拟的评估者输入）准确生成从“想法1”到“想法24”的排名，证明了其核心排序算法的功能有效性。
**2. 提出的评估方法**
基于开发的工具，研究人员提出了一套结构化的设计创造力评估方法建议。该方法包括四个步骤：（1）**准备**：确保评估者具备相关领域专业知识，并有充足时间和专注力。（2）**熟悉想法**：评估者预先审查所有待评估的设计想法，讨论并排除无法理解的想法。（3）**使用工具进行评估**：评估者使用工具进行三元比较，生成基于特定标准（如创造力、新颖性、有用性）的排名。鼓励评估者大声说出排序理由。（4）**加权与评分**：获得排名后，可采用加权评分方案将相对排名转化为定量数据。例如，可参照前人研究，将排名前10%的想法评为高分（代表高创造力），后10%评为低分，其余80%评为中等分数。
**3. 工具对评估影响的潜在缓解作用**
分析表明，该工具和方法有望缓解与“评估过程”和“被评估产品”相关的部分客观影响因素。对于评估过程，工具要求预先熟悉所有想法并使用随机配对的三元比较，有助于减少想法呈现顺序（如首因效应、对比效应）带来的偏差。对于被评估产品，工具通过明确要求关注指定标准（如新颖性而非绘图风格）并鼓励评估者口头解释理由，有助于减轻草图质量或视觉呈现美感（即“美感偏见”）对创造力感知的影响。然而，与“评估者”相关的主观因素（如先验经验、个人偏好）仍然难以完全消除，但比较评估法和聚焦标准的方式可能在一定程度上减少其影响。
**4. 工具的意义与潜在应用**
该工具在学术、教育和工业领域具有重要价值。在**学术上**，它提供了一种系统化、数据驱动的评估方法，作为对传统CAT方法的现代补充和增强，可能提高评估的严谨性、一致性和可重复性。在**设计教育中**，该工具可作为教学资源，帮助学生理解创造力评估，辅助教师公平评价学生作品，并可促进同伴互评与反思。在**工业界**，该工具可帮助设计团队和创新经理在产品开发初期更一致、客观地评估大量创意的创造力，支持更高效的决策和创意筛选流程。
#### **讨论与结论总结**
在讨论部分，研究人员阐释了所开发工具和方法如何有助于缓解设计创造力评估中的若干客观影响，同时也指出了其固有的局限性。工具通过结构化比较和算法排名，主要针对“评估过程”（如顺序效应）和“被评估产品”（如美感偏见）相关的客观因素进行干预。对于“外部因素”（如物理环境），虽未直接解决，但可通过事前调整环境设置来缓解。然而，与“评估者”紧密相关的主观因素（如个人知识背景、经验和偏好）仍然难以完全消除，这是创造力评估的内在挑战。工具通过聚焦评估标准和相对比较，可能在一定程度上减轻这些主观因素的影响，并缓解评估者疲劳。
本研究存在一些局限性。首先，由于计算和比较轮次的限制，该工具目前最适合评估数量相对较少的想法（少于50个）。其次，虽然工具的功能和有效性通过了基础测试，但其在真实设计创造力评估场景中的实用性和可靠性尚未经过实证研究验证。
**研究结论**如下：鉴于设计创造力评估面临的挑战，研究人员首先开发了一个名为“创造力评估四要素（4ECE）”的框架，总结了评估者、评估过程、被评估产品和外部因素这四种对创造力评估的影响，并将其分为主观和客观因素。此外，受比较判断的启发，研究人员创建了一种创新工具，为评估设计创造力提供了一个更严格和客观的框架。该工具依赖于比较性评估而非先前的绝对性评估，被认为更加客观，并能减少影响设计创造力评估的若干已知因素。此外，研究人员评估了该工具的效能，并提出了其使用的综合方法。讨论还指出了该工具在减轻设计创造力评估中某些客观因素方面的优势，同时也强调了评估设计创造力时不可避免的主观影响。最后，研究人员强调了该工具在学术、教育和工业领域的重要意义。所建立的工具和方法通过将主观的人类评估与系统化评估相结合，可能会改进设计创造力评估的研究与实践，从而为基于证据的设计创造力评估改进提供基础。
