面向原型序列结构化规划的关键性评估尺度评价与优化

《Proceedings of the Design Society》：Evaluating and refining the criticality scale for structured planning of prototype sequences

　　

本研究评估了基于关键性的原型序列规划方法中的关键性评估环节。两项独立的应用研究旨在探究现有的新颖性、技术难度和重要性三个维度的尺度定义，是否足以支持系统化且与情境无关的应用。研究结果表明，操作化（operationalised）的评价标准以及更清晰的评估者指导，能够显著提高不同开发项目中评估的一致性、可重复性和适用性。研究人员首先考察了评估尺度在不同开发情境中的适用性，随后探讨了方法使用者是否能按预期理解这些尺度定义。通过对两个独立工业开发项目（一个涉及医疗器械生产流程，另一个涉及高精度加工系统的夹具组件重新设计）的应用分析，研究发现，最初的尺度描述虽然具有启发性，但缺乏操作化指导，导致评估者理解存在差异和不确定性。基于此，研究人员对尺度定义进行了优化，明确了评估视角（个人、团队或组织）与可用知识资源的关系，为技术难度评估引入了设计约束条件（如安装空间、公差），并建议使用设计结构矩阵（Design Structure Matrix, DSM）等工具对功能重要性进行量化分析。优化后的尺度显著提升了评估的系统性和可重复性，使其能够作为基于规则的评估工具，支持原型序列的针对性规划。

**面向原型序列结构化规划的关键性评估尺度评价与优化研究解读**

**一、 研究背景与问题提出**

在产品开发过程中，原型（prototype）的构建与测试是验证设计概念、降低技术风险的关键环节。然而，如何系统化地规划和排序原型活动，以高效利用开发资源并加速产品成熟，一直是设计方法论领域的重要挑战。基于关键性的原型序列规划方法为此提供了一种结构化途径。该方法的核心思想是，通过对系统各功能区域进行关键性评估——即评价其新颖性、技术难度和对于产品整体的重要性——来优化原型构建的先后顺序，从而优先处理最关键、风险最高的子功能。

尽管专家应用已证明该方法在原则上是可行的，但其核心环节——关键性评估——的可靠性和普适性仍存疑问。具体而言，现有方法中用于评估新颖性、技术难度和重要性的三个维度的尺度定义，主要依赖于文字描述。这些描述是否足够清晰和具体，能够确保不同评估者、在不同类型的开发项目中得出一致且可靠的评价？这直接关系到该方法能否被广泛、系统地应用。因此，本研究旨在通过实证应用，探究以下两个核心研究问题：第一，评估新颖性、技术难度和重要性的尺度定义是否适用于不同的开发情境？第二，方法使用者是否能按预期意图理解这些尺度定义？

**二、 研究方法概述**

为回答上述问题，研究人员设计了两项连续且独立的硕士论文应用研究。两项研究均要求机械工程专业的学生，将基于关键性的原型序列规划方法应用于工业合作伙伴提供的实际设计任务中，并开发相应的原型序列。两项研究采用相同的核心方法论材料，但在评估指导的详细程度上有所区别。

*研究一*侧重于考察评估者在仅凭原始尺度描述（无额外操作化指导）下的理解与应用情况。学生在应用过程中，主要依赖定性判断和团队讨论来对功能进行评分。
*研究二*则在总结研究一经验的基础上，对评估指南进行了优化和细化。优化内容包括：明确将“现有经验”与评估者（个人、团队或公司）所掌握的资源联系起来；为技术难度评估引入更具体的约束条件（如安装空间、公差）；建议使用设计结构矩阵（DSM）来量化功能间相互作用，从而更客观地评估“重要性”。研究二旨在观察在提供了更明确的操作化指导后，评估的一致性与可重复性能否得到改善。

数据收集主要通过分析学生的书面论文（包含反思部分）以及对每位学生进行的多次专家访谈来完成。访谈内容聚焦于对尺度定义的理解、评分过程中遇到的困难以及各评估标准之间是否存在模糊或重叠之处。数据分析采用定性主题编码方法，将学生的理解与陈述与方法的预期定义进行对比。

**三、 研究结果分析**

研究结果通过对比两个应用案例（案例1：医疗器械生产流程原型开发；案例2：高精度加工系统夹具组件重新设计）的评估过程，清晰地揭示了评估尺度从启发性描述向规则化工具演进的效果。

**4. 应用评估 - 案例1**
**4.1. 结果**
在第一个案例中，评估者主要将三维关键性尺度（新颖性、技术难度、产品内重要性）作为一种定性的、支持讨论的沟通工具。评估基于描述性解释，缺乏明确的评分规则或操作指南。例如，在评估“新颖性”时，评估者对“现有知识”指代何人（个人、团队还是公司）以及不同评分区间的界限感到困惑。这导致评分在很大程度上依赖于解释性判断和情境化的团队讨论。
**4.2. 讨论**
该案例表明，原始的尺度定义具有启发性和描述性，旨在引导对功能“熟悉程度”、“实现难度”和“对系统影响强度”的定性评估。然而，由于缺乏具体的实施指令，仅凭定性描述难以在团队中实现一致的应用，评估结果的可重复性较低。

**5. 应用评估 II**
**5.1. 结果**
在第二个案例中，应用了优化后的评估指南。评估者采用了更为形式化和操作化的方式。特别值得注意的是，通过使用设计结构矩阵（DSM）来量化功能交互，从而为“产品内重要性”维度提供了明确的、基于规则的评分阈值（例如，通过将最大交互次数除以评分等级数来设定阈值）。评估者将关键性评估视为基于特定时间点可用信息的“快照”。
**5.2. 讨论**
与案例一相比，案例二的评估在精确性和方法学理解上存在明显差异。尺度被理解为一个基于规则的评估工具，而非启发式讨论辅助。评估者制定了明确、可操作化的规则（“如果…那么…”），并遵循了更严格的程序（如使用DSM和3×3矩阵、定义阈值、进行颜色编码）。评估过程非常分析性和方法化，为算法化可理解的序列规划奠定了基础。具体到各标准：“新颖性”被明确视为风险指标和触发原型活动的主要因素；“技术难度”与具体的设计约束（如安装空间、公差）相关联；“产品内重要性”则通过功能交互的数量进行量化衡量。

**6. 优化后的尺度**
基于应用评估中发现的问题，研究人员提出了优化后的关键性评估尺度定义：
* **新颖性**：反映现有知识或先前经验可迁移至所考虑功能的程度。知识与经验必须与评估者及其可用资源相关，并被视为风险指标。评分（1-低至3-高）依据公司内部是否存在成熟方案、外部是否有类似应用等因素确定。
* **技术难度**：理解为技术实现工作量，并与设计约束（如安装空间、特定公差）相关联。评分依据实现功能所需的技术标准、工程注意力或专业知识的复杂程度而定。
* **产品内重要性**：理解为功能间交互的数量，可通过DSM等工具量化。评分阈值通过将最大交互次数（max_I）除以评分等级数（3）来确定，从而划分低、中、高重要性。

优化后的尺度还提供了推荐的应用步骤，包括定义评估视角、进行功能分解、使用优化后的定性定义评估新颖性与技术难度、在适用时使用交互分析（如DSM）量化重要性，以及记录假设并在知识更新后重新评估。

**四、 研究结论与展望**

本研究针对所提出的研究问题，得出两个主要结论：
首先，**研究问题1（RQ1）**：当配以操作化指导进行调整后，该评估尺度能够适用于不同的开发情境。
其次，**研究问题2（RQ2）**：原始的尺度描述不足以支持系统化应用；操作化的定义能显著提高评估的可重复性。

通过所述的对评估标准尺度定义的调整，其可以很好地作为一个基于规则的评估工具，并允许进行有针对性的规划。对于将交互评估为“产品内重要性”，定义明确的标准效果很好。然而，为“新颖性”形式化明确标准是困难的，因为它被理解为风险指标，只能在此处进行估计。为了便于估计“技术难度”，引入了建设性的边界条件作为参考。这一方面便于对尺度的解释，但另一方面也再次强调了原型序列规划的工程视角。关于理解评估者立场（视为个人、团队或公司，并关联其可用资源和经验）的操作说明，也有助于提高评估的适用性。

未来的工作应侧重于开发情境特定的标准、评估参数的权重因子，以及集成额外的工具支持。