基于涉及有限数量学生的一项研究案例，探讨如何开发李克特量表调查结果的方法 Marek Gaworski 和 Aleksandra Da?ko

《Applied Sciences》：An Approach to Developing Likert Scale Survey Results Based on the Example of a Research Study Involving a Limited Number of Students Marek Gaworski and Aleksandra Da?ko

　　摘要：调查是收集知识（包括学生知识）以及评估他们的观点和行为的重要工具。调查结果为信息处理和选择进一步知识管理的方法提供了依据。在这项研究中，开发了一种改进的调查结果呈现方法，该方法使用了李克特量表（Likert scale）。在调查中，20名学生回答了10个问题，这些问题探讨了他们对现代技术设备对乳制品生产评估影响的看法。特征重要性指数（Feature Significance Index，FSI）被用来指导调查结果的分析。FSI是李克特量表上最高评分与最低评分的百分比之比。在四个问题中，没有学生选择“影响非常小”或“影响较小”的选项，因此无法计算FSI，于是提出了一个修改版本。根据FSI对问题进行排序后，评分最高的问题与评分最低的问题之间的FSI差异超过了13倍；而在修改后的FSI版本中，这一差异不到2倍。较大的差异有助于更全面地解读调查结果。研究证实，调查参与者数量较少是影响调查结果分析的一个关键限制因素。

1. 引言
调查是收集关于知识、偏好、满意度以及社会各领域行为信息的最流行方法之一。通过了解被调查群体的观点，可以实现多种目标，包括科学、认知、教育、市场营销以及评估受访者对特定问题的认识[1]。其目的也可能在于形成关于知识获取的观察结果[2]，这对于评估学习效果非常重要。考虑到调查的广泛贡献，它符合可持续知识发展的总体概念[3]。

1.1. 研究框架
使用调查来设计研究可以激发许多科学问题的探讨：如何制定问题（开放式或选择题）、如何从受访者那里收集答案（面对面或通过网站）、调查应针对哪类受访者，以及应包括多少人参与调查。这些因素在实际研究中都会被考虑，涵盖食品科学[4]、食品安全[5,6]、消费者偏好[7]和满意度[8]、包装评估[9,10]、教育问题[11]、农业生产某些方面[12,13]、工程[14]、环境[15]、生产技术评估[16]等多个领域。与其他研究一样，调查研究的一个共同特点是呈现研究结果[17]。调查结果可以通过多种方式呈现，而调查问题的设计起着至关重要的作用[18]。开放式问题提供了引用受访者答案的机会[19,20]，作为讨论的基础，以展示某一群体对特定主题的知识和观点。对于开放式调查问题，可以使用关键词云（keyword cloud）来评估关键词的频率[21,22]。将问题设置为简单答案（选择：是、否或无意见）是一种直接的方法，可以将调查结果以三个选项的百分比形式呈现[23]。当回答基于李克特量表时，也可以采用类似的方法将调查结果以百分比形式呈现。问题在于这个量表应该有多少个等级，这会导致答案的详细分布[24,25]。实际上，调查结果的呈现通常基于五点、七点、九点和十一点量表；90%使用李克特量表测量的研究中采用了这些奇数等级，其中最常用的量表是五点李克特量表[26]。在这种情况下，提出了一个研究问题[27]：数据特征是否会随着量表等级数量的变化而变化？李克特量表可能是模型分析的对象[28]，这表明需要改进调查结果呈现的方法。李克特量表使用方法的改进需求得到了Li[29]的证实，他指出了封闭式评分可能导致的信息失真和丢失问题。因此，基于模糊集合理论提出了一种模糊李克特量表[30]。模糊数常用于重新编码李克特类型变量[30]，其应用在众多研究中得到了验证，包括工业界和学术界的研究。

分析李克特量表调查结果的方法可能包括为每位参与者计算每个问卷的得分，平均所有问题的受访者答案，并使用统计测试来评估问卷的内部一致性[31]。在处理李克特量表调查数据时，还可以考虑将七点评分标签转换为三点序数量表以进行进一步分析[32]。单因素方差分析（one-way ANOVA）也用于李克特量表研究的分析，例如比较远程学习选项的研究[33]。不同的调查结果呈现方法带来了多种可能的研究发现呈现方式[34]。

1.2. 研究目的
本研究的初衷是了解学生对现代和创新技术设备对乳制品生产及其评估某些方面影响的看法。在研究问卷中使用李克特量表为分析和改进研究结果的方法奠定了基础，这也是该研究的额外收获。研究的认知（科学）目标是开发一种处理方法，以应对受访者未在李克特量表上选择所有答案选项的情况。研究的实际（实用）目标是开发一种利用答案排名来分析李克特量表调查结果的方法。选择这个研究主题的灵感来自于之前开发的分析研究数据的方法[35]，这种方法在某些情况下被证明并不完美。

2. 材料与方法
这项调查中，问题的答案按1到5的等级进行评分，这为提出一种新的调查结果呈现方法提供了机会[35]。基于五点李克特量表来开发结果（答案）的想法是将“好”和“非常好”评分（评分表上的4和5）的百分比与“非常差”和“差”评分（评分表上的1和2）的百分比相除。这种关系被定义为特征重要性指数（FSI）。计算特征重要性指数（FSI）的公式如下：
$$
FSI = \frac{ps_4,5}{ps_1,2}
$$
其中 $ps_{1,2}$ 是“非常差”（1）和“差”（2）评分的百分比，$ps_{4,5}$ 是“好”（4）和“非常好”（5）评分的百分比。

提出的计算特征重要性指数（FSI）的方法利用了调查中收集的数据的极端值（最小值和最大值）。FSI公式的理论依据在于数学分析中的最小值和最大值概念以及研究结果的呈现，同时考虑了描述性统计。所提出的特征重要性指数（FSI）公式的本质在于展示所考虑特征的最佳评分与最差评分之间的差异程度。在基础研究中[35]，使用FSI对乳制品的特性进行了排序。排序标准是特征重要性指数的值。然而，使用FSI来呈现李克特量表调查结果存在一些限制。一个限制是受访者可能没有给出1和2等级的评分。如果调查中没有出现1或2等级的评分，即它们的百分比为0，则无法计算FSI。这种情况发生在2023年5月华沙生命科学大学生产工程学院的学生中进行的一项调查中。该组共有23名硕士生参与。调查问题涉及学生在某一研究领域所掌握的知识，因此调查范围仅限于特定群体。20名学生直接参与了调查，进一步分析了这一群体的结果。调查是匿名的，并在线进行，开放时间为三天。学生通过社交网络平台得知调查信息，参与调查是自愿的。学生们回答了关于现代技术设备对乳制品生产影响的问题，包括产品质量、消费安全、价格、口感、保质期、可用性、生产效率等方面。此外，学生们还被问及创新技术对可持续牛奶生产的影响、乳制品行业的发展，以及现代性和创新对乳制品生产技术设备的影响，以及对研究投资的效应。通过参与这项包含详细问题的调查，学生们展示了他们在学术层面管理所学知识的能力，证实了学术界的运作本质[36]。

对于每个问题，学生可以从1到5的等级中选择一个答案，其中数字的含义如下：1—影响非常小；2—影响较小；3—影响中等；4—影响较大；5—影响非常大。研究中使用的数据集基于对学生进行的调查结果。在Excel电子表格中，汇总了每个1到5等级的每个问题的回答总和。这个数据集用于计算FSI及其修改版本。同时，在Excel电子表格中还计算了 $ps_{4,5}$ 和 $ps_{1,2}$ 比率的置信区间。置信区间的计算考虑了显著性水平（α = 0.05）、标准差（针对 $ps_{4,5}$ 与 $ps_{1,2}$ 的比率计算）以及样本大小（N = 20）。根据公式（1），使用一组学生对各个问题的回答来计算特征重要性指数（FSI）。计算出的FSI用于对这些问题进行排序，并为讨论调查结果提供依据。在参与者开始填写问卷之前，向他们提供了关于研究目的的简要描述以及匿名性和保密性的声明。受访者无需提供姓名或联系信息（包括IP地址），并且可以在任何阶段完成调查。只有在填写完问卷后点击“提交”按钮，答案才会被保存。

3. 结果
在调查的10个问题中，只有6个问题的结果可以用来计算特征重要性指数（FSI）。根据FSI值（从高到低）对问题进行了排序，结果总结在表1中。这部分研究的置信区间为3.41。表1显示了根据特征重要性指数（FSI）对学生提出的问题的排序。对于四个调查问题，由于没有学生选择“影响非常小”（1）或“影响较小”（2）的选项，因此无法计算特征重要性指数（FSI）。这些问题涉及现代技术设备对乳制品生产的影响，包括产品质量和消费安全、乳制品的保质期、乳制品行业的竞争力以及乳制品行业的发展。基于FSI的结果并不能完全反映调查中各个问题之间的本质差异。在排序（表1）中，没有问题获得最低分数（1和2）。这样的案例激发了我们提出一个修正后的、替代性的特征重要性指数（Feature Significance Index，FSI）版本的灵感。所提出的修正版本FSIbis如下：
????????????????? = ?????4,5 + ?????1,2 + ?????4,5 （2）
其中，ps1,2表示认为影响非常低（1）或低（2）的受访者百分比，ps4,5表示认为影响强烈（4）或非常强烈（5）的受访者百分比。
研究调查中考虑的十个问题的FSIbis计算结果如表2所示。表格中还包含了一列计算出的FSI值，以便于比较。
表2：根据修正后的特征重要性指数（FSIbis）对学生在调查中提出的问题进行排名。FSIbis为1.0并不能明确说明调查中考虑的四个问题的顺序。对于这种情况，可以提出另一个FSIbis1.0的计算方法，如下：
?????????????????1.0 = ?????4,5 / 100 （3）
其中，FSIbis是修正后的特征重要性指数，ps4,5表示认为影响强烈（4）或非常强烈（5）的受访者百分比。
表3总结了四个FSIbis值为1.0的问题的结果（表2）。
4. 讨论
本研究的主要目的是改进分析调查结果的方法。这种改进的必要性源于特征重要性指数（FSI）在分析研究结果时的应用存在一定的不完善之处。文献[35]指出，FSI基于极端的李克特量表（Likert Scale）评分，假设受访者使用了完整的评分范围。然而，如果受访者没有给出最低评分，就无法计算FSI，因此在这种情况下该指数的实用性有限。
设计的调查包含了10个针对学生的问题，这些问题探讨了现代性和创新对乳制品生产中使用的技术设备的影响，考察了乳制品生产及其产品的各个方面。基于五点李克特量表的答案选项来制定问题，使得能够收集用于进一步分析的研究材料。对答案的初步分析显示，在四个问题中，受访者没有给相关因素给出非常低或低的评分。因此，无法使用公式（1）计算特征重要性指数（FSI）。因此，尝试修正计算FSI的公式，考虑到了受访者提供的极端评分组。
修正后的特征重要性指数（FSIbis）公式使得能够为所有调查问题计算其值。修正后的FSIbis计算结果的范围与FSI（表2）完全不同，这个范围包括1.0及以下的值。FSI值为1.0表示在调查中仅考虑了最高评分（4和5）的比例。其余问题的FSIbis值使它们的排名与FSI计算结果相同。表2中的计算结果总结提示我们比较六个问题的FSIbis和FSI值范围。比较FSIbis的极端值范围，最高值比最低值高出近66%。然而，FSI的最高值大约是最低值的13.5倍。这样的比较可能表明这些指数对于详细分析调查材料是有用的。FSIbis的构建使得能够为调查中的所有问题计算该指数的值，这无疑是评估FSIbis相对于FSI的一个有价值的论据。另一方面，FSI显示出的计算值差异较大，这可能是制定更详细结论的一个依据。
当调查中多个问题的FSIbis值为1.0时，可以进一步深入分析这一指标的计算。根据公式（2），当评分1和2的数量为零时，计算值仍可以为1.0。因此，提出了公式（3）以更精确地确定受访者给出的评分4和5的比例。基于公式（3）的计算结果确定了调查中四个问题的顺序，从高到低（表3），依据的是受访者指出的最高评分标准。
根据FSI、FSIbis和FSIbis1.0的值来确定调查中问题的顺序，有助于分析所研究的问题，特别是当受访者回答的问题涉及同一主要议题时。本研究的主要目的是探讨现代性和创新对乳制品生产中使用的技术设备的影响，重点关注影响这一生产的各种因素。例如，调查中考虑的一个问题排序示例是实施可持续农业实践的障碍[37]。这些障碍是根据Gaworski等人[35]提出的特征重要性指数（FSI）派生的障碍重要性指数（BSI）进行排序的。能够根据FSI值对回答进行排序是使用李克特量表评估调查结果的方法的一个关键特点。李克特量表的使用仍在发展中[38]，本研究的结果试图验证这一发展。发展的前提之一是在科学各个领域[39]中使用李克特量表，并解决包括参数和非参数研究方法[40]在内的多种研究问题。在使用李克特量表进行研究开发时，正确解释调查结果是一个重要问题，需要考虑使用统计工具[41]来进行部分或全面评估[42]。在这些深入的科学研究中，关注结果的准确性和可靠性以及量表分析[39]。无论李克特量表评估的细节和研究结果如何，向感兴趣的人传播关于李克特量表是什么以及如何使用它的基本知识似乎都很重要[43]。这种知识的一个重要元素是巧妙地设计问卷，其中的问题能够反映可以使用李克特量表评估的响应等级。这些响应提供了反馈，可以用来改进生成问题的准确性和质量[44]。
我们自己的研究结果基于相对较小的受访者群体，这可能限制了我们的结果与其他研究的比较。通常，调查是针对较大的人群进行的。在我们的研究中，由于符合管理和生产工程学习标准的学生人数有限，因此调查参与者较少。完成调查的人数较少可能与李克特量表调查中某些选项未被选中的观察结果有关。这也是开发分析来自少量受访者数据的方法的原因之一。考虑到调查结果的方法论，Lamm等人[37]的研究可以作为一个参考。在这项研究中，根据计算出的障碍重要性指数（BSI）对17个被归类为可持续农业实践障碍的因素进行了排序。在我们的研究中，我们评估了10个因素；然而，只有6个问题的FSI可以被计算出来（表1）。另一个有价值的比较是，在我们的研究中，根据FSI，评分最高和最低的问题之间存在13.5倍的差异。相比之下，Lamm等人[37]的调查基于BSI（类似于FSI）发现评分最高和最低的问题之间存在32倍的差异。BSI的排名变化较大（与我们的研究中的FSI相比）可能是由于考虑的问题数量更多。然而，这一结论需要其他研究来验证。从两项研究的比较中还可以得出另一个重要观察：排名中评分最高问题的FSI和BSI值处于相似水平，分别为18.0（我们的研究）和17.72（Lamm等人的研究[37]）。尽管两项研究的受访者数量有显著差异，但FSI和BSI的最高值却处于相似水平。我们的研究包括20名学生，而使用BSI的研究涉及992人。
FSI在开发调查结果中的重要性在于它能够根据FSI值对调查中的问题进行排序。这在一定程度上展示了调查中涉及的各个问题的“重要性”。
我们研究的本质是开发特征重要性指数（FSI）。在讨论中，将我们自己的研究结果与生成了类似或类似指数的研究进行比较似乎是合理的。然而，这并没有结束其他比较方向的探索。将我们自己的研究结果与涵盖相同或类似主题范围的研究进行比较是合理的。我们研究的特殊性在于受访者群体（特定研究领域的学生）以及问题的具体主题范围。受访者的特定性和问题的范围可能限制了我们与其他研究团队结果进行明确比较的能力。实际上，还有其他关于调查特定性的例子，包括关于收入的问题，这可能导致受访者不愿意回答，以及数据质量对实质性分析的影响[45]。
在涉及李克特量表问卷的研究讨论中，强调此类研究应尽可能与其他形式的数据收集方法结合使用[46]，例如视觉类比量表[47]；这种方法可能有助于更深入地理解所研究的问题，特别是在教育现象的研究中。甚至建议在某些情况下，调查问卷中还应包括开放式问题和其他信息收集选项，以便更精确地解释研究结果[48]。例如，在五点李克特量表问题中添加两个额外的选项，如“不知道”和“不明白”[49]。随着研究方法的发展，包括问卷[50]，它们变得越来越复杂。然而，这种复杂性不应被误认为是准确性[38]。另一方面，尽管使用了李克特量表进行研究，但仍需要解决一些问题，包括与研究结果解释相关的问题。例如，在使用主观李克特量表的跨文化比较中，这种解释可能很困难[51]。这些观察表明了使用李克特量表进行研究任务的特殊性，以及寻求保持研究适当质量的个别解决方案的必要性。个别解决方案可能源于调查研究的主题领域，这体现在李克特量表上问题选项的制定上。一个例子是李克特量表（Likert scale），其中1表示“完全不可信/不充分”，5表示“完全可信/充分”[52]。这些不同的结果不仅可能受到调查主题领域的影响，还可能受到受访者国籍的影响；在[53]的研究中，发现不同国家在理解与完成调查的难度、跳过某些问题、选择李克特量表中间选项的频率以及量表的最佳范围（答案数量）方面存在差异。通过展示使用李克特量表的调查研究的各个方面，为交流关于调查研究的观点和经验以及其结果的发展提供了一个平台。这是一个跨学科的论坛，因为使用李克特量表的研究不仅适用于社会科学，也适用于其他知识领域，包括农业和技术领域。每个研究领域都有将调查问题与可持续发展的特定方面联系起来的可能性。在评估可持续发展时，会考虑到各种社会群体，包括学生，他们在本研究中也占据了主要受访者的位置。参与基于李克特量表设计的调查的学生可以帮助识别大学在实施可持续实践方面的情况[54]，评估环境教育的质量[55,56]，评估环境意识[57]，或评估可持续性教育的质量[58]。在我们的研究中，学生被用于一个特定的目的，即表达他们对现代性和技术创新在乳制品生产设备中的重要性的看法。关于现代性和技术创新在乳制品生产中的重要性的问题属于经济和环境可持续农业生产系统技术进步的一部分[59]。配备不同水平现代技术设备的奶牛场在这些生产系统中起着关键作用。根据调查研究，这种现代性被认为是决定可持续牛奶生产的关键因素之一（FSI = 17，表1）。这样的观点与波兰农民实施可持续农业实践的经验一致，这些农民拥有不同规模的生产农场[60]。在调查中，学生根据技术设备的现代性和创新性，对生产过程效率的重要性给予了更高的评价（FSI = 18，表1）。学生的这种评估与相关文献中的详细陈述一致：Britt等人[61]指出，奶牛场的盈利能力（体现为效率）将是其未来可持续生产和发展的关键。这种发展可能源于现代性的实施以及对乳制品生产和农业中现代性的评估方法，包括动物福利[62]。现代性这一主题包含两个方面：负面（对自然的开发和对传统的丧失）和正面（进步、舒适性和效率）[63]，这些可能是进一步评估乳制品生产技术设备的关键问题。这种技术设备不应被单独考虑，而应被视为可持续乳制品生产的一个不可或缺的部分[64]。人类与支持工作的技术设备的互动在可持续乳制品生产中至关重要。支持奶牛场工作的要素包括传感器系统[65,66]、挤奶自动化设备[67]、喂养自动化[68,69]和精准畜牧业系统[70]。在这些领域中，发展的关键在于做出决策的人[71]，以及他们对农业活动的满意度[72]。因此，调查研究是评估乳制品生产系统和其他农场活动的重要手段。

提出的特征重要性指数（FSI）的修订版本是因为受访者在某些问题上没有给出负面回答（在李克特量表上）。这种情况可能是由于参与调查的受访者数量较少所致。因此，将更广泛的社会群体纳入研究是合理的。在这项研究中，受访者数量有限是由于研究领域中的学生群体所致。考虑到使用李克特量表，小规模的受访者群体需要适当的调查方法[73]。本研究是一个寻找解决调查结果开发过程中出现问题的方法的例子。该研究的理论意义在于提出了一种改进的调查结果开发方法，该方法建立在之前的特征重要性指数（FSI）形式的基础上。实际意义在于展示了使用李克特量表对调查中提供的回答进行排序的可行性，特别是在某些受访者没有选择某些答案选项的情况下。在许多先前的调查研究中，结果通常以受访者对所讨论问题的回答份额（或百分比份额）的形式呈现，这成为讨论调查结果的基础。而我们提出的方法论方法则更容易比较不同研究的结果，如果使用基于调查结果和李克特量表的统一计算指数的话。特征重要性指数（FSI）及其修改版本的计算方法是寻找普遍解决方案的例子，旨在整合理论知识和对研究材料（信息）处理的实际效果。实际上，调查为解决数据收集和分析过程中可能出现的问题提供了一个平台。例如，France等人[74]提出了一种基于元分析文件抽屉技术（最坏情况抵抗测试—WCRT）的方法来评估无响应情况，该方法适用于各种数据收集场景。所提出的研究问题及其解决方法可能适用于计算机科学和信息科学领域。从调查中处理信息可能会激发使用IT工具开发研究结果的替代方法的探索。IT任务领域可能包括创建受访者回答的排名。制定调查中回答排名的规则是一个需要借助IT支持来实施新想法的领域。在所提出的研究中，创建回答排名的本质在于以某种方式制定问题（核心问题），从而生成一组可以在1到5的范围内进行评估的回答。实际上，还有其他创建回答排名的方法，例如基于受访者提供的描述性回答的相互评估[22]。回答排名是可视化研究结果的优秀材料。在使用李克特量表的众多调查研究中，可视化已经得到了详细的发展，有助于解释研究结果[75]。无论参与调查的群体规模大小如何，信息处理始终是关键问题。受访者提供的答案有助于形成这些信息。如果将学生纳入调查，就可以收集到有关学习过程中知识转移效果的信息。在我们的研究中，评估了有关乳制品生产技术的知识转移情况，这与寻找科学与技术之间互动的探索相一致，这对于知识社区的融合至关重要[76]。创新嵌入在科学和技术中，这是学生调查问题中的主要主题。创新填补了知识空白[77]，需要社会接受，这可能是开展适当调查研究的前提。乳制品生产领域的调查研究可以激发科学知识的发展。然而，此类研究的合理性和目的首先在于其实际应用。包括乳制品生产调查研究在内的研究的实际价值在于评估影响生产、分配和乳制品质量的因素[78,79]，以及消费者在乳制品市场的偏好[80]。本文讨论的与处理调查结果相关的问题，为进一步发展提供了基础，可以用来开发扩展的数学模型，以适应更大规模的调查（更多受访者群体）。同时，随着研究的实际性质的进一步发展，可以将开发的公式整合到统计软件工具或假设算法中。使用李克特量表的调查研究可以进一步发展，以结合现代IT工具，包括人工智能。使用所提出的分析方法进行的调查研究从长远来看，可以作为支持基于模型的工程系统开发的数学和技术方面的工具。

5. 结论
本研究证实，参与者数量较少可能会影响调查结果的分布，并限制调查结果的处理。这反过来又激发了开发处理调查结果的方法。提出的改进特征重要性指数公式使得能够评估调查中提出的所有问题。然而，改进版本中的指数区分度比原始版本要小得多。对特征重要性指数变化范围的解读可能为继续改进使用李克特量表评估调查结果的方法提供了依据。这种方法可以结合现代IT工具和统计分析。调查结果显示，在学生看来，乳制品生产技术的现代性和创新性对乳制品行业的发展有着显著影响。