利用人工智能支持安全管理——在人因框架内运用机器学习分析职业安全数据

《Safety Science》：Using AI to support safety management – Analysing occupational safety data using machine learning within the framework of human factors

　　

摘要
各组织收集了大量关于安全事件的安全数据。然而，许多组织在此方面仍处于起步阶段，尤其是在利用包含文本形式安全数据的大型数据集来支持其安全管理方面。快速发展的人工智能（AI）和机器学习方法为文本数据的高效分析提供了新的可能性。本文讨论了利用人工智能支持安全管理的相关方面。主要贡献在于考察使用机器学习方法分析来自组织事件报告和事故调查文本的非结构化文本安全数据，以识别和分类促成因素的可能性与挑战。为此，研究人员微调了一个预训练的大语言模型（LLM），以人因（HF）和人因工具作为框架，对报告文本中提及的促成因素进行分类。人因工具支持对安全事件的系统性分析，并指导在个体、工作、群体/团队和组织层面识别促成因素。此外，本研究中开发的大语言模型AN-HF分类器V1（AN-HF-classifier-V1）在两个不同的数据集上进行了评估，这些数据集包含由人因专家根据人因工具分类的文本摘录。研究结果表明，该分类器可能支持从大型文本数据集中识别人因。然而，研究发现文本安全数据的质量需要改进，以纳入更全面和准确的促成事件的因素。无论是否在分析中使用人工智能，提高数据质量的必要性均适用。

**论文解读：利用人工智能支持安全管理——在人因框架内运用机器学习分析职业安全数据**

**一、研究背景与问题**

从安全管理视角出发，全面的安全与组织数据以及将这些数据转化为解释并进一步转化为基于事实的安全决策的能力至关重要。许多组织致力于持续改进其人员安全水平并发展安全管理体系，为此通常渴望更好地利用运营过程中收集的组织数据。通过安全数据系统，组织收集大量文本形式的安全数据，包括职业事故、未遂事件和安全观察报告，而对这些数据进行详尽的人工分析既耗时又耗费资源。分析庞大且多样化的数据集以提取有用信息是一项重大挑战。人工智能（AI）和机器学习方法被认为为大型数据集的快速分析和实时监控提供了新的可能性。

多年来，安全研究人员开发了众多事故成因模型，从多米诺骨牌理论到最新的非线性复杂模型。2000年代以来，安全研究日益关注系统方法，强调考虑整个社会技术系统及其相互关联的组成部分。人因（HF）方法可被视为系统安全的重要组成部分，因为人因视角认识到人的绩效受到组织、群体/团队层面、工作相关及个体层面因素综合影响。在复杂系统中，信息、社会互动以及人与组织、人与技术之间的过程具有非线性特征。

如今，许多组织拥有某种安全报告和记录系统，收集大量包含结构化与非结构化数据的大型数据集。尽管安全情报概念强调将数据转化为可操作信息以支持决策和主动安全管理，但大型数据集的实际利用仍面临挑战，如数据质量低下和缺乏高效分析工具。近年来，机器学习方法已被应用于职业健康与安全数据以支持安全管理。然而，利用机器学习方法分析非结构化文本安全数据以识别和分类事故促成因素的可能性与挑战，仍需系统性研究。本研究旨在探讨这一问题，以人因工具为框架，微调预训练大语言模型对文本安全数据进行分类。论文发表于《Safety Science》。

**二、研究方法**

本研究主要采用了以下关键方法。数据方面，使用了来自四个目标组织（A、B、C、D）的安全事件报告数据（TO1数据集，共1587份报告）、芬兰工人赔偿中心（TVK）提供的工业职业事故描述数据（TVK数据集，共326163份芬兰语描述）、两个目标组织的事故调查报告（TO2a和TO2b数据集，共67份报告）以及芬兰安全和化学品局（Tukes）的一份综合性事故调查报告（Tukes数据集，38个摘录）。分析方法上，研究人员以芬兰预训练大语言模型FinBERT为基础，微调开发了AN-HF分类器V1（AN-HF-classifier-V1），该模型基于BERT架构，采用加权交叉熵损失函数训练6个周期，使用AdamW优化器，学习率为1×10??。同时训练了朴素贝叶斯（NB）分类器和支持向量机（SVM）作为基线模型进行比较。人因专家使用人因工具（HF Tool）对文本进行人工编码，该工具包含个体因素与行为、工作特征、群体/团队因素和组织因素四个主层级共37个项目，人工编码结果作为微调训练数据和模型评估的参考标准。

**三、研究结果**

**1. 基于人工编码数据的分析结果**

对TO2a数据集（两个目标组织的事故调查报告）的人工编码分析显示，共识别出299个人因作为报告的因果促成因素，以及232个与纠正措施相关的人因。在促成因素中，工作特征占46%，个体因素与行为占36%，组织因素占11%，群体/团队因素占6.7%。对Tukes数据集的分析识别出38个促成因素摘录，涵盖了HF工具各主层级的项目。

**2. 基于机器学习的数据分析结果**

对TO1数据集（四个目标组织的安全事件报告）的分析表明，四个组织中工作特征因素涉及72.9%至87.6%的事件。组织B的个体因素与行为占比最高（25.2%），组织C最低（12.2%）。群体/团队和组织层面因素极少被检测到。

对TO2b数据集（事故调查报告摘录）的评估显示，AN-HF分类器V1的准确率为72.3%，显著优于朴素贝叶斯（52.1%）和支持向量机（49.7%）。模型对工作特征类摘录识别最准确（88%），其次为个体因素与行为（68%）、组织因素（63%）和群体/团队因素（58%）。

对TVK数据集（326163份事故描述）的分析显示，主要层级分布高度集中于工作特征（87.9%），群体/团队因素仅占0.26%，组织因素占0.02%。

对Tukes数据集的评估中，AN-HF分类器V1的准确率达到81.6%，其中个体因素与行为分类全部正确（100%），组织因素分类正确率为92%。基线模型朴素贝叶斯准确率仅为44.7%，支持向量机为42.1%。

**四、讨论与结论**

讨论部分指出，大语言模型是分析非结构化文本安全数据的有力工具，考虑到训练数据规模较小和数据质量限制，研究结果虽属初步但具有前景。研究中还涉及若干关键议题。在伦理问题上，将定性安全叙事转化为定量人工智能输出时，必须解决责任与问责、透明度、信任、公平性和权力滥用等伦理问题。文本安全数据常含个人标识符，数据保护是人工智能分析中的核心伦理要求。在技术问题上，人工智能输出可能不准确或不完整；上下文窗口限制可能导致信息丢失；在标注数据稀缺且不平衡的情况下，可靠地将文本分类为细粒度人因类别较为困难。在数据质量问题上，未遂事件和事故描述往往简短稀疏，群体和组织层面的人因很少被记录，报告实践、语言和组织惯例影响数据的客观性。报告中“人为错误”常被记录为根本原因，而这本应是调查的起点。研究建议改进调查和报告实践，提供系统性安全事件分析方法培训，并按照HF工具子层级的最基本信息记录要求来规范安全事件记录的最低精度。研究提出，无论是否使用人工智能辅助安全管理，采用人因工具或类似系统方法从多层次视角识别和分析安全事件都将提高报告质量。

研究结论部分要点如下：本研究考察了利用机器学习模型（更确切地说是LLM）分析非结构化文本安全事件报告数据的可能性。研究人员利用人因框架和人因工具提供与安全事件相关因素的信息。结果表明，LLM是分析非结构化文本安全数据的有力工具。本研究开发的AN-HF分类器V1模型在两个独立的人工编码数据集上进行了评估，研究结果表明该模型可能支持从大型文本数据集中识别人因。然而，无论是使用人工智能分析还是传统分析，文本安全数据的质量均需改进。基于研究结果，影响人员绩效的潜在人因在职业安全报告文本中似乎未被完全理解和/或报告，例如组织层面和群体层面因素代表性不足。研究人员建议组织更加关注事件和事故报告与调查的质量，以提供有关安全的全面信息。许多组织可受益于系统性安全事件分析方法培训。此外，建议安全事件分析和记录应至少达到本文提出的HF工具子层级（或使用系统方法达到相当程度）所对应的最低精度水平，以便在安全事件分析中使用LLM。