基于人工智能的候选人筛选方法比较：政策与监管建议

《Data & Policy》：Comparing AI-based approaches to candidate screening: recommendations for policy and regulation

　　

技能提取是算法招聘的核心，其基础是识别目标文本（即简历和职位描述）中常见的术语，旨在识别两者之间的“匹配”或对应关系。本文聚焦于从简历中提取技能，而非职位描述，并从人力资源管理（HRM）和人工智能（AI）两个视角探讨该任务。研究人员讨论了这两个领域识别的挑战，并解释了协作如何有助于HRM成功的数字化转型。研究人员认为，注释工作是两个领域需要合作的一个理想示例，并展示了一项针对46份简历、由41名经过培训的标注者参与的注释工作，共获得116份注释。研究人员分析了多个不同系统提取的技能，并将其与标注者选择的技能进行比较，发现提取的技能在长度和语义内容上存在很大差异。使用对话式大型语言模型（LLMs）提取的技能往往非常冗长且详细；其他系统则较为简洁，而人类标注则处于中间水平。在语义相似性方面，对话式LLMs比其他系统更接近人类输出。研究人员的分析提出了一个不同的视角，以理解这一研究充分但尚未解决的技能提取任务。最后，研究人员提供了与HRM和计算视角一致的技能提取政策建议。
政策重要性声明：随着人工智能（AI）日益嵌入招聘流程，政策制定者需要应对种类繁多的系统，这些系统各有其优势和局限性。研究人员的发现强调了三个需要政策关注的关键张力：（1）代表性，因为训练数据和分类法往往未能捕捉技能的上下文特异性；（2）准确性vs.可解释性，因为更高的准确性似乎以牺牲可解释性为代价；（3）跨利益相关者的透明度，因为当前法规侧重于部署者，而求职者对其自身数据如何处理知之甚少。解决这些张力对于在招聘中实现公平、负责任和可靠的AI至关重要。

**论文解读：基于AI的候选人筛选方法比较——政策与监管建议**

**研究背景与问题**
在人力资源管理（HRM）领域，技术一直扮演重要角色，尤其是人工智能（AI）和自然语言处理（NLP）的快速发展为招聘实践带来了新机遇。随着企业收到大量申请，自动化成为处理高申请量的主要手段，但往往忽略了人的因素。技能提取是算法招聘的核心，通过识别简历和职位描述中的技能、知识、认证和经验，实现候选人与职位的匹配。然而，现有研究主要聚焦于从职位描述中提取技能，忽视了简历这一关键数据来源。简历包含个人数据，难以获取和发布，且其格式高度异质，依赖候选人背景。此外，不同AI系统（规则系统、监督模型、对话式大型语言模型）在技能提取中的表现差异尚未被系统比较，尤其是在与人类标注的对比方面。政策制定者面临如何监管这些多样系统的挑战，包括代表性、准确性vs.可解释性、透明度等问题。因此，开展这项研究旨在从HRM和AI双重视角识别技能提取任务中的挑战，通过人工注释与多种自动系统的对比，揭示系统间差异，并为政策与实践提供建议。论文发表在《Data》。

**主要关键技术与方法**
研究人员收集了来自酒店管理领域研究生课程研讨会的46份简历，由41名经过培训的标注者进行人工注释，共获得116份注释，标注类别包括硬技能/认证、软技能和职业/职位。为比较自动系统，研究人员选取了三种方法：（1）规则系统，基于内部工业分类法（taxonomy）并使用开源工具SkillNER进行关键词匹配；（2）监督模型，采用ESCOXLMR，该模型基于ESCO分类法（技能/能力和职业）和标注的职位描述样本预训练，包括技能检测和知识检测两个专门版本；（3）对话式大型语言模型（LLM），使用开源模型Mixtral 8x7B Instruct v0.1，通过零样本提示（zero-shot prompt）提取技能，并设计包含指令和输入文本的提示。研究人员对提取结果进行了长度分析（字符数）和语义相似性分析（使用SBERT模型计算余弦相似度）。

**研究结果**
**4.1 技能长度分布**
通过分析所有简历的技能提取长度，人类标注大部分技能长度接近15个字符；对话式LLM生成的技能更为冗长，长度在15至35字符之间变化；规则系统输出更简洁，接近人类长度；监督模型比人类标注冗长，但比LLM简洁。每份简历的平均长度分析进一步证实，对话式LLM产生最长的提取，监督模型次之，规则系统和人类较短。

**4.2 语义相似性分析**
比较人类标注与三种系统输出的语义相似性，所有系统与人类标注的相似度集中在0.5至0.8之间，但未出现0.9至1的精确匹配。其中，对话式LLM与人类内容的语义相似性最高，规则系统次之，监督模型最低。每份简历的语义相似性分析显示，尽管无系统高度接近人类，但对话式LLM在多数简历上表现出更高的重叠度。

**4.3 随机样本比较**
通过随机选取每种来源的10个技能提取示例，展示了不同系统输出的差异：人类标注包含谈判、市场研究、项目规划等；规则系统输出如酒店领导、承包商、数学等；监督模型输出较长短语如“与客户保持持续沟通”；对话式LLM输出如福布斯标准、合同谈判等。手动映射5份简历的共同概念进一步显示，规则系统倾向于提取标准化术语，而LLM则生成更详细的描述性文本。

**讨论与结论**
**讨论部分总结**
研究人员讨论了模型比较与变异性，指出规则系统更标准化但受限于分类法，对话式LLM语义重叠高但冗长，监督模型介于两者之间。跨学科协作（NLP与HRM）对注释任务至关重要，但需要时间建立共同语言。系统信任方面，不同系统输出变异性大，可解释性（如规则系统易于解释，LLM难以解释）与准确性之间存在权衡。政策方面，研究人员提出三个关键张力：代表性（训练数据与分类法未能覆盖技能情境特异性）、准确性vs.可解释性、利益相关者透明度（当前法规侧重部署者，忽略求职者权利）。对于HR实践，建议HR专业人员了解不同系统优缺点，避免仅依赖自动筛选，并应结合其他高预测效度的选拔方法。候选人应确保技能可被不同系统识别，同时注意简历与后续面试的一致性。

**研究结论**
本文讨论了HR和AI对技能提取任务的不同视角，聚焦于简历，收集了46份标注文本，并比较了三种计算方法的输出。研究人员展示了这些计算系统产生内容的本质差异，并从隐私、可信度和效率等角度讨论了各方法的优缺点。研究揭示了系统间的变异及其与人类标注的差异，强调了在日益依赖算法招聘的领域中，人类标注者这一常被忽视的角色。此外，研究结果可为政策制定者提供信息，特别是关于不同系统如何处理偏差、可解释性和性能等方面。