《Crime Science》：Using fine-tuned LLMs to identify indicators of vulnerability in UK police incident logs
编辑推荐：
目的：理解日常警务工作中有多大比例涉及脆弱人群，可为资源配置、培训和多机构响应提供信息，然而行政数据所提供的洞察有限。本研究探讨了基于美国开源警务数据开发的大语言模型（LLM）分类流程能否被改编，用于估算英国警方事件叙述中四类脆弱性指标——精神健康问题（men
目的：理解日常警务工作中有多大比例涉及脆弱人群，可为资源配置、培训和多机构响应提供信息，然而行政数据所提供的洞察有限。本研究探讨了基于美国开源警务数据开发的大语言模型（LLM）分类流程能否被改编，用于估算英国警方事件叙述中四类脆弱性指标——精神健康问题（mental ill health）、药物滥用（substance misuse）、酒精依赖（alcohol dependence）和无家可归（homelessness）——的患病率，以及其输出在何种情况下可被视为可辩护的测量结果。
方法：研究人员分析了来自英国某警察部队的近3,000份去标识化事件日志，采用多阶段流程，结合重复模型推断、标签聚合、结构化人工审查和统计校正。该流程在本地托管的开源权重LLM上运行，反映了警方可能采用的安全计算环境。研究方法评估了输出稳定性、量化了偏差，并生成了带不确定性的校正估计。
结果：LLM能够在大规模范围内产生有意义但并非完美的患病率估计。精神健康问题指标出现在约五分之一的事件中，其他指标的患病率较低。然而，朴素的LLM部署并不可靠：单次分类不稳定，且聚合输出相对于人工判断系统性地过度分配指标。校正这些偏差需要大量人工投入和统计调整，留下了相当大的不确定性。
结论：虽然LLM能够从非结构化警务数据中提取信息，但其输出在没有谨慎方法论支持的情况下不能被视为有效测量。在总体层面，可辩护的估计是可以实现的，但资源密集；在个体层面，错误仍然频繁且不可预测，限制了其适用于操作性决策的可行性。本研究凸显了基于LLM测量的潜力和约束，强调了在应用环境中进行严格评估的必要性。
研究背景与问题
前线警务工作使警察经常接触到经历复杂且多重需求的个体，这类接触被广泛归类为“脆弱性”相关接触。精神健康问题、药物滥用、酒精依赖和无家可归是前线警察处理事件中的突出特征，由此产生的累积需求对警务资源构成持续压力。然而，关于警察在日常工作中究竟多频繁地遇到特定脆弱性问题，目前缺乏可靠的量化证据。结构化行政数据——如限定符标记、事件类别和处置代码——虽然记录部分信息，但设计初衷是服务于操作和管理目的，而非脆弱性相关需求的流行病学评估，因此存在记录不完整、应用不一致以及不同警队和时期记录实践差异等问题。与此同时，警方拥有海量的叙述性文本数据——事件日志、指挥控制记录和警员报告中的非结构化自由文本描述，这些文本通常比伴随的结构化字段信息更丰富，但在规模上历来难以获取和分析。传统自然语言处理方法在实体提取和主题建模等任务上有所成效，但缺乏进行脆弱性识别所需的解释性和情境敏感性分类能力。
研究目的与意义
大语言模型（LLM）的进展为这一困境提供了新的可能。指令微调模型能够遵循自然语言任务描述、在上下文中评估模糊证据并生成带理由的分类结果，这与定性研究中演绎编码的要求高度契合。本研究旨在探讨基于美国公开警务数据开发的LLM分类方法能否在英国警方高度敏感的操作数据中实现有效迁移，并评估经过人工验证和统计调整后的分类结果能否生成结构化警务数据目前无法提供的产出——脆弱性相关交互的稳健患病率估计。研究贡献包括一套新颖的患病率估计，以及在高风险应用环境中负责任地开展LLM测量的实践示范。
研究方法与关键技术
本研究采用多阶段分类流程。数据来自英国某非都市警察部队单一基本指挥单元（BCU）三个月的STORM事件日志，共2,977份日志，经过去标识化处理后产生3,850个文本片段。分类采用两步法：第一步由模型提取最多两条可能指示特定脆弱性的引文，若无证据则输出“EVIDENCE: NONE”；第二步对识别出证据的片段按强/中/弱三级评估。由于本地安全计算环境仅支持约120亿参数以下的模型，研究人员使用知识蒸馏（knowledge distillation）技术，以GPT-4o-mini作为教师模型生成10,000个训练示例，对Llama 3的8B、3B和1B模型训练LoRA适配器（LoRA adapter），最终选定8B模型配合4比特量化（4-bit quantisation）和秩16的LoRA配置。每个文本片段在温度参数0.7下对四类脆弱性各分类五次，产生77,000个分类事件。随后进行250个文本片段的目的性抽样人工审查，并通过蒙特卡洛模拟（Monte Carlo simulation）进行错误校正。
研究结果
语料库概况：清理后的语料库包含2,977份事件日志，在400词阈值分割后产生3,850个文本片段。原始日志词数呈严重右偏分布（中位数181词，IQR 93–342），多数日志无需分割，最长日志（5,273词）产生14个片段。
标签变异性：NONE标签在所有四类脆弱性中占主导且高度稳定，绝大多数被分类为无证据的片段在五次运行中获得一致标签。STRONG标签显示中等稳定性，约半数至三分之二的片段达到完全一致。WEAK标签的不一致程度较STRONG低但一致决策比例更低。MODERATE是分配频率最低的标签（四类合计仅84个片段）且变异性最大。按分歧严重程度分类，酒精依赖分类最稳定，其次为无家可归、药物滥用，精神健康问题的严重分歧比例最高。
准确性：由于模型无法在重复运行中维持弱与中等证据之间的稳定区分，研究将四级标签方案压缩为三级：无证据、强证据和不确定。人工审查显示，无证据标签在四类脆弱性中的准确率均超过96%。强证据标签在精神健康问题（57/57一致）、酒精（25/26）和无家可归（29/29）方面准确，但药物滥用显著较差——34个强标签中有13个被降级、5个被标记为无效。不确定标签在所有脆弱性中噪声最大，无效分类常见，主要错误方向为过度敏感：酒店住宿被解读为无家可归、医院就诊被解读为精神健康问题、酒精消费被误分类为药物滥用。
患病率估计：蒙特卡洛校正对各类脆弱性均有显著影响，一致性地降低了脆弱性指标估计患病率。精神健康问题的原始估计为29.4%，校正后降至22.9%（95% CI 19.4–26.7%）；药物滥用从12.8%大幅降至5.0%（95% CI 3.7–6.5%）；酒精依赖从11.9%降至8.2%（95% CI 6.3–10.3%）；无家可归从9.7%降至2.9%（95% CI 2.1–4.0%）。不确定类别的收缩最为显著，反映了人工审查发现的高比例过度敏感标签。
与警队限定符的比较：模型分类与警队控制室操作员在记录时分配的限定符标记之间存在显著不一致。在精神健康问题方面，358个带限定符的事件中有121个（33.8%）根据模型无叙述证据，而220个有强叙述证据的事件未带限定符。对底层叙述的审查表明，带限定符但无模型证据的事件往往是普通事件（恶作剧电话、交通事故、掉线电话），而无限定符但被模型标记的事件则包含明确的脆弱性引用（具名精神健康疾病、自杀和自伤、明显醉酒、直接陈述药物使用）。限定符可能反映一种应用不均的行政过程，而非事件内容的可靠记录，因此不宜作为评估模型性能的基准。
讨论与结论
研究表明，LLM作为“阴性过滤器”的能力——可靠筛选出无脆弱性内容的叙述——在微调蒸馏小模型、跨域迁移和匿名化输入的条件下仍然稳健。然而，朴素部署LLM分类器是危险的：单次分类在正反两个方向上均存在噪声，无法区分错误类型和频率。聚合标签仍然系统性地高估所有脆弱性指标，且这种模式无法仅从模型输出中检测，需要结构化人工审查来识别和量化。蒙特卡洛校正是修正过度敏感所必需的方法论步骤，校正幅度不容忽视。研究结论强调，LLM是强大的组件，但负责任地使用所需的方法论基础设施——重复运行、领域知情的人工审查和统计校正——并不少于任何其他经验测量工具，且由于失败模式更不可见并可能被系统运行的速度和规模放大，其要求可能更高。在个体层面，分类错误频繁且不可预测，不支持将模型输出用于分诊、标记或优先排序特定案件的操作性决策。在总体层面，可辩护的估计是可以实现的，但资源密集。研究建议将该方法扩展到多年份、全警队范围的数据集，以支持更稳健的需求建模和多机构保障安排，同时强调在敏感领域负责任地使用LLM不仅取决于模型性能，更取决于模型嵌入其中的流程严谨性。
