《Journal of Forensic Sciences》：Human-supervised LLM triage of pig butchering complaints: A validation study of multi-model identifier extraction
编辑推荐：
数字取证调查（digital forensic investigations）在处理海量非结构化加密货币诈骗投诉时，越来越多地在接收阶段进行自动化处理，同时保留分析人员对证据或下游调查用途的监督。本验证研究（validation study）评估了人类监督的多
数字取证调查（digital forensic investigations）在处理海量非结构化加密货币诈骗投诉时，越来越多地在接收阶段进行自动化处理，同时保留分析人员对证据或下游调查用途的监督。本验证研究（validation study）评估了人类监督的多模型大语言模型（LLM）提取能否从加州金融保护与创新部（DFPI）2022–2024年间的杀猪盘（pig butchering）投诉（N = 273）中恢复分诊相关标识符。研究人员引入了一种基于信息的四层取证分类法（four-tier information-based forensic taxonomy），该分类法根据可追踪标识符（加密货币钱包地址、诈骗相关平台URL及报告损失金额）的存在情况对案件进行分类，而非依据叙述长度。研究人员针对由两位独立评分者裁定（Cohen's κ = 0.969–0.988）的基准真实值（ground truth），评估了三款商业LLM（Claude Sonnet 4.5, GPT-5.2, Gemini 3 Pro）。该分类法将96.7%的案件（264/273）归类为可操作案件，其中9.2%的案件包含支持直接区块链追踪的钱包地址。LLM提取在钱包地址上达到F1 = 1.000，在URL上达到F1 = 0.911–0.918，在损失金额上达到F1 = 0.865–0.904；而基于词法正则表达式（regex）和预训练spaCy命名实体识别（NER）的基线方法在损失提取上仅达到F1 ≤ 0.381，该任务需要基于上下文的解释。该流水线将264个可操作案件中的82个（31.1%）基于跨模型URL或损失金额的差异路由至优先人工审查，这作为质量控制机制而非输出聚合集成。流水线阶段提取耗时74分钟，成本约15美元；该效率与框架设计所要求的人工审查队列分开报告。由于商业API处理涉及数据主权和CJIS等效合规性问题，研究人员将该协议定位为分析人员中介工作流中的分诊支持。研究人员指出本地部署和传输前匿名化是未来操作验证的优先事项。
**论文解读：人类监督的多模型LLM对杀猪盘投诉的分诊验证研究**
**研究背景与问题**
杀猪盘（pig butchering）诈骗是一种结合情感操纵与加密货币投资欺诈的复合型犯罪，受害者通过虚假投资平台被逐步引导转移资金，最终遭受巨额损失。加州金融保护与创新部（DFPI）公开的诈骗追踪器记录了273起此类案件，报告损失超过5200万美元。然而，这些受害者叙述（narratives）具有高度非结构化特征——从简短描述到数页长文不等，使得调查人员手动提取可操作情报（如加密货币钱包地址、诈骗平台URL、损失金额）极为耗时，每起案件平均耗时约2小时，造成资源紧缺型执法机构的处理瓶颈。现有方法面临三大局限：第一，人工审查无法随案件量增长而扩展；第二，基于文本长度的过滤标准不可靠——最短的含有可追踪钱包地址的报告仅54词；第三，单模型大语言模型（LLM）缺乏可靠性验证机制，提取错误可能导致调查方向误判或关键证据遗漏。因此，需要一种在保证精度前提下自动化分诊（triage）的框架，同时保留人类监督以应对取证问责（forensic accountability）要求。
**研究内容与结论**
本研究旨在验证人类监督的多模型LLM协议能否从公开投诉叙述中恢复分诊相关标识符，并评估跨模型不一致性作为质量控制信号的有效性。研究人员开发了一种基于信息的四层取证分类法（information-based forensic taxonomy），根据标识符的追踪价值将案件分为四类：ACTIONABLE_HIGH（含钱包地址，可进行区块链追踪）、ACTIONABLE_MEDIUM（含URL和损失金额，支持基础设施分析）、ACTIONABLE_LOW（仅含URL，提供有限域名情报）、FAIL_NO_IDENTIFIERS（无标识符，不可操作）。采用三款商业LLM（Claude Sonnet 4.5, GPT-5.2, Gemini 3 Pro）进行并行提取，并针对两位独立评分者裁定的基准真实值（ground truth）评估性能。结果显示，该分类法将96.7%的案件（264/273）归类为可操作，其中9.2%的案件（25/273）包含钱包地址。LLM在钱包地址上达到F1 = 1.000，在URL上F1 = 0.911–0.918，在损失金额上F1 = 0.865–0.904，显著优于基于词法正则表达式（regex）和预训练spaCy命名实体识别（NER）的基线方法（损失提取F1 ≤ 0.381）。跨模型不一致性将31%的可操作案件（82/264）标记为需人工审查，作为质量控制机制。多模态验证（multi-modal verification）对25个含截图案件进行辅助分析，发现仅存在于图像中的标识符（钱包地址12–16%，平台URL 44–52%）。该研究论文发表在《Journal of Forensic Sciences》。
**主要关键技术方法**
研究人员从加州DFPI公开的Crypto Scam Tracker获取2022–2024年间的273份杀猪盘投诉叙述（含25个附件截图），并构建了基于正则表达式的基线参考方法。主要技术方法包括：（1）基于信息的四层取证分类法，按标识符可追踪性分类；（2）三模型并行LLM提取协议，采用相同系统提示词和温度=0.0的确定性设置，通过商业API调用（Claude Sonnet 4.5、GPT-5.2、Gemini 3 Pro）；（3）跨模型不一致性检测，将URL或损失金额提取结果差异的案件标记为需人工审查；（4）多模态辅助验证，利用LLM的视觉能力对比截图与文本叙述的一致性。所有提取结果与两位独立评分者（一位数字取证专家、一位在职执法人员）裁定的基准真实值进行对比，评分者间一致性为κ = 0.969–0.988。
**研究结果**
**1. 预分类分布（Pre-classification distribution）**
应用分类法后，273起案件中ACTIONABLE_HIGH占25例（9.2%），ACTIONABLE_MEDIUM占201例（73.6%），ACTIONABLE_LOW占38例（13.9%），FAIL_NO_IDENTIFIERS占9例（3.3%）。表明96.7%的案件至少包含一类可操作标识符，但仅9.2%的案件支持直接区块链追踪。
**2. 三模型标识符提取性能（Tri-model identifier extraction performance）**
所有三个模型均识别出43个唯一的加密货币钱包地址（外部区块链验证全部有效）。URL提取数量分别为Claude 508个、GPT-5.2 536个、Gemini 3 Pro 472个。损失金额汇总分别为约5400万、5300万、5200万美元。整个流水线阶段提取耗时74分钟（Claude 38分钟、GPT-5.2 14分钟、Gemini 3 Pro 22分钟），API成本约15美元。
**3. 与基准真实值的性能对比（Performance against ground truth）**
钱包地址提取：所有模型F1 = 1.000，regex为0.903。URL提取：F1 = 0.911–0.918，spaCy NER为0.877（但召回率0.987，精确率0.790）。损失金额提取：F1 = 0.865–0.904，regex和spaCy NER均≤0.381。LLM通过上下文过滤显著优于基线方法。
**4. 多模态验证结果（Multi-modal verification results）**
在25个含截图案例中，视觉分析发现了仅存在于图像中的钱包地址（模型间12–16%案例）和平台URL（44–52%案例）。案例#24显示文本提及“Riot Blockchain”而截图显示“lockchains.com”的域名冒充模式。
**5. 调查人员交付数据（Investigator deliverables data）**
框架生成三个标准化输出：案例优先级报告（273条）、钱包追踪列表（43个地址）、标记案例（82个，31%需人工审查）。案例#58演示了LLM正确识别$4200为实际损失（而非regex误取的$29,000），并发现截图中的比特币钱包地址。
**讨论与结论**
讨论部分强调，基于信息的分类法优先关注可追踪性而非信息完整性，使9.2%的高优先级案件可快速进入区块链分析。跨模型共识分析显示，钱包地址具有高置信度（F1=1.000且所有地址通过区块链验证），可作为分诊信号；URL和损失金额的提取差异则需人工审查。标记案例（82例）中，仅URL争议的74例中至少一个模型正确的比例为39.2%，损失争议的5例中为100%，表明跨模型不一致性有效识别了需要人工判断的歧义案例。研究人员指出，商业API部署存在数据主权和合规性问题，建议本地部署或传输前匿名化。研究结论翻译如下：本研究评估了一种多模型LLM验证方法，从273份杀猪盘受害者报告中提取取证标识符。基准真实值的人工标注达到评分者间一致性κ = 0.969–0.988。基于信息的分类法将96.7%的案件归类为可操作，其中9.2%包含钱包地址。所有三个模型识别出43个唯一钱包地址，URL提取范围472–536个，损失金额汇总范围5220万–5400万美元。与基准真实值对比，钱包地址F1=1.000，URL F1=0.911–0.918，损失金额F1=0.865–0.904。辅助多模态交叉检查（25个含截图案例）作为初步观察报告，图像仅存标识符指向未来研究。本验证方法将LLM定位为需要人类监督的分诊工具。核心贡献不仅是提取本身，而是可测量的可靠性：基准真实值验证量化了提取精度，跨模型共识和外部区块链验证为分析人员审查优先级提供置信信号。尽管本研究展示了批量处理效能（273例74分钟，约15美元），但该效率仅针对自动化流水线组件，而非完整端到端工作流——设计上标记案例（82/264，31%）必须经过人工审查。每例提取平均约16秒；未来工作应评估实时单例处理能力，并跨司法管辖区验证。三模型协议为平衡提取效率与取证问责提供了可行路径。本结果支持在公开投诉语料上实施人类监督的接收阶段分诊的实践可行性。该框架应被解释为人类监督下的分诊支持和线索生成，而非替代取证检查、证据决策或归因。
