《Intelligent Systems with Applications》：Towards terms definition extraction in drone forensics using large language model
编辑推荐：
在大语言模型（large language model, LLM）时代，许多自然语言处理（natural language processing, NLP）任务受到影响。文本数据以大规模语料库形式存在，已被用于构建具有大尺寸参数的智能语言模型。这对数据量较小的
在大语言模型（large language model, LLM）时代，许多自然语言处理（natural language processing, NLP）任务受到影响。文本数据以大规模语料库形式存在，已被用于构建具有大尺寸参数的智能语言模型。这对数据量较小的领域特定问题（如无人机取证，其中信息提取困难）构成了优势。在本文中，研究人员提出使用对话式预训练大语言模型（conversational pre-trained LLM）作为知识库，执行无人机技术术语的定义提取。研究人员使用五种不同的LLM，即Davinci-002、ChatSonic、Claude、GPT3.5和GPT4，作为知识库生成无人机技术术语的定义。技术术语的提取被建模为命名实体识别（named entity recognition, NER）问题，其中日志消息中提及的实体跨度为目标术语。为表示提示和生成的文本，研究人员使用InstructOR作为嵌入。由于五种不同的对话式LLM生成了定义，研究人员将选择最佳定义的问题建模为信息检索（information retrieval, IR）问题。使用三种距离度量，并选择总和距离分数最小的定义作为最佳定义。经过深入全面的统计分析、错误分析和人工整理，总和距离是选择最佳定义的合理依据。通过对每个LLM生成的定义句子进行人工调查，这一结论得到证实。进一步的实验使用结构良好的提示，在更新颖的模型上进行，例如GPT4o、Gemini 2.0、Claude 3.5 Sonnet、Deepseek V3、Qwen 2.5、Meta AI和Microsoft Copilot。实验结果显示，通过网页界面提示的搜索增强模型Microsoft Copilot生成了与参考词汇表更好对齐的定义。
### 论文解读文章
#### 1. 研究背景与问题
在大语言模型（large language model, LLM）时代，海量文本数据被用于构建具有大尺寸参数的智能语言模型，这为领域特定问题（如无人机取证）带来了机遇，但因领域数据规模小，信息提取（information extraction, IE）仍具挑战。在无人机取证（drone forensics）中，飞行日志包含大量技术术语，调查人员往往缺乏领域知识，难以快速理解关键术语含义。现有研究虽利用LLM进行命名实体识别（named entity recognition, NER）提取术语，却未提供术语定义，导致调查效率受限。为此，研究人员开展本研究，旨在利用预训练对话式LLM作为知识库，自动提取无人机技术术语的定义，辅助取证分析。论文发表在《Intelligent Systems with Applications》。
#### 2. 研究内容与结论
研究人员提出将NER作为术语提取方法，通过微调多个预训练LLM（BERT、DistilBERT、RoBERTa、DistilRoBERTa、Electra、XLNet）构建无人机NER模型，并以XLNet为最佳模型提取日志中的技术术语。随后，使用五种对话式LLM（Davinci-002、ChatSonic、Claude、GPT3.5、GPT4）生成每个术语的定义，将最佳定义选择建模为信息检索（information retrieval, IR）问题，结合三种距离度量（余弦距离、欧几里得距离、曼哈顿距离）的总和距离分数筛选最优定义。经统计分析、错误分析和人工整理，验证了该方法的合理性。进一步，采用更优的提示工程技术（人物设定、少样本示例、约束引入、批处理提示），在更先进模型（GPT4o、Gemini 2.0、Claude 3.5 Sonnet、Deepseek V3、Qwen 2.5、Meta AI、Microsoft Copilot）上进行实验。结果表明，搜索增强模型Microsoft Copilot生成的定义与参考词汇表对齐最佳（BERTScore F1为72.622%），而采用适当提示的GPT3.5 Turbo也表现出竞争性（F1为71.704%）。该研究对于推进无人机取证自动化、提升调查效率具有重要意义。
#### 3. 主要关键技术方法
研究人员采用以下关键技术：（1）**命名实体识别（NER）**：将术语提取视为序列标注任务，微调多个预训练LLM（包括BERT、XLNet等）以识别六类实体（Component、Function、Parameter、Issue、State、Action）。（2）**对话式LLM知识库**：利用五种预训练对话式LLM（Davinci-002、ChatSonic、Claude、GPT3.5、GPT4）作为生成源，通过提示模板生成术语定义。（3）**嵌入与距离度量**：使用Instructor嵌入（Instructor embedding）将提示和定义转换为向量，基于余弦距离、欧几里得距离和曼哈顿距离的总和距离选择最佳定义。（4）**提示工程**：设计包含人物设定、10-shot示例、约束和批处理的结构化提示，提升生成可靠性。样本数据来源：结合已有无人机NER数据集（Silalahi et al., 2023b）与AirData Drone Wiki的日志消息，共2239条消息、17118个令牌。
#### 4. 研究结果
**4.1 数据集准备（Dataset preparation）**：合并DroNER数据集与AirData无人机维基日志，采用IOB2方案标注六类实体，构建训练集（1567条消息）和测试集（672条消息）。统计显示，训练集含4569个实体、2346个术语；测试集含2004个实体、997个术语；合并集共有3764个唯一术语。
**4.2 实验设置（Experiment settings）**：微调BERT、DistilBERT、RoBERTa、DistilRoBERTa、Electra、XLNet六个模型，参数为4轮、批量8、最大序列长度64、学习率1e
-4、优化器AdamW。使用零样本方式，以人物风格提示生成定义，采用Instructor嵌入计算距离。
**4.3 最佳微调NER模型（Best-performing fine-tuned NER model）**：在令牌级和术语级评估后，XLNet获得术语级F1最高（96.304%），当选最佳模型。错误分析表明，多数误分类源于注释不一致或训练集中未出现的新词。
**4.4 统计分析（Statistical analysis）**：计算所有有效术语的提示与定义之间的三种距离之和。GPT4的平均总和距离最低（6.963），生成最佳定义数量最多；Claude表现最差（均值7.834），且生成大量非定义文本。另外，定义长度与距离分数相关性弱。
**4.5 错误分析（Error analysis）**：对219个有效术语和29个无效术语进行分析。Claude和ChatSonic对无效术语敏感，倾向于诚实回答；而OpenAI模型则推测上下文生成定义。Davinci-002生成最直接的定义句子，其他模型多使用对话式风格。
**4.6 提示工程以获得可靠响应（Prompt engineering for reliable responses）**：针对零样本提示的不可靠性，设计包含人物设定、10-shot示例、约束和批处理的结构化提示。测试31个共享术语，使用参考词汇表基于BERTScore评估。新提示使生成的定义更简洁准确，显著提高精确率，但召回率略降。
**4.7 对更近期模型的测试（Test on more recent models）**：在零样本提示下，GPT3.5 Turbo获得最高F1（68.450%）。在新提示下，Microsoft Copilot取得最佳F1（72.622%）和最高精确率（74.400%），证明搜索增强模型在减少幻觉方面优势显著。
**4.8 工具原型（Tools prototyping）**：将所提方法实现为开源取证工具，接收.csv格式飞行日志，提取时间戳和日志消息构建取证时间线，高亮标注实体并附上定义。输出HTML格式的取证报告，可浮窗显示术语定义。
#### 5. 总结讨论与结论翻译
讨论部分指出，尽管结果令人鼓舞，但所提框架存在若干局限：术语提取步骤依赖NER模型准确性，误差会传播；静态LLM基线易出现幻觉和过时信息；嵌入向量距离度量可能因词汇重叠而产生偏差（如非定义句子获得低距离分数）；依赖第三方API引发数据隐私问题。研究结论部分翻译如下：
ChatGPT发布后成为近期热点话题，以其突破性贡献震撼了NLP研究社区。领域专家和研究人员已探索了广泛的应用领域。本文研究了LLM在无人机取证领域生成技术术语定义中的适用性和利用情况。研究人员在无人机数据集上微调了六个预训练语言模型，用于执行NER以提取无人机飞行日志消息中的技术术语。选择了由三家不同AI公司开发的五个生产级对话式LLM生成无人机技术术语定义。通过统计分析和错误分析验证了所提方法。XLNet在术语级无人机NER中取得最高性能，GPT4基于平均总和距离分数被选为最佳模型。考虑到生成文本的句子模式，Davinci-002比其余模型更符合任务需求。为进一步克服简单人物提示的缺点，进行了使用更先进模型和更复杂提示设计的实验。Microsoft Copilot以72.622%的BERTScore F1值优于其他六个模型。因此，研究人员得出结论：在可靠性优先的操作性取证场景中，推荐采用搜索增强LLM而非静态生成，以确保定义准确性并最小化幻觉。在结果被验证合理的基础上，所提方法被实现为一款无人机取证工具，以辅助无人机取证调查。然而，值得注意的是，通过适当的提示技术，GPT3.5 Turbo表现出竞争性（F1为71.704%），尽管它未使用网络搜索且预训练语料过时。
尽管结果令人鼓舞，但研究人员承认所提框架存在若干局限。首先，术语提取步骤依赖微调NER模型的准确性，因此该阶段的任何误分类都可能传播错误，导致术语构建不当。其次，虽然搜索增强模型表现出高可靠性，但静态LLM基线仍易产生幻觉且依赖过时语料，缺乏外部验证。第三，嵌入向量距离测量易产生偏差，如表8所示，非定义句子可能因与提示的词汇高度重叠而偶尔获得低距离分数。最后，对第三方API的依赖引发数据隐私问题，在敏感取证案例中可能需要本地部署的替代方案。本研究的实验已尽可能以最简洁、最全面的方式进行，但仍有一些点值得进一步研究和分析。未来研究值得探索以下几个问题：首先，NER微调过程使用令牌级标注，而评估在术语级进行。其次，有必要进一步探索实体类型的影响，并为每种实体类型设计更具上下文信息的提示，这对多义词术语尤为重要，即同一术语在不同上下文消息中属于不同实体类型时。
