《Frontiers in Artificial Intelligence》：Leveraging natural language processing, machine learning, and a knowledge-grounded language model to detect linguistic markers of deception
编辑推荐：
专业翻译摘要：
引言：欺骗会引发可测量的认知和语言变化，然而在高风险环境中准确识别欺骗性语言仍然是一个持续的挑战。尽管自然语言处理（NLP）和机器学习（ML）技术在检测错误信息和低风险欺骗方面已显示出潜力，但它们在自发性、压力诱导语音上的表现仍知之甚少。本
专业翻译摘要：
引言：欺骗会引发可测量的认知和语言变化，然而在高风险环境中准确识别欺骗性语言仍然是一个持续的挑战。尽管自然语言处理（NLP）和机器学习（ML）技术在检测错误信息和低风险欺骗方面已显示出潜力，但它们在自发性、压力诱导语音上的表现仍知之甚少。本研究调查了欺骗的语言标记，并评估了监督式机器学习模型和知识增强语言模型FranklinAsk?在合成数据集和真实世界数据集上的表现。
方法：对一项涉及真实与欺骗参与者的国家可信度评估中心（NCCA）军事训练演习中的回答进行了语言学分析。使用MOSTLYAI生成合成数据集，为ML训练提供平衡语料库。使用预训练NLP模型提取语言特征，并使用LIWC-22特征通过10折交叉验证训练监督式分类器，包括逻辑回归、随机森林、朴素贝叶斯和支持向量机（SVM）。使用相同的参与者回答来评估FranklinAsk?检索增强生成（RAG）系统，以比较知识增强推理与统计学习。
结果：两个语言特征，即基数词（名义p = 0.041）和虚词（名义p = 0.0486），达到了未调整的显著性阈值，且均具有中等效应量（d = 0.55）；在Benjamini-Hochberg错误发现率（FDR）校正后，两者均不再具有统计学显著性（调整后p = 0.668）。未观察到显著的情绪差异。在合成数据集上，逻辑回归表现最佳（F1 = 0.930；ROC AUC = 0.978），但所有监督模型在应用于真实世界数据集时性能均大幅下降。相比之下，FranklinAsk?在军事演习数据上取得了最高的F1分数（0.519）、最高的准确率（0.487）和第二高的召回率（0.700）。
讨论：这些发现凸显了合成训练欺骗模型对现实世界高风险沟通的有限泛化性，并促使在标记的真实世界训练数据有限时，进一步研究知识增强语言模型作为替代方法。未来研究应优先扩展生态效度高的数据集，并探索结合统计建模与知识增强推理的混合方法。
论文解读文章：
欺骗作为一种复杂的多维度现象，在情报审查、刑事调查和组织风险评估等高风险场景中始终构成严峻挑战。尽管人类能够通过行为、生理和语言等途径感知欺骗线索，但人工判断的准确率仅略高于随机水平，经过训练的取证专业人员也只能达到约59%的正确率。因此，开发能够自动检测欺骗性语言中细微规律的计算方法成为研究热点。现有自然语言处理（NLP）和机器学习（ML）研究主要集中于虚假新闻和错误信息检测，这些数据集通常包含结构良好的书面文本，缺乏高风险人际欺骗中自然产生的自发性和压力特征。此外，压力在欺骗产生中扮演关键角色——欺骗被视为一种社会评价威胁，引发可测量的生理和认知变化，如皮质醇升高损害前额叶皮层功能，影响语言生成、工作记忆和层级规划，从而增加自发语言行为，为计算方法识别真实与欺骗语音之间的系统性偏差提供了机会。然而，针对生态效度高、高风险人际情境中的欺骗语言标记研究仍然匮乏，对现代人工智能系统（如检索增强生成架构）与传统监督机器学习分类器的比较评估更是几乎空白。
本研究的目的是评估欺骗的语言标记，并比较监督式ML方法与知识增强语言系统在合成及真实世界欺骗数据集上的表现。研究人员使用了两个互补数据集：其一为2019年国家可信度评估中心（NCCA）军事训练演习中收集的书面回答，涉及美国陆军基础训练士兵，包含真实（Team Alpha）和欺骗（Team Bravo）参与者，所有参与者在计算机生成代理访谈中回答八个开放式问题，录音经人工转录形成语料库；其二为使用MOSTLYAI生成的合成数据集，包含1000名合成参与者共8000条回答，以平衡类别和规模。研究中采用Flair英语模型进行词性标注，提取44个语言特征，使用Twitter-RoBERTa-base模型进行情绪分析，并应用Welch独立t检验及Benjamini-Hochberg FDR和Bonferroni校正进行统计检验。监督分类器包括逻辑回归、随机森林、朴素贝叶斯和支持向量机（SVM），均使用LIWC-22特征，在合成数据上进行70/30划分训练和测试，然后直接应用于军事数据集。FranklinAsk?作为知识增强的检索增强生成（RAG）系统，基于21篇同行评审欺骗相关文献构建知识库，其中9篇被确定直接相关，系统被要求生成1-10分的欺骗可能性评分，并依据合成训练数据确定的最优阈值（4.5）进行二分类。
研究结果显示，真实世界军事数据中，两个语言特征——基数词（名义p=0.041）和虚词（名义p=0.0486）达到未调整显著性阈值，均具有中等效应量（d=0.55），但经过FDR校正后均不再显著（调整后p=0.668），表明这些发现仅具探索性。情绪分析未显示显著组间差异。相比之下，合成数据集在Welch t检验中有26个语言特征达到名义显著性，其中25个在FDR校正后仍显著，21个通过Bonferroni校正，多个特征具有中等到大的效应量，如单数名词（d=-0.79）、“to”不定式标记（d=0.85）等，且情绪在三个维度上均显著区分两类，尤其是积极情绪效应量较大（d=-0.733）。这表明合成数据编码了夸大、理想化的欺骗语言差异，而非真实世界中细微的生态变异。在合成测试集（n=300）上，逻辑回归表现最佳（F1=0.930，ROC AUC=0.978），SVM次之（F1=0.908），随机森林和朴素贝叶斯分别达到F1=0.887和0.878，而FranklinAsk?表现较低（F1=0.733）。然而，当模型直接应用于军事数据集（n=76）时，所有监督模型性能大幅下降，逻辑回归F1降至0.456，随机森林F1降至0.473但召回率最高（0.733），朴素贝叶斯F1仅为0.299。FranklinAsk?则取得了最高的F1分数（0.519）、准确率（0.487）和第二高的召回率（0.700）。与Brzic等人（2023）在虚假新闻数据集上的结果相比，本研究的监督模型在合成数据上准确率更高，但在真实军事数据上显著低于跨域基准，凸显了领域特征对模型泛化能力的决定性影响。
讨论部分指出，真实世界数据中语言标记的微弱效应与既往研究一致，即欺骗往往导致细微且依赖情境的语言变化，基数词和虚词的初步差异可能反映认知负荷增加，但由于多重比较校正后不显著，需在更大样本中重复验证。情感分析的无效结果进一步表明情绪基调单独作为欺骗预测指标的能力较弱。合成数据与真实数据之间的显著差异揭示了生成模型可能放大欺骗的语言线索，使得分类任务过于简单。监督模型在合成数据上的高性能与真实数据上的崩溃，表明合成文本无法完全捕捉高风险欺骗中的语言复杂性和变异性。FranklinAsk?相对较小的性能下降可能归因于其访问了外部领域知识和基础模型推理能力，但点估计差异不能确立统计优越性，也无法将效果单独归因于检索增强或模型架构，未来需要通过消融研究来隔离各组件的贡献。研究局限性包括军事数据集样本量小（76名参与者，其中30名欺骗者）、每个参与者回答简短，以及合成数据的潜在失真。未来研究应优先收集更大规模的自然主义数据集，探索声学、生理等多模态指标，并扩展RAG系统的知识库以涵盖跨领域欺骗研究。
研究结论翻译：本研究通过整合统计语言学、合成数据生成、监督学习和知识增强推理，对基于NLP的欺骗检测方法进行了全面评估。结果表明，合成数据集上的高性能并不能可靠预测真实世界的有效性，欺骗的语言线索是细微的、依赖情境的，且容易被回答的简洁性或压力所掩盖。这些发现进一步促使在训练数据有限或噪声较大的情境中评估知识增强人工智能系统（如FranklinAsk?），并强调了结合语言特征分析、机器学习与知识增强推理的混合方法在捕捉自然情境中欺骗复杂性方面的必要性。
