DeTinyLLM：基于紧凑复述变换的高效机器生成文本检测方法及其在生物医学信息可信性评估中的意义

本综述提出DeTinyLLM框架，通过紧凑复述变换（Compact Paraphrase Transformation）实现机器生成文本的高效检测。该技术采用微调T5-large模型进行"去AI化"重构，结合双文本融合分类策略，在保持高准确率（ROC-AUC达0.932）的同时显著降低计算成本（延迟减少77.2%）。其突破性在于消除对专有大语言模型（LLM）的依赖，为生物医学文本可信性验证提供稳定高效的解决方案。

　　

Highlight

DeTinyLLM通过对比原始文本与复述文本的差异模式（人类文本保持结构连贯性，机器文本出现显著重构），实现了无需依赖外部大语言模型（LLM）的高效检测机制。该框架的核心创新在于采用确定性"去AI化"转换，通过微调的序列到序列模型（如T5-large）暴露机器生成文本的潜在特征——词汇僵化、句法重复性和非自然连贯性。

Related work

机器生成文本检测技术主要围绕四大方法论范式发展：监督分类、零样本统计分析、数字水印和基于相似性的再生方法。监督方法（如基于RoBERTa的分类器）通过识别机器文本的风格或句法特征实现区分，但存在泛化性不足和对抗攻击脆弱性问题。零样本技术（如词符概率排名、熵值分析）虽计算高效，但对文本长度和领域迁移高度敏感。数字水印技术需在生成过程中嵌入可检测签名，与闭源模型（如商业API型LLM）存在兼容性障碍。最新提出的相似性再生方法（以SimLLM为代表）虽能达到最优准确率，但依赖商业LLM接口导致高昂操作成本（每千次查询3.5美元）和版本更新不稳定性。

DeTinyLLM

本节详细介绍DeTinyLLM的轻量级框架架构，其通过紧凑复述模型替代资源密集型LLM查询，实现高效稳定的检测。框架包含两大协同组件：用于复述生成的微调序列到序列模型（如T5-large）和融合原始文本与转换文本进行来源判别的混合分类器。关键突破在于双向对抗训练——融合从人类风格到机器风格的逆向转换，将迭代复述攻击的规避率降低≤38.2%，显著提升对抗环境下的鲁棒性。

Individual models

在XSum数据集（含人类撰写的新闻文章）上对12种主流大语言模型（包括ChatGPT、GPT-4o、LLaMA和Gemini等）进行评估。实验采用5,000条随机选取的句子，按8:1:1比例划分训练集、验证集和测试集，温度参数设为0以确保输出稳定性。所有实验均以ROC准确率作为核心评估指标。

Conclusion

DeTinyLLM通过紧凑自包含的复述转换确立了机器生成文本检测的新范式，在消除对GPT-4或Gemini等专有模型依赖的同时，实现了推理延迟降低77.2%和操作成本削减96%的突破。该框架在多样化LLM测试中平均ROC-AUC达到0.932，较SimLLM提升4.3%，为生物医学领域文本可信性验证提供了可扩展、低成本的部署方案。