通过隐式信号自调优减轻自校正推理中的重复与循环

《Scientific Reports》：Mitigating repetition and loops via implicit signal self-tuning for self-correcting inference

　　

摘要

大语言模型在复杂数学推理过程中常常面临逻辑幻觉、重复生成循环以及推理效率失衡等问题。现有的静态提示方法和显式干预方法无法根据模型的实时推理状态动态调节解码过程。本文提出了隐式信号自调（ISST）框架。该框架在解码过程中同步计算两个内部不确定性指标：注意力分布熵和令牌置信度熵。通过Sigmoid乘法融合这两个指标，得到一个统一的熵值。该值用于量化每个推理步骤的风险水平。当统一熵值超过阈值时，框架激活探索模式，通过提高采样温度并缩小top-p采样区间来打破推理循环。当熵值低于阈值时，框架切换为利用模式，参数逐步恢复至基线值。这一机制在推理准确性与令牌消耗之间实现了平衡。验证工作基于AIME24、AMC23和MATH500等多个数学数据集进行，测试了参数量从15亿到70亿不等的模型。该框架将重复生成率平均降低了50%，在保持推理准确性的同时减少了令牌消耗。该方法无需修改模型骨干网络，为大模型自适应推理优化提供了一种轻量级的新途径。