RACE：具备风险意识的云边协同编排技术，结合在线自适应校准机制，以提供值得信赖的大语言模型（LLM）服务

《IEEE Transactions on Signal and Information Processing over Networks》：RACE: Risk-Aware Cloud-Edge Orchestration with Online Adaptive Calibration for Trustworthy LLM Services

　　

!---->

摘要：

在边缘设备上部署的大型语言模型（LLMs）面临一个关键的可信度挑战：由于模型容量的限制，这些边缘LLMs在处理知识密集型查询时产生的幻觉率远高于云端模型。然而，现有的边缘-云端调度方法仅基于延迟或负载均衡来路由请求，完全没有对语义正确性的考虑或保证。可靠的路由取决于量化边缘输出的语义风险，并提供错误率的统计保证。语义熵有效地量化了这种风险，而在线自适应校准技术（受到共形预测的启发）可以在分布偏移的情况下提供原则性的错误率控制。然而，传统的语义熵计算需要多次采样（约6秒），这在边缘设备上是不可行的；此外，静态阈值校准无法适应分布偏移，导致实际错误率远超过目标值。为了克服这些瓶颈，我们提出了RACE（风险感知的云端-边缘协同框架），这是第一个将在线自适应阈值校准与语义风险预算相结合的框架，能够提供可证明的有界 regret（与样本数量无关）和有限样本覆盖保证。RACE引入了三个关键创新：一种语义熵探针（SEP），它可以在单次前向传递中仅从提示隐藏状态预测语义不确定性（耗時约1毫秒），从而实现在边缘设备上的实时幻觉检测；一种在线自适应校准器，它将风险控制与在线凸优化相结合，以动态调整分布偏移下的决策阈值；以及一种基于拉格朗日对偶理论的语义风险预算，可以将累积幻觉率控制在用户指定的容忍范围内。在MMLU和TriviaQA任务中，使用GPT-5作为云端模型，实验表明，当使用Phi-3-medium作为主要边缘模型时，RACE的云端调用率仅为4.05–6.25%，同时保持了边缘设备的较低错误率...

!----!----查看更多

!----!----

!----!----