《Scientific Reports》：Risk-aware multiple-choice question answering with conformal P-values
编辑推荐：
多选问答（MCQA）系统常需在不确定证据下行动，同时向用户提供简洁决策。研究人员引入一种risk-aware MCQA接口，将归一化选项概率转换为保形预测集（conformal prediction sets），使系统能在用户选定风险水平下保留所有被支持的答案
多选问答（MCQA）系统常需在不确定证据下行动，同时向用户提供简洁决策。研究人员引入一种risk-aware MCQA接口，将归一化选项概率转换为保形预测集（conformal prediction sets），使系统能在用户选定风险水平下保留所有被支持的答案选项。选项级保形P值（option-wise conformal p-value）为此决策提供可解释的基于排序的视图。在五个指令微调语言模型及MMLU与MMLU-Pro常见题目子集上，该过程以100次随机1:1校准–测试划分、目标误覆盖水平α∈{0.05,0.1,0.2}进行评估。α=0.05时，MMLU上平均经验误覆盖为0.0390至0.0399，MMLU-Pro上为0.0469至0.0487；在更大操作点及不同学科中均保持同一目标跟踪模式。预测集随允许风险增大而平滑收缩，而更难的MMLU-Pro题目保留更宽集合。这些结果将保形P值定位为MCQA系统的实用可靠性层，使其传达经校准的不确定性而非将其隐藏于单一最高排名答案之后。
研究背景方面，大语言模型（LLM）广泛用于问答与决策支持，但流畅输出不等于可靠信号，错误或未校准答案会渗入下游选择；口头化置信度、语义不确定性及其忠实性需单独评估，采样一致性检验与语义熵提供诊断却缺将不确定性转为可执行答案集的原则方法。检索增强生成、自我反思检索等可夯实依据，但MCQA在固定选项中如何暴露指定风险水平下仍可信的替代项仍是互补设计问题。单回最高排名选项会掩盖候选间实质歧义，而集值输出保留统计上仍合理的选项；保形预测（conformal prediction）在可交换性下给出分布无关有限样本边际覆盖，集值分类形式化覆盖与保留标签数的权衡。本文基于split conformal prediction构建risk-aware MCQA层，以非 conformity 分数1?p?(y∣x)及选项级保形P值将概率转为风险受控候选集，发表于《Scientific Reports》。
关键技术方法上，研究人员在MMLU（16学科2600题）与MMLU-Pro（14学科6759题）的公共题目子集上，对Qwen2.5-3B-Instruct、Llama-3.2-3B-Instruct、Meta-Llama-3-8B-Instruct、Vicuna-7B-v1.5、OpenChat-3.5五模型做评估；每学科100次随机1:1校准–测试划分，目标误覆盖α∈{0.05,0.1,0.2}；以模型下一词分布得归一化选项概率，非conformity分数取S=1?p?(y∣x)，依校准集分数排序计算选项级保形P值py(x)=(1+∑Ⅰ{S(xi,yi*)≥S(x,y)})/(n+1)，保留py(x)>α者成集Cα(x)，理论保证为可交换下Pr{Y*∈Cα(X)}≥1?α的边际覆盖。
研究结果部分，实证误覆盖小节中，表1汇总聚合校准：α=0.05时MMLU均值0.0390–0.0399、MMLU-Pro 0.0469–0.0487，α=0.1与0.2时各模型继续跟踪名义操作点，说明请求风险水平主导经验遗漏频率。学科级校准小节通过16个MMLU与14个MMLU-Pro学科的100次划分分布箱线图显示，中心分布随目标水平一致移动，聚合模式在异质知识域复现而非少数主题驱动；五模型域内离散度不同但中位数锚定同一请求风险轨迹。预测集大小小节中，表2与图7表明允许风险增大则集合缩小；α=0.1时MMLU-Pro集大小6.3902–7.9438、MMLU为2.0085–2.8924，MMLU-Pro更宽集合反映更难决策空间与有效性–效率权衡。
讨论部分指出，该方法把模型分数转为信息系统可行动决策对象：集含多选项时系统可暴露歧义、索证、检索或转人工，而非以单一答案伪终极；其补足检索、验证与领域防护，决定何等歧义在选定操作点应可见。保障范围限于校准与后续使用同处可交换数据体制，分布漂移、提示策略或模型版本变更时需重校准，自适应保形推论断言可扩展至此。匹配题目设计使五模型差异在同题同科下比较，强调校准决策行为而非榜单排名；直接用选项概率使保形规则脱离随机生成变异，采样响应仅作格式诊断，候选集由选项级概率分布定。
结论部分翻译：本研究呈示保形P值作为多选问答的risk-aware决策接口。跨五指令微调LLM、30学科、每学科100次随机校准–测试划分，所得候选集跟踪选定风险水平同时暴露预期有效性–效率权衡；学科级分析表明该行为在MMLU与MMLU-Pro超越聚合均值而成立。通过在选项级使校准歧义可见，框架为必须在单答充足与多候选留议间裁决的信息系统提供可行动可靠性层。
