一项大规模的基准测试表明，轻量级模型能够区分不同STEM学科中匹配与不匹配的问题-解决方案对

《Scientific Reports》：A large-scale benchmark shows lightweight models can distinguish matched from mismatched problem–solution pairs across diverse STEM disciplines

　　

摘要

验证所提出的解决方案确实能解决科学问题，是实现可靠推理与检索的关键。我们利用SCP-116K构建了177,836对平衡的问题与解决方案对（88,918对匹配，88,918对不匹配），这些对涵盖了多个STEM学科领域。根据TRIZ/IDM方法，我们将验证过程定义为区分匹配对与不匹配对。通过比较词汇模型、检索式模型以及轻量级神经网络模型，我们最优的模型（RoBERTa + Slim ResNet，使用残差MLP对冻结后的句子嵌入进行评分）取得了0.966的AUC值、0.905的F1值以及0.238的LogLoss值。而基于CPU的TF–IDF + Cosine + Elastic-Net基准模型虽然AUC值低1.6–1.7点，但其运行速度大约快250\(\times\)，且仅需约1.5GB的RAM，体现了出色的效率与精度平衡。这些概率值可作为候选解决方案的重新排序得分；鉴于存在合成负样本，较高的ROC–AUC值可视为良好的成对区分能力，而绝对精度则可作为上限参考。