《International Journal of Approximate Reasoning》:Fusion of fuzzy rule-based factual and counterfactual explanations with large language models
编辑推荐:
•H1. 研究人员提出一种策略,将基于共同问题构建的多个模糊规则系统中的事实与反事实预测融合为连贯、可信且自然的语言解释叙事。
•H2. 研究人员测试了思维链(Chain-of-Thought, CoT)提示在大型语言模型(Large Language Mod
•H1. 研究人员提出一种策略,将基于共同问题构建的多个模糊规则系统中的事实与反事实预测融合为连贯、可信且自然的语言解释叙事。
•H2. 研究人员测试了思维链(Chain-of-Thought, CoT)提示在大型语言模型(Large Language Models, LLMs)中诱发内容规划与话语结构化的效用,旨在利用其将基于模板的解释改写为更具人类形态、质量和可靠性更高的形式。
•H3. 研究人员在一个医疗用例中验证了解释叙事的质量,使用了可读性度量——SMOG指数(SMOG Index),该度量已被证明最适合该应用领域。
•H4. 研究人员通过实证发现,融合的事实与反事实叙事提高了解释的完整性,且未对可信度造成损失。
•H5. 研究人员通过实证发现,思维链提示降低了可读性,同时增加了自动化叙事解释的冗长度。
近年来,人工智能应用日益普及,但公众信任度并不高。深度学习等“黑箱”模型,尤其是大型语言模型(Large Language Models, LLMs),内部运作机制难以解释,尽管可解释人工智能(Explainable AI, XAI)有所发展,其可信度与可靠性仍未得到充分保障。模糊逻辑是一种具有坚实理论基础的经典人工智能范式,模糊规则系统(Fuzzy Rule-Based Systems, FRBS)是透明可解释模型,以IF-THEN规则形式表示知识,其规则本身可视为局部解释。本文在先前构建基于FRBS的解释界面并引入LLM进行自然语言化的基础上,进一步集成了反事实解释与思维链(Chain-of-Thought, CoT)提示,旨在生成更完整、可信且自然的解释叙事。
研究人员提出一种将多个FRBS的事实与反事实预测进行融合的策略,并采用CoT提示引导LLM进行内容规划与话语结构化,期望将模板化解释改写成更自然、更可靠的形式。为验证该策略,研究人员在医疗领域(心脏病与糖尿病)用例中评估了解释质量,采用SMOG指数作为可读性度量,并围绕预测性能、响应长度、幻觉、可读性等指标设计了八种实验场景。研究结果显示,融合事实与反事实叙事提高了解释完整性且不损害可信度,而CoT提示反而降低了可读性并增加了冗长度。
在关键技术方法方面,研究人员使用两个来自美国疾病控制与预防中心(CDC)行为风险因素监测系统(BRFSS)的数据集:心脏疾病数据集(2022年版)和糖尿病数据集(2015年版)。预处理仅保留生活方式与人口统计学因素,通过欠采样平衡正负样本,并按90/10划分训练集与测试集。随后用J48和REP算法生成清晰决策树,用FDT算法生成模糊决策树,并经GUAJE和ExpliClas工具将清晰树转换为FRBS,随机森林作为预测不一致时的仲裁者。在线阶段,每个FRBS对给定实例生成事实与反事实解释,融合策略合并两个FRBS的获胜规则,生成模板化叙事,最后由LLM进行自然语言重写。评估指标包括准确率、精确率、召回率、F
1-Score、响应长度、幻觉数及SMOG指数等。
在结果部分,论文保留了以下小标题。**4.1 Quantitative Analysis of the Reported Results**:通过量化对比八种实验场景,发现事实与混合模式的预测性能与模糊推理高度一致,且准确率和F
1-Score最优;反事实模式倾向于保守预测,召回率较低;基线模型则倾向于过度预测。CoT对模糊辅助场景的预测影响不大,但增加了响应长度并降低了可读性。幻觉检测表明,反事实即便单独使用也未增加幻觉倾向,加入CoT后可靠性更高,整体幻觉频率低。**4.2 Qualitative Analysis of Generated Narratives**:对心脏病和糖尿病各一个实例进行定性分析,基线生成的解释冗长且包含虚构内容;事实模式简洁忠实;反事实模式因复杂度高出现信息混淆;混合模式在事实部分良好,但反事实部分存在信息错配。定性结果与量化发现一致,模糊接地有助于抑制幻觉并保持简洁。
在讨论部分,研究人员指出CoT失败可能与零样本提示缺乏具体示例有关,并援引相关研究说明CoT在规划类任务中未必有效,其效果高度依赖提示的具体性。结论部分,研究人员验证了第一个研究假设(H1):混合解释模式(事实与反事实结合)是最佳解释策略,其预测性能与纯事实模式相当,长度增加较小且未损害可读性和可信度。第二个研究假设(H2)未获实证支持:CoT提示生成的解释更长、可读性更差,仅在基线场景中有所改善。研究人员认为,反事实是融合FRBS与LLM策略的有益补充,尤其适用于混合模式;但CoT提示在当前实验条件下对重写任务效用有限。未来工作将扩展至多个FRBS融合、改进幻觉检测方法,并设计用户研究以补充自动评估。