SIRRA:面向开放域表格文本问答的模块化流水线,融合重复感知监督与置信度引导阅读
《Expert Systems with Applications》:SIRRA: A Modular Pipeline for Open-Domain Table–Text Question Answering with Duplicate-Aware Supervision and Confidence-Guided Reading
【字体:
大
中
小
】
时间:2026年09月21日
来源:Expert Systems with Applications 9.4
编辑推荐:
# SIRRA:面向开放域表-文问答的信号驱动检索、重排序与回答
• 信号驱动的设计提升了开放域表-文问答的鲁棒性。
• 重复感知监督在困难负样本挖掘中过滤近似重复项。
• 置信度引导的阅读理解在检索噪声下稳定答案选择。
• 在 OTT-QA 盲测集上取得 62.0 EM
# SIRRA:面向开放域表-文问答的信号驱动检索、重排序与回答
• 信号驱动的设计提升了开放域表-文问答的鲁棒性。
• 重复感知监督在困难负样本挖掘中过滤近似重复项。
• 置信度引导的阅读理解在检索噪声下稳定答案选择。
• 在 OTT-QA 盲测集上取得 62.0 EM 和 68.6 F1,超越此前最佳成绩。
## 引言
开放域表-文问答(ODTT-QA)是现代知识系统的一项基础能力,该系统必须在异构的、网页规模的语料库上回答用户问题,其中事实分布于半结构化表格和自由文本中(Chen, Chang, Schlinger, Wang, & Cohen, 2021)。近年来,检索增强生成范式和稠密检索方法使得大规模证据访问变得可行,并成为知识密集型自然语言处理(NLP)的基础(Chen, Wang, Chen, Yu, Ma, Zhao, Zhang, Yu, 2024, Lewis, Perez, Piktus, Petroni, Karpukhin, Goyal, Küttler, Lewis, Yih, Rockt?schel, Riedel, Kiela, 2020)。然而,从纯文本语料扩展到表-文证据引入了独特挑战(Park, Yun, Lee, & Han, 2025)。如图 1 所示,ODTT-QA 可视为一个"问题–表格–段落"三角形,其中答案依赖于将问题联合锚定在表格和文本证据中,而这两者仅部分对齐。跨源连接(如超链接或共享实体)通常是隐式的,必须由系统发现,且回答通常需要多跳证据合成(Zhong et al., 2022)。与纯文本问答相比,ODTT-QA 对多粒度检索和跨源证据聚合提出了更高的要求,进而加剧了推理歧义和对检索噪声的敏感性(Kang, Jung, Kim, & Lee, 2024)。
关于 ODTT-QA 的先前工作主要沿两条互补路线推进。一条研究路线采用融合式检索,通过构建预融合的表-文证据单元(如与相关段落配对的表格片段),然后对这些融合单元应用标准的检索–重排序–阅读理解流程来缓解表格与文本的异构性(Chen, Chang, Schlinger, Wang, Cohen, 2021, Huang, Zhong, Liu, Gong, Jiang, Duan, 2022, Kang, Jung, Kim, Lee, 2024)。第二条路线强调关系感知推理,保持异构证据分离并将其组织为结构化链或图,从而在表格和段落之间实现多步证据聚合和推理(Ma, Cheng, Liu, Nyberg, Gao, 2022, Ma, Cheng, Zhang, Liu, Nyberg, Gao, 2023, Zhong, Huang, Liu, Zhou, Wang, Yin, Duan, 2022)。近期系统越来越多地探索混合设计,协调多种粒度和推理阶段,结合早/晚融合、重排序和结构化精炼(Park, Lee, Seo, Kim, Kang, Na, 2023, Park, Yun, Lee, Han, 2025)。
尽管取得了这些进展,ODTT-QA 流程仍然存在两个在监督信号和决策鲁棒性方面被不足处理的问题。首先,现代检索器和重排序器通常使用对比目标和挖掘的困难负样本进行训练(Phung, Nguyen, Nguyen, Nguyen, Le, Nguyen, 2025, Yu, Zeng, Zhong, Gao, Wen, Wu, 2023);然而,先前研究表明假负样本会显著扭曲对比学习和稠密检索性能(Chuang, Robinson, Lin, Torralba, Jegelka, 2020, Wang, Zhang, Nguyen, 2024)。在 ODTT-QA 语料中,不同标识符下可能出现近似重复的表格或段落,因此朴素的负样本挖掘风险在于将这些高度相似的上文作为同一查询的负样本,引入潜在的假负样本监督并破坏训练稳定性(Lee et al., 2022)。我们量化了这种监督噪声来源,并证明在所选阈值下的重复感知缓解方法能提升性能(第 5.4.2 节)。其次,大多数系统在检索和重排序后固定证据集大小,尽管增加更多证据通常会提高召回率,但同时也会放大噪声。阅读理解感知信号主要被探索用于文本问答中的段落重排序(Mao et al., 2021)和检索增强生成中的自适应检索决策(Asai, Wu, Wang, Sil, & Hajishirzi, 2024),但很少用于在 ODTT-QA 中稳定不同宽度证据集下的答案选择。这些差距表明有机会利用证据间嵌入相似度来减少训练期间的监督噪声,并利用阅读理解置信度来提升检索噪声下的答案选择。
为了解决这些限制而不引入繁重的架构机制,我们提出了 SIRRA(Signal-Informed Retrieval, Reranking, and Answering,信号驱动检索、重排序与回答)。SIRRA 是一个模块化的三阶段检索–重排序–回答流程,通过独立的机制分别解决训练时的监督噪声和推理时的决策鲁棒性问题。首先,它使用稠密检索器和轻量级重排序器为每个问题检索半结构化条目文档(表格与其周围散文的配对)。同时,一个离线的单元格-段落检索–重排序器将每个表格单元格与一组支持段落预先对齐,从而在不将此离线对齐与在线问题处理耦合的情况下形成高召回率的表-文证据以实现早融合。两条检索轨道均采用重复感知监督进行训练:嵌入相似度超过阈值 τ 的证据项被视为近似重复项并从困难负样本挖掘中排除,以减少假负样本噪声。最后,SIRRA 对表格行按回答必要性进行排序,并在逐步扩展的证据预算下应用抗噪声阅读理解器;最终预测由阅读理解器的置信度选择,以在召回率和检索噪声之间取得平衡。
我们在 OTT-QA 基准(Chen et al., 2021)上评估了 SIRRA,这是 ODTT-QA 的标准大规模公开测试平台,具有官方盲测协议。为了评估此模块化设计中的跨模型鲁棒性,我们使用多个开源骨干模型实例化每个阶段,包括检索和重排序使用的 gte-multilingual 和 Qwen3 变体,以及回答使用的 Qwen2.5-7B-Instruct 或 MiniCPM3-4B。在这些配置中,SIRRA 持续提升端到端准确率,并在盲测集上取得 62.0 EM 和 68.6 F1,超过此前最佳结果(57.0 EM / 64.3 F1)。消融实验验证了重复感知监督和置信度引导答案选择的影响,错误分析则刻画了剩余的失败模式和瓶颈。我们此外使用 HybridQA(Chen et al., 2020)作为补充数据集来验证阅读理解置信度作为选择信号的有效性。
总之,我们的工作做出了以下贡献:
• 我们提出了 SIRRA,一个面向 ODTT-QA 的模块化检索–重排序–回答流程,通过重复感知对比监督减少监督噪声,通过置信度引导的阅读理解提升推理鲁棒性。
• 在 OTT-QA 官方盲测协议下,SIRRA 取得 62.0 EM 和 68.6 F1,相比此前最佳报告系统 HELIOS 提升了 +5.0 EM 和 +4.3 F1。
• 我们证明了在本研究中评估的基于 Transformer 的检索器、重排序器和阅读理解器骨干模型替换下的跨模型鲁棒性,以及在不同训练预算下的选择性模块微调效果。
本文其余部分组织如下。第 2 节回顾相关工作并定位我们的方法。第 3 节描述 SIRRA 流程。第 4 节概述实验设置,包括数据集、评估指标、基线和实现细节。第 5 节报告主要结果,以及模块化研究、消融实验、计算效率分析和错误分析。第 6 节总结局限性及未来方向。
## 各节摘要
### 任务范围
我们在 OTT-QA 协议(Chen et al., 2021)下研究 ODTT-QA。本文中,"半结构化表格"指可编辑的网页表格(如维基百科表格),它们缺乏固定的关系模式且无法通过 SQL 直接查询(Dong, Cheng, He, Zhou, Zhou, Zhou, Liu, Han, Zhang, 2022, Jin, Siebert, Li, Chen, 2022),使其比完全结构化的数据库表格更通用、约束更少。在此,系统必须通过检索和推理网页规模的语料来回答自由形式的问题。
### 问题形式化
我们将 ODTT-QA 任务形式化如下(Chen, Chang, Schlinger, Wang, Cohen, 2021, Zhong, Huang, Liu, Zhou, Wang, Yin, Duan, 2022)。给定一个自然语言问题 q,目标是通过从大规模异构语料库 ?? 中检索和推理来生成一个简短的事实性答案 a(一个文本字符串)。形式上,这需要一个系统 ? 来计算:
a = ?(q, ??)
其中 ? 表示完整的 ODTT-QA 流程。语料库 ?? 由两个不同的子集组成:?? = ?? ∪ ??。集合 ?? = {s?, s?, ?}
### 数据集
我们在 OTT-QA(Chen et al., 2021)上进行主要评估,这是开放域表-文问答的标准基准。为提供置信度基于候选选择的互补跨数据集证据,我们此外使用 HybridQA(Chen et al., 2020)作为辅助角色。此处,我们采用 HybridQA 的给定表格设置以将候选选择与开放域检索效果隔离。两个数据集均使用其官方划分和协议。表 2 总结了
### 结果与讨论
本节全面评估 SIRRA,包括重复感知监督和置信度引导选择对鲁棒 ODTT-QA 的贡献。我们首先报告 OTT-QA 基准上官方盲测协议下的最新端到端结果(第 5.1 节)。然后考察基于 Transformer 组件替换下的跨模型鲁棒性(第 5.2 节)。为提供基于似然的候选选择的互补跨数据集证据,我们
### 结论
本文解决了开放域表-文问答中两个持续存在的挑战:近似重复证据导致的假负样本引起的检索器训练噪声,以及检索噪声下脆弱的答案选择。我们提出了 SIRRA,一个模块化的检索–重排序–回答流程,通过不同阶段特定的机制解决这些挑战,而未引入复杂的架构修改。重复感知监督在困难负样本挖掘期间排除近似重复项,从
## CRediT 作者贡献声明
Jian Lyu:写作–初稿、写作–审阅与编辑、软件、方法论、正式分析、概念化。Jingfeng Xue:监督、资源、项目管理、方法论、资金获取。Thar Baker:写作–审阅与编辑、验证。Weizhi Meng:验证、监督。Yu-an Tan:概念化、监督。Junbao Chen:写作–初稿、可视化、软件。Zeyang Liu:软件、调查、数据整理。
## 利益冲突声明
作者声明他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
Jian Lyu | Jingfeng Xue | Thar Baker | Weizhi Meng | Yu-an Tan | Junbao Chen | Zeyang Liu