摘要
将领域特定的对话助手集成到行政和薪资信息系统中，有望提升受监管企业环境中的运营效率与决策支持水平。然而，关于这类助手在实际行政工作流程中的表现、实用性和运营效能的实证研究仍然有限。本文介绍了一种基于文档的薪资管理对话助手的设计与实证评估，该助手采用检索增强生成架构，并搭配基于证据的响应验证机制，用以确保响应内容源自已检索的薪资文档、实现来源可追溯性，同时减少行政工作流程中无依据内容的生成。主要评估数据集包含200次由20名经验丰富的薪资管理员完成的预设薪资相关任务所产生的受控交互记录。此外，还有约800次在专家迭代测试和系统运行验证过程中产生的辅助交互记录，这些数据共同构成了用于探索性稳健性分析及面向部署的系统评估的更全面的交互数据集。所收集的交互日志被作为匿名化的操作交互数据集进行分析，其中包含了受控参与者会话以及专家辅助的测试活动。因此，此处呈现的统计结果应被视为匿名化的操作交互数据集，而非严格控制的推断性证据。定量评估指标包括响应延迟、用户感知的准确性与满意度，以及自动评估指标（如BLEU、ROUGE-L和语义相似度），同时还结合了通过结构化用户会话收集的定性反馈。评估结果显示，用户对响应的准确性和满意度处于中等水平。语义相似度与人类对响应质量的评价之间存在较强关联，其关联程度优于传统的n-gram指标；而响应延迟在与满意度的关联上则较为薄弱，但仍处于可接受的运营范围内。这些研究结果为基于证据的验证机制在行政环境中提升响应可追溯性及减少无依据内容生成提供了初步证据。本研究提出了一种融合基于证据的响应验证机制的领域特定RAG对话助手，同时构建了一个用于评估合规敏感型企业环境中对话式人工智能行为的探索性运营评估框架。
