用于预测客户服务沟通效果的可解释AI模型：一种计算设计科学方法

《Decision Support Systems》：Explainable AI model for predicting customer service communication effectiveness: A computational design science approach

　　

摘要

客户服务代表（CSR）与客户之间的有效沟通对于维护客户关系和提高运营绩效至关重要。尽管企业越来越多地使用人工智能（AI）技术来评估客户服务的沟通效果，但现有方法主要依赖于对话文本，而忽视了能够揭示CSR潜在意图的沟通策略。此外，沟通策略通常通过手动编码进行量化，这限制了其可扩展性和可解释性。因此，目前尚不清楚个别策略及其组合如何有助于基于AI的沟通效果预测。本研究遵循计算设计科学的研究范式和亚里士多德的修辞理论，提出了一个基于Transformer编码器架构（ExTSdiT）的、具有文本-策略双输入的可解释客户服务沟通效果预测模型。为了实现策略的自动化量化，我们设计了少量样本的思维链提示，以指导大型语言模型从CSR的言论中标注沟通策略标签。进一步采用了定制的模型可解释性技术来分析个别策略及其组合在对话轮次层面的影响。该框架在一个大规模的真实世界客户服务通话数据集上进行了评估。结果表明，所提出的模型在多个指标上的表现优于基准方法，并在消融分析和稳定性分析中表现出较强的性能。可解释性结果可以支持客户服务沟通质量的检查，并促进数据驱动的客户服务培训。

引言

客户服务代表（CSR）与客户之间的有效沟通在维护客户关系、提高客户满意度以及提升企业运营绩效方面发挥着重要作用[1][2][3]。因此，企业长期以来一直重视培养CSR的沟通能力，并将沟通效果的评估和反馈视为员工培训计划的核心组成部分[4][5]。然而，大多数企业仍然依赖人工监督人员来手动审核和评估大量的客户服务通话记录[6]。这种方法在成本、时效性和客观性方面存在显著局限性。高素质的监督人员稀缺且费用高昂[7][8]，而人力资源限制导致反馈延迟和通话质量检查的覆盖率低[6]。此外，手动评估本质上具有主观性，容易受到监督人员疲劳、情绪和评估标准不一致的影响[9]。因此，企业往往难以准确识别CSR采用的特定沟通策略究竟是增强了还是削弱了沟通效果，从而难以将成功的经验转化为可复制的培训资源。

人工智能（AI）的日益普及为解决这些挑战提供了新的机会。以往的研究已经部署了深度学习模型来预测客户服务沟通结果，并向CSR提供及时反馈[3][10][11]。然而，现有研究在几个方面仍然存在局限性。首先，大多数预测模型严重依赖对话文本和基本的交互元数据，而忽略了CSR所采用的沟通策略序列。这些策略序列浓缩了CSR言论中的关键语义信息，对于预测沟通效果具有重要意义[12][13][14]。其次，缺乏明确的策略表示限制了现有模型解释特定策略如何影响沟通结果的能力[6][11]。这限制了模型为CSR生成有针对性的反馈的能力，削弱了其实际价值。第三，尽管在谈判、说服和沟通技巧方面的研究已经识别出了一系列沟通策略[15][16][18]，但这些策略主要通过手动注释或小规模实验方法进行量化。缺乏自动化测量和大规模真实世界证据阻碍了人们对个别策略及策略组合如何影响沟通结果的系统理解。

为了解决这些局限性，本研究遵循计算设计科学范式[19][20]，开发了一个基于Transformer编码器架构（ExTSdiT）的、具有文本-策略双输入的可解释客户服务沟通效果预测模型。该解决方案包括三个核心组成部分：首先，我们构建了一个理论基础的沟通策略标签，并将其整合到模型输入中，形成“对话文本+沟通策略”的双输入结构；其次，利用大型语言模型（LLM）实现客户服务沟通策略标签的客观量化；最后，利用模型可解释性来揭示不同策略及其组合在对话轮次层面如何影响模型预测。我们使用从一家中国领先的金融科技公司的贷款后客户管理操作中收集的大规模真实世界数据集对ExTSdiT进行了评估。借鉴亚里士多德的修辞理论（ART），我们构建了一个涵盖贷款后沟通过程的全面沟通策略分类体系，包括20个策略，分为五个维度：身份确认、施加压力与警告、处理反对意见、情感慰藉以及谈判与让步。对比实验验证了我们的模型在多个评估指标上的优越性能，消融分析和稳定性分析进一步证实了双输入设计的有效性和稳健性。

章节摘录

用于预测客户服务沟通效果的人工智能模型

基于AI的客户服务沟通效果预测在学术界和工业界都受到了越来越多的关注。现有研究的主要区别在于分析单位和建模目标，大致可以分为话语级别和对话级别方法。在话语级别，以往的研究关注于对对话行为和情感等局部对话属性的建模。例如，Liu等人[13]使用了卷积神经网络

框架设计

在计算设计科学范式的指导下，我们设计了一个可解释的决策支持框架，用于预测客户服务沟通效果。

性能分析与结果

遵循计算设计科学范式，我们对设计组件进行了一系列验证和实验，以严格评估模型设计的有效性。

结论

遵循计算设计科学范式，本研究基于Transformer编码器架构构建了一个可解释的文本-策略双输入模型（ExTSdiT），用于预测客户服务沟通效果。该框架使用从一家中国领先的金融科技公司的贷款后客户管理操作中获得的大规模真实世界数据集进行了评估。具体而言，该模型基于亚里士多德的修辞理论进行开发

CRediT作者贡献声明

刘欣：撰写——初稿、方法论、形式分析、数据整理。贾琳：撰写——初稿、验证、方法论、调查、资金获取、概念化。梁洁敏：撰写——初稿、可视化、验证、方法论。于逸凡：验证、监督、方法论、概念化。

利益冲突声明

作者声明以下可能的财务利益/个人关系可能构成利益冲突：贾琳报告称获得了国家自然科学基金的支持。如果有其他作者，他们声明没有任何已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本工作得到了国家自然科学基金 [资助编号 72572017; 72172013] 的支持。

刘欣是北京工业大学管理学院的信息系统专业博士候选人。她的研究成果发表在《电子商务研究与应用》、《信息技术与人》和《国际人机研究杂志》等期刊上。她的研究兴趣包括人机交互、人工智能生成内容（AIGC）和医疗信息技术。

刘欣 | 贾琳 | 梁洁敏 | 于逸凡北京工业大学管理学院，北京，中国