《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》:From Narrative to Intent Schema Architecture: An Artificial Intelligence System for Human-Centered Advising Decision Support
编辑推荐:
转学咨询是一项高不确定性情境,学生极少提出结构良好的问题,咨询师须从跨相互冲突院校政策的碎片化叙述中推断意图。本研究提出一个以人为中心的人工智能框架,将自然语言的学生话语转化为结构化的咨询意图,支持一个面向学生的咨询助手,其可解释输出旨在辅助咨询师审阅。研究使
转学咨询是一项高不确定性情境,学生极少提出结构良好的问题,咨询师须从跨相互冲突院校政策的碎片化叙述中推断意图。本研究提出一个以人为中心的人工智能框架,将自然语言的学生话语转化为结构化的咨询意图,支持一个面向学生的咨询助手,其可解释输出旨在辅助咨询师审阅。研究使用19,668条与转学相关的Reddit帖子,通过抽取、聚类与结构化标注浮现反复出现的咨询意图,再将学生问题路由至相应意图。在概念验证基准上,该框架达到90%的意图级准确率和86%的问题级准确率,将咨询知识转化为透明结构,以支持可扩展的、以人为中心的咨询。
转学咨询涉及在院校不确定性下解读碎片化的学生叙述。学生往往描述涉及转学分、资格要求、截止日期、经济资助关切及长期学业规划的复杂情境,而非提出清晰且结构化的问题。因此,咨询师须在模糊性下推断意图、识别相关院校约束并确定适当的后续步骤。这在咨询环境中产生大量的意义建构(sensemaking)需求,尤其当院校间政策存在差异、咨询互动涉及多重交叉关切时更为突出。认知负荷理论(cognitive load theory)表明,将无序信息外化为结构可降低解释负担,并在复杂环境中支持更有效的决策(Sweller, 1988)。在咨询情境中,这意味着需要将模糊的学生话语转化为可解释且可操作表征的系统。认知系统工程(cognitive systems engineering)同样强调开发工具,从复杂社会技术环境中提取有意义的结构,以支持人类判断与决策(Hollnagel & Woods, 2005)。然而,现有咨询研究多为描述性、调查导向或结果导向,而非产出适合可扩展决策支持工作流的可集成表征。尽管已有研究考察转学学生的障碍、院校挑战与咨询体验(MacDonald et al., 2024; Nguyen et al., 2025; Standfast et al., 2024; Vargas et al., 2024; Wang et al., 2023),但较少工作聚焦于将咨询话语操作化为可支持路由、优先级排序与工作流整合的结构化、可解释系统对象。图1展示了自然语言在线咨询话语相较传统咨询工作流所暴露的更广泛、更多样的咨询关切。本文提出一个人工智能框架,将自然语言转学咨询话语转化为结构化意图表征,以支持以人为中心的决策支持。研究利用从在线转学社区收集的大规模学生叙述,所提框架结合语义抽取、聚类、结构化标注与操作性检索机制,以识别反复出现的咨询模式并将其转化为可解释的咨询信号。所得系统通过结构化意图路由与操作性问答表征,支持可解释性、可审计性与可扩展咨询工作流。该框架并非取代咨询师,而是将反复出现的咨询模式外化为透明结构,以在模糊性下支持人类判断。具体而言,该框架支持一个面向学生的咨询副驾驶(copilot):学生以日常语言提出转学问题,系统将其路由至匹配的咨询意图,咨询师可在信任响应前检查检索到的意图、置信度分数与支持性信号。因此,目标用户为寻求指导的转学学生及监督并验证该指导的咨询师。转学咨询受院校碎片化、政策差异与不断变化的学业要求所塑造(Nguyen et al., 2025)。学生在转学路径中常须同时解读多所院校的学分等效、先修结构、经济资助约束、申请截止日期与项目特定要求。因此,咨询互动涉及交叉的信息需求而非孤立问题,形成以模糊性、不确定性与多步决策为特征的环境。从认知系统工程视角看,咨询可理解为发生在复杂社会技术环境中的意义建构活动。认知工程关注以支持人类意义建构与决策的方式组织复杂问题空间(Klein et al., 2006)。在咨询情境中,问题空间包括信息需求、院校与学生责任之间的归因模糊性,以及不同程度的情感紧迫性。咨询师不仅须检索院校信息,还须解读不完整叙述、识别潜在关切并将院校政策转化为可操作指导。这产生了将碎片化咨询话语转化为可解释且可操作结构的操作表征需求。因此,以人为中心的咨询系统需要能够支持透明性、一致性与可扩展决策支持工作流的机制。自然语言在线社区提供关于真实世界咨询关切的生态有效视角,因为学生常在正式院校环境之外讨论转学不确定性(MacDonald et al., 2024; Standfast et al., 2024)。尽管此类数据集不具院校代表性,但其捕捉了以真实且非结构化语言表达的自发咨询叙述。然而,非结构化话语引入冗余、转述变异性、隐式问题形式与语境模糊性,使系统化解读复杂化。大型语言模型(large language models, LLMs)可支持咨询关切的高召回抽取,但仅凭语义灵活性在可解释性、可审计性与人类监督仍不可或缺的咨询环境中并不充分。因此,结构化抽取、语义归一化、聚类、操作标注与可靠性评估成为以人为中心咨询智能框架的必要组成部分。本文提出一个以人为中心的咨询智能框架,将自然语言学生话语转化为操作性咨询表征。整体方法通过将碎片化咨询叙述组织为可解释意图结构,支持分诊、归因感知路由、可解释性与可扩展决策支持工作流。图2展示了从叙述抽取到咨询副驾驶整合的整体操作性咨询智能工作流。数据集由19,668条与转学相关的Reddit帖子组成,收集自讨论转学路径、院校政策、咨询关切与学业规划经验的在线社区。分析前已移除个人可识别信息,研究聚焦于聚合语言与行为模式而非个体层面画像。尽管该数据集不具院校代表性,自然语言在线社区提供关于咨询不确定性的生态有效视角,因为学生常在正式院校环境之外讨论转学关切。该框架结合基于规则的解析与大型语言模型重建,以识别嵌入学生叙述中的显式与隐式咨询问题。基于规则的方法捕捉语法上显式的疑问形式,而基于大型语言模型(LLM)的抽取重建通过碎片化或间接语言表达的隐含咨询关切。采用确定性提示(deterministic prompting)与模式强制(schema enforcement)以维持一致的机器可读JSON输出。在全数据集上,抽取过程生成约34,386个咨询问题。抽取的问题经归一化与合并,以减少冗余、转述变异性与语义重叠。模式强制将输出约束为适合下游操作处理的结构化表征。精确去重与语义合并降低了变异性,同时保留咨询意图多样性。由于来源社区涵盖来自众多院校、转学规则各异的学生,归一化有意抽象掉院校特定细节(如GPA值、课程标识与截止日期),产出院校无关的咨询意图,捕捉共享的底层信息需求而非任何单一院校政策。因此,院校特定差异在响应层而非意图层处理:给定咨询意图跨院校稳定,而附加其上的答案基于部署院校的政策与资源。这种分离使同一意图模式可为不同院校的咨询师复用。使用基于MiniLM的Sentence-BERT表征(Reimers & Gurevych, 2019)生成的句子嵌入对咨询问题的语义相似性建模。随后应用均匀流形近似与投影(Uniform Manifold Approximation and Projection, UMAP)降维(McInnes et al., 2018)与分层密度基于空间的带噪应用聚类(Hierarchical Density-Based Spatial Clustering of Applications with Noise, HDBSCAN)(Campello et al., 2013)以识别反复出现的语义咨询区域。这种保守的密度基于方法通过保留低密度离群点与模糊咨询案例,减少人为类别膨胀。所得框架将34,386个抽取的咨询问题压缩为565个语义簇与533个操作性咨询意图。该压缩过程减少语义碎片化,同时保留咨询分诊、优先级排序与可解释检索工作流所需的操作区分。尽管语义簇捕捉了反复出现的咨询模式,但仅靠簇不足以支持下游咨询工作流,因为语义相关的问题并不总是对应操作上可执行的咨询单元。因此,操作性意图作为结构化表征,能够支持检索、路由、优先级排序、交互逻辑与跨反复咨询条件的工作流级咨询协调。这些咨询区域捕捉了与转学分、经济资助、资格要求、院校沟通、截止日期与长期学业规划相关的反复关切。在语义聚类之后,每个咨询区域被赋予结构化操作标签,以支持解读与工作流优先级排序。每个意图包含障碍主题、归因域与情感紧迫性等属性。归因域区分关切主要属院校中心、学生中心还是混合责任。情感紧迫性使用VADER情感分析(Hutto & Gilbert, 2014)估计,以识别涉及压力升高、不确定性或时间敏感性的咨询情境。这种多轴表征将语义簇转化为操作性咨询信号,能够支持路由、优先级排序与可解释决策支持工作流。表1总结了所提咨询框架的操作特征与系统级指标。操作性问答(QA)层作为中间表征,桥接语义咨询分类结构与下游检索、路由及交互工作流。为支持可扩展咨询工作流,每个操作性意图被转化为结构化咨询表征,将语义理解与下游检索及交互过程相连。每个意图表征包含规范咨询问题、转述变体、结构化响应内容、归因信号、紧迫性指标与可解释性元数据。该操作层使咨询关切能够通过结构化表征而非仅自由形式对话输出被检索、解读、优先级排序与监测。所得操作表征在咨询副驾驶原型中支持可解释路由与结构化检索。学生查询使用句子嵌入编码,并通过语义与规则支持的路由机制与意图知识库匹配。可解释性层外化中间推理信号,包括置信度分数、匹配关键词与前k个意图候选,以在咨询互动中支持透明性、检查与咨询师审阅。交互日志进一步支持可审计性、工作流监测、检索分析与咨询行为随时间的迭代改进。这些可审计的交互轨迹额外支持透明性、事后检查与未来咨询师在环(advisor-in-the-loop)评估过程。在聚类与操作标注之后进行了结构化人工可靠性审计。采用规模分层抽样选取15个簇,并从每个簇评估10个规范问题(N = 150)。评审者评估簇连贯性、意图对齐与归因域正确性。在院校验证期间,评分者间一致性将使用Cohen(1960)Kappa评估。该阶段聚焦于评估结构连贯性与标注一致性,而非抽取召回率,后者需要完全标注的真值咨询数据集。所得框架产出一个可解释的咨询智能结构,支持聊天机器人整合、基于分诊的路由、可解释检索与以人为中心的咨询决策支持。在19,668条转学相关学生叙述中,碎片化咨询话语被转化为组织于565个语义咨询区域的533个操作性咨询意图。图3展示了操作性咨询意图中情感紧迫性跨归因域的分布。结构化意图表征通过将碎片化学生叙述组织为包含归因信号、紧迫性指标、规范咨询问题与可解释性元数据的归一化咨询关切,降低了模糊性。所得模式使下游系统能够区分院校中心与学生中心关切,同时支持不确定性下的优先级排序。图4突出了基于频率与紧迫性信号组合的最高优先级操作性咨询意图。尽管某些关切在咨询话语中频繁出现,其他则代表涉及入学不确定性与转学中断风险的低频但高紧迫性咨询情境。许多高紧迫性咨询关切似乎源于院校碎片化与程序复杂性,而非孤立的学生层面失败。若干高紧迫性咨询区域涉及院校沟通中断、冲突的转学要求与跨院校学分适用性的不确定性。这些发现表明,咨询负担不仅源于信息稀缺,也源于结构不一致与碎片化院校流程。因此,操作性咨询系统可能受益于能够识别反复出现的高风险咨询条件并在升级发生前予以优先化的机制。在咨询助手原型中,操作性意图表征支持可解释路由、基于置信度的检索、结构化响应生成与工作流监测。可解释性特征(包括匹配关键词、置信度分数与前k个意图候选)通过在咨询检索与路由过程中外化中间推理信号,进一步支持透明性与咨询师审阅。图5表明,相对较小的咨询意图子集占咨询需求与高紧迫性关切的不成比例的大份额。为提供操作有效性的初步度量,路由层在由50个代表性咨询查询组成的内部概念验证基准上评估,涵盖转学资格、GPA、转学分、招生、截止日期、经济资助与学业规划。原型达到90%的意图级与86%的问题级检索准确率,平均检索置信度为0.98。对不匹配的人工审查显示,错误几乎完全发生在语义相邻的咨询概念之间而非无关领域,表明路由失败通常是密切相关意图之间的近似误判。由于该基准由研究团队编写且限于经验证咨询意图的精选子集,结果应解读为内部概念验证而非与操作咨询工作流的比较,后者仍为未来工作。本研究展示了人工智能系统如何通过将反复出现的咨询模式外化为可解释操作结构而非仅依赖无约束生成输出,降低咨询师的认知负担。结构化可靠性审计额外建立了可复现框架,用于评估咨询表征的簇连贯性、意图对齐与归因一致性。这些发现表明,咨询系统可能受益于从静态信息传递转向能够支持复杂院校环境中模糊性管理、优先级排序与咨询师审阅的可解释决策支持工作流。该框架并非作为自主咨询代理运作,而是通过可解释路由信号、操作性检索结构与可审计工作流支持协作式人机决策支持。图6展示了咨询副驾驶原型中实现的可解释性与响应治理控制,包括可信响应指定与可配置检索透明性机制。本研究提出一个以人为中心的人工智能框架,将自然语言咨询话语转化为可集成的操作性咨询表征。主要贡献是创建可审计基础设施,将潜在咨询意图外化为与以人为中心决策支持原则相一致的可解释、可靠性感知结构。本研究展示了高召回LLM抽取如何与确定性提示、语义聚类、结构化标注、可解释性机制与操作性检索层结合,生成系统就绪的咨询工件,以降低复杂咨询环境中的意义建构需求。所得框架支持可解释路由、优先级排序、透明性与咨询师审阅,同时保留结构化操作表征作为可信咨询基线。局限性包括平台特定抽样、院校基础有限以及需持续进行评分者间一致性评估。未来工作将探索咨询师在环验证、纵向咨询工作流、扩展院校整合与咨询决策支持系统中经校准的不确定性估计。若干局限限定这些结果。第一,语料来自Reddit转学社区,提供生态有效但自选的叙述,可能不代表转学学生全体或任何单一院校的咨询案例量;因此意图应解读为反复出现的在线咨询关切图谱而非院校代表性样本。第二,意图与归因标签由单一标注者赋予,故可靠性审计反映结构连贯性而非经验证的评分者间一致性,后者计划在院校验证期间使用Cohen's Kappa。第三,由于答案基于单一部署院校政策,原型最好理解为构建于可移植意图模式之上的院校特定咨询基础设施,而非普遍适用的转学指导。最后,该框架尚未在真实环境中与学生或咨询师评估;需要关于认知负担、信任与咨询效率的直接人因测量,以证实所称的解释负荷降低。该框架并非取代咨询师,而是通过结构化、可解释且可操作的咨询智能信号,在模糊性下支持人类判断。作者声明无潜在利益冲突。作者披露获得以下财务支持:本材料基于美国国家科学基金会(National Science Foundation, NSF)奖项编号CNS-2219623支持的工作。ORCID iD:Phuong Minh Nguyen https://orcid.org/0009-0001-0838-0031;Yun Wan https://orcid.org/0000-0002-9038-5607;Sherrene Bogle https://orcid.org/0009-0001-7540-8786。