《Proceedings of the Design Society》：Engineering design through dialogue: a method for analysing speech-based human-AI conversation
编辑推荐：
语音能力型人工智能系统为设计领域的沟通与协作带来了新的可能性，然而针对语音人机交互的分析方法仍然有限。本研究提出并应用了一种分析方法，用于分析语音驱动人机设计活动中的会话交互。该方法扎根于会话分析（CA），能够揭示会话结构与设计者角色如何通过口语交互得以呈现，
语音能力型人工智能系统为设计领域的沟通与协作带来了新的可能性，然而针对语音人机交互的分析方法仍然有限。本研究提出并应用了一种分析方法，用于分析语音驱动人机设计活动中的会话交互。该方法扎根于会话分析（CA），能够揭示会话结构与设计者角色如何通过口语交互得以呈现，为考察设计中的沟通、认知与协作提供了分析框架。研究人员开发并应用了一种分析语音交互的方法，该方法基于会话分析（Conversational Analysis, CA）原理，通过比较人-人（H-H）和人-人工智能（H-AI）的口语交互，分析会话结构、话语类型和交互角色的差异。研究采用"Sit On Your Hands"方法，让参与者仅通过语音完成设计任务，排除了书写、绘图和手势等外部表征。研究招募了10名来自思克莱德大学设计、制造与工程管理系（DMEM）的参与者，包括博士生、硕士生和本科生，涵盖产品设计工程（PDE）、产品设计与创新（PDI）、运动设计工程（SDE）以及制造工程与管理（MEM）等专业。研究团队设计了两个开放性的设计任务：减少家庭食物浪费的产品概念设计，以及方便轮椅使用者家务劳动的产品概念设计。在数据收集方面，研究人员使用Riverside.fm工具对会话进行完整录音和转录，并收集ChatGPT的对话日志用于验证转录准确性。在分析框架方面，研究人员开发了包含11种代码的话语类型编码框架和包含5个阶段的设计阶段编码框架，通过归纳法从数据结构中发展而来。话语类型编码包括：问题（Question）、建议（Suggest）、指导（Direct）、同意（Agree）、告知（Inform）、反思（Reflect）、阐述（Elaborate）、评价（Evaluate）、澄清（Clarify）、确认（Confirm）和其他（Other）。设计阶段编码包括：问题理解（Problem Understanding）、概念生成（Concept Generation）、概念发展（Concept Development）、概念评估（Concept Evaluation）和方案呈现（Solution Presentation）。分析方法包括三个步骤：首先进行话语类型编码，将每个参与者的回合分割为独立话语并分配类型代码；其次进行设计阶段编码，根据内容和语境标记设计进程；最后进行定量分析，识别话语类型分布频率和设计阶段差异，从而揭示H-H和H-AI会话在会话结构和交互行为方面的差异。
本研究旨在探索语音驱动人机交互设计中的会话分析方法，为理解人工智能如何融入设计协作提供新的视角。随着大语言模型和多模态界面的快速发展，语音对话已成为与文本和图像并行的交互模式。然而，现有研究多关注文本和图像交互，语音作为持续交互媒介在设计领域的研究仍然不足。研究人员指出，当前语音能力型人工智能系统虽在技术上不断进步，但其在工程设计语境中与设计师有效对话的能力尚未得到充分探索。同时，人机协作中"协作"概念的界定也存在争议，部分学者质疑人工智能是否真正具备构成协作所需的利益、责任或能动性。
为了填补上述研究空白，研究人员借鉴人机交互和会话分析领域的既有成果，提出了一种分析语音交互的方法。该方法不预设人机之间存在协作关系，而是聚焦于人工智能引入后口语交互的结构方式。研究采用探索性方法，通过对比实验设计比较人-人交互和人-人工智能交互条件下的差异。
在样本来源方面，参与者来自思克莱德大学设计、制造与工程管理系，包括4名博士生、4名硕士生和2名本科生，涵盖产品设计工程、产品设计与创新、运动设计工程以及制造工程与管理等专业。参与者需满足_final_year或近两年内毕业的资格要求，以确保设计知识的保持度。
研究采用"Sit On Your Hands"方法，该方法由思克莱德大学的Rebecca Macfie开发，最初用于设计认知和心理意象研究。此法要求团队仅通过讨论发展设计方案，禁止书写、绘图或使用实体设计制品。尽管该方法限制了草图和手势等已知支持设计推理、构思和问题解决的外部表征，但研究人员 intentionally 采用此方法以聚焦口语交互作为设计活动的主要媒介。
实验设计包含两个条件：人-人交互条件中，两名人类参与者 verbally 协作完成设计任务；人-人工智能交互条件中，一名人类参与者与语音能力型生成式人工智能系统（ChatGPT高级语音模式） verbally 交互完成设计任务。选择ChatGPT高级语音模式是因为其支持持续性口语对话和回合制交互，且在多项人工智能系统的比较中被视为高质量语音交互的参照标准。两个设计任务分别涉及减少家庭食物浪费和方便轮椅使用者家务劳动的产品概念设计，任务来源于Campbell等人（2024）关于专业产品设计师的fMRI研究，因其真实性和相关性而被选用。
每位参与者需完成八个设计活动，活动1-4限时20分钟，活动5和7确保双方有机会 verbalise 思考过程，活动6和8用于呈现最终方案。会话在两人间进行，人-人工智能条件下参与者和人工智能伴侣分别位于独立房间以避免干扰。设备包括运行ChatGPT高级语音模式的笔记本电脑或平板电脑，以及录音设备。
数据分析方面，研究人员使用Riverside.fm（2025年10月版）生成完整转录，将所有录音存储于安全服务器。转录文本按条件（H-H/H-AI）、说话者、时间戳、话语文本、话语类型和设计阶段等列格式化。话语类型编码框架包含11种代码，通过归纳法从数据结构发展而来；设计阶段编码框架包含5个代码，标记参与者通过设计任务的进程。由于研究的探索性质，所有转录文本的分段和编码由主要研究人员完成，未评估评分者间信度。
研究结果揭示了人-人工智能交互与会话结构的变化。在设计阶段的回合与话语方面，人-人工智能会话的总回合数较人-人会话减少46%，总话语数减少50%，但每回合平均话语数增加21%。这表明参与者用更少的回合完成了人-人工智能设计任务，但每个回合中的话语更多。在话语类型分布方面，人-人工智能任务中"问题"增加11.87%、"建议"增加2.96%、"指导"增加2.65%，而"同意"减少9.88%、"告知"减少11.26%。这表明参与者采取了更具探索性和指导性的角色，同时减少了肯定和事实性交换。
在讨论部分，研究人员指出人-人工智能任务中总回合和话语的减少反映了参与者使用会话方式的转变。尽管总体交互减少，但每回合平均话语数的增加表明与人工智能系统的每次交换更长、更详细，这与已有研究中参与者调整沟通以使要点更清晰或确保人工智能理解其意图的发现一致。较长的回合表明交互探索性较弱、更为单向，参与者主导会话和任务进程，同时承担了更多的认知负荷。
话语类型分布的变化表明人类参与者在与人工智能交互时的行为也发生了转变。"问题"、"建议"和"指导"的增加显示参与者假设了更具 directing 和 commanding 的角色，引导人工智能而非开展伙伴关系。"同意"和"告知"的减少则表明参与者对人工智能的肯定减少，分享的事实细节或信息减少。这与已有研究中人类在伴侣反馈有限或无法维持自然交互时倾向于控制会话的发现一致。
这些交互差异影响了参与者在设计过程中假设的角色。参与者将人工智能视为反应性工具而非设计伙伴，承担引导会话和维持任务进程的责任。这种角色转变与媒介约束适应性沟通的观点一致：当 ground 线索有限时，参与者承担更多沟通努力以管理任务和维持共享理解。这些观察结果揭示了 ground 努力差异如何影响交互结构以及人类设计师如何在不同任务之间承担不同角色。
研究结论指出，语音能力型人工智能系统在设计中的整合不仅需要持续的技术发展，还需要探索人机交互中的会话结构和认知负荷。虽然已有研究识别了人工智能系统在工程设计中的角色，如生成器、评估者或决策者，但考察这些角色如何在口语交互中显现仍是未来工作。研究发现应在特定回合制、任务环境的配置下解读，而非代表人工智能参与设计的所有可能角色。
研究局限包括：转录和编码由单一研究人员完成，未评估评分者间信度；编码框架源于单项研究，部分类别可能宽泛或依赖情境；样本量小且来自单一院系；实验设计未完全平衡，参与者先完成人-人任务；以及排除了书写、绘图和手势以隔离口语交互，这些约束条件应在解读观察行为时予以考虑。
最终研究结论表明，本研究提出了一种探索性方法，用于分析语音驱动人机设计活动中的口语交互。人-人交互和人-人工智能交互的比较表明，人工智能在协作任务中的参与改变了会话结构，并在设计任务中假设了不同角色。人类设计师与人工智能系统之间的语音交互实现了自然交换，但也突出了在整个设计任务中维持共享理解的挑战。作为协作设计更广泛研究重点的一部分，所提出的方法为进一步探索语音能力型人工智能系统如何通过对话支持或塑造协作设计活动奠定了基础。未来工作将在更大规模上扩展和验证这一方法，涵盖更广泛的设计领域参与者和多模态设计设置。
