FaceValue:探索实时自我视角叠加层以促进远程会议中意义导向的自我意识

《Proceedings of the ACM on Human-Computer Interaction》:FaceValue: Exploring Real-Time Self-View Overlays to Prompt Meaning-Oriented Self-Awareness in Remote Meetings

【字体: 大 中 小 】 时间:2026年10月24日 来源:Proceedings of the ACM on Human-Computer Interaction

编辑推荐:

   摘要 AI 摘要 要查看此 AI 生成的摘要,您必须拥有高级访问权限。了解更多信息 登录 摘要 摘要 在远程视频会议中,视觉非语言线索(如面部表情或头部动作)会被持续看到,但往往只看到一部分。与面对面环境相比,这增加了歧义性,并可能导致误解或意图与感知之间的不一致。受沟通理论

  

摘要 AI 摘要 要查看此 AI 生成的摘要,您必须拥有高级访问权限。了解更多信息 登录 摘要 摘要 在远程视频会议中,视觉非语言线索(如面部表情或头部动作)会被持续看到,但往往只看到一部分。与面对面环境相比,这增加了歧义性,并可能导致误解或意图与感知之间的不一致。受沟通理论的启发,我们设计了 FaceValue,这是一种技术探针,通过私人的、实时的叠加层来增强自我视图。这些叠加层是微妙、提示性的提示,旨在帮助参与者反思他们的线索可能被他人如何解读。为了邀请个人解读,FaceValue 避免了行为标签,而是旨在支持意义导向的自我意识:认识到可见线索可能无意中(错误)传达了意图。我们在野外部署了 FaceValue,让十三名知识工作者在几周的时间里使用,通过参与者通过日记条目和结束访谈自述的方式,捕捉了自我意识和行为感知的变化,以及对设计概念的印象。参与者感到 FaceValue 提高了他们对可能不一致的线索的意识,并促成了会议期间的调整,他们认为这改善了与其他参与者的沟通。我们贡献了一个概念框架,将视觉非语言线索定位为可操纵的沟通资源,一个旨在培养意义导向自我意识的技术探针,以及为未来会议系统提供实证基础的设计见解。

AI 摘要

AI-Generated Summary (Experimental) 此摘要使用自动化工具生成,未经文章作者撰写或审核。它旨在支持发现,帮助读者评估相关性,并协助相邻研究领域的读者理解该工作。它旨在补充作者提供的摘要,后者仍是论文的主要摘要。全文仍为权威记录版本。点击此处了解更多信息。点击此处评论此摘要的准确性、清晰度和有用性。这样做将有助于改进未来的重新生成版本。要查看此 AI 生成的简明语言摘要,您必须拥有高级访问权限。

1 引言
当参加远程会议时,我们不仅通过所说的内容,还通过我们的外观持续传递意义。我们的面部表情、头部动作和手势都展示在屏幕上,其他参与者利用这些视觉非语言线索(如定点、皱眉或微笑)来解读我们的感受和想法 [7],决定如何回应,并塑造对话 [70, 71, 103]。
远程会议使得参与者更难以解读彼此的视觉非语言线索。小的视频瓷砖和裁剪的身体视图可能使某些线索容易错过或误读 [20]。当参与者遇到不完整或模糊的线索时,他们会填补空白,有时是错误的 [9, 39, 52]。这可能会阻碍协作:一个皱眉可能会导致某人过早地否决一个好想法,或者缺乏明显的反应可能会错误地传达同意。这些歧义和误解可能会侵蚀信任和沟通 [79]。鉴于远程会议的普及性 [109],我们提出:我们如何协助会议参与者在远程会议中增强对自身非语言行为的自我意识?
自我视图,大多数远程视频会议工具中的内置功能,赋予参与者能够看到自己的视频流以及他人的视频流。看到自己可以支持自我监控 [23];然而,有两个方面需要考虑。首先,个人往往持有错误的信念,认为他人可以轻松感知他们的内部情绪状态——这种现象被称为透明错觉 [31]。其次,当参与者使用自我视图时,他们往往更专注于管理自己的外表,而不是他们的表情在传达什么 [17, 58]。我们的工作旨在帮助参与者注意并反思他们的线索可能在向他人传达什么,我们将此特征化为意义导向的自我意识。有了更好的意识,参与者可以选择调整他们的线索,或在需要时口头澄清。
先前的研究表明,突出某些视觉非语言线索的系统可以帮助个人更意识到自己的非语言行为。Chow 等人 [18] 引入了一个侧边栏接口,通知用户低级非语言行为(如微笑、点头、注视和姿势)的变化(及实例)。这种实时信息帮助用户更意识到自己在远程会议中的自我呈现。虽然 Chow 等人关注从用户自己的视角监控低级行为,但我们采取了一种补充的方法,提出一个自我反思的问题:他人可能如何感知这些行为,特别是在沟通意图方面?我们的工作通过不仅检测线索的存在,还揭示其可能的解释来扩展这一轨迹。这种实时反馈帮助用户注意自己是否可能在发送无意信号,并在当下调整行为。我们的目标是支持人们保持这种意义导向的自我意识。
为了探索意义导向自我意识的概念,我们提议通过私人的、实时的叠加元素来增强自我视图,当这些线索可能向他人传达含义时,突出显示视觉非语言线索。为实现这一方法,我们基于沟通和设计理论(第 2 节)衍生出设计目标(第 3 节):检测可能传达特定含义的非语言线索,并通过实时叠加层,鼓励用户反思这些行为。
为了检验意义导向的自我监控如何影响参与者在各种会议情境下对非语言线索的意识和调整,我们通过一个名为 FaceValue 的技术探针实现了这些设计目标,该探针分析面部表情和头部动作,并通过私人的漫画风格叠加层增强自我视图,以唤起参与者的意义导向自我意识(第 4 节)。我们在实地研究中部署了 FaceValue,涉及 13 名知识工作者(第 5 节)。参与者将 FaceValue 作为其常规远程会议(专业或休闲)的一部分使用。我们的重点是 FaceValue 对个人意识和行为影响的感知,这些是由参与者通过自我管理的日记条目和研究后半结构化访谈收集的。参与者在一到三周的时间里使用了 FaceValue 进行五次会议。我们的研究关注以下问题:
RQ1: 关于自身视觉非语言线索可能解释的实时反馈如何帮助远程会议参与者注意其行为可能与沟通意图一致或不一致?
RQ2: 参与者如何描述采取意义导向反馈的行动,以使他们的可见线索与沟通意图重新一致?
RQ3: 会议特征(例如,利害关系、正式程度)如何塑造参与者对反馈有用性和潜在分心能力的感知?
参与者感到使用 FaceValue 帮助他们更有意识地观察自我视图。他们报告说能够更注意屏幕上行为可能与预期信息不一致的时刻。他们还强调 FaceValue 在高风险或目标导向的会议期间最有用于,此时沟通清晰度的感知重要性更高。这些发现表明,私人的、隐喻性的叠加层可以为参与者提供监测和调整视觉非语言行为的临时参考点,支持意义导向的自我意识,而不强加规范性反馈(第 6 节)。
我们的贡献是:
(1) 概念框架。我们框架视频中的视觉非语言线索为一种强化预期意义的方式,同时认识到它们也可能无意中传达非预期意义。通过这种概念化,我们激发了对意义导向自我反馈需求的动机。
(2) FaceValue,一个轻量级的技术探针,旨在通过私人的、漫画风格的叠加层培养意义导向的自我意识和反思。
(3) 来自 13 名参与者实地部署的实证见解,表明参与者认为意义导向的反馈可以帮助他们使表情与意图保持一致。我们讨论了 FaceValue 最有效的场景,并基于对潜在意外后果的反思,概述了对设计未来情境敏感会议工具的启示。

2 背景
我们首先概述了支撑我们工作的沟通理论(表 1)。然后,我们讨论了远程会议中自我监控的相关工具和当前实践,重点是自我视图。我们还回顾了支持视觉非语言线索解读的先前系统。

2.1 理论基础:远程会议中的视觉非语言线索
面部表情、手势和头部动作等视觉非语言线索是沟通的重要组成部分 [7](表 1-T1)。这些线索表明理解,丰富口头解释,并传达对对话内容的态度 [1, 47]。为了支持有效的沟通,视觉非语言线索理想情况下应该既清晰又与预期信息一致。然而,这些线索本质上是模糊的(表 1-T5, T6):不同的观察者可以从同一线索中得出不同的含义 [1, 4],而这些感知含义并不总是与沟通意图一致 [32, 105]。因为人们倾向于高估他们的线索被他人理解的程度(表 1-T4),他们可能不会自觉地完善他们的线索。这可能是一个问题,因为研究表明,个人经常依赖视觉非语言线索来解读沟通意义,有时对它们的信任超过言语,特别是当两者冲突时 [70, 71]。

表 1。
ID | 理论 | 视角 | 在本工作中的角色
---|---|---|---
T1 | 沟通交易模型 [7] | 一般沟通 | 解释了即使有言语线索,视觉非语言线索为何仍然相关。
T2 | 媒体丰富性理论 [20] | 会议媒体 | 强调了远程会议媒体可能阻碍视觉非语言线索的有效传达,从而减少沟通丰富性,并可能增加对这些线索解读的歧义性。
T3 | 客观自我意识 [23, 108] | 线索发出者 | 描述了个人在沟通中如何关注自己,影响其意识和调整表达行为。
T4 | 透明错觉 [31] | 线索发出者 | 解释了个人如何高估他人感知其内部状态和意图的准确性。
T5 | 社会信息处理 [103] | 感知者 | 描述了人们如何在中介互动中自适应地从可用信息源中提取和解读线索。
T6 | 不确定性减少理论 [9] | 感知者 | 解释了个人如何通过解读可用线索来寻求减少不确定性,有时导致过度解读或偏差。
T7 | 情感作为互动 [10] | 设计镜头 | 鼓励将情感表达设计为社交情境化和可解读的,而不是静态、可分类的信号。
T8 | 模糊性作为设计资源 [30] | 设计镜头 | 将模糊性定位为一种生产性特征,而不是缺陷,邀请用户体验中的反思和更深层次的解读。
概述了支撑我们对意义导向自我意识视角的理论。视觉非语言线索在沟通中具有重要作用,但远程会议环境往往会降低这些线索的质量。这种不确定性影响了感知参与者,他们可能误解模糊的线索,以及线索发出参与者,他们可能不知道他们的线索是如何被感知的。我们的工作确定了支持线索发出参与者自我意识的差距,并借鉴理论和设计镜头来指导我们的方法。

由于媒体丰富性降低,这种歧义在远程会议中更为明显(表 1-T2)。视频瓷砖通常很小、拥挤或被裁剪,导致许多细微的视觉线索丢失或仅部分传达 [79]。因为人们根本上有减少关于他人情绪或意图不确定性的动机,他们积极参与从这些有限或不清楚的视觉非语言线索中提取意义(表 1-T6),有意或无意地,只要视频开启 [103]。问题在于,与解读缺失、部分或泄露的线索相关的填补空白过程通常是有偏见的 [39, 52],导致不准确的结论和误判。虽然误解通常被忽视且无关紧要,但实证研究表明有切实的伤害。例如,一项研究表明远程参与者表现出更多负面情绪和倾向于感知他人的恶意意图 [79]。错误归因也被证明会损害团队成功 [107]。
减少远程会议中线索歧义的努力包括精炼的象征性线索,如表情符号反应、按钮按压反馈 [2],或明确的发言轮换意向显示 [44]。另一种策略是仅流式传输单一视觉线索,如视线 [38],或机器解读的情绪状态 [37]。虽然这两种方法都减少了沟通噪音,但也减少了丰富性。这种权衡对于简单的沟通任务是可以接受的,但在更复杂的任务中,它可能会增加不确定性 [9, 20]。专业人士对视频的偏好 [27]——因此是视觉非语言线索——强调了支持这种远程会议沟通形式的重要性。
我们的工作采取了一种减少线索歧义的不同方法。受 Chow 等人建议的启发,即“从其他参与者的视角评估自己的非语言行为 [可以] 为行动提供依据” [18],我们提供显示参与者线索可能被他人如何解读的私人反馈。我们强调,反馈反映了从参与者自身线索的自动分析中推断出的可能含义,并不包含会议期间其他参与者解读的实际数据,因为这些仍然是内部的。该反馈旨在帮助个人考虑与沟通意图的潜在(误)对齐,让他们自由决定是否需要进行调整。换句话说,我们的目标是通过唤起线索发出参与者的意义导向自我意识(表 1-T3),鼓励自我评估和刻意行动以减少源头歧义。

2.2 远程会议中的自我监控
在与他人互动时,我们自然地进行自我监控,即将我们的表达行为与社会期望和沟通目标保持一致 [93]。

在本文中,我们从一个情境化的、行为化的意义上来使用"自我监控"这一概念,即在互动过程中对自身表达线索进行逐时刻的注意与调整[59, 72]。这与原始心理学中作为稳定人格特质的"自我监控"概念有关,但两者有区别[93]。后者描述的是人们在监控社交情境和调整自我呈现方面的个体差异,但并不指向任何具体行为(例如更频繁地看自己的脸)。我们在7.6节中重新讨论了这一区别,探讨特质性自我监控如何影响人们使用我们系统的体验。在这一行为化框架中,自我监控与对自身表达线索的自觉意识相伴而生。与此观点一致,一些研究表明,对自身表情的意识有助于校准被感知的仪态[23]和用户控制感[87],从而增强清晰度、融洽感[96, 102]和关系性沟通[73]。在远程会议中,聚焦于与会者面部的自我查看面板可以增强这一过程,通过提升自我意识并使视觉非言语线索的实时调整成为可能。然而,通过自我查看面板长时间注视自身影像可能导致疲劳、焦虑[5, 91, 92]、不适[22]或认知负荷[87]。这些效应在个体间存在差异[56],对某些人可能根本不会出现[49, 60]。但对另一些人来说,自我查看的某些方面可能会削弱其益处或引入额外挑战。

心理学通常将自我意识视为正念的一个组成部分,通常与福祉相关联[35, 95, 101],这与自我查看可能引发压力的报告形成对比[83]。有报道称,自我查看往往导致用户更多监控装饰性线索(例如头发、背景)[17, 58],而这在沟通中作用甚微。基于这些见解,我们假设关注沟通性线索(例如赞同的表情)可能会支持更有目的地与自我查看面板互动。我们的工作通过用可能具有沟通性的视觉非言语线索(例如微妙的赞同或困惑表现)反馈来增强自我查看面板,作为一种支持与会者识别、解读和调整自身线索的机制。

虽然这不是我们的主要关注点,但我们注意到,利用自我查看功能还可以保留该视图提供的其他益处,例如在相机取景范围内协调与对话相关的物体[36, 45, 62, 63, 77]。这种沟通方式很重要,与我们对视觉非言语线索的关注相辅相成,但超出了我们的研究范围。

2.3 可视化视觉非言语线索

许多远程协作工具旨在可视化参与者的情绪或投入状态,以帮助解读群体动态。这些包括表情符号反应、活跃说话者高亮[76]以及实验性仪表盘[2, 8, 21, 26, 57, 67, 110]。虽然这些界面有助于群体意识,但它们对个人自我监控的支持有限。反馈通常是公开显示的,鼓励共同解读而非私人反思。我们的工作引入了一种个人反思工具,以支持个体自我监控。

在处理视觉非言语线索时,我们可以考虑两种设计方法。在"情感即信息"范式[10]下,视觉非言语线索被视为可分类的数据[2, 8, 18, 21, 26, 57, 84, 110]。此类可视化通常是直白的,使用标签或百分比分数呈现离散、脱离语境的观察结果,例如"过去两分钟内三次点头"或"微笑概率55%"。这类系统通常仍避免提供规范性指导(例如"现在点头两次"),而是采用非规范性的反馈立场,将行动方案留给用户。例如,Chow等人[18]呈现检测到的行为(如微笑或点头)的计数,但将解读完全留给用户,以保留表情的真实性。该范式支持对面表情的分析性感知[11, 16, 55, 88],但存在对面部表情识别(FER)准确性过度自信的风险[84, 111]。

与之相反,"情感即互动"范式(表1–T7)将视觉线索视为通过互动而有意义的。例如,AffectiveSpotlight[76]放大视频流而非进行标注,其他系统[43, 81]通过环境反馈唤起反思。该范式并不天然优于情感即信息范式;两者各自满足不同用户需求。如果目标是快速、可量化的意识,信息范式可能更有效。然而,如果目标是支持用户反思自身线索可能如何被整体性和情境性地感知,互动范式则提供了一种更具诠释性的视角[10]。我们采用后者来唤起用户对线索的全方位意识——不仅关注哪些线索发生了,还关注这些线索如何与预期含义相一致或相偏离。面部表情通常被整体性地感知[14, 15, 97],因此促使对多个整合性线索进行反思很重要。通过色彩渐变、抽象视觉或象征性图形等设计模糊性[69, 89],可以支持这一范式,鼓励解读。我们同样将模糊性作为设计资源(表1–T8),以激发与会者的反思。

与我们工作最接近的是Novecs系统,它自动检测并显示用户的视觉非言语线索,以支持远程会议中工作者的自我呈现[18]。我们的工作采用了相似的设计选择:以非规范性方式提供实时个人反馈,Chow等人的实验表明这可以增强参与者的自我意识感知[18]。受这些发现启发,我们通过在两方面进行创新来拓展这一研究方向,这两方面借鉴了关于线索模糊性的沟通理论(第2.1节)。首先,Novecs在面部和姿势线索的侧边栏中显示反馈——这是一种独立的仪表盘形式[57, 110]。在此,我们探索情境化叠加方式,因为它们可能帮助与会者将反馈与实时线索联系起来[80]。其次,Novecs孤立地关注微笑、点头、注视和姿势。我们的工作探讨了使人们更全面地解读自身视觉非言语线索的方式,特别是关注他人可能如何(误)解读这些线索背后的含义——这是Chow等人[18]提出的未来方向。最后,Chow等人的纵向研究聚焦于工作会议。我们采用了相似的方法论,但邀请参与者在他们选择的会议中试用我们的探针,从而使我们能够扩展对个人意义导向反馈可能有价值的会议类型的洞察。

2.4 识别视觉非言语线索

为提供反馈,我们需要检测视觉非言语线索并推断其潜在含义。先前远程通信领域的工作主要关注言语线索[41, 104],但视觉非言语线索,尤其是面部表情,同样至关重要[7]。情感计算的进展产生了面部表情识别(FER)系统,在约束性基准测试中其表现可匹敌甚至超越未经训练的评判者[61]。然而,一项关于摆拍表情与自发表情对比的开创性工作[75]警告,基准测试上的优势可能无法迁移到自然情境中。FER已被应用于教育[94, 98, 110]、心理健康[29, 48]和机器人[53, 64]等领域。

FER通常使用分类模型(例如快乐、愤怒[24])或维度模型(效价-唤醒度[85])。分类模型适合寻求直接反馈的用户[89],而维度模型则能捕捉细微差别。然而,FER的准确性依赖于训练数据,而这些数据可能缺乏现实世界的复杂性[51, 65, 74, 78],且系统仍缺乏情境理解能力。隐私、人口统计学偏差以及其他伦理问题依然存在[3, 82],促使一些公司停用FER服务(例如微软2022年从Azure Face中撤出情绪识别功能[19])。

为在模糊的、反思性的反馈[10, 30]与这些挑战之间取得平衡,我们仅向与会者本人显示FER输出,而非向他人显示。这种私人反馈有助于与会者在降低误读风险的情况下优化表情表达。我们结合分类和维度输出以支持多样化偏好。我们重点关注面部表情和头部运动,因为它们在沟通中尤为显著[1, 40, 86]。未来工作可拓展到手部动作或身体姿势。

3 设计目标

基于理论,我们确定了两个启示,它们激发了我们的方法并 informs 了以下设计目标。(1)人们往往高估其内在状态被他人清晰理解的程度(表1-T4)。我们假设,呈现支持这一理解的反馈可能有所帮助,因为理论表明(2)将自身作为注意的对象有助于调节性自我监控(表1-T3)。为此,我们将自我查看重新概念化为一种主动的、反思性的沟通辅助工具,支持以意义为导向的自我意识。我们明确了以下具体设计目标:

- DG1:检测并呈现传达意义的视觉非言语线索。主动检测并突出最显著影响对话含义的视觉非言语线索,以帮助用户判断他人可能如何解读其非言语线索。其目的是将用户的注意力重新聚焦于自身外观的沟通性方面,而非装饰性自我检查[17, 58]。我们的实现侧重于面部表情和头部运动——例如点头、皱眉和微笑——因为这些是交际者用来推断情绪状态和立场的线索[1, 40, 86]。

- DG2:提供微妙的、暗示性的反馈。邀请用户进行解读和反思,而不越界做出关于其内在状态的确定性判断。这样做可以防止对规范行为的强加[18]。鉴于FER并不完美,识别结果会有所不同。因此,我们将其输出视为对视觉非言语线索的一种合理但可能出错的解读,而非绝对真理。受"情感即互动"范式[10]的启发,我们选择避免对情绪状态和立场进行僵化分类(例如"你看起来很生气"),因为这会强化过度分析式的自我监控。相反,我们遵循模糊设计原则[30],通过暗示性地呈现检测到的视觉非言语线索,来邀请更广泛的解读。例如,我们可以在自我查看中叠加温和的暗示性视觉提示,来表示效价的变化。

- DG3:维持实时的、情境中的、连续的反馈。即时、持续地在情境中提供关于视觉非言语线索可能被他人如何解读的反馈。这样做能够实现即时评估,从而使发出线索的与会者能够在对话流程中迭代调整自身的视觉非言语线索或提供言语澄清,更紧密地贴合其沟通意图。我们使用情境化自我查看叠加来促进反馈与自身实时线索之间的联系[80]。

应用这些设计目标,我们将自我查看转变为一面主动的镜子,在需要关注时引导注意力到视觉非言语线索(DG1)。我们提供暗示性叠加而非对这些线索可能对他人的含义进行规范性判断(DG2),并且在情境中和实时进行(DG3)。这种以意义为导向的反馈方式旨在邀请反思,从而鼓励与会者迭代调整自身的视觉非言语线索,使其与沟通意图相匹配。

4 FaceValue探针的设计与实现

我们将FaceValue实现为一个概念验证技术探针[46],以探索人们如何体验和融入以意义为导向的反馈。FaceValue将我们的设计目标(DG1、DG2、DG3)具体化,以探索以意义为导向的自我意识。该系统通过检测面部表情和头部运动来解读用户的沟通性视觉非言语线索(例如赞同、中立、困惑等),并增强与会者的自我查看视图,使其意识到自身表情可能如何被他人解读。例如,如果用户微笑,自我查看中其头部周围会出现一条粗绿色带(图1),暗示(但不规定)赞同或积极情绪。对于某些表情或头部动作,用户的自我查看视图会显示叠加的图标或线条。例如,如果用户在点头,他们会在脸部的上下方看到速度线(图3)。该系统还会监控表情效价的突然变化,并在发生重大变化时提醒用户——例如,当微笑或点头迅速转变为皱眉或摇头时。由于这些增强效果仅在用户的自我查看中可见,我们的目标是促进对自身沟通性表情潜在意义的自我意识。

图1. FaceValue根据对用户的沟通性表情的解读来增强其自我查看视图。例如,当用户似乎在表达赞同——以微笑表达——时,其脸部以绿色轮廓显示。相反,当他们似乎在表达不同意见——以皱眉表达——时,其脸部以黄色轮廓显示。某些特定表情或头部动作会伴随一个图标。例如,微笑配有一个闪光图标,而愤怒的表情配有一个爆血管图标。可能的解读,例如"快乐"或"愤怒",对用户不可见。

最上一行展示了快乐、愤怒、悲伤和惊讶的人类面部原始图像。

最后一行是对应的处理后面部图像,按照标题描述的方式:笑脸用绿色线条强调,配以闪烁图标;愤怒脸用黄色线条搭配怒筋图标;惊讶脸用绿色线条搭配感叹号图标;悲伤脸用红色线条搭配泪滴图标。

4.1 一个示例场景

图2. FaceValue中增强自我视图的概念插图。(A) 红色叠加层表示效价的显著变化;(B) 面部周围的黄色线条;(C) 微妙图标提示可能的解读线索(例如愤怒、惊讶);(D) 线条叠加层指示可能被忽略的轻微运动。

左侧显示来自网络摄像头的原始视频流。中央的监视器显示一个Zoom会议窗口,中间有一个红色半透明叠加层(标记为A)。该窗口的右上角有一个小的FaceValue视图。在这个视图中,一个人被黄色边界(标记为B)勾勒出来,面部两侧有线条(标记为D)。此外,该人物附近显示了一个怒筋图标(标记为C)。

为说明FaceValue探针如何工作,设想一名研究生Taylor加入与Ash的团队会议。Ash正在为他们的项目展示一个新的UI设计想法。

时刻1:无意的负面表情。当Taylor短暂感到困惑时,他们不经意间皱眉了一瞬。FaceValue检测到效价向负面的转变,并短暂显示一个红色半透明叠加层(图2(A))。Taylor看到增强自我视图中面部周围的黄色线条和"怒筋"图标(图2(B, C)),这表明他们的表情可能被他人解读为沮丧或消极。意识到这可能传递错误的信号后,Taylor有意识地放松面部,避免了一次潜在的误解。

时刻2:微妙的赞同表情。后来,Ash描述了一个想法,Taylor微微点头表示赞同。FaceValue识别出轻微的运动,并在Taylor面部周围显示微弱的线条(类似于图2(D),但对应点头动作),暗示点头可能过于微弱,他人难以察觉。意识到这一点后,Taylor加大了点头幅度,向Ash传递了明确的支持信号。

在此场景中,FaceValue在Taylor的自我视图中提供了私密的、细致的提示,帮助他们改进如何表达赞同或不确定。系统并不规定"正确"的表情,而是仅提醒用户面部表情和头部动作的变化(DG2),让他们自由地根据情况自行解读和调节(DG1, DG3)。

4.2 感知:识别面部表情和头部动作

为了引导用户关注有意义的视觉非语言线索(DG1),FaceValue首先识别面部表情和头部动作。我们采用了EmoFAN [99],该模型输出类别表情(例如开心、愤怒)和维度表情(效价/唤醒度)。EmoFAN在多个常用数据集上达到了高精度,包括在AffectNet [74] 上约75%的准确率(类别表情)1,以及效价/唤醒度回归的RMSE分别为0.29/0.27,我们认为这足以指示实际使用中的表情波动。这些原始检测标签对用户不可见。为了检测头部动作,我们从MediaPipe [66] 提取3D变换矩阵(俯仰、翻滚、偏航),使我们能够捕获点头、摇头或倾斜等行为。

我们的实现在Apple M1芯片上以超过10 FPS运行,延迟极低,提供了实时响应能力(DG3)。

4.3 可视化映射

表2. 映射明细:
- 效价(正面 vs 负面):V>0, A>0 → 轮廓颜色:绿色
- 唤醒度(强度):V>0, A<0 → 轮廓颜色:蓝色;V<0, A<0 → 轮廓颜色:红色;V<0, A>0 → 轮廓颜色:黄色
- 欧几里得距离 → 轮廓不透明度(不透明度 ∝ 距离)
- 检测到的面部表情:开心 → 闪烁图标;悲伤 → 泪滴图标;惊讶 → 感叹号图标;愤怒 → 怒筋图标
- 头部动作:点头 → 面部上方和下方的线条;摇头 → 面部左侧和右侧的线条;倾斜 → 从面部发出的线条

图3. "可视化映射"阶段产生三种主要的视觉线索形式:基于颜色的叠加层(左)、图标(中)和面部附近的线条(右)。左图:面部周围的绿色线条。中图:闪烁、感叹号、泪滴和怒筋等图标。右图:以各种方向放置在面部周围的线条。

在感知阶段,FaceValue捕获效价和唤醒度值、类别表情置信度和头部动作信号。我们将这些值映射为旨在保持微妙且具有暗示性的可视化元素(DG2),以鼓励用户驱动的解读,如表2所述,并在图3中展示。受漫画/动漫视觉语言启发 [28, 90],我们的设计让用户看到表情的提示,而不接收可能误导的明确情绪标签。

效价与唤醒度(VA)? 轮廓颜色与不透明度。我们采用了类似先前工作的色相方案 [50],其中VA空间中的特定区域映射到颜色。例如,兴奋/开心倾向于绿色,悲伤/沮丧倾向于红色,愤怒/恐惧倾向于黄色,放松/平静倾向于蓝色。强度通过叠加层的不透明度编码,由VA原点的欧几里得距离得出(即更强的表情导致更高的不透明度)。为避免帧间噪声引起的快速颜色闪烁,我们应用了卡尔曼滤波器 [106] 进行平滑。

检测到的面部表情 ? 图标。当检测到情绪的置信度超过80%时,FaceValue显示一个图标:闪烁(开心)、泪滴(悲伤)、感叹号(惊讶)或怒筋(愤怒);见图3(中)。虽然这些图标较为明确,但有意保持模糊而非直白,符合DG2提倡情境化解读的理念。例如,怒筋图标可能暗示愤怒或沮丧,但我们省略了文字标签;解读权留给用户,与Chow等人的非规范性反馈设计 [18] 保持一致。

头部动作 ? 线条。利用俯仰/翻滚/偏航数据,我们检测点头、摇头和倾斜。对于点头或摇头,我们在滑动窗口内计算头部位置方差,考虑其周期性特征。如果超过阈值,线条出现在用户面部周围(图3,右)。对于倾斜,我们使用平均角度。更高的方差增加线条不透明度,表示强度。阈值可根据不同的动作风格进行调整。

4.4 构图:将视觉元素放置在参会者视频上

FaceValue将图标、线条和色相叠加层直接覆盖/放置在用户面部上方或附近 [80],而非放置在一侧 [57, 110]。这一设计通过允许用户立即比较原始面部表情与抽象线索,支持了DG2。由于系统避免使用明确的情绪标签,用户保留了解读灵活性(例如,怒筋图标可能促使他们思考:"我是沮丧了吗?"、"我是在专注吗?"或"模型是否误解了我皱眉的意思?")。

一个关键的设计目标是让用户从随意地查看自己的外貌转变为有目的地检查交流表情。传统的自我视图不能明确支持注意到面部表情的显著变化,因此FaceValue检测到突发的效价转变后,短暂显示一个半透明叠加层(图2(A))。这些短暂的"闪烁"信号提示用户反思:"我意识到自己的表情变化了吗?是故意的吗?"此外,为了帮助面部更加突出,我们使用MediaPipe [66] 降低背景饱和度,强化对面部的关注。

5 部署研究

本研究的目标是更好地了解增强自我视图如何支持用户在视频会议中对自己的交流视觉非语言线索的自我意识。具体来说,我们想要探究人们如何体验和解读自己的线索。为此,我们进行了一项实地部署研究,探索个人如何将FaceValue整合到实际的远程会议中,以及这如何塑造他们的感知、体验,以及他们感知到的行为或交流实践方面的任何变化。

遵循Chow等人 [18] 的做法,我们选择实地部署来回答研究问题。短期实验室实验往往过度简化会议动态,容易受到新颖效应 [25] 的影响,且过于受独特社会动态的影响 [34],同时缺乏让用户将工具融入日常惯例所需的时间 [54]。相比之下,实地研究擅长捕捉真实的使用条件,提高生态效度,并揭示真实的工具采纳和使用模式 [13],这更符合我们的目标。

由于我们的研究聚焦于线索发出者的自我意识,我们依赖内部指标,即参与者的自我报告,来探究工具对他们自身体验的影响。我们采用了日记研究方法 [42],让参与者在参与FaceValue会议后,以半结构化的方式报告他们使用FaceValue的体验。我们采用这种方法来捕捉参与者在部署过程中对工具的直接反应,并在随后进行事后访谈以获取更长期的反思。外部指标,如行为变化的客观观察,在此情境中难以实现,因为现实中的会议在主题、参会者和动态方面差异很大。要捕捉有意义的模式,需要对类似的会议情境进行大量控制并在较长时间内保持一致的基线,这超出了本研究的范围。我们在第6.7节讨论了该方法学的局限性。

5.1 参与者

我们通过便利抽样、滚雪球法和在本科门户和HCI Slack群组发布广告招募了15名参与者。两名因日程繁忙中途退出,最终留下13名完整参与者。除一人外均使用搭载Apple硅芯片的Mac,确保实时视频处理的一致性能。所有参与者均英语流利、年满18岁,并计划在1至3周内参加至少五次远程会议。

参与者包括5名女性和8名男性,均位于加拿大,职业涵盖:商业分析师(P4)、助理教授(P1)、用户体验研究员(P2)、博士后研究员(P6)、系统管理员(P12)、研究生(P3, P5, P8–11, P13)和本科生(P7)。七人年龄25–34岁(P1–2, P5, P9–11, P13),四人18–24岁(P3–4, P7–8),一人35–44岁(P6),一人45–54岁(P12)。

5.2 FaceValue应用程序

FaceValue以可执行的macOS应用程序形式部署在参与者电脑上,在其真实会议期间运行。所有处理均在设备上完成,无任何日志记录。参与者使用FaceValue配合他们偏好的软件(如Zoom、Microsoft Teams、FaceTime)。FaceValue窗口被指示放置在标准自我视图上方(移动和调整大小),使参与者能够实时获得关于面部表情和头部动作的反馈。

5.3 程序

我们进行了三阶段的日记研究:

- 阶段1(引导),约30分钟。在Zoom会话中,参与者提供知情同意,安装FaceValue,接受关于FaceValue功能和使用方法的指导,填写研究前问卷(人口统计信息和一般会议体验),并参与关于先前远程会议体验的半结构化访谈。

- 阶段2(实地使用),1-3周。参与者在其选择的五场实际视频会议中使用FaceValue,可自由选择会议类型(如工作会议、与朋友的非正式会议等)和规模。每次会议后,他们填写一份日记条目,记录关键元数据(如时长、主题、参会人数)并描述使用FaceValue时的任何显著体验;参见第5.4节。不计入会议时间,我们估计参与者每次填写日记约需5分钟。

- 阶段3(事后访谈),约30分钟。参与者完成后事问卷(包括偏好测试),并参与在Zoom上进行的半结构化访谈,讨论其整体体验,重点关注交流方面的感知变化以及对自身交流视觉非语言线索的自我意识。在访谈中,参与者被要求比较使用和不使用FaceValue时的体验。

参与者获得30加元礼品卡作为补偿。本研究已通过机构伦理委员会批准,并在主要研究前进行了试点以完善流程。研究材料在补充材料中提供。

5.4 日记工具

参与者被要求通过预填参与者ID的个人链接在线完成每次FaceValue会议后的日记。这些日记旨在捕捉他们在使用FaceValue参加该次会议后的即时反思,以及他们对FaceValue的感知如何随时间演变。

表3展示了本调查工具中的问题。

**表3**
**问题**
Q1:会议的日期和时间
Q2:会议类型
Q3:会议时长
Q4:会议的通常频率
Q5:参会人数
Q6:与会议中其他人相比,对自身发言时间的感知(更多、更少或差不多)
Q7:同意程度:我更常查看自己的FaceValue
Q8:同意程度:我更常查看他人的FaceValue
Q9:查看FaceValue时,你试图了解关于自己的什么信息?
Q10:是否存在FaceValue的增强自我视图感觉特别有帮助或特别令人分心的时刻?
Q11:FaceValue在哪些方面本可以为你提供帮助或改变这次会议?
Q12:是否有参会者就你的外貌、表情或举止发表了可能与你镜头前表现相关的评论?
Q13:是否还有其他想法或观察?

日记中的问题提示简短回答(Q1–6配有可选项的下拉列表)、李克特量表评分(Q7–8从非常同意(1)到非常不同意(5)),或长篇回答(Q9–13)。

**5.5 分析**

我们对半结构化访谈记录和书面日记进行了主题分析。我们遵循解释主义方法下的反思性主题分析方法[12],归纳式地捕捉与我们的研究问题相关的主题。我们的分析侧重于参与者对自己监控体验和感知的明确描述,根据这种方法,我们关注主题的出现情况而非普遍性。首先,第一作者完整阅读了所有访谈记录和日记条目,并在MAXQDA4中进行了逐行的开放式编码。这一步骤生成了捕捉参与者叙述中显著主题和概念的编码。随后,第一作者对所有作者共同参与的每周讨论中反馈意见,对初始编码进行迭代审查和细化,必要时合并、拆分或删除编码。作者们的文化背景涵盖东亚、欧洲和北美,且每位作者都曾在这些地区的至少两个国家生活和工作过(见补充材料)。这可能在分析过程中影响了我们的解释视角(例如,会议规范倾向于以"西方"会议风格为中心)。

**6 研究发现**

我们收集了65条日记条目,涵盖了多样化的会议场景(见图4)。我们按照研究问题,报告从日记和访谈分析中得出的主要发现。

**图4** 日记中报告的会议场景分布(65条条目——另见补充材料)。柱状图展示了(Q2)会议类型、(Q3)会议时长、(Q4)参加会议的频率、(Q5)参会人数,以及(Q6)参与者在会议中发言是更多、差不多还是更少的分布情况。

**6.1 意义导向型反馈对视觉非语言线索可见性的影响**

我们的研究问题1提出:实时反馈视觉非语言线索的潜在含义如何帮助远程会议参会者注意到自己的行为与沟通意图是否一致或有偏差?我们发现,不仅大多数参与者感到他们更频繁、更长时间地查看自己的视频,他们还回忆起注意焦点从外观自检转向关注视觉非语言线索如何影响沟通的转变。对于部分参与者而言,这导致了一个更深层地重新评估自身日常自我呈现方式以及对他人的印象和理解所产生的影响的过程。

参与者指出,与没有反馈的传统自我视频相比,他们对FaceValue的感知参与度有所提高。他们感到使用FaceValue将偶发的自我检查转变为频繁的(10/13)且持续时间更长的(7/13)自我查看。例如,P3描述了FaceValue如何促使他们在会议期间监控自己,而不仅仅是在初始设置时:"我肯定看自己看得更多了,因为我觉得,当我加入会议时[没有FaceValue],我会确保一切看起来正常。如果在会议中间我说点什么,不确定该看哪里,我就看看自己。但有了FaceValue,我觉得它在推动我更多地看[自己]。" P3

许多参与者(8/13)暗示是FaceValue的微妙提醒促使了更频繁的自我检查。参与者的日记也表明,与常规远程会议体验相比,他们感到更常查看自己(3.85 ± 1.01,略有同意)。这种对自我视频参与度的提升是否具有目的性和实用性,将在下文讨论。

参与者传达了一种印象,即增强型自我视图将他们的注意力转向了视觉非语言线索的沟通意义。参与者报告说,FaceValue使他们对通过面部表情和头部动作传达的潜在含义更加关注(10/13参与者;46/65条日记条目)。他们分享道:"我认为FaceValue增加的是,以前我看自己时,更多只是为了检查自己的样子。除非我特别关注面部表情,否则我无法判断自己在传达什么。" P6"与没有FaceValue的会议相比,我现在更关注他人如何注意到我的面部表情,以及我如何向观众表达自己的情感。得益于FaceValue,我持续关注视觉非语言线索。" P10

参与者感到,意义导向型反馈使他们能够注意到自己的视觉非语言线索是否传达与沟通意图一致的含义。例如,P3和P1报告说使用FaceValue帮助他们保持这种自我意识,以确保传达了他们对会议的投入:"FaceValue让我注意到我的注意力何时从看其他人身上移开了,这有时会对对方产生非常负面的影响。" P3"我需要确保自己作为项目部分负责人的身份处于积极投入的状态。所以有时候我会试图看FaceValue来获得这种感觉。" P1

同样,P9评论了FaceValue如何帮助传达情绪:"如果我在会议中看起来表情严肃,我会觉得不好。幸运的是,我不觉得红色框出现得太频繁。但当它出现时,我会想:'好吧,也许我不应该看起来不耐烦。'有时并不是我真的很生气,而是别人可能如何感知我,所以我会调整我的表情。" P9

这种对他人的沟通意图可能产生误解的主动评估表明,部分参与者可能已经开始对抗"透明错觉"——即错误地认为自己内心的状态会被他人清楚理解(表1–T4)。关键在于,参与者表达这种自我意识聚焦于非语言面部表情所暗示的沟通意义——即使他们在不发言时也是如此。

部分参与者报告进行了更广泛的意义导向型自我呈现反思。

上述即时性的觉察可能导致对自身的线索可能如何在更广泛的范围内被解读进行更深入的反思,跨越不同的会议、角色和受众;以及对自身行为习惯的反思。例如,P2描述了FaceValue如何促使他们重新考虑视觉非语言线索在与他人互动中的作用:"我对自己学到了很多。在FaceValue之前,我一直以为我不会在意自己的行为。我可能就会面无表情地坐在那里。但有了FaceValue,我意识到做出更多努力让自己看起来投入的重要性。" P2

这表明,FaceValue培养的自评意识帮助这位参与者反思他们的非语言表情在日常互动中如何传达意义。部分参与者报告开始重新评估自己的表达习惯,不仅是对工具的反应,而是反思自己通常被他人如何看待。

**挑战:算法误解可能阻碍洞见。** 大多数参与者(8/13)描述了检测功能的可预测性足以实现实时感知,并认为FaceValue的反馈有用且可操作(8/13;19/65条日记)。例如:"我觉得非常有用的一点是,我能看到我在深思时看起来真的很困惑。我觉得这帮助我沟通'这部分有点困惑,你能解释一下吗?'" P4

然而,一些人指出了FaceValue对他们的线索解读方面的挑战。P8报告说:"每当我思考时,它总倾向于将我标记为负面情绪,无论出于什么原因,即使这不是我的本意。" P8

对P12来说,识别功能似乎是随机的:"我无法弄清楚它在积极或负面情绪方面试图检测什么。对我来说这似乎完全是随机的,所以我无法辨别其中的规律。" P12

在这些情况下,参与者无法将FaceValue的反馈与自己的线索协调一致,并将此归因于难以理解算法做了什么以及为什么这么做。P8的引述表明,仅靠反馈不足以触发有用的自我意识,而P12则指出了不可预测性如何可能完全阻碍有意义的洞见。

**挑战:持续反馈容易导致自我监控疲劳。** 虽然持续叠加可能增强部分人的感知,但对其他人来说可能令人疲惫。几位参与者(P1、P2、P3、P8)报告说,FaceValue由于解读其叠加层所需的额外注意力而增加了疲劳或心理负荷。然而,P3指出任何增加的负荷都可能是积极的:"就认知负荷而言,可能有所增加。但同样,我认为这是好事:这意味着我对会议中正在发生的事情投入了更多注意力。" P3

P4报告说,他们刻意减少了查看反馈的频率,以避免感到不堪重负。这些观点表明,用户在对FaceValue的益处与持续自我监控的心理开销之间取得平衡时存在差异。

**小结。** 参与者的报告表明,FaceValue的使用可以支持有目的的自我监控,鼓励反思视觉非语言线索可能如何被他人解读。对许多人来说,这种自我意识是有益的。然而,其他人发现FaceValue不可预测或难以解读,限制了他们从该工具中获得的洞见。一些人还报告说,额外的监控增加了精神疲劳,引发了关于提供持续反馈以改善沟通与处理此类反馈的认知成本之间权衡的问题。

**6.2 从自我意识到行动**

研究问题2提出:参会者如何描述他们试图对意义导向型反馈采取行动以重新调整其可见线索?参与者报告说利用FaceValue的反馈来强化或纠正视觉非语言线索,这些调整被认为对他人产生了积极影响。虽然FaceValue的建议性反馈普遍被认为可操作,但参与者报告了一些缺乏指导的情况下他们不确定如何回应的情形。

**意义导向型调整与重新对齐。** 参与者报告说根据FaceValue的反馈调整视觉非语言线索,以使线索与沟通意图更好地一致。他们描述在注意到颜色变化或叠加后立即采取行动(6/13;17/65条日记条目),这些提醒他们线索的突然变化。

"我只是在听[……]有时候我意识到我没有在专心,但当我通过FaceValue看到负面指示时,我调整了表情,这样我就不会显得负面对待。" P6

"如果有突然的变化,尤其是当红色出现时,我会立刻看看自己,然后重新调整,对吧?纠正方向。[……]我会将红色解读为'哦,我的举止出现了突然的负面转变',所以[我会]看看自己,然后立刻重新调整。" P5

"我想保持积极,但当FaceValue显示黄色时,我想'我不想显得中立',所以我把表情变得更积极,以便清晰地传达我的意图。" P10

这些例子说明了FaceValue在识别非自愿的表情漂移(P6)、不一致的线索(P5)或信号过于微妙而看不到(P10)方面的价值,允许立即进行调整。参与者还报告说有意放大某些线索以触发与沟通意图一致的叠加。P5描述了这样一次经历:"当我点头时,我能看到我是在点头还是没在点头[通过看到脸周围的线条]。因为这种反馈,我可能会[有意]比平时点头更多。" P5

**调整视觉非语言线索对他人感知的影响。** 除了通过对齐线索实现更清晰的沟通外,一些参与者认为由于这些调整,他们看到他人对他们的感知发生了积极变化。虽然我们未能与会议中的其他参会者确认这种感知,但有三位参与者明确将FaceValue引发的调整与改善印象或沟通清晰度联系起来。例如:

"面试官说我很可爱又聪明,他们很兴奋能通过这个过程与我合作。[……]由于FaceValue,我的实时面部表情强化了我在口头表达的 enthusiasm。" P2(日记条目)

"我在 点头,FaceValue检测到我正在点头。我觉得,是的,我确实想点头。所以我实际上点头更多了。而我的参与者注意到了,因为他明显对我 的动作微笑着。所以那时候我感觉到[FaceValue]确实发挥了作用。" P13

**挑战:意识不一定能转化为可操作的行为。**

虽然 FaceValue 帮助参与者对其面部表情产生了自我意识——帮助他们注意到并纠正自身的线索(8/13)——但部分参与者(3/13)明确表示不确定应如何回应其提示:"我没有太关注那些图标。它们并不分散注意力,但也没什么特别有帮助。"P7"当界面会根据头部动作做出反应时,这到底是好还是不好?我该怎么做?我应该动更多还是更少?"P8这些评论与 Chow 等人 [18] 的研究一致,该研究同样发现部分参与者对于如何应对工具提供的引导和指示感到不知所措。

总结。FaceValue 可能帮助参与者通过谨慎使用面部表情和头部动作来有意识地引导互动,这可能体现了行动中的客观自我意识 [23]。然而,部分参与者不知道是否以及如何仅凭反馈来调整自己的线索,这引发了关于建议性反馈的可操作性的问题。

6.3 持续反馈在某些时候是有用的……

我们的 RQ3 问道:会议特征(例如重要性、正式程度)如何影响人们对反馈在有用性和分散注意力方面的感知?持续提供关于自身视觉非语言线索的反馈并不总是相关的或恰当的 [16],这也是先前工作 [18] 提出的问题。我们发现,在专业情境中进行自我监控尤为重要,但对于与亲戚和朋友的非正式互动则不那么相关。

自我监控在高重要性和任务导向的会议中被认为很重要,而在与熟人的非正式会议中则不那么重要。参与者(7/13)认为 FaceValue 在重要性高或任务导向的会议中特别有帮助,例如面试和团队项目,在这些场景中一个人的举止很重要。例如,P4 在冲刺阶段欣赏该工具,P6 则在大型聚会中使用:

"那是一次大型会议,有很多人在场。[……] 即使我没有说话,如果对方在说话而我同意,我也想要传达我表示赞同。所以我会监控自己。我看看 [FaceValue],这很有帮助。"P6

同样,P5 在紧张或敏感的讨论中重视该工具:

"在紧张的会议中,[知道] 我给对方的印象如何对我来说尤其重要。我可能没有太多时间看我的 FaceValue 窗口,因为我很专注于对话。但是,如果我的表情突然发生变化,就会出现那个弹出提示,绿色或红色的那个。所以这很有帮助,因为它提醒我进行调整。例如,如果我感到紧张然后看到红色弹出,我会想:'哦不,我看起来好紧张。' 然后我就会调整一下。"P5

这些内容表明,FaceValue 提供的自我意识如何为他们的印象管理努力提供了清晰度。P9 还发现该工具有助于在遇到不熟悉的人时支持其有意识的印象管理:

"我觉得如果你对一个人不太熟悉,它可以帮助你确保在通过非语言方式沟通时做得恰当。"P9

四名参与者认为在休闲或个人会议中反馈不太相关;P10 描述道:

"如果你在非正式会议中,比如和朋友或家人聊天,当然,真诚和不冒犯他人很重要,但你可以做你自己。"P10

总体而言,即使不需要主动进行自我监控,除了两名参与者外,所有其他参与者都表示他们更偏好增强视图而非普通自我视图或无自我视图(见图 5)。

图 5. 后研究问卷中收集的参与者自我视图偏好。

堆叠柱状图显示,4 名参与者强烈偏好 FaceValue,7 名偏好 FaceValue,2 名持中立态度。对于普通自我视图,5 名参与者偏好它,8 名持中立态度。对于无自我视图,3 名参与者强烈反对,9 名反对,1 名持中立态度。

总结。FaceValue 被认为在那些通过视觉非语言线索的细微沟通可能产生影响的会议情境中最有价值,例如在面试中给人留下印象或促进团队清晰沟通。

6.4 设计反思

我们的部署研究使我们能够深入了解 FaceValue 背后设计选择的作用和影响。以下我们将结合全面反馈、建议性提示(而非规定性提示)以及私密叠加设计来讨论参与者的观察。

**支持全面的自我监控。** 通过将参与者的面部覆盖上由多种信号得出的漫画风格线索(图 3),我们的设计旨在鼓励对自身表情进行全面、广泛的意识,而非仅隔离特定面部信号实例的分析性意识 [10]。十名参与者使用全面的语言而非分析性的语言来描述他们的线索。例如,P1 说"我看起来很有投入感",P11 说"积极的情绪"。偶尔,这些参与者会使用分析性术语来描述其面部表情或头部动作的总体状态。相比之下,P8、P13 和 P12 主要描述调整特定面部部位作为他们的目标,表明更偏向分析性的关注点。例如,P13 说:"当我点头并且 FaceValue 检测到我在点头时,我觉得自己确实想点头,所以我实际上点头更多了。"

**支持可预测、值得信赖的自我监控。** 承认面部表情识别(FER)的局限性,我们的方法接受不完善的传感器读数及模型以创建有意义的用户交互,将模糊性视为一种资源。这仅部分成功:8/13 的参与者认为检测的可预测性足以进行实时意识,尽管偶尔会有误报,而其他参与者则认为反馈过于不可预测。P8 和 P9 指出:

"我觉得每当我感到困惑时,FaceValue 大概会把我显示为生气。[……] 每当它与我实际的行为不一致时,我就会有一段时间不看它。"P8

"我确实觉得可能有几次误报,比如如果我稍微倾斜头部,它就会认为我在摇头,但通常很快就会消失。因为这些反应都是短暂的,我觉得误报其实没什么大不了。而且我觉得你可以自然地适应这个过程,只是再等一会儿[让效果消失]。"P9

尽管 FaceValue 在可信度方面获得了积极的整体感知(13/13),但仍有个别情况反馈过于模糊而无法操作。对一些人来说,这很容易忽略,尤其是因为该反馈是私密的。对于两名参与者,这可能削弱了此类系统感知到的价值:2 名参与者(P8 和 P12)对远程会议中普通自我视图的评分更高(略微偏好),而 FaceValue 评分为中立;P12 对无自我视图的评分也持中立态度,而 P8 则强烈反对无自我视图。这两名参与者明确将 FaceValue 描述为分散注意力的(P2、P12),主要是在与特定低重要性或非正式会议相关的情况下,他们觉得这比他们认为必要的引发了更多的自我监控。除此之外,准确性和可操作性的问题似乎并未削弱 FaceValue 的总体实用性。这些描述与我们将模糊性作为设计资源使用的意图一致:对许多参与者来说,叠加层的模糊性似乎使 FER 的不准确性变得可容忍,而非对工具感知实用性的致命打击。

**通过私密叠加层保护用户隐私。** 我们使用私密叠加层作为视觉效果的呈现方式,因此只有用户自己可以看到关于其视觉非语言线索的反馈。因此,围绕隐私的顾虑并未成为主要障碍。十名参与者报告在这些条件下没有问题。P3 和 P9 总结道:

"如果我看到的 [FaceValue 视图] 也会被发送给接收者,我可能会有第二重疑虑。我觉得,'这是一个我可以选择不理会,或者选择利用该信息来确保自己仍处于掌控状态的指标。'"P3

"我最初有点担心隐私问题,但我认为本地设置大大缓解了这些问题。"P9

一些人(3/13)仍然承认如果叠加层被意外分享或者组织者可以访问 FaceValue 数据时的假设风险,强调了用户对可见性的控制权的重要性。

7 讨论

我们的研究结果凸显了 FaceValue 通过面部表情和头部动作的实时反馈来引发意义导向自我意识的潜力。我们结合现有理论讨论了这些结果,概述了对未来系统的启示,并回顾了本研究的范围和局限性。

7.1 为客观自我意识增添细微之处:从感知到调整

参与者报告说,外部线索(叠加反馈)使监控感觉更频繁,并将他们的注意力转移到了被监控的内容上。他们描述了更多地反思自己的表情可能会如何被他人解读。通过客观自我意识(OSA)理论来解读,我们将 FaceValue 视为一种计算工具的例子,它可以通过持续的实时叠加层(DG3)支持从表面检查到意义导向检视的自我监控转变(DG1)。相比之下,先前的 OSA 研究强调在注意到自己作为社会对象时进行内部自我评估。

此外,实时反馈被体验为内部意识与表达控制之间的桥梁,参与者描述这种反馈促使他们在当下"修正"自己的视觉线索。从 OSA 的角度来看,这表明计算工具可以作为行为中介,帮助用户在现场应用 OSA。

这与 Chow 等人 [18] 的发现一致,他们的可瞥视侧边栏统计检测到的微笑、点头、眼神接触和姿态,从而增加了自我意识。根据我们参与者的报告,当反馈与视觉非语言线索丰富且富有解释性的本质更加一致时,参与者觉得不太需要盯着单一触发器看。这些报告补充了 Chow 等人的见解,在他们的研究中参与者通常以较窄的行为回应,如"不要微笑"或"多点头"。Chow 等人的研究旨在减少"非语言超载"和 Zoom 疲劳,导致他们偏向于分析性的、基于计数的方法。相比之下,我们的参与者使用了描述其目标和意图的高层次词汇。例如,P1 报告说自己希望看起来更"投入",P11 则希望表达更多"积极的情绪"。我们在 FaceValue 中采取的设计方法邀请参与者考虑非语言行为中沟通性、意义导向方面的整体性解释。参与者以"意义"而非易于计数的行为进行推理,后者有时作为这些意义的代理。

此外,保护隐私的设计选择,如设备端处理和私密叠加层,受到了高度赞赏。保证用户完全控制谁看到反馈以及何时看到,可以降低情感风险,因为用户可以选择参与或忽略反馈。

设计启示 1:细微的视觉反馈可以增加自我监控的感知沟通有用性。系统应通过保护用户自主权和情感安全性的私密反馈,同时支持有意义线索的感知(意识)和实施(调整)。

7.2 通过反思性意识打破透明度错觉

参与者的评论表明,FaceValue 打破了一种默认的假设,即他们的沟通意图对他人来说是显而易见的。这可以被解读为支持并拓展了关于透明度错觉的先前研究,该研究认为人们会高估自己的内部状态被外部感知的程度。我们的参与者并非直接报告过度自信,而是事后意识到自己的表情可能已被误解,这暗示这种错觉可能并非源于自信,而是源于缺乏注意力。这回应了 RQ1。

因此我们提出,提高对解读可能性的意识(DG1)可能是打破这种错觉的重要前驱。FaceValue 在没有评判或暴露的情况下做到了这一点,表明了一种反馈工具的方向,可以在不增加压力的情况下提高沟通清晰度。

设计启示 2:反馈工具可能有助于打破透明度错觉,通过促使用户反思视觉非语言线索可能会被他人如何解读。

7.3 解读反馈:个体用户如何理解 FaceValue

参与者以不同的方式解读和回应来自 FaceValue 的反馈。大多数参与者认为 FaceValue 的可预测性足以形成自己的解读(DG2),尽管其他人则在解读其反馈方面感到困难。这些反应呼应了 Gaver 关于模糊性作为设计资源的概念 [30],即如果部分信息能够引发解读,那么它就是有价值的。这种设计上的模糊性似乎让参与者更深入地与 FaceValue 的叠加层互动,使参与者能够形成更全面、更广泛的意义,如"看起来很投入"、"积极的"。正如预期那样,虽然我们的结果显示部分参与者将模糊性视为反思的提示,但其他人则将其视为清晰度方面的失败。因此,设计者需要仔细考虑用户背景和认知负荷,或许可以提供调整粒度或解释程度的模式、具体指导或会前培训,以适应不同的用户需求。

会前培训可以特别侧重于建立对什么构成有效视觉非语言信号的共同理解,从而提升 FaceValue 所提供反馈的可操作性。总体而言,参与者强烈倾向于 FaceValue,而非纯自我视角或无自我视角。这表明,含蓄而具有提示性的反馈,在私密的情况下,可能比缺失反馈或粗糙的监控更可取。然而,我们的发现也表明,为了服务于更广泛的人群,系统应考虑用户的解释带宽。未来的系统可采用自适应模式来适应用户的需求、偏好和认知负荷。设计启示 3:有效的面向意义的自我监控系统应能动态适应用户当下的解释带宽。

7.4 情境依赖的效用
FaceValue 的效用因情境而异。参与者强调 FaceValue 在正式或高风险会议中最为有用。这种对情境依赖的效用感知直接回应了研究问题 RQ3。该发现与媒体丰富性理论 [20] 一致,该理论认为模棱两可和复杂的任务受益于更丰富的沟通渠道。综合来看,我们的结果通过对实时细化视觉非语言信号如何有助于从给出信号者角度弥补沟通丰富度的实例,说明了这一理论。

参与者还发现 FaceValue 在关系模糊的情境中(例如与不熟悉的人交流时)很有帮助,这与社会信息处理理论(SIP)[103] 一致。他们报告在轻松对话中几乎不使用它,表明关系的重要性调节了感知到的效用。

综合来看,这些发现表明 FaceValue 在以下情况下最有价值:(1)利害重大时;(2)关系动态不确定时;或(3)任务需要清晰且细致的沟通时。然而,在轻松或低利害关系的情境中,FaceValue 有可能显得侵入性过强或令人分心("像 Clippy 一样")。

任务-技术匹配理论(TTF)[33] 有助于解释参与者的印象。在低利害关系的情况下,任务要求也较低,因此启动并关注 FaceValue 的可感知收益可能很小。在这种情况下,启动成本可能显得很高,用户可能选择放弃使用 FaceValue。相反,在高风险或模糊的情境中,FaceValue 提供的收益可能被认为超过了启动成本,使其使用看起来物有所值。

在 TTF 的指导下,我们还可以避免"像 Clippy 一样"的侵入。我们的结果表明,参与者在真实世界会议场景中遇到的任务特征与技术的特征相匹配,产生了任务-技术匹配。在高匹配条件下,该理论预测(1)更高的使用率和(2)改进的性能影响(以使用为前提),这些正是我们希望观察到的效应。相应地,当任务特征与技术能力匹配时,FaceValue 应被显示并易于调用,否则应淡出以避免添加不必要的复杂性。

因此,设计者应确保反馈具有情境敏感性和适应性,只在支持用户目标并增强而非中断对话流程时出现。

设计启示 4:有效的面向意义的自我监控系统应努力鼓励更真实的视觉非语言表达,同时动态适应用户的情境。

7.5 伦理关切
在远程会议中提供面部表情反馈时会产生一些伦理考量。本节概述关键关切,并讨论 FaceValue 中的设计选择如何试图解决、使这些问题复杂化或限制其影响。

FER 表情标签的文化规范性。面部表情识别(FER)系统通常依赖源自特定文化语境的标签,这会对视觉线索强加规范性的解读,风险在于将文化多元的表达形式扁平化为单一解读。FaceValue 通过采用有意的基于颜色的覆盖层而非固定的情绪标签来缓解这一担忧,允许用户以符合自身沟通规范的方式解读反馈。然而,模糊性并不能消除训练数据中固有的文化假设。未来工作应探索基于文化情境的校准或针对用户的定制化解读。

神经多样性和非典型表达。许多神经多样性个体(包括自闭症谱系人士)在产生或解读面部表情方面存在困难 [100]。暗示某种"典型"表达基线的系统可能无意中强化并非适合所有用户的规范。FaceValue 的反射式提示可能有助于阐明他们的表情在远程环境中可能如何被他人感知。与此同时,此类反馈可能会增加他们符合神经典型表情的压力,从而可能导致情感劳动或掩饰行为。尚需进一步的工作来理解在何时、对谁而言,此类反馈是支持性的而非负担。

真实性、表演性、依赖性与情感劳动。突出潜在错位时刻可以支持希望在高风险情境中以更大清晰度沟通的用户。然而,对个人外貌的反馈也可能鼓励表演性的自我监控,导致经过修饰或"上镜"的行为,这可能感觉不够真实。虽然 FaceValue 被设计为反射式辅助而非纠正工具,但它仍可能引发增强的自我意识或情感劳动 [68],尤其是在长时间或要求高的会议期间 [5]。因此,用户可能会发展出依赖性,即失去其天生的自我监控技能并拒绝在缺少 FaceValue 的情况下参加会议。那些旨在增强清晰度的系统因此必须平衡这一目标与支持真实且可持续的自我呈现的需求。

综合来看,这些关切将 FaceValue 定位为一种自愿的、反射式的辅助,而非关于个人外貌真相的来源。任何部署都应明确该系统的模糊性、局限性和可选性质,确保用户能够判断此类反馈是否有帮助,并可根据交互情境轻松选择加入或退出。类似地,部署可以让系统(或其反馈)出现得不太频繁,将其框架为一个训练工具而非始终可用的镜子。

7.6 局限性与未来工作
我们目前的研究聚焦于 n = 13 名参与者,其中大多数是适应自我视角的学生和研究人员。未来工作应纳入人口统计特征、职业角色和对视频舒适度更多样化的参与者,以研究非规范行为(例如关闭摄像头的参会者 [6])并检验面向意义的反馈在不同情境中是支持还是干扰沟通。

虽然我们获得了参与者针对研究问题的丰富洞察,但我们使用了内部测量手段收集通过对话一侧获得的定性主观数据。因此,我们承认未提供行为变化或群体层面效应的客观证据这一局限。我们的参与者可能会夸大或低估效应,或误读他人的反应,他们的陈述应被视为情境性的主观解读而非关于行为的真相。本研究只能依赖基于理论的推测和参与者的直接引用来评估 FaceValue 在改进对线索或群体动态的理解方面提供了多少益处。

为弥补这一局限,未来工作可以捕捉更丰富的行为数据并考察长期使用。研究人员可以探索在受控条件下收集更丰富交互数据的隐私保护混合部署,以允许详细分析参与者如何实时与反馈互动。跨越多种会议类型的纵向研究还可以调查态度和行为如何随时间变化以及持续暴露是否带来自我意识和线索调整的持久改进。类似地,未来工作可以超越自我报告来考察群体层面的效应。评估可以通过将自我报告的发现与外部度量(例如其他会议参与者的直接反馈、对话结果或第三方对沟通有效性的评分)相结合来交叉验证,以提供更强的影响证据。这将拓展视角超越焦点用户,揭示反馈系统如何影响群体动态、共同理解和会议结果。

最后,未来工作可以明确研究特质层面的自我监控个体差异,以及它们与 FaceValue 支持的行为如何相互作用。例如,特质自我监控较高的人可能将 FaceValue 视为微调自我呈现的有用资源,而特质自我监控较低的人可能发现同样的反馈令人分心或不必要。尽管我们的研究没有直接测量该特质,但我们的发现也表明一些参与者比其他人更关心持续自我监控。特质层面自我监控的这些差异可能有助于解释为何一些参与者不喜欢使用 FaceValue。在偏好测试中同时测量特质自我监控和行为及体验结果将允许我们将这一混淆因素考虑在内。此类测量还将使我们能够估算特质自我监控相对于基线度量对行为变化的效应量。类似地,未来工作可以探索系统如何为来自不同文化背景的用户或神经多样性用户进行调节或校准。

8 结论
本研究提出了 FaceValue,一种轻量级的自我视角增强设计,旨在支持远程会议中的面向意义的自我监控。基于客观自我意识、透明错觉和社会信息处理理论,我们探讨了面部表情的实时、提示性反馈如何增强参会者对其视觉非语言线索的感知意识和调整。

我们在十三名知识工作者中进行的真实环境部署揭示,参与者不仅认为自己更频繁地自我监控,而且认为自己已经将注意力从表面外貌转移到其线索的沟通意义上。这种增强的意识在许多情况下可能转化为有意的实时调整,改进了参与者对自己如何被其他参会者感知的看法。重要的是,反馈的解读因用户和情境而异(这指向选择性、情境依赖的部署,而非作为始终开启的解决方案)。虽然高风险和目标导向的会议增强了 FaceValue 的效用,但轻松或熟悉的对话往往使其相关性降低。参与者还强调了在开发远程会议支持工具时隐私保护等设计特征的重要性。我们基于研究结果提出了四项设计启示,可为未来的远程会议系统设计者提供信息。

致谢
本研究得到了 Meta Reality Labs、国家科学与工程有限公司(RGPIN-2018-05072)以及多伦多大学信息与科学院和计算机科学系的支持。我们还要感谢动态图形项目成员的宝贵建议与帮助,以及用户研究参与者的贡献。我们也感谢 Jens Emil Sloth Gr?nb?k 教授在项目早期阶段的有益讨论。

我们承认使用了 OpenAI 的 ChatGPT 进行文本校对以及开发 FaceValue 时的代码重构/优化。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号