FaceValue：探索实时自我视图叠加技术，以促进远程会议中以意义为导向的自我意识

《Proceedings of the ACM on Human-Computer Interaction》：FaceValue: Exploring Real-Time Self-View Overlays to Prompt Meaning-Oriented Self-Awareness in Remote Meetings

　　摘要AI总结：要查看此由AI生成的摘要，您必须具有高级访问权限。了解更多信息请登录。

摘要：在远程视频会议上，诸如面部表情或头部动作等视觉非语言线索会持续出现，但往往只能部分观察到。这与面对面交流相比增加了模糊性，可能导致误解或感知意义与实际意图之间的不一致。受通信理论启发，我们设计了FaceValue这一技术工具，它通过私密的实时覆盖层来增强自我视角。这些覆盖层是微妙的提示，旨在帮助参与者反思他们的线索可能被他人如何解读。为了促进个人解读，FaceValue避免了对行为的标签化，而是致力于支持以意义为导向的自我意识：识别可见线索可能无意中（错误地）传达的意图。我们在实际环境中对13名知识工作者使用了FaceValue，持续数周，收集了他们关于自我意识和行为的感知变化，以及他们对设计概念的反馈（通过日记条目和离职访谈获得）。参与者表示，FaceValue提高了他们对可能不一致线索的意识，并激励他们在会议中做出调整，他们认为这改善了与其他参与者的沟通。

AI生成的摘要（实验性）：该摘要是使用自动化工具生成的，未经过文章作者的撰写或审核。它旨在帮助发现、评估相关性，并帮助相关领域的读者理解这项工作。它作为对作者提供的摘要的补充，后者仍然是论文的权威版本。点击此处了解有关该摘要的准确性、清晰度和有用性的反馈。这将有助于改进未来的版本。要查看此由AI生成的通俗语言摘要，您必须具有高级访问权限。

1 引言：在参加远程会议时，我们不仅通过说话来传达意义，还通过外在表现来传递。我们的面部表情、头部动作和手势都是可见的，其他参与者会利用这些视觉非语言线索（如点头、皱眉或微笑）来理解我们的感受和想法[7]，决定如何回应，并引导对话的方向[70, 71, 103]。远程会议使得参与者更难解读彼此的视觉非语言线索。较小的视频窗口和裁剪的身体视图可能导致一些线索被忽略或误解[20]。当参与者遇到不完整或模糊的线索时，他们可能会自行填补这些空白，有时会出错[9, 39, 52]。这可能会妨碍协作：皱眉可能会让人过早地否决一个好主意，或者缺乏明显的反应可能会被误解为同意。鉴于远程会议的普遍性[109]，我们提出这样一个问题：如何帮助会议参与者提高对自己在远程会议中非语言行为的自我意识？大多数远程视频会议工具都内置了自我视角功能，允许参与者同时看到自己的视频流和其他参与者的视频流。看到自己的画面可以帮助自我监控[23]；然而，有两个方面需要考虑。首先，人们常常误以为他人能够轻易感知到他们的内心情绪状态——这种现象被称为“透明错觉”[31]。其次，当参与者使用自我视角时，他们往往更关注自己的外观，而不是自己的表情所传达的信息[17, 58]。我们的工作旨在帮助参与者注意到并反思他们的线索可能向他人传达了什么，我们将其称为以意义为导向的自我意识。有了更好的意识，参与者可以在需要时选择调整自己的线索或进行口头澄清。

先前的研究表明，突出某些视觉非语言线索的系统可以帮助个体更加意识到自己的非语言行为。Chow等人[18]引入了一个侧边栏界面，通知用户关于微笑、点头、注视和姿势等低级非语言行为的变化（及其出现次数）。这些实时信息帮助用户更加关注自己在远程会议中的表现。虽然Chow等人关注的是从用户自身的角度监控低级行为，但我们采取了一种补充方法，即提出一个自我反思的问题：他人可能会如何感知这些行为，特别是在沟通意图方面的感知？我们的工作不仅检测到了线索的存在，还揭示了它们可能的解释。这种实时反馈帮助用户意识到他们可能无意中发送了错误信号，并在瞬间调整自己的行为。我们的目标是支持人们保持这种以意义为导向的自我意识。

为了探索以意义为导向的自我意识的概念，我们 propose 通过私密的实时覆盖层来增强自我视角，当这些线索可能向他人传递意义时，这些覆盖层会突出显示这些视觉非语言线索。为了实现这一方法，我们基于通信和设计理论（第2节）制定了设计目标（第3节）：检测可能传达特定意义的非语言线索，并通过实时覆盖层鼓励用户反思这些行为。为了研究以意义为导向的自我监控如何影响参与者在各种会议情境中对非语言线索的意识和调整，我们通过技术工具FaceValue实现了这些设计目标，该工具可以分析面部表情和头部动作，并通过私有的漫画风格覆盖层增强自我视角，从而激发参与者自身的以意义为导向的自我意识（第4节）。我们在实际环境中对13名知识工作者使用了FaceValue（第5节）。参与者在常规的远程会议中使用了FaceValue，无论是专业会议还是非正式会议。我们的关注点是通过参与者自我报告的日记条目和会后半结构化访谈，了解FaceValue对其意识和行为的感知影响。参与者在一到三周的时间内，在五次会议中使用了FaceValue。我们的研究重点关注以下问题：

RQ1：关于个人视觉非语言线索潜在解释的实时反馈如何帮助远程会议参与者注意到他们的行为可能与他们的沟通意图一致或不一致？
RQ2：参与者如何描述根据以意义为导向的反馈进行调整，以使其可见线索与其沟通意图一致？
RQ3：会议的特点（例如，风险、正式程度）如何影响参与者对反馈有用性和潜在干扰的感知？

参与者认为，使用FaceValue使他们更有意识地观察自己的视频表现。他们报告说，能够更清楚地注意到屏幕上的行为可能与他们的意图不一致的时刻。他们还强调，在高风险或目标导向的会议中，FaceValue最为有用，因为这些会议中对沟通清晰度的要求更高。这些发现表明，私密的、比喻性的覆盖层可以为参与者提供一个临时的参考点，以监控和调整他们的视觉非语言行为，支持以意义为导向的自我意识，而不会强加规定性的反馈。

我们的贡献包括：
(1) 概念框架。我们将视频中的视觉非语言线索视为强化预期意义的一种方式，同时认识到它们也可能无意中传达出非预期的意义。通过这种概念化，我们强调了以意义为导向的自我反馈的必要性。
(2) FaceValue，一种轻量级技术工具，旨在通过私密的、漫画风格的覆盖层来促进以意义为导向的自我意识和反思。
(3) 来自13名参与者的实际应用中的经验洞察，表明参与者认为以意义为导向的反馈可以帮助他们将自己的表情与意图对齐。我们讨论了FaceValue最有效的场景，并基于对潜在非预期后果的反思，概述了对未来情境敏感的会议工具设计的启示。

2 背景：首先，我们概述了支撑我们工作的通信理论（表1）。然后，我们讨论了远程会议中自我监控的相关工具和当前实践，重点是自我视角。我们还回顾了支持解释视觉非语言线索的先前系统。

2.1 理论基础：远程会议中的视觉非语言线索
视觉非语言线索，如面部表情、手势和头部动作，是 communication 的重要组成部分[7]（表1-T1）。这些线索表明了理解，丰富了口头表述，并传达了对对话内容的态度[1, 47]。为了支持有效的沟通，视觉非语言线索理想上应该是清晰且与个人意图一致的。然而，这些线索本质上是模糊的（表1-T5,T6）：不同的观察者可以从同一个线索中得出不同的含义[1, 4]，并且这些感知的含义可能并不总是与个人的沟通意图一致[32, 105]。由于人们往往高估他人对自己线索的理解程度（表1-T4），他们可能不会自觉地优化他们的线索。这可能是一个问题，因为研究表明，个体经常依赖视觉非语言线索来解释沟通意义，有时甚至比言语更信任它们，尤其是在两者冲突时[70, 71]。

表1. 理论在本文中的角色
T1 交流的互动模型 [7] 一般交流 解释了为什么即使在有口头线索的情况下，视觉非语言线索仍然相关。
T2 媒体丰富性理论 [20] 会议媒介 强调远程会议媒介可能会妨碍视觉非语言线索的有效传递，从而降低沟通的丰富性，并可能增加这些线索解释的模糊性。
T3 目标自我意识 [23, 108] 提示参与者 描述了个体在交流过程中如何关注自己，影响了他们的表达行为的意识和调整。
T4 透明错觉 [31] 提示参与者 解释了个体如何高估他人对其内在状态和意图的感知准确性。
T5 社会信息处理 [103] 感知参与者 描述了人们如何在中介互动中从可用信息源中适应性提取和解释线索。
T6 不确定性降低理论 [9] 感知参与者 解释了个体如何通过解释可用线索来减少不确定性，有时会导致过度解读或偏见。
T7 作为互动的情感 [10] 设计视角 鼓励将情感表达设计为具有社会情境性和可解释性的，而不是静态的、可分类的信号。
T8 模糊性作为设计资源 [30] 设计视角 将模糊性视为一种促进反思和更深层次解释的生产性特征。

这些理论为我们对以意义为导向的自我意识的看法提供了背景。视觉非语言线索在 communication 中起着重要作用，但远程会议环境常常会减弱这些线索的作用。这种不确定性影响了感知线索的参与者，他们可能会误解模糊的线索，以及提供线索的参与者，他们可能不知道自己的线索是如何被感知的。我们的工作指出了支持参与者自我意识的差距，并基于理论和设计视角来指导我们的方法。由于媒体丰富性的降低（表1-T2），这种模糊性在远程会议中更加明显。视频窗口通常较小、拥挤或被裁剪，导致许多微妙的视觉线索丢失或仅部分传达[79]。由于人们本质上希望减少对他人情感或意图的不确定性，他们会积极地从这些有限或不清晰的视觉非语言线索中提取意义（表1-T6），无论是有意还是无意，只要启用了视频[103]。问题是，与解释缺失、部分或泄露的线索相关的填补空白的过程往往是有偏的[39, 52]，导致不准确的结论和误判。尽管误解通常被忽视且无关紧要，但实证研究表明它们会造成实际伤害。例如，一项研究表明，远程参与者表现出更多的负面情绪，并倾向于认为他人具有敌意[79]。错误归因也被证明会损害团队合作[107]。为了减少远程会议中的线索模糊性，人们尝试了精细化的符号线索，如表情符号反应、按钮点击反馈[2]，或明确的轮流意图显示[44]。另一种策略是只流式传输单一的视觉线索，如注视[38]，或机器解读的情绪状态[37]。虽然这两种方法都可以减少沟通噪声，但它们也会降低丰富性。对于简单的沟通任务来说，这种权衡可能是可以接受的，但在更复杂的任务中，它可能会增加不确定性[9, 20]。专业人士对视频（因此对视觉非语言线索）的偏好强调了在远程会议中支持这种沟通形式的重要性。

我们的方法采用了不同的方式来减少线索的模糊性。受到Chow等人建议的启发，即“从其他参与者的角度评估自己的非语言行为[可以]为采取行动提供信息”[18]，我们提供了私密反馈，显示参与者的线索可能如何被他人解读。我们强调，这种反馈反映了从自动化分析参与者自身线索中推断出的可能含义，并不包含会议期间其他参与者的实际解读数据，因为这些数据仍然是内部的。这种反馈旨在帮助个体考虑与沟通意图的潜在（不）一致之处，让他们自由决定是否需要任何调整。换句话说，我们的目标是通过激发提供线索的参与者的以意义为导向的自我意识，来鼓励自我评估和有意识的行动，从而减少模糊性（表1-T3）。

2.2 远程会议中的自我监控：在与他人互动时，我们自然会进行自我监控，即使我们的表达行为符合社会期望和沟通目标[93]。在本文中，我们从情境和行为的角度使用“自我监控”这一概念，即指在互动过程中时刻关注并调整自己的表达线索[59, 72]。这与最初将自我监控视为一种稳定特质的心理学概念[93]相关，但有所不同。后者描述了人们如何监控社交环境并调整自我呈现的个体差异，但并不指代任何具体的行为（例如，更频繁地观察自己的面部）。我们将在第7.6节回到这一区别，讨论特质自我监控可能如何影响人们使用我们系统的体验。在这种行为框架下，自我监控与对表达线索的自意识是相辅相成的。一些研究表明，对自身表达的意识可以帮助调整感知到的举止[23]和用户控制[87]，从而提高清晰度、增进融洽感[96, 102]以及加强关系沟通[73]。在远程会议中，专注于参会者面部的自我查看面板可以通过增强自我意识并允许实时调整视觉非言语线索来促进这一过程。然而，长时间通过自我查看看到自己的形象可能会导致疲劳、焦虑[5, 91, 92]、不适[22]或认知负担[87]。这些效果因人而异[56]，对某些人来说可能根本不会出现[49, 60]。然而，对于其他人来说，自我查看的某些方面可能会削弱其好处或引入额外的挑战。

心理学通常将自我意识视为正念的一个组成部分，通常与幸福感相关联[35, 95, 101]，这与自我查看可能会引发压力的报告形成对比[83]。有研究指出，自我查看常常会导致人们更加关注表面的线索，例如发型或背景[17, 58]，而这些在沟通中作用不大。基于这些见解，我们假设关注沟通线索（例如同意的表情）可能有助于实现更有目的的自我查看互动。我们的工作通过向自我查看中添加关于潜在沟通性视觉非言语线索的反馈（例如微妙的同意或困惑的显示）来探索这种方法，以此帮助参会者在远程会议中识别、解释和调整自己的线索。

虽然这不是我们的主要关注点，但我们注意到利用自我查看还可以保留这一视角带来的其他好处，例如在相机视野内协调与对话相关的对象[36, 45, 62, 63, 77]。这一沟通方面很重要，也是对我们关注视觉非言语线索的补充，尽管超出了我们的研究范围。

2.3 可视化视觉非言语线索
许多远程协作工具旨在可视化参与者的情绪或参与状态，以帮助解读群体动态。这些工具包括表情符号反应、活跃发言者的高亮显示[76]以及实验性仪表板[2, 8, 21, 26, 57, 67, 110]。虽然这些工具有助于群体意识，但对个人自我监控的支持有限。反馈通常是公开的，鼓励共享解读而非私人反思。我们的工作引入了一种个人反思工具来支持个体自我监控。

在处理视觉非言语线索时，我们可以考虑两种设计方法。在“情感作为信息”的范式下[10]，视觉非言语线索被视为可分类的数据[2, 8, 18, 21, 26, 57, 84, 110]。这里的可视化通常是字面的，使用标签或百分比分数来展示离散的、无上下文的观察结果，例如“过去两分钟内有三次点头”或“微笑的概率为55%”。这样的系统通常避免给出规定的指导（例如“现在点头两次”），而是采取非规范性的反馈方式，将行动计划留给用户。例如，Chow等人[18]展示了检测到的行为（如微笑或点头）的次数，但完全将解释留给用户，以保持表情的真实性。这种范式支持对面部表情的分析性感知[11, 16, 55, 88]，但可能会导致对面部表情识别（FER）准确性的过度自信[84, 111]。

相比之下，“情感作为互动”的范式（表1-T7）将视觉线索视为通过互动具有重要意义的信息。例如，AffectiveSpotlight[76]会放大视频流而不是对其进行标注，其他系统[43, 81]则通过环境反馈引发反思。这种范式并不一定优于“情感作为信息”的范式；每种范式都满足不同的用户需求。如果目标是快速、量化的意识，信息范式可能更合适。然而，如果目的是帮助用户全面、有意识地反思他们的线索可能被如何感知，那么互动范式提供了更具解释性的视角[10]。我们采用了后一种方法，通过向自我查看中添加关于潜在沟通性视觉非言语线索的反馈（例如细微的同意或困惑的显示），以此支持参会者识别、解释和调整自己在远程会议中的线索。

尽管这不是我们的主要关注点，但我们注意到利用自我查看还可以保留这一视角带来的其他好处，例如在相机视野内协调与对话相关的对象[36, 45, 62, 63, 77]。这一沟通方面很重要，也是对我们关注视觉非言语线索的补充，尽管超出了我们的研究范围。

2.4 识别视觉非言语线索
为了提供反馈，我们需要检测视觉非言语线索并推断它们的潜在含义。以往在远程通信方面的研究主要关注口头线索[41, 104]，但视觉非言语线索，尤其是面部表情，也同样关键[7]。情感计算的进步产生了面部表情识别（FER）系统，这些系统在有限基准测试中的表现可以与未经训练的人类评判者相当甚至超越[61]。然而，比较刻意和自然表情的开创性研究[75]警告说，基准测试中的优越性可能不适用于自然环境。FER已经应用于教育[94, 98, 110]、心理健康[29, 48]和机器人技术[53, 64]领域。FER通常使用分类模型（例如，快乐、愤怒[24]）或维度模型（情感-唤醒[85]）。分类模型适合寻求直接反馈的用户[89]，而维度模型可以捕捉细微差别。然而，FER的准确性取决于训练数据，这些数据可能缺乏现实世界的复杂性[51, 65, 74, 78]，且系统仍然缺乏上下文理解。隐私、人口统计偏见和其他伦理问题仍然存在[3, 82]，导致一些公司停止提供FER服务（例如，微软在2022年从Azure Face中撤出了情感识别功能[19]）。

为了平衡模糊的、反思性的反馈[10, 30]与这些挑战，我们只向参会者显示FER的输出，而不向其他人展示。这种私人反馈有助于参会者减少误解的风险，从而改进他们的表达。我们结合使用分类和维度输出来满足不同的偏好。我们关注面部表情和头部动作，因为它们在沟通中非常显著[1, 40, 86]。未来的工作可能会扩展到手部动作或姿势方面。

3 设计目标
基于理论，我们确定了两个激发我们方法的见解，并据此制定了后续的设计目标。(1) 人们倾向于高估他们的内部状态被理解的清晰程度（表1-T4）。我们假设提供支持这种理解的反馈可能会有所帮助，因为理论表明(2) 将自己置于注意力中心有助于调节性自我监控（表1-T3）。为了实现这一目标，我们将自我查看重新定义为一种积极、反思性的沟通辅助工具，以支持以意义为导向的自我意识。我们明确具体的设计目标：
• DG1：检测并呈现传达意义的视觉非言语线索。主动检测并突出那些对对话含义最显著的视觉非言语线索，帮助用户了解他人可能如何解读他们的非言语线索。这样做的目的是让用户将注意力重新集中在他们的外观的沟通方面，而不是表面的自我检查[17, 58]。我们的实现侧重于面部表情和头部动作——例如点头、皱眉和微笑——因为这些都是对话者用来推断情感状态和立场的线索[1, 40, 86]。
• DG2：提供微妙、暗示性的反馈。邀请用户的解读和反思，而不会对他们的内部状态做出明确判断。这样做可以避免规定规范行为[18]。鉴于FER并不完美，识别结果可能会有所不同。因此，我们将它的输出视为对视觉非言语线索的一种合理但可能有偏差的解读，而不是绝对的真实情况。受到“情感作为互动”范式的启发[10]，我们选择不采用严格的情感状态和立场分类（例如“你看起来很生气”），因为这些分类可能会强化过度分析性的自我监控。相反，我们遵循模糊设计的原则[30]，通过暗示性地展示检测到的视觉非言语线索来邀请更广泛的解读。例如，我们可以在自我查看中叠加温和的暗示性视觉提示，以引发用户的反思。

与我们工作最接近的是Novecs系统，它自动检测并显示用户的视觉非言语线索，以支持工作者在远程会议中的自我呈现[18]。我们的工作采用了类似的设计选择：以非规范的方式提供实时个人反馈，Chow等人的实验表明这可以提高参与者的自我意识[18]。受这些发现的启发，我们通过探索与线索模糊性相关的沟通理论（第2.1节）扩展了这一研究方向。首先，Novecs在侧边栏中显示面部和姿势线索的反馈——这是一种独立的仪表板形式[57, 110]。在这里，我们研究了现场叠加功能，因为它们可能帮助参会者将反馈与实时线索联系起来[80]。其次，Novecs专注于微笑、点头、注视和姿势的单独分析。我们的工作探讨了如何更全面地解读自己的视觉非言语线索，以及他人可能（误）解读这些线索背后含义的方式——这是Chow等人[18]提出的未来方向。最后，Chow等人的纵向研究专注于工作会议。我们采用了类似的方法，但邀请参与者在他们选择的会议中试验我们的工具，从而扩展了关于哪些类型的会议中以个人意义为导向的反馈可能有价值的见解。

2.4 识别视觉非言语线索
为了提供反馈，我们需要检测视觉非言语线索并推断它们的潜在含义。以往在远程通信方面的研究主要集中在口头线索上[41, 104]，但视觉非言语线索，特别是面部表情，也同样关键[7]。情感计算的进步产生了面部表情识别（FER）系统，这些系统在受限基准测试中的表现可以与未经训练的人类评判者相当甚至超越[61]。然而，比较刻意和自然表情的开创性研究[75]警告说，基准测试中的优越性可能不适用于自然环境。FER已应用于教育[94, 98, 110]、心理健康[29, 48]和机器人技术[53, 64]领域。

FER通常使用分类模型（例如，快乐、愤怒[24]）或维度模型（情感-唤醒[85]）。分类模型适合寻求直接反馈的用户[89]，而维度模型能够捕捉细微差别。然而，FER的准确性取决于训练数据，这些数据可能缺乏现实世界的复杂性[51, 65, 74, 78]，且系统仍然缺乏上下文理解。隐私、人口统计偏见和其他伦理问题仍然存在[3, 82]，这促使一些公司停止提供FER服务（例如，微软在2022年从Azure Face中撤回了情感识别功能[19]）。

为了平衡模糊的、反思性的反馈[10, 30]与这些挑战，我们只向参会者显示FER的输出，而不向其他人展示。这种私人反馈有助于参会者减少误解的风险，从而改进他们的表达。我们结合使用分类和维度输出来满足不同的偏好。我们关注面部表情和头部动作，因为它们在沟通中非常显著[1, 40, 86]。未来的工作可能会扩展到手部动作或姿势。

3 设计目标
基于理论，我们确定了两个启发我们方法的见解，并据此制定了以下设计目标。(1) 人们倾向于高估他们的内部状态被理解的清晰程度（表1-T4）。我们假设提供支持这种理解的反馈可能会有所帮助，因为理论表明(2) 将自己置于注意力中心有助于调节性自我监控（表1-T3）。为了实现这一目标，我们将自我查看重新定义为一种积极的、反思性的沟通辅助工具，以支持以意义为导向的自我意识。我们明确具体的设计目标：
• DG1：检测并呈现传达意义的视觉非言语线索。主动检测并突出对对话含义最显著的视觉非言语线索，帮助用户了解他人可能如何解读他们的非言语线索。这样做的目的是让用户将注意力重新集中在他们外貌的沟通方面，而不是表面的自我检查[17, 58]。我们的实现侧重于面部表情和头部动作——例如点头、皱眉和微笑——因为这些都是对话者用来推断情感状态和立场的线索[1, 40, 86]。
• DG2：提供微妙、暗示性的反馈。邀请用户的解读和反思，而不对其内部状态做出明确判断。这样做可以避免规定规范行为[18]。鉴于FER并不完美，识别结果可能会有所不同。因此，我们将它的输出视为对视觉非言语线索的一种合理的但可能有偏差的解读，而不是绝对的真实情况。受到“情感作为互动”范式的启发[10]，我们选择不采用严格的情感状态和立场分类（例如“你看起来很生气”），因为这些分类可能会强化过度分析性的自我监控。相反，我们遵循模糊设计的原则[30]，通过暗示性地展示检测到的视觉非言语线索来邀请更广泛的解读。例如，我们可以在自我查看中叠加轻微的暗示性视觉提示，以提示情感的变化。

• DG3：持续提供实时的、情境化的、连续的反馈。即时提供关于他人可能如何解读视觉非言语线索的反馈。这样可以实现即时评估，从而使发出线索的参会者能够根据需要进行迭代调整他们的视觉非言语线索或在对话过程中提供口头澄清，使其更符合他们的沟通意图。我们使用现场自我查看叠加功能来促进反馈与实时线索之间的联系[80]。

应用这些设计目标，我们将自我查看转变为一个积极的镜子，在需要时吸引人们对视觉非言语线索的注意（DG1）。我们提供暗示性的叠加信息，而不是规定这些线索对他人的可能含义（DG2），现场且实时（DG3）。这种以意义为导向的反馈方法旨在鼓励参会者反思，从而鼓励他们迭代调整自己的视觉非言语线索，以匹配他们的沟通意图。

4 FaceValue探针的设计与实现
我们将FaceValue实现为一个概念验证技术探针[46]，以探索人们如何体验和整合以意义为导向的反馈。FaceValue实现了我们的设计目标（DG1, DG2, DG3），以探索以意义为导向的自我意识。该系统通过检测面部表情和头部动作来解读用户的视觉非言语线索（例如同意、中立、困惑等），并增强参会者的自我查看，使他们意识到自己的表达可能被他人如何解读。例如，如果用户微笑，他们的头部会在自我查看中用绿色边框勾勒出来（图1），暗示（但不是规定）同意或积极的态度。对于某些表情或头部动作，用户的自我查看会显示叠加的图标或线条。例如，如果用户正在点头，他们会在脸部顶部和底部看到线条（图3）。系统还会监测表情的突然变化，并在发生重大变化时提醒用户——例如，当微笑或点头迅速变为皱眉或摇头时。由于这些增强功能仅对用户在其自我查看中可见，我们的目标是促进他们对沟通表达潜在含义的自我意识。

图1. FaceValue根据其对用户沟通表情的解读来增强用户的自我查看。例如，当用户似乎表示同意时（通过微笑表达），他们的脸部会被绿色边框勾勒出来。相反，当他们似乎表示不同意时（通过皱眉表达），他们的脸部会被黄色边框勾勒出来。某些特定的表情或头部动作会伴随图标。例如，微笑会搭配一个闪烁的图标，而愤怒的面孔会搭配一个突出的血管图标。可能的解读（如“快乐”或“愤怒”）对用户是不可见的。
顶部行展示了快乐、愤怒、悲伤和惊讶的人脸的原始图像。底部行显示了根据标题描述进行处理的面部图像：笑脸用绿线突出显示，并带有闪耀图标；怒脸用黄线突出显示，并带有凸起的血管图标；惊讶脸用绿线和感叹号图标；悲伤脸用红线和滴珠图标表示。4.1 示例场景图2。FaceValue中增强自我视图的概念性插图。(A) 短暂的红色覆盖层表示情绪总值的重大变化；(B) 脸部周围的黄色线条；(C) 暗示可能的解释线索的微妙图标（例如，愤怒、惊讶）；(D) 表示可能被忽略的微小动作的线条覆盖层。左侧显示了来自网络摄像头的原始视频流。中间是一个带有红色半透明覆盖层的Zoom会议窗口（标记为A）。在该窗口的右上角有一个小的FaceValue视图。在这个视图中，一个人的轮廓用黄色边框标出（标记为B），脸部两侧有特征线条（标记为D）。此外，靠近该人的位置还有一个凸起的血管图标（标记为C）。为了说明FaceValue探针的工作原理，考虑一个研究生Taylor加入Ash的团队会议。Ash正在为他们的项目介绍一个新的UI设计想法。瞬间1：无意的负面表情。当Taylor短暂感到困惑时，他们不自觉地皱起了眉头。FaceValue检测到情绪总值的变化，并短暂显示出红色半透明覆盖层（图2(A)）。看着增强的自我视图，Taylor注意到脸部周围的黄色线条和“凸起血管”图标（图2(B, C)），这表明他们的表情可能会被他人解读为沮丧或消极。意识到这可能会传递错误的信号，Taylor有意识地放松了面部表情，避免潜在的误解。瞬间2：微妙的同意表情。后来，Ash描述了一个想法。Taylor轻微点头表示同意。FaceValue识别出轻微的动作，并在Taylor的脸部周围显示淡色的线条（类似于图2(D)中的点头动作），但这种点头可能太微妙而不会被其他人注意到。意识到这一点后，Taylor放大了点头动作，明确表示对Ash的支持。在这个场景中，FaceValue在Taylor的自我视图中的私密、细微的线索帮助他们更好地表达同意或不确定的态度。系统不会规定“正确”的表情，而只是提醒用户注意面部表情和头部动作的变化（DG2），给他们自由去解释和调整（DG1, DG3）。4.2 感知：识别面部表情和头部动作为了引导用户注意到有意义的视觉非语言线索（DG1），FaceValue首先识别面部表情和头部动作。我们使用了EmoFAN[99]模型，该模型可以输出分类表情（例如，快乐、愤怒）和维度表情（情绪总值/唤醒度）。EmoFAN在常见数据集上达到了高准确率，包括在AffectNet[74]上的约75%（分类）以及情绪总值/唤醒度回归的RMSE为0.29/0.27，我们认为这足以指示实际使用中的表情波动。这些原始检测标签对用户是不可见的。为了检测头部动作，我们从MediaPipe[66]中提取了3D变换矩阵（俯仰、滚转、偏航），这使我们能够捕捉到点头、颤抖或倾斜等行为。我们的实现在一个Apple M1芯片上以10+ FPS的速度运行，延迟极小，提供了实时响应（DG3）。4.3 可视化映射表2。测量输入映射情绪总值（正面 vs. 负面）V>0, A>0轮廓颜色：绿色唤醒度（强度）V>0, A<0轮廓颜色：蓝色V<0, A<0轮廓颜色：红色V<0, A>0轮廓颜色：黄色欧几里得距离轮廓不透明度（不透明度 ∝ 距离）检测到的面部表情快乐闪耀图标悲伤滴珠图标惊讶感叹号图标愤怒凸起血管图标头部动作点头脸部顶部和底部的线条脸部左侧和右侧的线条倾斜从脸部发出的线条FaceValue在识别和视觉覆盖层之间的映射细节图3。“可视化映射”阶段产生了三种主要的视觉线索形式：基于颜色的覆盖层（左）、图标（中）和面部附近的线条（右）。左图：脸部周围的绿线。中图：诸如闪耀、感叹号、滴珠和凸起血管之类的图标。右图：以不同方向放置在脸部周围的线条。在感知阶段，FaceValue捕获情绪总值和唤醒度值、分类情绪置信度以及头部动作信号。我们将这些值映射到旨在微妙且有提示性的可视化元素上（DG2），以鼓励用户驱动的解释，如表2中所述，并在图3中展示。受到漫画/漫画[28, 90]的视觉语言的启发，我们的设计让用户能够看到他们表情的暗示，而不会接收到可能导致误解的明确情绪标签。情绪总值 & 唤醒度（VA）? 轮廓颜色和透明度。我们采用了与先前工作[50]类似的颜色方案，其中VA空间中的特定区域映射到不同的颜色。例如，兴奋/快乐倾向于绿色，悲伤/沮丧倾向于红色，愤怒/害怕倾向于黄色，放松/平静倾向于蓝色。强度编码在覆盖层的不透明度中，该不透明度来自VA原点的欧几里得距离（即，更强烈的表情导致更高的不透明度）。为了避免帧与帧之间的颜色快速闪烁，我们应用了Kalman滤波器[106]进行平滑处理。检测到的面部表情 ? 图标。当检测到的情绪置信度超过80%时，FaceValue会显示一个图标：闪耀（快乐）、滴珠（悲伤）、感叹号（惊讶）或凸起血管（愤怒）；见图3（中间）。虽然这些图标是明确的，但它们故意保持模糊性，以符合DG2鼓励上下文解释的理念。例如，凸起血管图标可能表示愤怒或沮丧，但我们省略了文本标签；解释留给用户，这与Chow等人的非规范反馈设计[18]一致。头部动作 ? 线条。使用俯仰/滚转/偏航数据，我们检测到点头、颤抖和倾斜动作。对于点头或颤抖，我们在滑动窗口内计算头部位置的方差，考虑到它们的周期性。如果超过阈值，用户脸部周围会出现线条（图3，右）。对于倾斜，我们使用平均角度。较高的方差会增加线条的不透明度，表示强度。阈值可以根据不同的动作风格进行调整。4.4 组合：将视觉元素放置在对讲者的视频上FaceValue将图标、线条和色调覆盖层直接显示在用户的脸部[80]上，而不是放在侧面[57, 110]。这种设计支持DG2，允许用户立即将原始面部表情与抽象线索进行比较。因为系统避免了明确的情绪标签，用户保持了解释的灵活性（例如，凸起血管图标可能会让他们思考：“我是不是感到沮丧？”、“我是否在集中注意力？”或“模型是否误解了我的皱纹？”）。一个关键的设计目标是让用户从随意关注自己的外表转变为有目的地检查自己的交流表情。传统的自我视图并不明确支持注意面部表情的显著变化，因此FaceValue检测到情绪总值的突然变化时，会短暂显示半透明覆盖层（图2(A)）。这些短暂的“闪光”信号提醒用户反思：“我是否意识到我的表情发生了变化？这是有意为之吗？”此外，为了突出脸部，我们使用MediaPipe[66]降低背景饱和度，从而加强了对脸部的关注。5 部署研究本研究的目标是更好地理解增强型自我视图如何帮助用户意识到自己在视频会议中的交流视觉非语言线索。具体来说，我们想探索人们如何体验和解释自己的线索。为此，我们进行了一项实地部署研究，探讨个人如何将FaceValue整合到真实的远程会议中，以及这如何影响他们的感知、体验，以及他们认为通过使用该工具而出现的任何行为或交流实践的变化。遵循Chow等人的[18]方法，我们选择了实地部署来回答我们的研究问题。短期实验室实验往往简化了会议动态，容易受到新颖性效应[25]的影响，并且过于受到独特社交动态[34]的影响，同时缺乏用户将工具整合到他们日常习惯中的时间[54]。相比之下，实地研究擅长捕捉现实生活中的使用情况，增加了生态有效性，并揭示了工具采用和使用的真实模式[13]，这更符合我们的目标。由于我们的研究关注于参与者对自己线索的自我意识，我们依赖于内部测量，即参与者的自我报告，来探究其对自身体验的影响。我们采用了日记研究方法[42]，参与者在使用FaceValue参加会议后，以半结构化的方式报告他们的体验。我们使用这种方法来捕捉参与者在部署期间的即时反应，并在之后进行了后续访谈以捕捉更长期的反思。在这种情况下，外部测量（如行为变化的目标观察）具有挑战性，因为现实世界的会议在主题、参与者和动态方面差异很大。捕捉有意义的模式需要广泛的控制和一段时间内相似会议背景的持续基线，这超出了本研究的范围。我们在第7.6节中讨论了我们方法的局限性。5.1 参与者我们通过方便抽样、滚雪球法和在本科生门户和HCI Slack群组上的广告招募了15名参与者。其中两人因日程安排繁忙而退出，剩下13名完整的参与者。除了一个人外，所有人都使用了配备Apple Silicon芯片的Mac电脑，确保了实时视频处理的一致性能。所有参与者都能流利使用英语，年龄在18岁或以上，并计划在一到三周内至少参加五次远程会议。参与者包括5名女性和8名男性，全部来自加拿大，职业包括：商业分析师（P4）、助理教授（P1）、用户体验研究员（P2）、博士后研究员（P6）、系统管理员（P12）、研究生（P3, P5, P8–11, P13）和本科生（P7）。其中7人的年龄在325–34岁之间（P1–2, P5, P9–11, P13），4人在18–24岁之间（P3–4, P7–8），1人在35–44岁之间（P6），1人在45–54岁之间（P12）。5.2 FaceValue应用FaceValue作为可在参与者电脑上运行的macOS应用程序，在他们的实际会议期间使用。所有处理都在设备上完成，没有记录日志。参与者将FaceValue与他们喜欢的软件（例如Zoom、Microsoft Teams、FaceTime）一起使用。FaceValue窗口被指示覆盖在标准自我视图上（移动和调整大小），使参与者能够实时获得关于他们面部表情和头部动作的反馈。5.3 程序我们进行了三阶段的日记研究：• 第1阶段（入职），约30分钟。在一个Zoom会话中，参与者提供了知情同意，安装了FaceValue，了解了FaceValue的功能和用法，回答了预研究问卷（人口统计和一般会议体验），并参加了关于之前远程会议体验的半结构化访谈。• 第2阶段（实际使用），1-3周。参与者在他们选择的五种类型的实际视频会议中使用了FaceValue（例如，与工作相关的会议、与朋友的随意会议等），以及会议的规模。每次会议后，他们填写了日记条目，记录了关键元数据（例如，持续时间、主题、参与者人数），并描述了使用FaceValue时的任何显著体验；参见第5.4节。不包括会议时间，我们估计参与者每填写一份日记花费了5分钟。• 第3阶段（研究后访谈），约30分钟。参与者完成了研究后问卷（包括偏好测试）和在Zoom上进行的半结构化访谈，讨论了他们的整体体验，重点关注他们对交流和自我意识的感知变化。在访谈中，参与者被要求比较使用FaceValue前后的体验。参与者收到了30加元的礼品卡作为补偿。该研究得到了我们机构伦理委员会的批准，并在主要研究之前进行了试点，以完善程序。研究材料在补充资料中提供。5.4 日记工具参与者被要求在每次使用FaceValue后的会议后通过带有预填参与者ID的个性化链接完成日记。这些日记旨在捕捉他们在那次会议中使用FaceValue的即时反馈，以及他们对FaceValue的感知如何随时间演变。表3展示了该工具中的问题。
表3. 问题
Q1：会议的日期和时间
Q2：会议的类型
Q3：会议的持续时间
Q4：会议的常规频率
Q5：与会人数
Q6：与 others 相比，在会议中发言更多、更少或大致相同的感觉
Q7：认同程度：我认为自己更常被注意到
Q8：认同程度：我认为他人更常被注意到
Q9：当您查看 FaceValue 时，您试图了解关于自己的哪些方面？
Q10：是否有某些时刻，FaceValue 扩强的自我视图特别有帮助或分散了注意力？
Q11：FaceValue 可以如何帮助（您）或改变这次会议？
Q12：是否有任何与会者对您的外表、表情或举止发表评论，这些评论可能与您的在线演讲有关？
Q13：还有其他想法或观察吗？

日记中的问题包括简短形式的回答（对于 Q1–6 有可选值的下拉列表）、Likert 评分（强烈同意（1）到强烈不同意（5）（对于 Q7–8），或者长形式的回答（Q9–13）。

**5.5 分析**
我们对半结构化访谈记录和书面日记进行了主题分析。我们采用解释主义方法进行反思性主题分析[12]，归纳出与研究问题相关的主题。我们的分析重点关注参与者对自己监控体验和感知的明确描述，同时考虑了这些体验的“存在性”而非“普遍性”。首先，主要作者全面审阅了访谈记录和日记条目，并在 MAXQDA4 中进行了逐行编码。这一步生成了捕捉参与者陈述中显著主题和概念的代码。然后，主要作者在每周的讨论中根据所有作者的意见，反复审查和修改了初始代码，必要时合并、拆分或丢弃代码。各位作者的文化背景涵盖东亚、欧洲和北美，每个人都至少在这些地区的两个国家生活和工作过（见补充材料）。这可能在分析过程中影响了我们的解释视角（例如，以“西方”会议规范为中心）。

**6. 结果**
我们收集了65条日记条目，涵盖了多种会议情境（见图4）。我们按研究问题整理了日记和访谈的关键发现。
**图4. 日记中报告的会议情境分类（65条条目 - 也请参见：补充材料）。**
条形图显示了（Q2）会议类型、（Q3）会议持续时间、（Q4）参加会议的频率、（Q5）与会人数，以及（Q6）与会者在会议中发言更多、大致相同或更少的情况分布。

**6.1 以意义为导向的反馈对视觉非言语线索可见性的影响**
我们的研究问题 RQ1 是：关于视觉非言语线索潜在意义的实时反馈如何帮助远程会议参与者意识到他们的行为与其沟通意图的一致性或差异？我们发现，大多数参与者不仅认为他们更频繁、更长时间地查看自己的自我视图，还回忆起他们的关注点从外观检查转向了考虑这些非言语线索对沟通的影响。对某些人来说，这促使他们更深入地重新评估自己通常如何向他人展现自己，以及这些表现对他人的印象和理解产生的影响。
与传统没有反馈的自我查看相比，参与者表示使用 FaceValue 后，他们更频繁地查看自己的自我视图（13人中有8人）。例如，P3 描述 FaceValue 促使他们在会议期间而不是仅在初始设置时监控自己：“我确实更频繁地看自己了，因为我觉得在没有 FaceValue 的情况下加入会议时，我会确保一切看起来都不错。如果在会议进行中我说了什么但不确定该看哪里，我就会看自己。但有了 FaceValue，它促使我更多地看自己。”
许多参与者（13人中有8人）认为正是 FaceValue 的微妙提示让他们更频繁地自我检查。参与者的日记还表明，他们感觉自己比在常规远程会议中更常被注意到（平均 3.85 ± 1.01，略同意）。接下来将讨论这种增加的自我关注是否有目的性和实用性。

参与者表示，增强的自我视图使他们的注意力转向了视觉非言语线索的沟通意义。他们报告说，FaceValue 使他们更加关注面部表情和头部动作所传达的潜在意义（13人中有10人；65条日记条目中有46条）。他们分享道：“我认为 FaceValue 的附加值在于，以前我看自己的时候，更多的是为了检查自己的外观。除非我特别关注面部表情，否则我无法判断自己在表达什么。”（P6）
“与没有 FaceValue 的会议相比，我现在更关注他人会如何注意到我的面部表情，以及我如何向听众表达我的情感。多亏了 FaceValue，我会一直关注视觉非言语线索。”（P10）
参与者感觉以意义为导向的反馈使他们能够注意到自己的视觉非言语线索是否与他们的沟通意图一致。例如，P3 和 P1 报告说，使用 FaceValue 帮助他们保持这种自我意识，以确保他们能够传达自己对会议的参与度：“FaceValue 使我注意到当我注意力从观察他人身上转移开时的情况，这有时会在对方那里产生不好的效果。”（P3）
P9 还评论了 FaceValue 如何帮助传递情感：“如果我在会议上看起来很烦躁，我会感到不安。幸运的是，我不认为红色框显示得太频繁。但当它显示时，我会想：‘好吧，也许我不应该看起来那么生气。’有时候并不是我真的生气，而是他人可能会这样认为，所以我调整了我的表情。”（P9）
这种对他人可能误解自己沟通意图的积极评估表明，一些参与者可能开始对抗‘透明性错觉’：即误以为他人能够清楚地理解一个人的内在状态（表1-T4）。重要的是，参与者表示这种自我意识集中在他们非言语面部表情所暗示的沟通意义上——即使他们没有说话时也是如此。

一些参与者报告说，这种自我意识促使他们对以意义为导向的自我展示进行了更广泛的反思。上述即时意识可能导致更深入的思考，关于一个人的线索在各种会议、角色和受众中的解读方式；以及一个人的行为习惯。例如，P2 描述说 FaceValue 使她重新考虑了视觉非言语线索在与他人的互动中的作用：“我对自己有了很多了解。在 FaceValue 之前，我认为我不会在意自己的行为。我可能只是面无表情地坐着。但有了 FaceValue，我意识到要更加努力地表现出参与的态度。”（P2）
这表明，FaceValue 培养的自我意识帮助这位参与者反思了他们的非言语表达在日常互动中可能传达的意义。一些参与者报告说，他们开始重新评估自己的表达习惯，不仅仅是对工具的反应，也是对自己通常如何被他人理解的反思。

**挑战：算法误解可能妨碍洞察力**
大多数参与者（13人中有8人）认为算法的检测足够可预测，足以实现实时意识，并且发现 FaceValue 的反馈有用且可操作（13人中有8人；65条日记中有19条）。例如：“我发现非常有帮助的一点是，我能够看到当我深思时看起来很困惑。我认为这帮助我传达了‘这部分有点混乱。你能解释一下吗？’”（P4）
然而，一些人提到了 FaceValue 对他们线索的解读存在挑战。P8 报告说：“无论出于什么原因，每当我在思考时，它往往会将我标记为负面情绪。”（P8）
对于 P12 来说，这种识别似乎是随机的：“我无法弄清楚它试图检测的是正面还是负面情绪。对我来说，这似乎完全是随机的，所以我无法察觉其中的规律。”（P12）
在这些情况下，参与者无法将 FaceValue 的反馈与自己的线索相符，并将其归因于难以理解算法的工作原理和原因。P8 的话表明，仅靠反馈本身不足以触发有用的自我意识，而 P12 的观点指出，不可预测性可能会完全阻碍有意义的洞察。

**挑战：持续反馈可能导致自我监控疲劳**
虽然持续的出现可能会提高某些人的意识，但对其他人来说可能会令人疲劳。一些参与者（P1、P2、P3、P8）报告说，FaceValue 由于需要额外的注意力来解释其提示信息，增加了疲劳或精神负担。然而，P3 指出，任何额外的负担都可能是积极的：“就认知负担而言，可能会有所增加。但再次强调，我认为这是好事：这意味着我在关注会议中的各种情况。”（P3）
P4 报告说，他们有意减少查看反馈的频率，以避免感到不知所措。这些观点表明，用户在权衡 FaceValue 的好处与持续自我监控的精神负担之间存在差异。

**总结**
参与者的报告表明，使用 FaceValue 可以支持有目的的自我监控，鼓励他们反思他人可能如何解读自己的视觉非言语线索。对许多人来说，这种自我意识是有益的。然而，其他人发现 FaceValue 不可预测或难以解读，限制了他们从该工具中获得的洞察力。一些人还报告说，由于额外的监控，他们的精神疲劳加剧，这引发了关于提供持续反馈以改善沟通与处理此类反馈的认知成本之间的权衡问题。

**6.2 从自我意识到行动**
研究问题 RQ2 是：参与者如何描述根据以意义为导向的反馈尝试调整自己的行为？参与者报告说，他们利用 FaceValue 的反馈实时强化或纠正自己的视觉非言语线索，这些调整被认为对他人有积极影响。虽然 FaceValue 的建议性反馈通常被认为是可操作的，但也有参与者报告说，在缺乏指导的情况下，他们不知道该如何响应。

**以意义为导向的调整和重新对齐**
参与者报告说，他们会根据 FaceValue 的反馈调整自己的视觉非言语线索，以更好地使线索与他们的沟通意图一致。他们描述说，在注意到颜色变化或提示信息后立即采取行动（13人中有6人；65条日记条目中有17条），这些信息提醒他们注意线索的突然变化。“我只是在听……有时我意识到自己没有注意力集中，但当我通过 FaceValue 看到负面提示时，我会调整我的表情，以免看起来很消极。”（P6）
“如果有突然的变化，特别是出现红色提示时，我会立即看自己，然后重新调整，对吧？我会将红色提示理解为‘哦，我的态度突然变得消极了’，所以我看自己，然后立即重新调整。”（P5）
“我想保持积极的态度，但当 FaceValue 显示黄色时，我想‘我不想显得中立’，所以我改变了表情，以更积极地表达我的意图。”（P10）
这些例子说明了 FaceValue 在识别无意中的表情偏差（P6）、不匹配的线索（P5）或过于微妙的信号（P10）方面的价值，允许立即进行调整。参与者还报告说，他们有意放大某些线索，以触发与他们的沟通意图一致的提示信息。P5 描述了一个这样的例子：“当我在点头时，我可以通过看到脸上的线条来知道自己是否真的在点头。由于这种反馈，我可能会（有意地）比平时点头更频繁。”（P5）

**调节视觉非言语线索对他人的影响**
除了通过重新对齐线索实现更清晰的沟通外，一些参与者认为这些调整还改变了他人对他们的看法。虽然我们无法通过其他会议参与者来确认这种感知，但有三位参与者明确表示，FaceValue 引導的调整提升了他人对他们的好感或沟通的清晰度。例如：“面试官说我很好且很聪明，他们很兴奋能与我一起完成这个过程。……由于 FaceValue，我的实时面部表情增强了我的热情。”（P2（日记条目）
“我在点头，FaceValue 检测到我在点头。我觉得我确实想点头，所以我就点了更多次。”（P13）

**挑战：意识可能不会转化为行动**
尽管意识可能有助于行动，但并非总是如此。虽然FaceValue帮助参与者提高了对自己表情的自我意识——这有助于他们注意到并纠正一些信号（8/13），但有些参与者（3/13）明确表示对如何回应其提示感到不确定：“我并没有太注意那些图标。它们虽然不会分散注意力，但也没有特别有帮助。”P7 “当界面对头部动作作出反应时，这是好事还是坏事？我应该怎么做？是应该動得更明显一些还是更少一些？”P8 这些评论与Chow等人的研究结果一致[18]，他们也发现一些参与者对于如何根据工具提供的提示和指示做出反应感到困惑。总之，FaceValue通过巧妙利用面部表情和头部动作，可能有助于参与者有意识地引导互动，这在某种程度上反映了客观自我意识[23]的实际应用。然而，有些参与者并不知道是否以及如何仅通过反馈来调整自己的行为，这引发了关于这种提示性反馈是否具有可操作性的疑问。

6.3 持续性反馈有时是有用的... 我们的研究问题3是：会议的特点（例如，重要性、正式程度）如何影响人们对反馈有用性和干扰性的感知？在某些情况下，提供关于个人非言语信号的持续反馈可能并不总是相关或合适的[16]，这也是之前研究提出的问题[18]。我们发现，在专业场合进行自我监控尤为重要，而在与亲友的休闲互动中则相对不那么重要。参与者（7/13）认为FaceValue在重要性高或以任务为导向的会议（例如，面试、团队项目）中特别有帮助，在这些场合中个人的表现至关重要。例如，P4在冲刺阶段特别喜欢使用它，P6在大型聚会上也表示：“那是一次有很多人参加的大型会议。 [...] 即使我没有发言，如果对方在说话并且我表示同意，我也想传达出我的同意。所以我需要监控自己的表现。我会看[FaceValue]，这对我很有帮助。”P6 同样，P5在压力较大或敏感的讨论中也认为这个工具很有用：“在紧张的会议中，了解自己给对方留下的印象尤为重要。我可能没有那么多时间去查看[FaceValue]窗口，因为我太专注于谈话了。但假如我的表情突然发生变化，会有一个提示出现，无论是绿色的还是红色的。这对我很有帮助，因为它提醒我可以进行调整。比如，如果我看到红色的提示，我就会想，‘哦，不，我给人的印象好像很紧张。’然后我就会做出相应的调整。”P5 这些情况表明，FaceValue所提供的自我意识提升了他们的印象管理效果。P9还指出，在遇到不熟悉的人时，FaceValue有助于他们有目的地进行印象管理：“我认为如果不太了解对方，它可以帮助确保自己的非言语交流是恰当的。”P9 四位参与者认为这种反馈在休闲或私人会议中不太相关；P10描述道：“如果你在和朋友或家人闲聊，当然要真诚，不要无礼，但同时也要做真实的自己。”P10 总的来说，即使不需要积极的自我监控，除了两位参与者外，所有人都表示他们更倾向于使用增强型视图，而不是普通的自我视图或没有视图（见图5）。

图5. 研究后问卷中收集的参与者对自我视图的偏好。堆叠条形图显示，4位参与者强烈偏好FaceValue，7位偏好它，2位持中立态度。对于普通自我视图，5位参与者偏好它，8位持中立态度。对于没有视图的情况，3位强烈反对，9位反对，1位持中立态度。总之，FaceValue被认为在需要通过非言语线索进行细腻沟通的会议场景中最为有用，例如在面试中留下良好印象或促进团队沟通的清晰度。

6.4 设计反思 我们的部署研究使我们能够深入了解FaceValue背后的设计选择的作用和影响。接下来，我们将讨论参与者对整体反馈、建议性（而非规定性）提示以及私密叠加设计的看法。整体自我监控的支持。通过将与会者的面部与来自多种信号的漫画风格提示叠加在一起（图3），我们的设计旨在鼓励参与者对表情有一个全面而广泛的意识，而不仅仅是分析特定面部信号[10]。十位参与者使用整体语言来描述自己的表情，而不是分析性语言。例如，P1说“我看起来很投入”，P11说“情绪积极”。偶尔，这些参与者会使用分析性术语来描述他们面部表情或头部动作的整体状态。相比之下，P8、P13和P12更关注于调整特定的面部部位，这表明他们的目标更偏向分析性。例如，P13说：“当我在点头，而FaceValue检测到我在点头时，我会觉得自己确实想点头，所以我会更明显地点头。”P13 这表明FaceValue提供的自我意识为他们的印象管理提供了清晰度。P9还提到，在遇到不熟悉的人时，FaceValue也有助于支持他们的有意图的印象管理：“我认为如果你对他人不太熟悉，它可以帮助你确保自己的非言语交流是合适的。”P9 四位参与者认为这种反馈在休闲或私人会议中不太相关；P10描述说：“如果你在和朋友或家人聊天，当然要真诚，不要冒犯他人，但同时也要做真实的自己。”P10 总的来说，即使不需要积极的自我监控，除了两位参与者外，所有参与者都表示他们更喜欢使用增强型视图，而不是普通的自我视图或没有视图。

总体而言，即使不需要积极的自我监控，除了两位参与者外，所有人都表示他们更喜欢使用增强型视图，而不是普通的自我视图或没有视图（见图5）。图表显示，4位参与者强烈偏好FaceValue，7位偏好它，2位持中立态度。对于普通自我视图，5位参与者偏好它，8位持中立态度。对于没有视图的情况，3位强烈反对，9位反对，1位持中立态度。总之，FaceValue在需要通过非言语线索进行细腻沟通的场景中被认为最有价值，例如在面试中留下良好印象或促进团队沟通的清晰度。

6.4 设计反思 我们的部署研究让我们能够深入了解FaceValue背后的设计选择的作用和影响。接下来，我们将讨论参与者对整体反馈、建议性（而非规定性）提示以及私密叠加设计的看法。通过将参与者的面部与来自多种信号的漫画风格提示叠加在一起（图3），我们的设计旨在鼓励参与者对表情有一个全面而广泛的认识，而不仅仅是分析特定面部信号。十位参与者使用整体语言来描述自己的表情，而不是分析性语言。例如，P1说“我看起来很投入”，P11说“情绪积极”。偶尔，这些参与者会使用分析性术语来描述他们面部表情或头部动作的整体状态。相比之下，P8、P13和P12主要描述的是调整特定的面部部位，这表明他们的目标更偏向分析性。例如，P13说：“当我点头时，如果FaceValue检测到我在点头，我会觉得自己真的想要点头，所以我会更明显地点头。”P13 这表明FaceValue提供的自我意识为他们的印象管理提供了清晰度。P9还提到，在遇到不熟悉的人时，FaceValue也有助于支持他们的有意图的印象管理：“我认为如果你对他人不熟悉，它可以帮助你确保自己的非言语交流是适当的。”P9 四位参与者认为这种反馈在休闲或私人会议中不太相关；P10描述说：“如果你在和朋友或家人聊天，当然要真诚，不要无礼，但也要做真实的自己。”P10 总的来说，即使不需要积极的自我监控，除了两位参与者外，所有人都表示他们更喜欢使用增强型视图，而不是普通的自我视图或没有视图。

总体而言，尽管不需要积极的自我监控，除了两位参与者外，所有人都表示他们更喜欢使用增强型视图，而不是普通的自我视图或没有视图（见图5）。图表显示，4位参与者强烈偏好FaceValue，7位偏好它，2位持中立态度。对于普通自我视图，5位参与者偏好它，8位持中立态度。对于没有视图的情况，3位强烈反对，9位反对，1位持中立态度。总之，FaceValue在需要通过非言语线索进行细腻沟通的会议场景中被认为最有价值，例如在面试中留下良好印象或促进团队沟通的清晰度。

7.1 建议性反馈对客观自我意识的增强：从感知到调整 我们的参与者报告说，外部提示（叠加的反馈）使监控频率增加，并将他们的注意力转移到被监控的内容上。通过客观自我意识（OSA）理论来看，我们认为FaceValue是一个计算工具的例子，它可以通过连续的、实时的叠加效果，促进自我监控从表面的检查转变为有意义的检查（DG3）。相比之下，之前的OSA研究强调的是在意识到自己是社会对象的时刻进行内省。此外，实时反馈被体验为内在意识和表达控制之间的桥梁，参与者描述说它促使他们在当下“校正”自己的视觉线索。从OSA的角度来看，这表明计算工具可以作为行为中介，帮助用户在实际情况中应用OSA。这与Chow等人的研究结果一致[18]，他们在研究中发现，一个可以快速查看微笑、点头、注视和姿势的侧边栏提高了自我意识。根据参与者们的报告，当反馈与非言语线索的丰富性和解释性更吻合时，参与者感到不需要过分关注单一的触发因素。这些报告补充了Chow等人的发现，他们通常会采取更具体的行动，如“不要笑”或“更频繁地点头”。Chow等人是为了减少“非言语过载”和Zoom疲劳而设计的，因此采用了基于计数的方法。相比之下，我们的参与者使用的词汇描述了他们的目标和意图，层次更高。例如，P1表示希望显得更加“投入”，P11表示希望表达更多的“积极情绪”。我们在FaceValue中的设计方法邀请参与者考虑非言语行为的整体意义。参与者从“意义”的角度进行推理，而不仅仅是容易计数的行为。此外，保护用户隐私的设计选择，如在设备上进行处理和使用私密叠加，受到了高度评价。确保用户完全控制谁可以看到反馈以及何时可以看到反馈，可以降低情感风险，因为用户可以选择参与或忽略反馈。

设计启示1：微妙的视觉反馈可以提高自我监控的感知有用性。系统应该通过私密反馈来支持有意义线索的检测（意识）和实施（调整），同时保护用户的自主权和情感安全。

7.2 通过反思性意识打破透明度的错觉 参与者的评论表明，FaceValue打破了他们认为自己的沟通意图对他人来说是显而易见的潜台词。这可以被解释为支持和扩展了关于透明度错觉的先前研究，这些研究认为人们高估了自己的内部状态被外部感知的程度。与直接报告过度自信不同，我们的参与者事后意识到他们的表情可能会被误解，这意味着这种错觉可能源于注意力不足而非自信。因此，我们认为提高对解释可能性的认识（DG1）可能是打破这种错觉的重要前提。FaceValue在没有评判或曝光的情况下做到了这一点，这为改进沟通清晰度的反馈工具指明了方向。

设计启示2：反馈工具可以通过促使人们反思非言语线索可能被他人如何解读，从而帮助打破透明度的错觉。

7.3 解释反馈：个别用户如何理解FaceValue 参与者对FaceValue的解读和反应各不相同。大多数参与者认为FaceValue足够可预测，可以让他们形成自己的解释（DG2），尽管有些人难以解读其反馈。这些反应呼应了Gaver关于模糊性作为设计资源的观点[30]，即如果部分信息能够引发解释，那么这部分信息是有价值的。这种设计上的模糊性似乎让参与者能够更深入地与FaceValue的叠加效果互动，使他们形成更全面、更广泛的含义，如“看起来很投入”、“情绪积极”。正如预期的那样，虽然我们的结果显示一些参与者将模糊性视为反思的触发点，但也有人认为这是清晰度的缺陷。因此，设计者需要仔细考虑用户的背景和认知负担，可能提供调整细节程度或解释层次的模式，或者提供会议前的培训，以适应不同的用户需求。**会议前培训可以特别侧重于建立对有效视觉非语言暗示在沟通中所起作用的共同理解，从而提高FaceValue所提供的反馈的可操作性。总体而言，参与者明显更倾向于使用FaceValue，而不是简单的自视图或不使用自视图。这表明，在私密环境下，微妙且具有暗示性的反馈比完全不使用或使用粗糙的监控方式更受欢迎。然而，我们的研究结果也表明，为了服务于更广泛的群体，系统应当考虑用户的解释能力。未来的系统可能会受益于能够根据用户需求、偏好和认知负荷进行适应性调整的模式。**

**设计启示3：有效的、以意义为导向的自我监控系统应动态适应用户的即时解释能力。**

**7.4 环境依赖性效用**
FaceValue的效用因环境而异。参与者强调，在正式或高风险会议中，FaceValue最为有用。这种环境依赖性的效用感知直接回应了研究问题3。这一发现与媒体丰富性理论[20]相符，该理论认为模糊和复杂的任务从更丰富的沟通渠道中受益。综合来看，我们的结果通过实例说明了实时改进视觉非语言暗示如何帮助弥补从参与者角度来看的沟通不足。**

**参与者还发现，在关系模糊的情境中（例如与不熟悉的参与者交流时），FaceValue也很有帮助，这与社会信息处理(SIP)理论[103]一致。他们报告称，在随意的对话中几乎不使用FaceValue，这表明关系中的利害关系会影响感知到的效用。**

**综上所述，FaceValue在以下情况下最有价值：(1) 利害关系重大；(2) 关系动态不确定；(3) 任务需要清晰细致的沟通。然而，在随意或低风险的情境中，FaceValue可能会让人感觉侵入性太强或分散注意力（类似于“Clippy”应用）。**

**任务-技术契合度(TTF)理论[33]有助于解释参与者的感受。在低风险情境中，任务要求也较低，因此启动和使用FaceValue带来的益处可能较小。在这种情况下，激活成本可能显得较高，用户可能会选择不使用FaceValue。相比之下，在高风险或情境模糊的情况下，FaceValue带来的益处可能超过激活成本，使其使用显得值得。**

**在TTF的指导下，我们还可以避免“Clippy”类似的侵入感。我们的结果表明，参与者在现实世界的会议场景中遇到的任务特征与技术的特性相匹配，实现了任务-技术契合。在高契合度条件下，该理论预测会(1) 提高使用率；(2) 改善表现效果（前提是使用该技术）。因此，当任务特征与技术能力相匹配时，应突出FaceValue并使其易于调用；否则应将其淡化，以避免增加不必要的复杂性。**

**因此，设计师应确保反馈具有环境敏感性并能够适应环境，仅在支持用户目标并提升而非干扰对话流程时才出现。**

**设计启示4：有效的、以意义为导向的自我监控系统应努力鼓励更真实的视觉非语言表达，并动态适应用户的情境环境。**

**7.5 伦理考量**
在远程会议中提供面部表情反馈时，会引发一些伦理问题。在本节中，我们概述了主要议题，并讨论了FaceValue的设计选择如何旨在解决、复杂化或限制这些问题的影响。**

**面部表情识别(FER)系统的标签是基于特定文化背景制定的，这可能会将文化多样性的表达形式简化为单一解读。FaceValue通过使用基于颜色的叠加层而非固定的情绪标签来缓解这一问题，允许用户根据自己的沟通规范来解释反馈。然而，这种模糊性并未消除训练数据中的潜在文化假设。未来的工作应探索文化适应性校准或用户定制的解释方法。**

**许多神经多样性个体，包括自闭症谱系的人，在产生或解读面部表情方面存在困难[100]。将“典型”表达基线作为默认的系统可能会无意中强化不适合所有用户的规范。FaceValue的反射性反馈可能有助于揭示他们在远程环境中如何被他人感知。同时，这样的反馈可能会增加遵循神经典型表达的压力，可能导致情绪劳动或伪装。需要进一步研究，以了解在何种情况下、对哪些人来说，这种反馈是支持性还是负担性。**

**强调潜在的不一致之处可以帮助希望在高风险情境中更清晰沟通的用户。然而，关于外貌的反馈也可能鼓励表演性的自我监控，导致行为变得过于刻意或“适合拍摄”。**

**任务-技术契合度(TTF)理论有助于解释参与者的感受。在低风险情境中，任务要求也较低，因此启动和使用FaceValue带来的好处可能有限。在这种情况下，激活成本可能较高，用户可能会选择不使用FaceValue。而在高风险或情境模糊的情况下，FaceValue带来的好处可能超过激活成本，使其使用显得值得。**

**在TTF的指导下，我们可以避免“Clippy”类似的侵入感。我们的结果表明，参与者在现实世界的会议场景中遇到的任务特征与技术的特性相匹配，实现了任务-技术契合。在高契合度条件下，该理论预测会(1) 提高使用率；(2) 改善表现效果（前提是使用该技术）。因此，当任务特征与技术能力相匹配时，应突出FaceValue并使其易于调用；否则应淡化其存在，以避免增加不必要的复杂性。**

**因此，设计师应确保反馈具有环境敏感性并能够适应环境，仅在支持用户目标并提升对话流程时才出现。**

**7.5 伦理考量**

**在远程会议中提供面部表情反馈时，会引发几个伦理问题。**

**文化规范性的FER表达标签。面部表情识别(FER)系统通常依赖于来自特定文化背景的标签，这可能会对视觉暗示施加一种规范性的解释。**

**FaceValue通过使用基于颜色的叠加层而不是固定的情绪标签来缓解这一问题，允许用户按照自己的沟通规范来解释反馈。然而，这种模糊性并未消除训练数据中的潜在文化假设。未来的工作应探索文化适应性校准或用户定制的解释方法。**

**许多神经多样性个体，包括自闭症谱系的人，在产生或解读面部表情方面存在困难[100]。**

**将“典型”表达基线作为默认的系统可能会无意中强化不符合所有用户的规范。**

**FaceValue的反馈可能有助于他们了解在远程环境中他人如何感知他们的表情。同时，这样的反馈可能会增加符合神经典型表达的压力，可能导致情绪劳动或伪装。**

**需要进一步研究，以了解在何种情况下、对哪些人来说，这种反馈是有益的而不是负担。**

**真实性、表演性、依赖性和情绪劳动。**

**强调潜在的不一致之处可以帮助希望在高风险情境中更清晰沟通的用户。然而，关于外貌的反馈也可能鼓励表演性的自我监控，导致行为变得过于刻意或“适合拍摄”。**

**虽然FaceValue被设计为一种反思性辅助工具，而非纠正工具，但它仍可能引发更高的自我意识或情绪劳动[68]，尤其是在长时间或要求高的会议中[5]。**

**因此，用户可能会对其产生依赖，从而失去天生的自我监控能力，无法在没有FaceValue的情况下参加会议。**

**因此，旨在提升清晰度的系统必须在这两者之间找到平衡，既要支持真实的自我表达，又要避免干扰对话流程。**

**设计启示4：有效的、以意义为导向的自我监控系统应努力鼓励更真实的视觉非语言表达，并动态适应用户的情境环境。**

**7.5 伦理考量**

**在远程会议中提供面部表情反馈时，会引发一些伦理问题。**

**面部表情识别(FER)系统的标签往往基于特定文化背景制定，这可能会对视觉暗示施加一种规范性的解释。**

**FaceValue通过使用基于颜色的叠加层而非固定的情绪标签来缓解这一问题，允许用户根据自己的沟通规范来解释反馈。**

**然而，这种模糊性并未消除训练数据中的潜在文化假设。**

**未来的工作应探索文化适应性校准或用户定制的解释方法。**

**许多神经多样性个体，包括自闭症谱系的人，在产生或解读面部表情方面存在困难[100]。**

**将“典型”表达基线作为默认的系统可能会无意中强化不符合所有用户的规范。**

**FaceValue的反馈可能有助于他们了解在远程环境中他人如何感知他们的表情。**

**同时，这样的反馈可能会增加遵循神经典型表达的压力，可能导致情绪劳动或伪装。**

**需要进一步研究，以了解在何种情况下、对哪些人来说，这种反馈是有益的而不是负担。**

**真实性、表演性、依赖性和情绪劳动。**

**强调潜在的不一致之处可以帮助希望在高风险情境中更清晰沟通的用户。**

**然而，关于外貌的反馈也可能鼓励表演性的自我监控，导致行为变得过于刻意或“适合拍摄”。**

**虽然FaceValue被设计为一种反思性辅助工具，而非纠正工具，但它仍可能引发更高的自我意识或情绪劳动[68]，尤其是在长时间或要求高的会议中[5]。**

**因此，用户可能会对其产生依赖，从而失去天生的自我监控能力，无法在没有FaceValue的情况下参加会议。**

**因此，旨在提升清晰度的系统必须在这两者之间找到平衡。**

**总之，这些考量将FaceValue定位为一种自愿的、反思性的辅助工具，而不是关于个人外貌的绝对真理来源。**

**任何部署都应明确系统的模糊性、局限性和可选性，确保用户可以决定这种反馈是否有用，并根据交互情境轻松选择是否使用。**

**同样，部署可以减少系统的使用频率，将其视为一种培训工具，而不是一直可用的“镜子”。**

**7.6 局限性和未来工作**

**我们当前的研究仅纳入了13名参与者，其中大多数是对自视图感到舒适的学生和研究人员。未来的工作应包括具有更多多样化背景、职业角色和视频使用习惯的参与者，以研究非规范行为（例如关闭摄像头的参与者[6]），并测试以意义为导向的反馈在不同情境中是支持还是干扰沟通。**

**尽管我们从参与者那里获得了丰富的见解，但我们的研究主要集中在通过对话的一方收集主观定性数据上。因此，我们承认没有提供变化或群体效应的客观证据。**

**参与者可能高估或低估了效果，或误解了他人的反应，他们的叙述应被视为主观的、情境化的解释，而不是行为的绝对事实。**

**研究只能依赖基于理论的推测和参与者的直接引用来评估FaceValue在提高对暗示或群体动态理解方面的效果。**

**为了解决这一问题，未来的工作可以收集更丰富的行为数据，并考察长期使用情况。**

**研究人员可以探索在受控条件下收集更丰富交互数据的混合部署方式，以便详细分析参与者如何实时与反馈互动。**

**跨不同类型会议的纵向研究还可以调查态度和行为随时间的变化，以及持续接触是否会导致自我意识和暗示调整的持久改善。**

**此外，未来的工作可以超越自我报告，考察群体层面的效果。**

**评估可以将自我报告的发现与其他外部指标（例如其他会议参与者的直接反馈、对话结果或第三方对沟通效果的评分）进行三角验证，以提供更有力的证据。**

**这将拓宽视野，超越单一用户，揭示反馈系统如何影响群体动态、共同理解和会议结果。**

**最后，未来的工作可以明确研究个体在特质层面的自我监控差异，以及这些差异如何与FaceValue支持的行为相互作用。**

**例如，具有高特质自我监控能力的人可能会发现FaceValue有助于微调他们的自我表达，而具有低特质自我监控能力的人可能会觉得同样的反馈分散注意力或不必要。**

**尽管我们的研究没有直接测量这一特质，但研究结果也表明，一些参与者比其他人更重视持续的自我监控。**

**这些特质层面的自我监控差异可能有助于解释为什么一些参与者不喜欢使用FaceValue。**

**同时测量特质自我监控能力和行为结果将使我们能够在偏好测试中考虑这一混淆因素。**

**这样的测量还将使我们能够估计特质自我监控能力对行为变化的影响大小，相对于基线测量。**

**此外，未来的工作还可以探索如何根据不同文化背景或神经多样性用户调整系统。**

**8 结论**

**本研究介绍了FaceValue，这是一种轻量级的自视图增强工具，旨在支持远程会议中的以意义为导向的自我监控。**

**基于客观自我意识、透明性错觉和社会信息处理理论，我们探讨了实时、具有暗示性的面部表情反馈如何增强参与者的感知意识和视觉非语言暗示的调整能力。**

**我们对13名知识工作者的实际部署表明，参与者不仅认为自己更频繁地进行自我监控，还觉得他们的关注点从外在表现转移到了沟通的意义上。**

**这种增强的意识在许多情况下转化为有意的实时调整，改善了参与者对自己被他人感知方式的感受。**

**重要的是，反馈的解释因用户和环境而异（这表明应选择性地、根据情境来部署，而不是作为一种始终开启的解决方案）。**

**虽然高风险和目标导向的会议放大了FaceValue的效用，但随意或熟悉的对话往往使其相关性较低。**

**参与者还强调了设计特征的重要性，例如在开发远程会议支持工具时保护隐私。**

**我们基于研究结果提出了四个设计启示，可以为未来的远程会议系统设计者提供参考。**

**致谢**

**本研究得到了Meta Reality Labs、国家科学与工程研究委员会(RGPIN-2018-05072)以及多伦多大学信息学院和计算机科学系的资助。**

**我们还要感谢Dynamic Graphics项目的成员提供的宝贵建议和帮助，以及用户研究的参与者们的贡献。**

**我们还要感谢Jens Emil Sloth Gr?nb?k教授在项目早期阶段提供的有益讨论。**

**我们还感谢OpenAI使用ChatGPT来校对文本，并重构/优化代码以开发FaceValue。**