基于图融合空间谱的鱼眼会议场景活跃说话人检测

《Expert Systems with Applications》：Graph-Based Active Speaker Detection in Fisheye Meeting Scenes with Spatial Spectra

　　

- 提出FisheyeMeeting，一个面向ASD的多方鱼眼会议基准数据集。
- 提出GI-GAT，一个对候选者内部/跨候选者关系进行建模的图注意力框架。
- 设计了一个即插即用的场景分支，利用空间频谱作为声源线索。
- 达到94.3%。
- 比最佳基线方法高出5.2%。

## 引言

主动说话人检测（ASD）旨在确定视频中可见的候选者是否在说话。它是许多多模态语音处理任务的基础组件，包括视听说话人定位、说话人验证、说话人日志和说话人跟踪。在多方会议中，确定"谁在说话"的需求尤为直接。准确的说话人状态识别可以直接支持会议记录、实现会议摘要并促进后续分析。因此，ASD在多方会议场景中具有重要的实用价值。

然而，大多数公开可用的ASD数据集是基于电影场景或新闻采访片段构建的，如图1(a)所示。这些数据集极大地推动了ASD研究，但它们也定义了一个相对受限的设置：可见候选者的数量通常很少，对话结构相对简单，场景几何并未针对会议分析进行设计。面向会议的资源仍然有限。AMI语料库提供了近场和远场麦克风以及个人视角和房间视角的视频摄像头。然而，每次会议最多包含4名参与者，这限制了其代表更现实、更复杂的多方会议场景的能力。该语料库也不提供标准化的ASD标注。Gurvich等人使用360度鱼眼摄像头和环形麦克风阵列采集数据，如图1(c)所示，并利用多通道音频、视频输入和空间查询数据进行实时多模态ASD。尽管如此，该数据集尚未公开发布，且方法主要针对实时性能进行评估，未在AVA数据集上与其他ASD方法进行比较。这些限制共同留下了一个明显的空白：一个公开可用且标准化的真实世界多方鱼眼会议ASD基准仍然缺失。

这个缺失的基准至关重要，因为真实的多方会议不仅仅是电影或采访场景的放大版本。参与者通常围坐在桌子旁，以短轮次方式发言，相互打断，并在倾听时作出回应。说话者可能低头、转头或部分被遮挡，使得嘴部和面部线索不可靠。同时，重叠语音和环境噪声十分常见，这可能会模糊环形麦克风阵列捕获的音频证据。这些特性共同构成了一个数据和建模问题：该领域需要一个针对多方鱼眼会议的真实基准，而模型在目标候选者自身证据不完整时，必须超越局部人脸-音频匹配进行推理。

为了在该设置下研究ASD，我们收集了一个名为FisheyeMeeting（FM）的多方会议ASD数据集，如图1(b)所示。在每次会议中，360度鱼眼摄像头放置在桌子中心附近以捕获完整的会议场景，同时环形麦克风阵列从不同方向记录多通道音频。该数据集包含至少七名参与者的会议，包括重叠语音、不完整的面部视图以及真实讨论中经常出现的其他具有挑战性的情况。因此，FM为在真实的多方会议场景中评估ASD方法提供了数据支持，而不仅仅是在传统的2D视频设置下。

FM的特性也使候选者级别的ASD成为一个上下文消歧问题。候选者局部的视听证据可能不可靠，但这种歧义是有结构的：沿目标自身轨迹持续存在的证据不同于在轮次转换或打断期间由附近参与者携带的证据。这些互补来源在候选者身份和时间上形成了稀疏的关系结构。图神经网络为建模这种结构提供了一个自然的框架：候选者的观测可以被表示为节点，而时间依赖和交互依赖则选择性地编码为边。现有的基于图的ASD方法已经利用了这些上下文的部分内容。EASEE在分离的阶段进行空间和时间消息传递，而SPELL仅在同一帧内直接连接不同的身份。然而，两者都没有根据其各自不同的时间跨度直接表示稳定的同身份证据和瞬态的跨身份交互。这种区分在鱼眼会议中很重要。长期的同身份证据可以在某一帧被遮挡或模糊时恢复重复的候选者特定线索，而短期的跨身份证据则揭示了在邻近帧间展开的轮次转换、回应和竞争动作。

为了明确编码这两种时间尺度，我们提出了GI-GAT（基于图的内部和跨关系图注意力网络），一个基于图注意力的多模态ASD框架。GI-GAT根据节点身份确定每种关系的时间范围。同身份节点在长时间窗口内连接，而不同身份在单独界定的跨帧窗口内直接连接。这种身份条件化的拓扑是与EASEE和SPELL的关键区别：它在消息传递过程中保留了沿每个候选者轨迹的长期证据，同时使短期的跨帧交互直接可用。GI-GAT进一步通过其连续的时间偏移和相对角度来描述每条连接，使GATv2能够根据上下文证据出现的"何时"和"何地"对其进行评估。生成的图提供了跨候选者和时间的结构化推理。

GI-GAT在多模态候选者节点上运行，其可靠性取决于分配给每个节点的音频和视觉证据如何组合。面部模糊、遮挡和非语音嘴部运动会削弱视觉流，而重叠或画外语音则可能引入与可见目标不一致的音频证据。直接拼接保留了两条流，但并未确定一种模态的证据应多大地影响另一种。标准交叉注意力建立了方向性交互，但直接注入检索的上下文可能会传播不可靠的跨模态消息。为了形成更可靠的节点表示，我们在特征提取和GI-GAT图构建之间放置了自适应门控交互（AGI）。AGI首先增强每个帧对齐模态内的时间上下文，然后执行双向交叉注意力，并为每个交互方向学习一个独立的内容自适应门。因此，它形成的候选者表示中，从任一模态检索到的不可靠上下文在节点构建之前被明确屏蔽，而不是将此类冲突推迟到跨候选者图推理阶段。

除了候选者级别的视听特征外，多方鱼眼会议还提供了一种常规ASD方法通常忽略的全局空间结构。由于参与者围绕摄像头排列，而麦克风阵列记录方向性声学线索，多通道音频可以转换为场景空间频谱并与鱼眼图像对齐。因此，我们引入了显式表示全局环境中音频功率分布的场景特征，旨在将听觉方向性转化为空间视觉图，即使在极端嘴部遮挡或非语言嘴部活动的干扰下，也能指示说话者的大致位置。为此，我们设计了一个即插即用的场景特征分支，该分支绕过AGI，为候选者节点提供互补的全局声源方向线索。该分支可以集成到主流ASD方法中，在FM数据集上将它们的性能提高高达4.8% mAP。因此，完整的框架并未将视听时空同步仅交给GATv2：AGI通过双向交叉注意力学习帧对齐音频和视觉序列之间的时间对应关系，FM场景分支将声学方向与鱼眼图像坐标对齐，而GI-GAT则在候选者和帧之间对相对时间和角度进行推理。将AGI与GI-GAT结合在AVA上达到94.7% mAP；进一步添加场景分支在FM上达到92.4% mAP，并在相同的A+V+S设置下超过最强的场景增强基线2.5个mAP点。为了支持完全的可复现性，完整的FisheyeMeeting数据集和代码库将在被接收后发布在https://anonymous.4open.science/r/GAT-ASD-B937上。为了保护生物特征隐私，数据集将在CC BY-NC-SA 4.0许可下发布，供非商业学术使用，并受终端用户许可协议（EULA）约束。零星的敏感音频片段将通过环境噪声自然遮蔽。

本文的主要贡献总结如下：

- 我们引入了FisheyeMeeting，一个具有同步多通道音频的真实世界多方鱼眼会议数据集，为真实会议场景中的ASD提供了具有挑战性的基准。
- 我们提出了一个分层候选者建模框架。AGI在图构建之前执行双向、内容自适应的视听交互，而GI-GAT随后通过关系特定的时间范围和时空边属性捕捉持久的同身份轨迹和快速演变的跨参与者交互。
- 我们设计了一个即插即用的场景特征分支，将多通道音频转换为与鱼眼图像对齐的场景空间频谱，在FM数据集上将主流ASD方法提高高达4.8% mAP。
- 消融和对比实验区分了预图融合和图推理的贡献。在部分视觉或音频掩码下，AGI相对于无门控交叉注意力的优势在两个数据集上均有所扩大。AGI增强框架在AVA上达到94.7% mAP，在FM上达到92.4% mAP，在相同的输入设置下超过FM上最强的场景增强基线2.5个mAP点。

与我们之前的会议版本相比，本文在几个关键方面进行了扩展：

- 第3.2节和3.5节提供了场景特征分支和FisheyeMeeting数据集的全面描述，包括详细的设计和数据结构特征。第3.3节和3.4节介绍了预图自适应门控交互（AGI），并详细解释了GI-GAT，包括图构建、跨人/同人关系建模和边特征分配。
- GI-GAT与之前的方法进行了集成，在FisheyeMeeting数据集上的性能比会议版本提高了2.9个mAP。
- 在AVA和FisheyeMeeting数据集上进行了大量实验，包括详细的消融研究、可视化实验、丰富的定性分析、全面的GI-GAT评估以及场景特征分支通用性的实验，共同验证了我们方法的有效性和鲁棒性。对拼接、标准交叉注意力和AGI的直接比较，以及学习到的门控的可视化，评估了预图视听交互。相同的交叉注意力和AGI模型在部分视觉和音频掩码下进一步评估，以测试对不完整模态证据的鲁棒性。拼接提供了融合中心和图中心分析中的共享参考行，使得可以沿两个设计轴从同一个锚点测量性能提升。

## 主动说话人检测

ASD任务起源于二十年前开创性的研究工作。早期研究主要依赖于单一模态。基于音频的方法使用语音线索检测语音活动，而视觉方法分析面部和唇部运动来确定主动说话人。这些方法建立了ASD的基本公式，但也暴露了一个核心局限性。音频线索可能不可靠，而视觉线索可能不准确。

## 我们的方法

在本节中，我们描述了为多方鱼眼会议提出的ASD框架。第3.1节首先介绍了图注意力的基本符号。第3.2节然后介绍了视觉、音频和场景嵌入的提取。第3.3节介绍了AGI，它在图构建之前执行双向、内容自适应的视听交互；场景嵌入绕过了这种候选者级别的交互。每个视频中的候选者人脸被表示为图中的节点。

## 数据集

在本文中，我们在AVA-ActiveSpeaker数据集和我们自己的FisheyeMeeting数据集上进行了实验。

AVA-ActiveSpeaker是目前主动说话人检测（ASD）领域最广泛使用的公开数据集。它包含来自好莱坞电影的262个标注好的十五分钟视听片段，采用标准2D图像。每个场景中的人数通常在1到3人之间，视频以25-30 FPS的帧率录制。

## 实验结果与分析

表3中的主要性能对比评估了GI-GAT配置与现有ASD方法的比较。其目的是确立整体系统性能，而非隔离单一实验因素。因此，它报告了基于拼接的GI-GAT参考值以及AGI增强的A+V和A+V+S配置。除该对比外，分析GI-GAT的实验围绕第3.3节定义的共享参考配置B展开。该配置

## 结论

在本文中，我们针对真实世界多方鱼眼会议中的主动说话人检测问题进行了研究，其中现有的ASD数据集和方法不足以对复杂的会议交互进行建模。

该场景极具挑战性，因为多个参与者同时出现，视觉证据往往不完整，且重叠的语音或环境噪声可能导致音频来源模糊不清。为了解决这一问题，我们引入了 FisheyeMeeting 数据集，并提出了 GI-GAT，一种基于图的
CRediT 作者贡献声明
Zhen Liao：构思，方法论，软件，调查，撰写 – 初稿，撰写 – 审阅与编辑。Weiwei Jiang：验证，形式分析。Mengting Wang：数据管理。Xinghao Huang：可视化。Wei Xu：指导，项目管理，资金获取。
利益冲突声明
作者声明不存在已知的可能影响本文所述工作的竞争性财务利益或个人关系。
Zhen Liao|Weiwei Jiang|Mengting Wang|Xinghao Huang|Wei Xu