《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》:Brain-Computer Interfaces for AAC: Hybrid SSVEP?+?Eye-Tracking for Faster Selection Rates
编辑推荐:
摘要专业翻译
辅助替代沟通(Augmentative and Alternative Communication,AAC)系统对于存在严重言语及运动障碍的个体至关重要,然而许多现有界面仍存在速度缓慢、操作费力且易出错的问题。本研究评估了一种融合稳态视觉诱发电位
摘要专业翻译
辅助替代沟通(Augmentative and Alternative Communication,AAC)系统对于存在严重言语及运动障碍的个体至关重要,然而许多现有界面仍存在速度缓慢、操作费力且易出错的问题。本研究评估了一种融合稳态视觉诱发电位(Steady-State Visually Evoked Potential,SSVEP)与眼动追踪的混合脑机接口(Brain-Computer Interface,BCI),旨在提升选择速度、可靠性与可用性。研究人员在三种条件下完成了符号选择、短句构建及纠错任务:仅SSVEP、仅眼动追踪,以及SSVEP与眼动追踪混合模式。在混合条件下,注视可快速缩小可能的目标区域,而SSVEP分类则用于确认用户意图。研究结果指标包括选择速率、准确率、错误率、纠错时间、沟通吞吐量、工作负荷、努力程度、信任度及用户偏好。混合界面实现了最优性能,其选择速度快于仅SSVEP模式,控制效果优于仅眼动追踪模式。该模式还减少了意外选择及纠错负担,尤其在密集布局和较长任务中表现显著。研究结果进一步强调了针对不同用户需求,在持续、实用的AAC应用中,个性化注视阈值、SSVEP时间窗口及视觉布局的重要性。
论文解读文章
研究背景与问题
辅助替代沟通(Augmentative and Alternative Communication,AAC)系统是为存在严重言语和运动障碍的个体提供沟通途径的关键技术。然而,现有AAC界面在实际应用中普遍面临选择速率缓慢、操作负担高、灵活性受限等问题。脑机接口(Brain-Computer Interface,BCI)技术为无需自主运动的AAC沟通提供了新的可能路径,其中基于稳态视觉诱发电位(Steady-State Visually Evoked Potential,SSVEP)的BCI系统在受控条件下展现出较高的准确率和信息传输速率,但用户需要长时间注视闪烁目标并等待较长的分类时间窗口,导致实际对话场景中沟通速度受限,且误选后的恢复过程进一步降低了效率。相比之下,眼动追踪技术能够几乎即时地提供空间意图线索,但仅依赖注视的系统容易产生意外选择,或需要较长的驻留时间以避免误触发,尤其在用户存在眼球运动变异、视力损伤、干眼症、上睑下垂或疲劳等情况下,眼动追踪的可靠性显著下降。因此,如何设计一种能够结合注视速度与脑信号确认可靠性、同时不增加认知负担的AAC交互范式,成为人因工程领域的核心挑战。已有研究表明,多模态反馈能够在单一视觉信息不足时提升响应效率和用户偏好,这为混合交互策略提供了理论依据。
研究目的与意义
本研究将混合BCI-AAC视为一个人-系统集成问题而非单纯的信号处理问题,核心目标是评估SSVEP与眼动追踪的融合如何影响沟通性能、疲劳程度、信任度及错误恢复能力。研究的意义在于:其一,通过眼动追踪快速缩小候选目标集,再由SSVEP进行意图确认或消歧,从而在保持控制精度的前提下缩短选择时间;其二,超越单纯分类准确率的评估框架,从完整沟通工作流的角度衡量系统性能,包括选择效率、纠错能力和功能性沟通结果;其三,关注不同用户群体在注视稳定性和SSVEP信号质量方面的差异,探讨混合方法是否能够提升系统的包容性而非仅改善平均性能。
研究方法与技术路线
研究人员设计了一项受控的AAC交互实验,参与者在三种界面条件下完成沟通任务:仅SSVEP、仅眼动追踪、以及SSVEP与眼动追踪混合模式。任务类型包括符号选择、短句构建和纠错操作,以反映实际AAC交互的典型需求。界面在适合AAC使用的视觉布局中呈现可选目标,每个目标关联特定的SSVEP刺激频率,并通过眼动仪进行实时注视追踪。混合条件下,系统首先利用注视信息识别可能的目标区域或候选集,随后应用SSVEP分类进行意图确认,从而减少全界面范围内的歧义和不必要的处理。混合系统支持可配置的融合策略,如注视优先的候选缩小加SSVEP确认,并可能根据信号质量或注视稳定性进行自适应阈值调整。界面时序针对实际沟通使用进行了优化,包括目标聚焦的即时视觉反馈、确认提示以及低摩擦的撤销或纠错选项。主要结果指标包括选择速率、选择准确率、错误率、纠错时间以及有效沟通吞吐量(如考虑纠错后的每分钟符号或字符数)。附加指标包括工作负荷、视觉疲劳、感知努力、信任度和用户偏好。研究还收集了观察性和访谈数据,以了解用户在不同条件下的使用策略、感知控制感以及对闪烁和注视需求的耐受程度。分析重点考察了混合融合是否在不引入额外交互摩擦的前提下改善实际AAC性能,并评估了不同注视稳定性和SSVEP信号质量用户之间的稳健性。
研究结果
混合条件整体性能最优。 结果表明,SSVEP与眼动追踪混合条件下的AAC交互性能最强,选择速度快于仅SSVEP模式,控制效果优于仅眼动追踪模式。混合界面通过缩短目标确认所需时间提升了有效沟通吞吐量,同时保持了较高的选择可靠性。
密集布局中增益最显著。 在目标布局密集的任务中,混合界面展现出最大优势——注视快速约束候选集,SSVEP确认则防止了仅注视驻留交互中常见的意外选择。这一结果与既往混合拼写研究一致,表明结合眼动追踪与SSVEP能够在至少部分用户中相比单一模态方法提升速度、可靠性和用户友好度。
纠错负担显著降低。 混合条件相比仅眼动追踪模式减少了纠错负担。在仅注视的试验中,误报和非预期驻留激活增加了纠错时间,尤其在较长短语构建任务中更为突出。混合融合策略通过脑信号确认来验证意图,降低了非预期选择,提升了用户对选择的信心。相比仅SSVEP模式,混合系统因注视缩小了决策空间,减少了对闪烁目标的长时间视觉注视需求,允许更短、更高效的确认窗口。
用户适用性更广。 混合交互在更广泛的用户群体中改善了可用性。注视控制稳定性较差的参与者仍能从SSVEP确认中获益,而SSVEP信号一致性较弱的参与者则受益于注视缩小的候选集和更清晰的目标聚焦反馈。用户报告混合系统感觉更快、更可控,尤其当界面提供注视聚焦的即时反馈和最终选择前的清晰确认状态时。
个性化校准至关重要。 当注视阈值、SSVEP时间窗口长度和视觉布局根据个体信号特征和疲劳模式进行调校时,选择性能最佳。这一发现强调了以用户为中心的AAC-BCI设计、特征匹配以及与代表目标临床人群的个体进行测试的重要性。
讨论与结论
研究讨论指出,混合系统不应仅以信息传输速率或分类准确率作为评估标准。对于AAC实际使用而言,最有意义的性能指标包括修正后的沟通速率、错误恢复能力、疲劳程度、舒适度以及真实交互周期内的持续可用性。研究结论表明,混合SSVEP与眼动追踪交互能够通过结合快速空间意图检测与可靠的神经确认来改善AAC性能。在AAC式任务中,混合BCI界面支持比仅SSVEP或仅眼动追踪模式更快的选择速率和更强的控制能力,尤其在目标密度高和纠错负担大的场景下优势明显。研究结果支持采用人因工程方法进行BCI-AAC设计,即利用多模态融合改善完整沟通工作流,而非仅关注解码准确率。