面向个性化增强替代沟通(Augmentative and Alternative Communication, AAC)的生物识别技术路线图制定

《Computer Vision and Image Understanding》:Biometric technology roadmapping for personalized augmentative and alternative communication

【字体: 大 中 小 】 时间:2026年01月23日 来源:Computer Vision and Image Understanding 3.5

编辑推荐:

  摘要:本文旨在提供一种基于生物识别(Biometrics)的技术路线图,以推进面向残障人士的个性化增强替代沟通(Augmentative and Alternative Communication, AAC)系统的发展。所提出的技术路线图引入两个核心组件:AA

  
摘要:本文旨在提供一种基于生物识别(Biometrics)的技术路线图,以推进面向残障人士的个性化增强替代沟通(Augmentative and Alternative Communication, AAC)系统的发展。所提出的技术路线图引入两个核心组件:AAC生物识别寄存器(Biometric Register)与可互操作的技术模块。生物识别寄存器提供一个结构化框架,用于捕获和转换生理及行为特征(Biometric Traits),以实现自适应且具情境感知的沟通;可互操作模块设计支持可重构(Reconfigurable)的AAC架构,确保跨不同接口与设备的兼容性。二者共同为AAC技术中自动化、可扩展的个性化奠定基石。研究表明,所提出的技术路线图方法论能有效连接既有研究成果与新兴计算实践,手势识别(Sign Language Recognition)等案例研究结果证实了该方法的有效性。
研究背景与意义
增强替代沟通(Augmentative and Alternative Communication, AAC)是为有沟通障碍的人士提供支持的关键辅助技术。现有AAC设备多针对"平均"沟通障碍设计,传统依赖专家进行的个性化适配耗时费力且低效,难以适应用户个体特征的时变特性。此外,将AAC工具部署于机场等大型公共交通枢纽时存在明显的社会—技术鸿沟。研究人员采用社会模型视角看待残疾(即残疾是人类多样性的一部分),主张通过生物识别技术实现AAC的自动化个性化和系统互操作性。本研究发表于《Computer Vision and Image Understanding》,提出一种基于生物识别(Biometrics)的AAC技术路线图(Technology Roadmapping),引入AAC生物识别寄存器(Biometric Register)和可互操作(Interoperable)技术模块,并采用数字孪生(Digital Twin)作为参考技术进行因果映射,旨在填补ISO标准在AAC生物识别系统设计指导上的空白,推动生物识别领域技术向AAC领域转移。
主要关键技术方法
研究人员采用三步法技术路线图制定:(1)定义参考技术(数字孪生五维分类法:物理系统、数字系统、更新引擎、预测引擎、优化维度)并确定参考里程碑;(2)将参考里程碑因果映射到AAC现状,形成含里程碑候选者的AAC技术图景(Technology Landscape);(3)从聚类后的技术图景创建AAC技术路线图。研究人员构建了包含9类生物识别特征(面部、面部表情、唇动、眼动、手势、听觉信号、呼吸信号、情绪状态、脑电图EEG)的AAC生物识别寄存器(AAC Biometric Register);设计基于B-trait(行为生物识别特征)和I-trait(中间数据结构/合成生物特征)的可重构AAC通道(Channel)模型,支持实域—合成域—实域间三种生物特征转换模式;基于认知动态系统(Cognitive Dynamic System)模型建立含感知器(Perceptor)与执行器(Actuator)的人机闭环(Human-in-the-Loop / Perception-Action Cycle)个性化机制;制定专家启发(Expert Elicitation)参考协议,结合《国际功能、残疾和健康分类》(International Classification of Functioning, Disability and Health, ICF);使用DHG-14/28数据集和WLASL-2000数据集,分别通过集成RNN模型与轻量化Transformer编码器进行手势及美国手语(American Sign Language, ASL)词级识别实验验证。
研究结果
1. Introduction(引言)
研究人员指出AAC本质上是以生物识别赋能、高度个性化的技术。个性化是AAC效能的关键,需通过人机交互逐步适应用户个体特征。研究人员提出AAC生物识别寄存器、生物识别转换(Biometric Transformation)及可互操作模块三大框架要素,并给出相关术语定义(AAC感知—行动循环、辅助生物识别/损伤条件生物识别、生物识别赋能AAC通道等)。
2. Previous works and problem formulation(相关工作与问题阐述)
通过对Curtis等(562篇文献系统综述)、Light、McNaughton、Nierling(社会—技术标记)、Mordaschew(数字孪生在残疾工人中的应用)、Vella(治疗师与HCI专家协同设计)及Sauerwein(AAC教育调查)等前人工作的分类定性比较分析,研究人员归纳出四大类研究缺口:缺乏系统的AAC生物识别分类与个性化技术路线图、缺乏可重构AAC通道系统化说明、专家启发流程半自动化不足、大规模交通系统中AAC部署存在准确率与互操作性障碍。据此提出三个研究问题:如何应用技术路线图设计以用户为中心的AAC?生物识别最佳实践是否有利于AAC进阶?AAC工具部署于机场等场所的可行性及障碍为何?
3. Discovering technology milestones(技术里程碑发现)
研究人员选用数字孪生(Digital Twin)五维模型为参考技术,将其五个维度映射为AAC领域的六个里程碑候选者:系统规格说明(System Specification → AAC Biometric Register)、可重构结构(Reconfigurable Structures → AAC Channel)、人机闭环原则(Human-in-the-Loop → Perception-Action Cycle / Cognitive Dynamic Model)、可用性与可及性(Availability and Accessibility → 成本/云资源/穿戴式通信Hub)、专家启发(Expert Elicitation → 半自动专家支持协议)、实验案例研究(Experimental Case Studies → 社会—技术最佳实践)。该因果映射形成了面向未来的AAC技术开发战略指引。
4. System specification: AAC biometric register(系统规格:AAC生物识别寄存器)
研究人员定义了包含9种生物识别特征的AAC生物识别寄存器:面部(含眼动/唇动/头动)、面部表情(情绪合成与转换)、唇动(转文字/手势/听觉信号)、眼动(转手势/听觉信号)、手势(Hand Gesture)(识别与合成,含手势—语音转换)、听觉信号(Auditory Signals/语音)(转文字/表情/唇动)、呼吸编码信号(Breathing Encoded Signals)、情绪状态(基于HRV/血压/EEG/EMG等生理信号的情绪识别与合成)、脑电图(Electroencephalography, EEG)(脑—脑接口及脑—语音接口)。各特征间可通过生物识别转换互联,寄存器的建立被视为AAC个性化首要技术里程碑。
5. Reconfigurable structures: AAC channel(可重构结构:AAC通道)
研究人员区分B-trait(行为生物识别特征,如面部/手势/表情/眼动/眨眼/唇动)与I-trait(中间数据结构,如合成生物特征/文本/化身可视化及音频),提出AAC通道可根据请求在三种模式下重配置:(I)合成域内转换(I-trait ? I-trait,如合成情绪→合成语音);(II)实域与合成域间转换(Real B-trait ? Synthetic I-trait,如手势→文本→合成语音,或语音→化身手势);(III)实域内不同生物特征间转换(Real B-trait ? Real B-trait,如情绪→面部表情+肢体语言)。并以听障/语障旅客与边检官员交互为例说明手势?语音双向AAC通道构建。进一步推广至多用户团队通信需借助可通信集线器(Communication Hub)实现跨AAC设备重配置。
6. Human-in-the-loop: Personalization(人机闭环:个性化)
AAC个性化分三级:用户手动配置、情境感知半自动适配、基于AI的动态实时调整。核心为感知—行动循环(Perception-Action Cycle):Perceptor学习个体特征并推理,Actuator依个体模式执行设备适配,Individual通过传感器反馈当前适配状态,循环迭代至可接受水平。此自感知计算(Self-Aware Computing)与认知动态系统模型(注意、记忆、感知及高级认知功能)相契合,构成下一代认知AAC系统(Cognitive AAC Systems)设计基础。
7. Availability and accessibility(可用性与可及性)
研究人员指出高昂费用限制AAC普及,提出采用移动云计算(Mobile Cloud Computing)及穿戴式身体局域通信枢纽(On-Body Communication Hub / e-Hub,如腰带/腕带/夹克集成低功耗传感),将繁复计算卸载至城市基础设施与云端,仅保留预处理,从而降低个性化AAC成本并提升地理可及性,纳入电子健康(e-Health)多维可持续评估框架。
8. Expert elicitation(专家启发)
鉴于AAC个性化配置需跨领域专家协作,研究人员参照Bojke等提出的有效启发原则(透明性Transparency、实用性Usefulness、适应性Adaptivity),设计参考协议矩阵:X轴列举新兴AAC技术(文本—语音/手势、触觉—语音、词/手势预测、情绪—文本/语音、化身技术),Y轴依据ICF分类列出沟通障碍类型。专家需将单元格按"可缓解某障碍的技术组合"聚类并优化成本/互操作性/可及性,形成边际结论(X向:个体适用技术汇总;Y向:随病程变化的障碍图谱),支持半自动化判断处理。
9. Experimental case studies and open problems(实验案例研究与开放问题)
案例I——手势识别:使用DHG-14/28数据集,集成四个分类器并结合知识蒸馏(Knowledge Distillation/"Dark Knowledge"),基于有序神经元长短时记忆网络(Ordered-Neuron Long Short-Term Memory, ON-LSTM)的RNN模型,骨架关节点识别准确率约86%,深度+骨架融合约85%(最高如Shake手势95%,最低约70%)。15%–30%未识别率可能导致沟通过误解或被利用为语义攻击(Semantic Attack)。
案例II——美式手语(American Sign Language, ASL)词识别:使用WLASL-2000数据集,MediaPipe提取手/身体/面网格关键点,对比Pose-GRU、Pose-TGCN(Temporal Graph Convolutional Network)、I3D(Inflated 3D ConvNet)、VGG-GRU及所提Transformer编码器。仅手+身体关键点Transformer编码器Top-10达65.60%;加入面网格并引入聚焦投影(Focus Projection)模块的多模态Transformer编码器Top-1达26.06%、Top-5达56.91%、Top-10达68.97%(超越I3D以外轻量模型最优),验证了关键点表征配合注意力机制在降低计算复杂度的同时保持竞争力,但目前精度尚不满足安检等高敏场景要求。
开放问题:半自动边境控制六点(智能建档、证件核验、随身/托运行李筛查、人体扫描、面谈)均需AAC支持,实验室精度在实际场景中显著下降会影响通关效率与安全性,需借鉴自动边境通关的自主权身份(Self-Sovereign Identity)架构与AAC共享云端/移动平台以弥合鸿沟。
10. Summary and conclusions(总结与结论)
研究人员得出结论:(1)以数字孪生为参考的AAC技术路线图能有效整合领域成果、揭示技术缺口,是规划个性化AAC发展的有效方法论;(2)引入生物识别寄存器(Biometric Register)与可互操作可重构AAC通道、借鉴生物识别最佳实践对AAC领域发展具有明确益处;(3)当前手势及手语词识别精度尚无法满足自动化边境管控等高要求场景,本研究的路线图与寄存器设计有助于缩小此技术鸿沟。未来自适应个性化需进一步关注差分隐私(Differential Privacy)等隐私保护技术。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号