《Electronics》：KUCHIMOJI: A Japanese Vowel-Based Character Entry System Using Mouth Shape Recognition for Assistive Communication
编辑推荐：
本研究开发了一种名为KUCHIMOJI的日语字符输入系统，该系统基于口型识别技术，旨在为因神经退行性疾病（如肌萎缩侧索硬化症（amyotrophic lateral sclerosis, ALS））而导致严重言语障碍的患者提供独立的辅助替代性沟通（augmen
本研究开发了一种名为KUCHIMOJI的日语字符输入系统，该系统基于口型识别技术，旨在为因神经退行性疾病（如肌萎缩侧索硬化症（amyotrophic lateral sclerosis, ALS））而导致严重言语障碍的患者提供独立的辅助替代性沟通（augmentative and alternative communication, AAC）方式。传统日语辅助沟通方法"口文字（kuchimoji）"依赖护理人员解读患者的口型变化来逐字识别字符，此方法高度依赖护理人员的技能与经验，且难以保证沟通的连续性与一致性。为克服上述局限，研究人员提出的KUCHIMOJI系统采用轻量级卷积神经网络（MobileNetV2）对六种口型进行分类，包括对应日语五个元音的口型及闭唇状态。为适应不同用户的身体条件，系统设计了三模态输入框架：基于面部图像的信号输入模式、按键输入模式以及基于数字键盘的直接输入模式。作为初步可行性研究，研究人员对10名健康受试者进行了实验，从文本输入速度（text entry speed, TES）和误输入率（miss entry rate, MER）两个维度评估了各模式的性能。结果表明，面部图像模式、按键模式和键盘模式的平均输入速度分别为3.86、5.32和11.35字符/分钟（characters per minute, cpm），且各模式均保持了较低的误输入率（2.96%–5.05%）。研究结果揭示了不同输入模态在速度与准确性之间存在可权衡的关系，为辅助沟通系统的实用化设计提供了重要参考。该系统作为一种低成本、非接触式的沟通解决方案，展现了在实际辅助沟通应用中的潜在价值。
## 研究背景与问题
神经退行性疾病，特别是肌萎缩侧索硬化症（amyotrophic lateral sclerosis, ALS）等难治性疾病，常导致患者运动功能逐渐丧失，严重影响其言语和书写能力。然而，患者的认知功能和感觉功能通常相对保留，因此如何利用残余能力建立有效的沟通方式成为至关重要的课题。在日本，一种称为"口文字（kuchimoji）"的传统辅助沟通方法已被长期应用：护理人员通过观察患者无声的口型变化，结合日语五十音图（gojūon）的元音规律，逐行筛选候选字符，最终通过眨眼等信号确认目标字符。这种方法无需特殊设备，可实现面对面交流，具有简便实用的特点。
然而，传统口文字存在显著局限性：其一，高度依赖护理人员的技能和经验，沟通质量难以保持一致；其二，随病情进展，患者口周肌肉无力导致口型清晰度下降，识别可靠性降低；其三，非训练有素的护理人员或家庭成员难以流畅使用；其四，需要护理人员全程参与，加重了日常照护负担。为应对这些挑战，研究人员开发了KUCHIMOJI系统——一种基于口型识别的日语字符输入系统，旨在支持患者独立操作，减少护理人员持续协助的需求，从而提升用户自主性并潜在减轻照护负担。
## 研究设计与核心结论
本研究的核心贡献在于设计并实现了一个融合元音口型识别与多模态字符确认的综合输入框架。系统采用轻量级卷积神经网络MobileNetV2作为核心识别引擎，结合MediaPipe面部关键点检测技术提取唇部感兴趣区域（region of interest, ROI），实现对五种日语元音口型及闭唇状态的六分类识别。区别于依赖眼动追踪、触摸输入或专用硬件的现有辅助沟通系统，KUCHIMOJI运行于通用个人计算机，提供低成本的非接触式解决方案。系统特别为保留部分手指运动能力的用户设计了基于数字键盘的直接输入方式，支持单手操作。
为评估系统可行性，研究人员开展了针对10名健康受试者（8男2女，均为20多岁）的实验研究，采用参与者依赖设定（participant-dependent setting），即针对每位参与者使用其专属数据分别进行训练和测试，重点关注个性化识别性能而非跨参与者泛化能力。实验从文本输入速度（TES）和误输入率（MER）两个维度量化了三种操作模式的性能特征，揭示了速度、准确性与适用性之间的权衡关系。
## 关键技术方法
研究采用的核心技术方法包括：第一，基于MediaPipe的面部关键点检测与唇部ROI自动提取，将输入面部图像裁剪为唇部区域后输入MobileNetV2网络进行六类口型分类；第二，多模态信号检测框架，统一基于几何条件与持续时间连续性定义信号动作，包括眼睑角度变化检测（基于眼部三点构成的角度阈值判断）、嘴角开合检测（基于嘴角三点角度阈值判断）及头部水平位移检测（基于外眼角中点与鼻根垂线交点的水平坐标差阈值判断）；第三，三模态操作架构设计，包括完全非接触的面部信号输入模式（自动扫描候选字符后通过面部动作确认）、单按键物理输入模式以及数字键盘直接选择模式；第四，自适应参数调节机制，允许用户或护理人员根据个体情况手动调整检测阈值与持续时间参数，以提升系统鲁棒性。
## 研究结果
**口型识别实验**：研究人员从10名参与者采集了每人500个发音场景的数据，通过五折交叉验证评估识别性能。模型对六种口型的平均识别准确率达91.2%，其中闭唇状态（"N"）识别率最高（95.9%），元音"i"为88.7%，而元音"u"识别率相对较低（74.7%），主要与"o"和"N"存在混淆。
**信号动作评估实验**：6名参与者分别采用眼睑、嘴部开合和头部运动三种信号动作输入固定短语。结果显示，三种信号的平均文本输入速度分别为2.40、3.80和3.51 cpm，平均误输入率分别为18.9%、6.25%和6.25%。嘴部和头部动作在速度与稳定性方面表现更优，眼睑输入因面部关键点检测不稳定导致误操作较多。
**文本输入实验**：10名参与者在三种操作模式下输入五组日语短句。面部图像模式（Mode A）、按键模式（Mode B）和键盘直接模式（Mode C）的平均文本输入速度分别为3.86、5.32和11.35 cpm，平均误输入率分别为2.96%、4.92%和5.05%。Mode A速度最慢但准确性最高且完全非接触；Mode C速度最快且整体稳定性最佳；Mode B在速度与可靠性间取得平衡。三种模式均存在随练习提升的学习效应，未发现明显疲劳导致的性能下降。
## 讨论与总结
研究讨论部分指出，KUCHIMOJI系统通过分离连续的口型识别与离散的选择确认，降低了用户的认知与物理负荷，支持从严重运动障碍到保留部分手部运动能力的广泛用户群体。多模态框架的灵活性使不同身体状况的用户可选择最适合的输入方式，这对于辅助沟通系统至关重要。研究人员承认当前研究存在局限：实验仅针对健康受试者开展，未涉及患者群体及长期疲劳效应评估；未与现有辅助沟通系统进行直接定量比较；系统的临床效益尚属假设，有待未来在患者和护理人员中验证。
研究结论部分明确：本研究开发了KUCHIMOJI多模态日语文本输入系统，基于面向元音的口型识别技术，为神经退行性疾病所致严重言语障碍患者服务。为克服既有研究输入速度低下的问题，系统整合了面部图像信号输入、按键输入和数字键盘直接输入三种操作模式。10名健康受试者的文本输入实验表明，三种模式在速度、准确性和可用性方面呈现互补特征。面部图像模式误输入率最低且实现完全非接触交互，无需眼动或外部设备；按键模式在速度与可靠性间提供实用平衡；键盘模式文本输入速度最高、整体稳定性最佳，可能适合保留手部或手指运动能力的用户。这些结果表明，所提出的多模态框架提示不同操作模式可能适合不同身体能力和用户偏好的使用者，这对辅助沟通系统具有重要意义。未来工作将开展患者与护理人员的验证研究、长期可用性评估以及界面和识别模块的进一步优化。尽管患者因肌肉进展性损害可能表现出更慢或更弱的面部运动，但鉴于系统采用参与者依赖设定，通过各患者的口型数据训练模型，预期仍可识别其口型。进一步的临床验证将确认该方法的适用性。
