《Applied Sciences》:A Voice Command-Based Digital Microfluidic Platform for Programmable Hands-Free Droplet Manipulation
编辑推荐:
数字微流控(DMF,一种可电操控纳升至微升级液滴的自动化样品处理平台)平台能够执行多种液滴操作,如传输、合并、分裂和混合。然而,传统DMF平台主要依赖基于图形用户界面(GUI)的操作,需要物理输入设备。在本研究中,研究人员提出了一种基于语音命令的DMF平台
数字微流控(DMF,一种可电操控纳升至微升级液滴的自动化样品处理平台)平台能够执行多种液滴操作,如传输、合并、分裂和混合。然而,传统DMF平台主要依赖基于图形用户界面(GUI)的操作,需要物理输入设备。在本研究中,研究人员提出了一种基于语音命令的DMF平台,该平台通过三个组件——语音识别模块、控制信号转换模块和液滴驱动单元——将用户的语音命令转换为用于液滴操控的电极激活序列。该平台成功执行了方向性移动、目标位置传输、合并、分裂和重复移动的语音命令。结果证实,多样化的语音命令可被转换为相应的电极激活序列,并作为物理液滴操控得以执行。定量评估显示命令处理延迟为0.3–0.5秒,平均命令执行准确率为93%。上述数值由单一英语实验者在未表征的实验室噪声条件下使用预定义命令获得。此外,由传输、合并和重复移动组成的混合操作展示了所提出框架对复杂多步骤液滴协议的可扩展性。这些结果表明,语音命令可作为DMF平台的直观免提交互界面,同时减少对物理输入设备的依赖。
**论文解读**
**一、研究背景与问题**
数字微流控(DMF)是一种能够利用电场和磁场等物理驱动机制,对纳升至微升级液滴进行独立并行控制的技术。与传统连续流微流控系统相比,DMF平台不受固定物理路径的限制,可自由控制液滴运动路径和驱动时序,从而灵活重构多样化的反应协议。DMF减少了对外部泵和微型阀等硬件的依赖,降低了系统集成复杂度和样品消耗,特别在实现复杂多步骤反应协议作为可编程控制序列方面展现出显著优势。基于这些能力,DMF平台已成为推动芯片实验室系统和下一代实验室自动化的创新样品控制平台。
随着高密度电极阵列和异质传感器集成等硬件技术的发展,DMF的应用范围已扩展至蛋白质与细胞分析、即时检验(POC)诊断、临床分析以及多步骤合成生物学工作流程。与此同时,人工智能(AI)技术也被应用于DMF平台以提升液滴操控的自动化水平和控制稳定性。
然而,现有的DMF用户界面——无论是触摸屏、网页式或远程GUI等图形化方案,还是电极映射按钮或板载键盘等物理接口——均依赖用户直接手动操作物理或图形输入设备。在实验室环境中,此类交互方式存在明显局限:用户在实验操作与控制界面之间切换注意力会中断实验任务;戴手套或不便于接触周围表面时操作不便;随着命令复杂度增加,图形界面需多级菜单导航和连续用户输入,交互时间和用户工作负荷也随之增加。针对上述交互瓶颈,语音界面已在多种自动化和人机系统中被探索为替代交互模式。已有研究表明,语音控制可实现免提交互,使用户在持续进行实验任务的同时操作设备,并且在传统界面需要多次顺序操作时提升交互效率。在此背景下,探索将语音命令作为DMF平台的新型交互方式具有明确的现实需求和科学价值。
**二、研究内容与意义**
本研究提出了一个基于语音命令的DMF平台,用于可编程液滴操控。该平台利用预定义的语音命令,从中提取预期的液滴操作类型和位置信息,据此生成对应的电极激活序列,在DMF芯片上实现液滴操控。研究人员通过逐步液滴操控实验评估了该平台的可行性:首先考察了不同电压条件下的液滴传输特性,将驱动电压设定为300 V;基本方向控制测试证实语音输入可成功转换为相邻电极激活和液滴移动;句子级语音命令成功执行了目标位置传输、液滴合并、液滴分裂和重复移动等复杂操作。所有命令的软件延迟约为0.3–0.5秒,在单一说话者使用预定义英语命令的条件下,平均端到端准确率为93%。此外,"mix"混合命令演示了传输、合并和重复移动的组合执行,表明该平台可从单元操作扩展至方案级连续液滴操控。上述发现表明,语音输入可作为DMF系统的免提交互命令界面,使用户无需直接操作物理或图形输入设备或手动构建电极激活序列即可发出液滴操控命令,为DMF自动化操控提供了一种新的交互范式。
**三、关键技术方法**
该平台由三个层次化模块构成。语音识别模块采用基于幅度的语音端点检测提取单条命令的音频片段,利用OpenAI Whisper base自动语音识别(ASR)模型将音频转录为文本命令,并经小写转换、标点移除和表达式标准化后传递至下一模块。控制信号转换模块通过命令解析将文本命令分类为预定义的九种命令类型之一,提取方向、位置等执行信息;采用基于启发式A*算法在网格化电极阵列上进行路径生成,限制液滴仅沿正交相邻电极移动;在多液滴操作中通过标记占用电极及相邻电极为避碰区域实现冲突避免;最终生成包含激活电极、电压幅值、持续时间和步间间隔的电极激活序列,并转换为通用异步收发传输器(UART)通信格式发送至驱动单元。液滴驱动单元由高压多通道驱动板和基于电润湿介质(EWOD)原理的芯片组成。EWOD芯片采用平行板结构:底板为82 × 53 × 1 mm3的印刷电路板(PCB),中央区域排布128个2 × 2 mm2电极,相邻电极边缘采用互补锯齿形设计以促进液滴传输,依次覆盖聚二甲基硅氧烷(PDMS)粘附层、12 μm乙烯-四氟乙烯(ETFE)介电层和氟聚合物疏水涂层(FluoroPel PFC1601V);顶板为30 × 30 mm2氧化铟锡(ITO)玻璃基板并涂覆疏水涂层;两板间以150 μm PET薄膜垫片维持均匀间隙。实验由单一英语实验者在实验室环境中使用笔记本电脑内置麦克风进行,软件环境为Windows 11系统。
**四、主要研究结果**
**4.1 驱动电压选择**:研究人员使用0.5 μL去离子(DI)水滴,在0–300 V范围内以10 V步进测量液滴传输速度。结果显示,220 V及以下电压未观察到电极间液滴移动,230 V时首次出现传输;在可驱动电压范围内,传输速度随电压升高总体呈增长趋势。由于驱动板输出范围为0–300 V,且300 V在评估范围内产生最高传输速度并提供稳定驱动,因此选为后续实验的操作电压。该电压依赖行为可由EWOD驱动力与液滴运动阻力(包括接触角滞后)之间的关系解释:低电压下接触角变化不足以克服阻力,230 V以上驱动力才足以实现传输,随电压升高驱动力增大导致传输速度增加。
**4.2 基本语音命令操作**:首先通过方向控制命令(含关键词"move"、移动方向和液滴当前位置,如"move up C3")执行单步液滴移动,四个方向(上、下、左、右)均成功使液滴移动至相邻电极,电极激活步间间隔为1秒。随后扩展至多步骤操作命令:"transport"实现目标位置传输,"merge"实现两液滴合并,"split"(使用2.0 μL液滴以确保充分伸长和颈缩)实现单液滴分裂,"loop"实现沿指定路径的重复移动。各操作中观察到的液滴行为与从预定义命令类型和坐标信息生成的电极激活模式一致,表明平台可通过语音命令实现样品处理中所需的各种液滴操控操作。
**4.3 语音控制流程的定量性能**:软件延迟(定义为从语音识别模块检测到语音终点到控制信号转换模块完成电极激活序列生成的时间)对所有九种命令均处于约0.3–0.5秒范围,均在0.5秒内完成。延迟分解分析表明,约91%的总处理延迟来自语音识别模块,控制信号转换模块占比很小,说明即使包含多段位置和路径信息的语音命令也能以低延迟转换为可执行序列。语音转文本准确率和端到端准确率(即语音命令被正确实现为预期液滴操控结果的比例)在所有命令中均高于86%,平均值分别为94%和93%,两者之间平均差异仅约1个百分点。对于"Stop"命令和基本方向控制命令,两项准确率完全一致;对于涉及多步电极激活的命令6–9,端到端准确率在部分试验中低于语音转文本准确率,这可能是由于接触角滞后、接触线钉扎和表面不均匀性等因素导致液滴未完全跟随电极激活序列,但两者平均差异仍保持在约1个百分点。
**4.4 基于语音的混合协议演示**:研究人员额外实现了"mix"混合命令,该命令以两液滴位置信息为输入,依次生成将两液滴传输至合并位置的合并序列和对合并后液滴执行重复移动的混合序列。在"Mix sample B3 with D1"命令演示中,初始分别位于B3和D1的两液滴在命令触发后相向移动并合并为单一液滴,随后无需额外语音输入自动执行重复移动序列,液滴沿指定路径顺序移动,两种颜色边界逐渐模糊,定性表明混合在合并液滴内进行。该演示表明平台不仅可将单个单元操作转换为电极激活序列,还可将组合多种液滴操控操作的高级命令作为单一连续流程执行,展示了语音命令DMF平台向样品处理方案级连续液滴操控扩展的能力。
**五、讨论与结论**
在讨论方面,研究人员指出本研究存在若干局限性:(1)平台仅接受一组受限的预定义英语命令结构,不接受结构外的语句表达;(2)采用基于序列的开环状态更新方案,无位置反馈,若液滴在某步未能移动,则维护的位置状态与实际位置脱节,后续路径生成和避碰将基于错误状态;(3)所有实验仅使用DI水或染色DI水作为模型液体,与生物样品或分析的兼容性未经验证;(4)准确率由单一英语实验者测量,不同说话者和噪声水平下的鲁棒性有待评估,且未对语音与GUI操作在任务完成时间、交互次数或错误率方面进行对比;(5)未测量"Stop"命令发出后液滴停止运动的实际时长;(6)初始液滴位置仅来源于语音命令,实际应用中需要基于摄像头或传感器的位置识别,以及液滴偏离预期路径时的自动中断机制;(7)缺乏安全特性:未对转录输出设置置信度阈值、无唤醒词、在合并或分裂等不可逆操作前无确认步骤、无硬件紧急停止功能。
**研究结论**:本研究提出了一个能够执行液滴操控的基于语音命令的DMF平台,以解决传统基于GUI的DMF控制方法的局限性。该系统由语音识别模块、控制信号转换模块和液滴驱动单元组成,旨在将输入的语音命令转录为文本命令、转换为电极激活序列并实现为实际液滴操控。这使得用户能够通过语音输入发出液滴操控命令,而无需在GUI上直接选择电极或手动配置控制序列。研究结果证明,语音输入可作为DMF系统的免提交互命令界面。该平台使受支持的液滴操控命令无需直接操作物理或图形输入设备或手动构建相应电极激活序列即可发出。这一能力不仅通过语音界面实现,还依赖于控制信号转换模块——该模块通过基于网格的A*算法路径生成和多液滴操作避碰区域分配,为每条命令生成电极激活序列。因此,该控制架构与语音界面共同构成本平台的关键要素。未来工作将研究利用大语言模型(LLM)进行自然语言命令处理以减少对结构化命令格式和路径生成规则的依赖,引入基于图像的液滴位置反馈以实现闭环控制,开展多说话者和噪声水平评估,测量包括"Stop"命令在内的全系统响应时间,并使用代表性生化样品进行平台验证。这些进展有望提高命令灵活性、操作可靠性和对更复杂DMF工作流程的适用性。