
-
生物通官微
陪你抓住生命科技
跳动的脉搏
眼科领域具身人工智能的临床转化:从多模态感知到精准医疗的革命性突破
【字体: 大 中 小 】 时间:2025年06月12日 来源:npj Digital Medicine 12.4
编辑推荐:
本期推荐:研究人员针对传统AI在动态临床环境中的局限性,创新性地提出具身人工智能(EAI)在眼科的应用框架。该研究系统阐述了EAI通过感知-记忆-推理-行动的闭环系统,实现了视网膜手术导航、多模态筛查等突破,其毫米级操作精度和实时反馈机制为精准医疗树立新范式。
随着全球老龄化加剧,糖尿病视网膜病变(DR)和年龄相关性黄斑变性(AMD)等致盲性眼病发病率持续攀升。传统人工智能(AI)虽在医学影像识别中表现优异,但其静态数据处理模式难以应对手术导航、实时诊断等动态临床场景的挑战。更关键的是,现有系统缺乏与物理环境的交互能力,导致在视网膜注射等需要微米级精度的操作中无法实现闭环控制。这些局限性严重制约了AI技术在眼科临床的深度应用。
针对这一瓶颈,香港理工大学联合多家机构的研究团队在《npj Digital Medicine》发表前瞻性研究,首次系统构建了具身人工智能(EAI)在眼科的应用框架。该研究创新性地将感知模块(卷积神经网络CNN)、记忆系统(长短时记忆机制)、推理引擎(大语言模型LLM+强化学习RL)与执行机构(力反馈机器人)深度融合,开发出能实时交互的智能诊疗系统。研究证实,该框架在视网膜手术导航中可实现亚毫米级精度,在社区筛查中使诊断响应时间从分钟级缩短至毫秒级,为眼科精准医疗提供了革命性工具。
关键技术包括:1) 多模态感知融合技术,整合光学相干断层扫描(OCT)与眼底荧光造影(FFA);2) 基于YOLACT++的实时手术导航系统(处理速度38.77-87.44 FPS);3) 模仿学习驱动的自主注射机器人;4) 视觉语言动作一体化模型(Vision-Language-Action);5) 包含474万病例的跨模态预训练数据集EyeFound。
核心研究结果
诊断筛查革新
通过RobOCT-Net系统验证,EAI在急诊科后节病变检测中达到95%敏感度,其自主OCT扫描设备可实现无接触式患者检查。研究特别指出,在资源匮乏地区采用TRDS手持红外屈光检测系统时,成本较传统设备降低76%。
手术辅助突破
Wu等开发的深度学习增强注射系统,通过实时视网膜运动补偿使针头定位误差<10μm。值得注意的是,Kim团队基于专家示教的导航系统在可变光照条件下仍保持0.92mm轨迹精度,较传统方法提升3倍。
视障辅助创新
集成力感知系统的智能手杖可实现双向人机交互,用户通过推拉动作即可调节机器人导引速度。实验显示该装置在复杂室内环境中的避障成功率达91%,较传统白手杖提升40%。
医学教育转型
Deep Surgery平台通过kappa值0.58-0.77的手术视频分析,实现了与专家评价相当的实时指导能力。居家OCT设备Notal Vision Home OCT(NVHO)与人工判读的一致性达94%,为远程医疗培训提供新范式。
结论与展望
该研究确立了EAI在眼科应用的三大优势:实时交互性(延迟<50ms)、环境适应性(处理16种异常光照条件)、操作精确性(μm级控制)。但作者也指出当前挑战,包括需建立包含47种罕见病的训练数据集,以及手术机器人FDA认证所需的LASR五级分类体系。值得关注的是,团队开发的层级化知情同意框架,通过区分生理数据(需严格授权)与环境元数据(泛化授权),为医疗AI伦理提供了新思路。
这项研究标志着眼科诊疗从"被动分析"迈向"主动交互"的新纪元。正如通讯作者Danli Shi强调的,当EAI系统配备EyeGPT等专业大模型时,其临床决策透明度将显著提升。未来随着ISR-LLM(迭代自优化大模型)等技术的引入,EAI有望在青光眼等复杂眼病的个性化治疗中发挥更大价值。该成果不仅为《柳叶刀》提出的"2050年消除可避免盲"目标提供技术支撑,其建立的多模态融合范式更为心血管介入等精密操作领域提供了重要参考。
生物通微信公众号
知名企业招聘