基于过程导向视觉 - 语言模型的白内障手术视频生成报告

《Communications Medicine》：Video-to-report generation for cataract surgery using procedurally grounded vision–language models

　　

摘要

背景

白内障手术应用广泛，但手术报告通常是在术后回顾性撰写，可能会遗漏短暂的术中事件或使用不一致的描述。本研究旨在开发一套系统，能够将未经剪辑的白内障手术视频转换为具有可审查视觉证据的时序结构化手术报告。

方法

我们开发了LensNarrate系统，该系统融合了固定速率视频采样、视觉-语言标注、帧级预测的时序组装以及独立的视觉定位。我们使用五折视频级交叉验证评估了20段波兰/乌克兰视频，并在目标域适应后评估了10段宁波留存的视频。性能在视频级别进行评估，并采用bootstrap方法计算95%置信区间。

结果

结果表明，LensNarrate的内部时序帧准确率为83.2%（95%置信区间：80.1–85.5），时序宏F1值为66.9%（64.2–69.2），分段F1@50为58.0%（50.5–66.1）。在宁波留存测试集上，对应的结果分别为71.6%（66.4–76.2）、57.5%（52.5–62.1）和47.7%（40.2–56.4）。其性能与经过微调的Qwen2.5视觉-语言模型相当，且优于经过微调的VideoCLIP检索基线。时序组装使内部分段F1@50从6.5%提升至58.0%，并将过分割程度从14.4降至1.56。

结论

LensNarrate提供了一种可追溯的工作流程，可从手术视频中生成结构化的白内障手术报告。研究结果支持进一步开展多中心和前瞻性评估，同时指出跨站点差异和短阶段边界定位仍是未来需要克服的挑战。