编辑推荐：
当前单模态 AI 在医疗领域存在局限，尤其在 3D 医学影像（如 CT/MRI）和医学视频（如内窥镜）解读方面不足。研究人员探索将视频 - 文本生成式 AI 适配于医疗场景，提出将 3D 图像视为视频处理，挖掘其在自动报告、病例检索等方面的潜力，为临床带来新可能。
在医学影像领域，精准解读复杂的 3D 医学图像（如 CT、MRI 断层图像）和动态医学视频（如内窥镜、腹腔镜手术视频）一直是提升诊疗效率的关键挑战。传统单模态 AI 模型虽能在文本或 2D 图像分析中发挥作用，如总结电子健康记录、检测病变等，但面对具有空间维度的 3D 图像和包含时序信息的医学视频时，其整合多模态信息的能力不足，难以充分利用影像中的协同信息、元数据和解剖结构的空间关联性。例如，CT 和 MRI 的多相位扫描、内窥镜的不同成像模式（如窄带成像 NBI、红二色成像 RDI）均蕴含丰富的诊断线索，但现有模型难以有效处理这些复杂数据，导致诊断效率和准确性受限。
为突破这一瓶颈，首尔大学医院（Seoul National University Hospital）等机构的研究人员开展了多模态生成式 AI 在医学影像领域的应用研究。相关成果发表在《npj Digital Medicine》，旨在通过适配视频 - 文本生成式 AI 模型，革新 3D 医学影像和医学视频的解读方式，为临床提供实时、精准的辅助诊断工具。
研究主要采用以下关键技术方法：
- 视频 - 文本生成模型适配：将 3D 医学图像的断层切片按时间轴拼接为 “长视频”，利用现代视频模型处理数千帧的能力，分析多序列影像数据；
- 多模态信息整合：结合电子健康记录（EHR）、临床报告、扫描参数等元数据，通过对比学习和掩码自动编码器训练模型，捕捉影像与文本的语义关联；
- 自监督学习：利用医学影像的自多模态特性（如 MRI 的 T1/T2 加权序列、CT 的多期扫描），通过掩码建模和对比学习减少对专家标注数据的依赖。
3D 医学影像与医学视频的独特特征
数据格式与成像技术差异
3D 医学图像多为 12-16 位灰度 DICOM 格式，需通过窗宽窗位调整（如 CT 区分骨与肺组织、MRI 凸显病变）才能准确解读，而传统视频模型预处理需适配这种高动态范围数据。医学视频（如内窥镜）采用特殊成像技术，如 NBI 通过强调血红蛋白吸收波长增强血管显示，RDI 使血液呈暗黄绿色以辅助止血，其色彩空间和放大倍数（最高 520 倍）远超普通视频，对模型的细节捕捉能力提出更高要求。
自多模态与协同信息
3D 医学图像具有自多模态特性，如 MRI 的不同脉冲序列（T1、T2、扩散加权）和 CT 的多期扫描（动脉期、门静脉期）可反映组织的不同特性，需综合分析以判断病变的血流动力学特征。医学视频中，内窥镜结合超声或荧光成像等多模态数据（如鉴别胃黏膜下肿瘤时，白光内镜显示表面特征，超声内镜揭示内部回声），协同信息对精准诊断至关重要。
元数据与世界模型
元数据在医学影像解读中不可或缺，如 MRI 的脉冲序列参数影响灌注图评估，结肠镜检查的退镜过程记录关乎息肉定位。3D 医学影像的 “世界模型” 需理解解剖结构的空间连通性（如血管连续性）、跨切片的因果关系（如转移灶关联），而医学视频的方向感知（如腹腔镜视角的左右方位与患者体位的空间映射）与传统视频差异显著。
视频 - 文本模型的适配策略
3D 图像视频化处理
将 DICOM 切片转换为 RGB 格式并沿时间轴拼接，形成 “长视频”，允许模型同时处理数百至数千帧数据，覆盖完整扫描序列或多期影像。例如，肝脏 CT 的动脉期和门静脉期序列可合并为视频，模型通过分析不同时相的强化模式鉴别肝血管瘤与肝细胞癌。
多模态输入整合
模型输入包括视频化的影像数据、临床病史、实验室结果和扫描元数据（如相位、参数）。通过 LLM（如 GPT-4o、Gemini 1.5）的文本处理能力，结合对比学习对齐视觉与语言特征，实现从 “影像 - 文本” 的联合表征学习。例如，输入腹痛患者的 CT 视频和 “慢性乙型肝炎病史” 文本，模型可综合多期影像和临床信息，鉴别肝占位的良恶性。
医学视频的实时交互
针对内窥镜和手术视频的动态特性，模型支持实时交互，如在检查中识别可疑病变并提示医生延长观察时间，或在手术中监测电刀与关键结构的距离并自动预警。结合密集字幕生成技术，模型可逐帧标注视频中的解剖结构或病变，为术后分析提供精准索引。
应用场景与潜在价值
自动化报告与辅助诊断
模型可基于多期影像和临床数据自动生成初步报告，缩短急诊诊断时间。例如，腹部 CT 的动脉期和延迟期影像经模型分析后，可提示 “动脉期强化肿块，结合慢性肝炎病史，考虑肝细胞癌”，为临床决策提供参考。
病例检索与教育
通过视频 - 文本检索技术，医生可基于文本描述快速匹配数据库中的相似病例（如 “胃窦部溃疡伴窄带成像血管异常”），辅助罕见病诊断。生成式模型还可模拟手术视频或 3D 解剖结构，用于医学教育，在保护患者隐私的同时提供逼真的训练素材。
实时手术导航
在腹腔镜手术中，模型可实时分析视频流，识别解剖结构并提示操作风险，如 “电刀距离胆总管 5mm，建议调整角度”，降低术中损伤风险，提升手术安全性。
挑战与未来方向
尽管前景广阔，该领域仍面临多重挑战：
- 数据稀缺：公开可用的 3D 医学影像和视频 - 文本数据集（如 MIMIC）有限，需推动跨机构数据共享并加强隐私保护（如去标识化技术）；
- 模型评估：缺乏针对协同信息整合能力的评估基准，需开发下游任务（如鉴别肝内病变类型）以验证模型推理的准确性；
- 工程优化：医学视频的实时处理对算力要求高，需优化模型架构以提升推理速度，适配临床实时交互需求。
结论
这项研究为多模态生成式 AI 在医学影像领域的应用开辟了新路径，通过将 3D 图像与医学视频转化为可处理的 “视频 - 文本” 模态，结合自监督学习和多模态整合技术，有望显著提升复杂影像的解读效率与准确性。随着模型训练数据的丰富和推理能力的提升，该技术或将重塑临床工作流，从辅助诊断延伸至手术导航、医学教育等多个维度，为精准医疗提供强大的工具支撑。未来，跨学科合作与标准化数据集的构建将是推动其临床转化的关键。
