编辑推荐:
为解决现有活体人脑高光谱成像(HSI)数据库标记数据稀缺、缺乏 3D 组织信息的问题,研究人员构建 SLIMBRAIN 数据库,含多模态图像数据,可用于训练机器学习(ML)模型等,为医学和工程领域提供新资源。
在神经外科手术中,准确区分脑肿瘤组织与健康组织是一大挑战,尤其是像胶质母细胞瘤(GBM)这种具有高浸润性的肿瘤,其切除难度极大,而现有的术中工具如神经导航仪、术中磁共振(iMR)等都存在各自的局限性。此外,现有的活体人脑高光谱成像(HSI)数据库存在标记数据稀缺以及缺乏 3D 组织信息等问题,难以满足精准医疗和复杂算法开发的需求。因此,开发更高效的肿瘤检测工具和构建更完善的数据库成为亟待解决的问题。
为了应对这些挑战,西班牙马德里理工大学(Universidad Politécnica de Madrid)和马德里康普顿斯大学医院(Hospital Universitario 12 de Octubre)的研究人员开展了相关研究,构建了 SLIMBRAIN 数据库,并将研究成果发表在《Scientific Data》上。该数据库为脑肿瘤的精准检测和手术导航提供了新的解决方案,有望推动神经外科和医学影像领域的发展。
研究人员主要采用了以下关键技术方法:使用多种传感器(包括两台高光谱相机、两台深度相机和不同的 RGB 传感器)在手术过程中从 193 名患者获取图像和视频数据;通过数据预处理流程(包括高光谱立方体形成、光谱波段去除、数据校准、光谱校正和像素归一化等)对原始数据进行处理;利用神经外科医生通过基于光谱角映射器(SAM)算法的半自动标记工具对高光谱图像进行标记,生成地面真实(GT)图。
数据库构建与数据特征
研究构建了包含活体人脑高光谱(HS)脑组织数据(光谱范围 400–1000 nm)、RGB、深度和多视图图像的多模态数据库。数据来自 193 例患者的手术过程,“捕获” 指使用所有传感器进行图像数据采集的特定时刻。数据库具有灵活性,例如可融合不同传感器图像以增强脑组织分类,利用多视图或深度图像重建 3D 场景,还能通过近红外(NIR)范围的快照相机和覆盖可见近红外(VNIR)光谱的线扫描相机对脑组织进行表征,标记的高光谱数据可用于开发复杂算法等,对神经科学学生和研究人员也有帮助。
数据采集与处理流程
数据采集流程包括患者准备(进行头部 CT 和 MRI,确定肿瘤位置,患者麻醉后进行开颅手术暴露脑表面)、数据采集(使用不同版本的 SLIMBRAIN 原型系统,包括三脚架、扫描平台等,获取 HS、RGB、深度等图像和视频)、神经病理评估(对切除的病理组织进行染色和诊断)、数据预处理(生成高光谱立方体,去除无效波段,进行数据校准、光谱校正、像素归一化及图像裁剪旋转)、地面真实标记(利用伪 RGB 图像和 SAM 算法,神经外科医生标记健康、肿瘤等像素)和数据提取(根据 GT 图提取标记像素的反射率值)。
系统开发与验证
开发了四代 SLIMBRAIN 原型系统,从最初的带三脚架的 HS 快照相机系统,逐步升级为带扫描平台、线扫描相机、LiDAR 和深度相机的更灵活系统,采用不同光源并分析其光谱响应。通过光谱特征验证(与聚合物参考光谱对比)、地面真实图验证(分析 SAM 阈值)、深度图像验证(虚拟视图生成分析)和机器学习分类验证(随机森林模型训练),证明了数据库数据的质量和可用性。
数据记录与使用
数据记录存储在 e-cienciaDatos 存储库,包含原始数据、校准文件、预处理高光谱数据、地面真实图、患者标记数据等。用户需签署数据使用协议(DUA)才能访问,数据库网站提供导航和使用视频,还有 Python 软件包用于读取数据和生成相关可视化。
SLIMBRAIN 数据库填补了现有活体人脑成像数据库的空白,为脑肿瘤的术中检测和分类提供了丰富的多模态数据支持。其包含的高光谱数据和标记信息为机器学习模型的训练提供了坚实基础,有助于开发更精准的脑肿瘤检测算法。此外,数据库整合的深度和 RGB 图像支持 3D 场景重建和实时视频分析,能辅助神经外科医生在手术中更精准地识别肿瘤边界,提高手术切除的彻底性和安全性。该研究不仅推动了医学影像技术在神经外科中的应用,还为跨学科研究提供了宝贵的数据资源,有望在未来的临床实践和医学研究中发挥重要作用。