《Neuroinformatics》:Optimizing Photogrammetry Parameters for 3D Reconstruction of Fresh Brain Specimens
编辑推荐:
光度测量(Photogrammetry)已成为医学和研究领域从二维(2D)图像生成高保真三维(3D)模型的重要工具。然而,成像和处理参数的优化仍然是一个挑战,特别是对于新鲜脑标本(Fresh Brain Specimens),其中重复成像是不可行的。研究人员系
光度测量(Photogrammetry)已成为医学和研究领域从二维(2D)图像生成高保真三维(3D)模型的重要工具。然而,成像和处理参数的优化仍然是一个挑战,特别是对于新鲜脑标本(Fresh Brain Specimens),其中重复成像是不可行的。研究人员系统评估了各种Metashape对齐(Alignment)设置对3D重建结果的影响,分析了12,600种配置组合和63,000次对齐(Alignments)。研究结果表明,最佳成像设置由四组照片组成:两组在解剖位置捕获(与大脑水平及高于大脑30 cm处,相机倾斜30°),另两组相同设置但基底侧朝上。每次拍摄之间大脑应旋转3°,每组生成120张图像。初始处理应在Metashape中使用中等精度(Medium-precision)对齐且不应用掩膜(Masks)进行。若对齐失败,研究人员建议为每张图像生成一个掩膜,描绘大脑边界,并将掩膜应用于关键点(Key Points)。值得注意的是,更高的图像密度仅在选择将掩膜应用于检测到的特征(Detected Features)时才能提高对齐可靠性,且可能仅增加处理时间。研究人员还观察到相同条件下对齐结果的变异性,表明Metashape具有固有的随机(Stochastic)成分。因此,在修改成像参数之前,应重复失败的对齐操作。据研究人员所知,这是第一项使用转盘(Turntable)系统定义新鲜脑3D光度测量(Photogrammetry)最佳成像和处理参数的研究。未来研究应侧重于确定确保高质量重建所需的最小图像数量。
该研究发表于《Neuroinformatics》,针对新鲜脑标本因离体后迅速降解而无法重复成像的特性,传统依赖固定组织的光度测量(Photogrammetry)流程存在组织收缩变形达百分之六十的伪影干扰,且现有文献缺乏针对转盘(Turntable)工作流及Metashape软件对齐(Alignment)阶段参数的系统性优化方案,导致单次拍摄成功率低且数字档案质量不可控。研究人员旨在填补这一知识空白,通过大规模参数组合测试,确立适用于脑库(Brain Banking)快速单次通行文档记录的最优成像与处理参数,以提升神经解剖学数字存档的再现性与效用。
研究人员从神经科学组安蒂奥基亚(Neuroscience Group of Antioquia, GNA)神经银行数据库中选取2020至2021年捐赠的10例大脑作为样本队列,使用Canon EOS 60D相机与定制转盘(每3°增量拍摄,每圈120步)获取约480张照片每脑。关键技术方法包括:在Agisoft Metashape中系统测试12,600种配置组合(涵盖四组拍摄角度A-D、七种图像密度30至120张、三种掩膜应用模式及五种对齐精度),每种配置重复渲染五次以评估随机(Stochastic)变异性共计63,000次对齐;定性评估采用两名评分者独立对稀疏点云(Sparse Point Cloud)分类为CROR、CpROR、CnROR及对相机对齐(Alignment)分类为AC、AP、AI;定量评估通过Metashape API提取匹配特征数、均方根(Root Mean Square, RMS)重投影误差、有效投影数等指标;下游完整管道生成稠密点云、网格与纹理,并使用MeshLab测量相对参考模型的RMS顶点距离以评估几何精度。
Point Cloud Evaluation
研究人员对63,000个点云的定性评估显示,22.25%为CROR(Clouds that Represent Objects of Reference),6.61%为CpROR(Clouds that Partially Represent Objects of Reference),39.54%为CnROR(Clouds that not Represent Objects of Reference)。定量分析表明CROR模型的匹配特征数显著更高(约33,000 vs 4,000-6,000),每照片有效投影数更高(约1,534 vs 372-419),处理时间居中且稳定(约1.5分钟)。最终几何精度(RMS顶点距离)在各组间无显著差异(p=1)。
Alignment Evaluation
在63,000次对齐中,17.52%为AC(Correct Alignments),4.28%为AP(Partial Alignments),50.11%为AI(Incorrect Alignments)。AC模型匹配特征数最高(约33k),RMS点误差较低(约2 mm),AI误差较高(约3.75 mm)。处理时间AP最长(约4.1分钟),AC次之(约1.6分钟)。最终几何精度在对齐类别间无显著差异(p=1)。
Point cloud vs. Alignment
卡方检验显示对齐评估与点云评估存在统计学显著关系(p<0.001),Cramer’s V=0.3141,呈非常强相关性。AC与CROR直接正相关,AI与CnROR直接正相关,AI与CROR及AC与CnROR呈负相关。
Complete Model Evaluation
12,600个完整模型中,初评11.10%为MROR(Models that Represent the Object of Reference),6.60%为MaROR(Models that Approximately Represent the Object of Reference),经资深作者复核后合并MROR/MaROR占17.70%。MROR/MaROR匹配特征数约30k-32k,显著高于MpROR/MnROR(约8k-10k);RMS点误差MROR/MaROR约2 mm,MnROR达3.88 mm;最终RMS顶点距离MaROR(0.82 mm)略低于MROR(1.15 mm),均在相似精度范围。
Complete Model vs. Point Cloud and Alignment
对齐质量与最终模型质量相关性非常强(合并MROR/MaROR时Cramer’s V=0.448),点云评估相关性更强(Cramer’s V=0.525),表明CROR是成功重建的强预测因子,CROR情况下获MROR或MaROR概率为62.3%。
Photo Capture Angle
配置B(高30 cm倾30°)和C(基底朝上同B)与CROR呈正相关(0.064, 0.076),A(平视)和D(基底朝上平视)呈负相关(-0.064, -0.073)。A/D虽成功率低但成功时几何更可靠。各角度下MROR与CROR定量行为一致。
Number of Photos
照片数与CROR相关性可忽略(Cramer’s V=0.02)。匹配特征数随照片增加从30张约12k升至120张约50k-58k,但RMS顶点误差稳定(约0.8-1.2 mm)无显著差异,处理时间从0.6分钟增至2.8分钟。增加照片数提升特征密度但不改善最终表面精度。
Photo’s Density
连续与可变密度(92/46 vs 90/40)相关性弱(Cramer’s V=0.06),可变密度仅微弱关联CpROR(0.011)。相邻数量(40-46, 90-92)在匹配特征、对齐比、处理时间及几何误差均无显著差异。
Number of Masks Applied
掩膜数与点云评价相关性弱(Cramer’s V=0.07)。每图一掩膜(1/01)较稀疏掩膜(1/07等)匹配特征增约16%,RMS顶点距降约0.4 mm(约35%),其他掩膜频率间无差异。CROR与MROR表现等效。
Masks Configurations
掩膜配置相关性较强(Cramer’s V=0.24)。无掩膜(N)与关键点(Key Points)掩膜正向关联CROR(0.014, 0.075),关联点(Tie Points)掩膜负向(-0.086)。关键点掩膜在CROR中比关联点掩膜快约23%。关键点掩膜与无掩膜匹配特征约37k-40k,关联点掩膜降至约30%。
Post Hoc Masks Number on Masks Applied to Key Points
关键点掩膜亚组中,掩膜数与CROR呈中度相关(Cramer’s V=0.13),每图一掩膜正向(0.041),无掩膜负向(-0.015),中间频率未超阈值。
Alignment Precision
对齐精度与点云评价相关性较强(Cramer’s V=0.17)。CROR负关联最低精度(-0.039),正关联中(0.024)高(0.020)精度;CnROR相反。最高、高、中精度匹配特征稳定,低精度减半,最低至8%;处理时间降75-80%;几何精度仅最低精度稍劣。
Alignment Variability
12,600组中32.66%无变异性(SD=0),33.99%低变异(01)。RMS点误差变异中位数极小但高分位增大;有效投影每匹配特征等结构指标较稳;处理时间离散度低且一致。
Probability
最优配置(92图、每图一掩膜、关键点掩膜、最高精度)获MROR/MaROR概率45%。前50优配置中47用关键点掩膜,39含≥90图,支持高密度图+检测特征掩膜模式。
Post Hoc Photo Number with Masks Settings
关键点掩膜亚组中,照片数与CROR中度相关(Cramer’s V=0.135),120与92图正向(+0.018,+0.014),40与30图负向(-0.015,-0.025)。
讨论部分指出半自动拍摄存在人为遗漏与模糊问题,全自动化是方向。SfM(Structure-from-Motion)平均1.07分但极值差大需防无限对齐。定性评估一致性约68-72%,仅约1/5模型满意对齐。CROR与AC共享高匹配特征与投影、适中时间。云与对齐强相关但非绝对,后续管道仍关键。角度假设证实B/C优于A/D因表面积大。照片数无掩膜时无关,关键点掩膜时120/92图改善但几何无差且耗时增3倍,40图省13分摄时与掩膜工时。掩膜呈全或无效,关键点掩膜无损时耗,关联点掩膜未按背景法用待研。精度呈双峰:最高与中优,高无优,建议中用省时。Metashape具内在随机(Stochastic)成分,失败应重对齐非改参数。参考模型有人为偏倚未来需MRI金标。
结论部分翻译:研究人员进行了总计12,600种配置组合和63,000次对齐(Alignments),从而确定点云准确代表参考对象的对齐(Alignments)与被视为满意的最终模型呈中度相关。基于研究结果,研究人员推荐优化的成像参数包括四组照片:两组在解剖位置与大脑同水平及高于大脑约30 cm处、相机倾斜约30度捕获;另两组相同配置但大脑基底侧朝上。理想情况下大脑每次拍摄间旋转3°,每组产生120张图像。然而当时间受限时,减少至每组40张图像是可行替代方案,约降低三分之一获得满意模型的概率,同时大幅减少图像采集与处理时间。对于初始处理,研究人员建议在Agisoft Metashape中不应用掩膜(Masks)并使用中等(Medium)精度设置生成3D模型。然而若对齐(Alignment)失败,替代方案包括为每张图像应用一个掩膜(Mask),描绘大脑边界并利用基于关键点(Key Points)的掩膜(Masking)。据研究人员所知,这是首项使用转盘(Turntable)系统分析新鲜脑3D光度测量(Photogrammetry)成像与软件配置以优化的研究,并为神经解剖光度测量(Photogrammetry)提供具体技术建议。未来研究需确定维持模型质量而不妥协精度所需的最少图像数。