基于真实特征重组与标注融合的高分辨率视网膜图像增强与合成

《Biomedical Signal Processing and Control》：Retinal Recombination: A robust augmentation and synthesis of retinal images with annotation fusion

　　

上传文本未包含独立摘要部分，无法对摘要作完整翻译；依据题名下可得要点作术语化翻译：高分辨率标注融合的视网膜图像合成；基于图像统计的视神经乳头（optic nerve head, ONH；含视盘与视杯的视网膜区域）图像间转移；基于熵的血管掩膜增强；以真实图像为参照验证合成图像质量。

研究背景方面，生成对抗网络（generative adversarial networks, GANs；由生成器与判别器对抗训练的生成模型）和扩散模型（diffusion models, DMs；通过逐步去噪学习数据分布的生成模型）已用于医学图像生成，以提高数据集多样性；视网膜眼底图像是重要应用对象。但医学数据生成需高度保真，图像特征及其真实标注的保留研究不足；高分辨率训练GANs和DMs又依赖大规模数据和算力。因此，研究人员提出一种可在消费级系统上运行的高分辨率视网膜图像增强与合成算法，重点将源数据真实标注转移至合成图像，以填补计算需求较低的医学图像增强与合成研究空白。

研究人员开展的是基于真实图像分解、增强与重组的合成研究：从不同数据集中提取真实特征，融合成带真实标注的新图像；并提出ONH图像间转移、基于熵的血管掩膜增强及下游分割与分类验证。其意义在于以原生分辨率、较低数据与算力需求保留可靠标注，并通过融合真实标注特征与未标注数据实现数据多样化；结论认为该方法为资源受限场景提供了实用替代，但仍存在多样性受限和血管纹理恢复不足等局限。

关键技术方法（不超过250字）：研究采用公开FIVES（600训练/200测试）、REFUGE（1200）、RIGA MESSIDOR（460）与DRIVE（40）数据集。先以神经网络修复血管和ONH、估计ONH–黄斑坐标系并将血管骨架分解为动脉/静脉树；再随机选择背景、ONH和血管源，在L^*a^*b^*空间基于颜色统计转移ONH，以Perlin噪声进行空间变化光度增强，按坐标系对齐血管并以熵最大化、Murray定律约束旋转/伸缩及延伸，最后由派生GAN网络恢复血管纹理并融合真实标注。

研究结果如下。5.1 合成图像多样性（Diversity of synthesised images）：通过多数据集真实特征融合，可生成带血管、视盘（optic disc, OD；ONH外缘区域）和视杯（optic cup, OC；视盘中央凹陷区域）掩膜的高分辨率图像，部分背景来自FIVES者还含分类标签；合成集与合并源数据集的Fréchet Inception Distance（FID；衡量分布差异的指标）为23.32，受控实验中真实集FID为7.53±0.12、合成集为27.88±0.59；t-SNE显示合成样本填补真实训练数据空隙，但因重叠有限，应补充而非替代真实数据。5.2 与当前最优方法的比较（Comparison with the state-of-the-art）：通过方法学与局限比较得出，大型私有数据和算力可支持高分辨率生成但通常难以复现，公开数据集合成在质量和分辨率上受限，且多依赖单一生物标志、常缺少ONH条件化与验证、动脉/静脉区分和血管增强考虑不足；本方法弥补这些不足，但输出多样性低于潜空间采样。5.3 临床验证（Clinical validation）：由眼科医师复核35幅、双人评分30幅，Likert 1–5分均值分别为4.23±0.82和4.23±1.14，二次加权Cohen’s Kappa为0.1892，超过三分之二图像被评为真实；发现的错误包括血管交叉分离不合理、血管过近黄斑、视盘颜色不匹配、血管与神经纤维位置不符、低对比图像血管密度不足、视盘边缘血管弯曲及视盘近图像边缘时鼻侧血管缺失；总体除少数生物条件不足案例外较为可信。5.4 血管增强有效性（Blood vessel augmentation validity）：通过形态学开运算比较熵演化，FIVES与合成数据集的熵变化匹配且合成集略增；分形维数（fractal dimension, FD；描述血管结构复杂度）均值真实为1.6089、合成为1.633，提示按Murray定律延伸和增强带来边际改善。5.5 视网膜图像自动重组（Auto-recombination of retinal images）：对FIVES测试集自动重组得到峰值信噪比（peak signal-to-noise ratio, PSNR；衡量重建误差）40.196、结构相似性指数（structural similarity index measure, SSIM；衡量结构相似度）0.9764、RMSE 0.0101、学习感知图像块相似度（learned perceptual image patch similarity, LPIPS；基于深度特征的感知差异）0.0785，说明感知相似性、噪声和颜色复现未显著退化；最高信息损失位于OD复杂血管与纹理区，且这些指标不评估生物标志质量。5.6 视网膜特征分割（Segmentation of retinal features）：合成A集1000幅、合成B集500幅；仅用合成数据训练最差，真实与合成合并后在ONH分割各测试中改善，REFUGE的OD F₁真实0.9258、合成A 0.9265、合并0.9452，OC F₁合并0.8031高于真实0.7765，MESSIDOR的OD F₁合并0.9606、OC 0.9176；FIVES血管分割F₁真实0.8802、合成0.7037、合并0.8813，敏感性分别为0.8350、0.5955、0.8503，提示合成数据对细小血管识别不足；DRIVE跨数据集F₁分别为0.7705、0.7542、0.7864，特异性0.9835、受试者工作特征曲线下面积（area under the receiver operating characteristic curve, AUC；分类判别能力）0.9745，与相关工作有竞争力，但该评估使用DRIVE训练集且合成与评估未见DRIVE图像，除0.5阈值外未做后处理。5.7 异常状态分类（Classification of an abnormal state）：用FIVES合成含每类250例的C集并以ResNet-50分类，真实、合成C、合并的准确率分别为0.7300、0.7300、0.8050，F₁为0.6919、0.7252、0.8026，AUC为0.9487、0.9388、0.9592；合并主要改善健康例识别并减少糖尿病视网膜病变假阳性，但DR和青光眼略降，原因可能为修复和纹理恢复损伤病理标志及随机拼接不兼容特征；McNemar-Bowker检验显示真实与合并预测差异有统计学意义但列联表稀疏、检验效能不足。5.8 统计比较（Statistical comparison）：通过置信区间与1000次自助法分析，分类需七模型集成才能达到与分割相近的区间宽度；先在阈值前对网络输出做logit或概率平均，较集成均值稳定提升。5.9 消融实验（Ablations）：以合成数据训练并在REFUGE验证/测试集评估OD分割，参数λ_?、候选子集比例和ε_in中，最佳F₁对应λ_?=0.1（0.8868）、子集0.25（0.8974）、ε_in=0.6（0.8841）；子集0.1显著变差（F₁=0.7884），差异多处于收敛波动范围。

讨论与结论部分指出，该方法仅需少量算力即可合成带融合标注的高分辨率图像，但复用真实特征降低多样性，背景结构在光度增强下仍不变；可考虑GAN或风格迁移，但可能牺牲分辨率且超出本文范围。血管质量下降主要见FIVES下游分割，重组网络学习的是修复区域纹理而非真实纹理；临床评价首名评分者为共同作者，仍需更多临床医师；方法未按病理条件化，可能损伤症状区域。未来将聚焦病理标志条件化修复、高分辨率生成增强及向其他需检测生物/病理标志且存在未标注数据的医学图像模态扩展。研究结论翻译如下：研究人员提出了一种基于现有图像重组的视网膜图像合成新方法，通过特征融合补充生成式方法；首先引入图像分解方法，用神经网络修复被移除特征，并以图处理和形态学分离血管树；随后提出模块化新图像创建方法，取修复后的视网膜背景，基于颜色统计转移ONH，并为拟合血管恢复纹理；各特征可独立增强以提高结果多样性。尽管与最先进生成模型的直接比较受其依赖大规模数据和算力限制，该方法为资源不可得场景提供实用替代；通过原生分辨率运行、数据需求小、保留标注并在下游任务表现有竞争力，填补了视网膜图像合成关键空白。局限包括特征复用导致合成图像多样性降低、不能准确恢复血管纹理及血管几何轻微不一致；未来扩展主要在病理感知修复、特征合成与重组混合及高分辨率血管恢复。