《Agriculture》:Comment on Jia et al. Exploratory Study of Sex Identification for Chicken Embryos Based on Blood Vessel Images and Deep Learning. Agriculture 2023, 13, 1480
编辑推荐:
本研究为对Jia等(Agriculture 2023, 13, 1480)所报道的基于血管图像与深度学习实现鸡胚早期性别鉴定方法的评论。鸡胚早期性别鉴定在科学与经济层面均具有重要意义,并对家禽生产具有伦理与可持续性影响。然而,任何技术在被纳入商业实践之前,均需
本研究为对Jia等(Agriculture 2023, 13, 1480)所报道的基于血管图像与深度学习实现鸡胚早期性别鉴定方法的评论。鸡胚早期性别鉴定在科学与经济层面均具有重要意义,并对家禽生产具有伦理与可持续性影响。然而,任何技术在被纳入商业实践之前,均需具备稳健、可重复且可泛化的方法。原文报道了一种利用血管图像与深度学习目标检测模型(YOLO-v5及改进的YOLOv7)对鸡胚进行早期性别鉴定的方法,模型在约4000幅血管图像(来自约2000枚蛋)上训练,在约800幅图像(来自400枚蛋)上测试,成像采用亮场成像(照蛋法)穿透完整蛋壳进行,据称分类准确率高于88%。随后一项独立研究(Mahler等)采用激光散斑对比成像(LSCI)系统记录的血管图像,使用ResNetBiT与YOLO-v5等深度学习模型进行性别分类,结果准确率持续低于60%,未能复现原研究结论。本评论比较了两项研究在成像方法、图像质量、蛋类型、真值确定、数据可获取性、深度神经网络(DNN)模型及数据集规模等方面的差异,指出由于成像方式不同,后续研究不应被视为对原研究的直接重复或确证性否定,但显著不同的性能表现强调需采用独立数据集与成像系统开展进一步研究,以确定所报道的分类性能是否稳健且可跨实验条件泛化。同时,原研究未共享数据集或代码,引发对透明度与方法学报告的关切。研究人员指出,若性能差异最终归因于成像方式差异,则将对Jia等性别分类模型实际所利用的图像特征提出重要疑问。
研究背景方面,鸡胚早期性别鉴定兼具科学价值与经济价值,并涉及家禽生产的伦理与可持续性问题,但任何技术进入商业应用前必须具备稳健性、可重复性与泛化性。原文报道基于血管图像与深度学习目标检测模型(YOLO-v5及改进的YOLOv7)进行鸡胚早期性别鉴定,训练集约4000幅血管图像(来自约2000枚蛋),测试集约800幅图像(来自400枚蛋),采用亮场成像(照蛋法)穿透完整蛋壳成像,据称分类准确率高于88%。然而,后续独立研究采用激光散斑对比成像(LSCI)系统采集血管图像,使用ResNetBiT与YOLO-v5等模型分类,训练集约1100幅图像(来自约800枚蛋),测试集约300幅图像(来自约200枚蛋),准确率持续低于60%,未能复现原研究结果。本评论即针对上述可重复性与泛化性问题展开,通过比较两项研究的差异,探讨原研究结论的稳健性及其对领域的影响。研究人员开展的是对原研究的评论性分析,得出后续研究因成像方式不同而不能视为直接重复或确证性否定,但性能差异显著,需以独立数据集与成像系统进一步验证;同时原研究未共享数据与代码,凸显透明度与方法学报告问题。其重要意义在于提示领域重视独立验证、数据共享与方法学透明,并追问原模型实际利用的图像特征。
关键技术方法方面,原研究采用亮场成像(照蛋法)穿透完整蛋壳采集鸡胚血管图像,构建约4000幅图像的数据集并训练YOLO-v5与改进YOLOv7目标检测模型进行性别分类;后续研究采用激光散斑对比成像(LSCI)系统采集血管图像,使用ResNetBiT与YOLOv5s-cls模型,采用五折交叉验证,并以性腺鉴定结合PCR验证确定真值,涉及1251枚鸡胚与2773幅LSCI图像;本评论则通过文献比较分析成像方法、图像质量、蛋类型、真值确定、数据可获取性、模型与数据集规模等方面的差异。
研究结果方面,第一,关于后续研究的复现尝试:Mahler等采用LSCI图像与YOLO类模型,在第3与第4天胚龄的分类准确率约为55–57%,持续低于60%,未达到可靠早期性别分类所需的统计显著性或实用准确率。第二,关于两项研究的比较:成像方法上,LSCI测量血流引起的散斑对比变化以显示活动血管,照蛋法则检测血液与背景的光吸收差异,两者均为光学方法,文献报道显示二者提供的血管结构表现相似甚至相同,LSCI对蛋壳色素、裂纹与污渍较不敏感;图像质量上,后续研究图像为单色灰度而原研究为彩色,但对绿色LED光源通常仅绿色通道贡献相关血管细节,故两数据集图像质量相当;蛋类型上,后续研究使用褐壳蛋而原研究使用白壳京粉6号蛋,早期孵化期胚胎发育轨迹不因品种或蛋壳颜色而异,血管发育轨迹差异始于约第4.5天绒毛尿囊膜(CAM)起始,故蛋类型差异不太可能单独解释性能差异,但品种与蛋特异性差异可能影响成像特征,评估泛化性时应予考虑;真值确定上,后续研究结合性腺鉴定与PCR(第11天解剖)确定真值,原研究依据出壳时羽色判定,羽色法准确性依赖操作者,约为75%至95%以上,而性腺鉴定联合PCR准确性高于95%,后续研究排除了性腺性别与PCR性别不一致的样本(约4%);数据可获取性上,研究人员多次联系原研究作者与期刊编委会仍未获得数据集,后续研究数据公开于Zenodo仓库;模型差异上,原研究以YOLO-v5为基线,改进YOLOv7略优,后续研究亦用YOLO-v5,二者性能差距较小,深度神经网络架构差异不太可能单独解释准确率的巨大差异;数据集规模上,原研究蛋数约为后续研究的两倍、图像数约为三倍,样本量差异本身不太可能解释分类准确率与二元交叉熵(BCE)损失的显著差异。第三,关于泛化性与透明度的关切:多次联系原研究作者与编辑部获取源代码、数据或方法学细节均未成功,而此类材料对独立研究至关重要,尤其在机器学习研究中实现细节可实质性影响结果;在无法获取原始数据集与预处理流程的情况下,难以确定成像方式、预处理或模型训练的差异是否导致结果分歧。第四,结论部分指出,后续研究未能以基于YOLO的模型从第3与第4天胚龄的LSCI图像中准确判定鸡胚性别(准确率持续低于60%),鉴于原研究在相同发育阶段的鸡胚血管LED图像上以YOLO类模型报道了高于88%的准确率与低损失,该结果令人意外;无法获取原研究数据与代码进一步凸显了对透明度与方法学报告的广泛关切。评论还附带指出,据报道鸡胚基因表达与性别分化在雄性约第4.5天、雌性约第6.5天开始,此后性腺形态学变化逐渐可观察;利用早期血管图像进行性别鉴定的合理性有待进一步阐明,深度学习模型虽可能识别肉眼难以区分的血管特征,但也可能利用其他图像相关特征;最后,若性能差异最终归因于成像方式差异,则将对Jia等性别分类模型实际所利用的图像特征提出重要疑问。
讨论部分总结:本评论通过系统比较两项研究,认为后续研究采用LSCI而非原研究的透射/照蛋方式,其结果不应被解释为对原研究发现的直接重复或具体否定;但在独立实验与分析框架下观察到的显著不同性能,强调需以独立数据集与成像系统开展更多研究,以确定所报道的分类性能是否稳健且可跨实验条件泛化。评论同时强调数据与代码共享对机器学习研究可重复性的关键作用,并对早期血管图像用于性别鉴定的生物学合理性提出疑问。研究结论部分译为:后续研究作者未能使用基于YOLO的模型从孵育第3与第4天的LSCI图像中准确判定鸡胚性别(准确率持续低于60%);鉴于原研究在相同发育阶段的鸡胚血管LED图像上以YOLO类模型报道了高于88%的准确率与低损失,该结果令人意外;无法获取原研究使用的数据和/或代码,进一步凸显了对透明度与方法学报告的更广泛关切。