编辑推荐：
为解决甲虫后翅图像采集困难、训练数据集不足等问题，研究人员开展利用 Stable Diffusion 和 ControlNet 生成叶甲后翅图像的研究。结果显示合成图像保真度高，该研究为机器学习提供形态图像，展示了新方法的广泛适用性。
在昆虫的奇妙世界里，翅膀无疑是它们生存和演化的关键 “装备”。对甲虫来说，后翅不仅关乎飞行，更是研究其形态和演化的重要窗口。通过研究后翅，科学家们能深入了解甲虫在特定环境下的演化历程与功能适应性。然而，收集甲虫后翅图像困难重重。一方面，样本获取受限，不是想找就能找到；另一方面，样本制备流程繁琐，从小心翼翼地解剖，到使用专业设备拍照记录，每一步都容不得差错。而且，公共获取渠道也非常有限，这让相关研究就像被戴上了重重枷锁，进展缓慢。
与此同时，机器学习在昆虫学研究领域大展身手，尤其在分类和检测任务中表现出色。但它有个 “致命弱点”，就是严重依赖大规模的训练数据集。传统的机器学习模型训练，常因缺乏大规模公开的甲虫后翅地标数据集而举步维艰。收集和标注大量数据不仅耗费大量人力，还需要漫长的时间，这无疑成了阻碍研究前进的 “巨石”。为了搬走这块 “巨石”，数据生成技术应运而生，可已有的基于生成对抗网络（GAN）的数据生成方法，像 DCGAN、WGAN 和 VAE，在应用时却问题不断，比如对抗训练不稳定，对大规模数据集的依赖在甲虫后翅形态研究这种特殊领域很难满足。
在这样的困境下，中国科学院动物研究所等机构的研究人员决心开辟新的道路。他们开展了一项利用 Stable Diffusion 和 ControlNet 生成叶甲后翅图像的研究，并取得了令人瞩目的成果。相关论文发表在《Scientific Data》上，为昆虫学研究带来了新的曙光。
研究人员为了开展这项研究，运用了多个关键技术方法。他们以 Python 3.8.0 和 PyTorch 1.13.1 为工具，在特定配置的图形工作站上进行实验。数据集选取了 256 张叶甲后翅图像，涵盖 16 个亚科和 231 个属，这些图像中的后翅都标有 36 个具有生物学意义的地标。通过 Canny 边缘检测方法生成边缘图，结合 Thin Plate Spline（TPS）变换调整地标位置，再利用 Stable Diffusion 和 ControlNet 生成合成后翅图像123。
下面让我们来看看具体的研究结果：
- 生成后翅图像：研究人员利用 Stable Diffusion 和 ControlNet，按照特定流程生成叶甲后翅图像。先对图像进行缩放和格式转换，接着用算子生成突出关键特征和地标的图，提取并调整地标坐标，再通过 TPS 局部变形算子图，最后以变形后的图为条件输入，借助提示词生成新的后翅图像456。
- 数据集构建：完整的数据集可在 Zenodo 获取，压缩包内包含图像和注释两个子文件夹。图像文件夹按算子和叶甲亚科分类存放生成的后翅图像、中间算子图像和 TPS 插值图像；注释文件夹中的 train.json 文件记录了图像尺寸和地标坐标等信息78。
- 技术验证：对比 4 种 ControlNet 预训练模型发现，canny 和 HED 控制生成的图像与甲虫后翅相似度高，depth 和 normal 控制的图像有过多侧枝。对不同亚科叶甲后翅生成效果评估显示，多数亚科生成的图像真实完整，仅 Chrysomelinae 亚科的图像存在不足。通过 SSIM、IS、FID 和 LPIPS 等指标量化生成图像与真实图像的相似度，发现 Chrysomelinae 亚科生成图像的真实度最高，Bruchinae 亚科最低，这主要是因为 Bruchinae 亚科输入样本数量和质量欠佳91011。
研究结论表明，该研究提出的利用 Stable Diffusion 和 ControlNet 生成后翅图像的方法切实可行，生成的增强数据集能有效提升地标检测网络的训练效果。这一成果意义非凡，它为叶甲后翅研究提供了全新视角，有助于深入理解叶甲后翅的奥秘。而且，该方法还具有广泛的扩展性，只要有合适的图像数据集，就能应用到其他昆虫翅膀研究中，为分类学、进化生物学和生态学等领域的研究注入新的活力，推动相关学科不断向前发展。
