I2M：一种用于从图像中识别分子结构的基于检测框的检测框架

《Journal of Cheminformatics》：I2M: a box-based detection framework for molecular structure recognition from images

　　

摘要

从分子图像中准确识别和重建化学结构对化学信息学至关重要，其应用涵盖药物发现、材料科学和专利分析等领域。然而，大量化学数据以隐式形式存在，无法被机器直接读取，这限制了其向结构化数据库的整合。传统的基于规则和基于机器学习的方法在图像中存在原子重叠、键模糊或视觉质量低下时往往表现不佳。为应对这些挑战，我们提出了一种名为I2M的框架，该框架集成了经过适配器模块增强的视觉Transformer（ViT）编码器，并利用预训练的检测Transformer（DETR）权重以提升准确率和效率。I2M通过预测原子、电荷和键的位置与类别来识别这些元素，随后将其组装为化学上可解释的分子图。该模型采用了DETR提出的鲁棒查询选择机制以提高解码准确性，并运用先进的验证流程有效处理复杂情况。与现有模型（包括MolVec、DECIMER-Image-to-SMILES、DECIMER Image Transformer、MolGrapher和MolScribe）相比，I2M在准确率和计算效率方面均表现出色。此外，为便于未来研究中其他化学结构识别方法的自动和便捷测试，我们开发了化学结构图像基准测试并发布了相关数据集。本研究凸显了I2M在化学信息学中的变革潜力，为弥合分子图像与数字分子表征之间的鸿沟提供了可靠解决方案。