DataEX-Sc：基于多策略融合与双向优化的材料科学散点图专用解析模型

《Materials Genome Engineering Advances》：DataEX-Sc: A Specialized Parsing Model for Materials Science Scatter Plots Based on Multi-Strategy Fusion and Bidirectional Optimization

　　

材料科学文献通常以散点图形式呈现数据，导致数据复用困难。从视觉信息中提取结构化数据至关重要，但现有工具难以兼顾便捷性与准确性。为此，研究人员开发了DataEX-Sc，这是一个由五个协调模块组成、并通过双循环优化的专用模型。在内循环中，DataEX-Sc采用数据驱动策略结合一系列计算机视觉（CV）方法优化其内部模块，以确保鲁棒性和准确性。在外循环中，DataEX-Sc与通用多模态大语言模型（MLLMs）之间形成协同进化机制。DataEX-Sc为MLLMs的微调提供高质量的图文对，提升其理解图像和代码的能力；作为回报，优化后的MLLMs借助Cursor对DataEX-Sc的算法和参数进行优化，增强其在复杂多样输入上的泛化性和准确性。DataEX-Sc的独特架构实现了散点图解析的全自动化，同时允许用户在任何阶段进行无缝校正。与现有全自动工具相比，其准确率提升了超过0.23（在相对误差阈值=0.02时的绝对F₁增益），并且比半自动工具效率提高80%。该模型已在线部署，以加速材料数据库的构建。该工具的方法融合了基于规则的专用处理能力和通用认知能力，具有广泛的适用性。

材料科学文献中，大量实验数据以散点图形式呈现以便读者理解规律，但这种视觉化表达使数据复用困难。从图像中解码像素