编辑推荐：
针对 MIML 忽视组件内部关系、MGML 缺乏全局特征的局限，研究人员开展 MGMIML 研究，提出 M3DIM 框架，融合图与实例结构，挖掘互补冗余信息。实验表明其性能显著优于现有方法，为复杂对象建模提供新路径。
在生命科学与信息科学交叉领域，复杂对象的精准建模始终是研究难点。以生物分子网络、社交用户行为等为例，这些对象既包含如节点属性的全局特征信息，又暗藏如边连接的局部结构关系。传统的多实例多标签学习（MIML）方法将对象表示为 “实例包”，虽能捕获整体特征，却忽略了实例间的内在关联；而多图多标签学习（MGML）通过 “图包” 刻画局部结构，却难以提取全局属性，二者在处理复杂数据时均存在显著局限性。如何同时保留细粒度结构关系与粗粒度整体特征，成为解锁复杂对象深度建模的关键科学问题。
为突破这一瓶颈，研究人员开展了多图多实例多标签学习（MGMIML）的创新研究。该研究将对象表示为 “图 - 实例对” 的包结构，每个组件同时具备图的局部结构细节与实例的全局特征描述。例如在图像分析中，同一区域既可用颜色直方图（实例）表征整体色彩分布，又能通过图结构（节点为属性、边为邻接关系）刻画像素关联。通过这种双结构表示，有望实现对复杂对象的全面信息捕捉。此项研究由相关团队完成，成果发表在《Expert Systems with Applications》。
研究采用的核心技术方法包括：
- 跨模态特征对齐：通过两个编码器将图与实例映射至相似特征空间，保留细粒度结构（图）与粗粒度特征（实例）信息；
- 包级图结构构建：创建 “结构包图” 与 “特征包图”，分别捕捉图间与实例间的关系；
- 解耦信息挖掘：利用私有编码器提取双结构特有的互补信息，通过共享编码器挖掘公共信息以消除冗余，并引入差异损失与匹配损失强化互补性和一致性；
- 注意力融合机制：整合多源表示生成统一包特征，用于多标签分类。
实验配置与有效性分析
研究基于 6 个 MGMIML 基准数据集（涉及生物信息学、图像分析等领域），对比了 MIML、MGML 等 10 余种先进方法。结果表明，M3DIM 在准确率、汉明损失等关键指标上均显著优于对照组，验证了双结构融合的有效性。
消融研究
通过逐步移除模型组件（如私有编码器、公共编码器等），发现解耦信息挖掘模块对性能提升贡献最大，尤其在保留互补信息与消除冗余方面不可或缺。结构包图与特征包图的联合使用，较单一结构建模提升效果达 15%-20%。
参数敏感性分析
对编码器层数、注意力头数等参数进行调优，结果显示模型在较宽参数范围内保持稳定性能，表明其鲁棒性较强。当图与实例特征维度匹配度达 70% 以上时，信息融合效率最佳。
runtime 分析
与同类方法相比，M3DIM 因引入双结构处理，计算复杂度略有增加，但通过优化包图构建算法，其训练耗时仍控制在可接受范围，适用于中等规模数据集。
研究结论指出，MGMIML 框架通过集成图与实例的双重表示，成功弥补了传统方法在局部结构与全局特征建模上的缺陷。所提出的 M3DIM 方法通过解耦信息挖掘，有效平衡了双结构的互补性与冗余性，为复杂对象的多维度建模提供了全新范式。在生命科学领域，该方法可加速药物筛选中分子化合物的多标签注释，减少人工标注成本；在医学影像分析中，能提升病变区域的结构 - 特征联合表征能力，助力精准诊断。未来研究可进一步探索动态图结构与时序实例的融合，拓展其在时空数据建模中的应用潜力。此项工作不仅为多模态机器学习提供了理论创新，更在跨学科应用中展现了广阔的实用价值。
