im2im：利用知识图谱方法自动转换内存中的图像表示形式

《Proceedings of the ACM on Programming Languages》：im2im: Automatically Converting In-Memory Image Representations using a Knowledge Graph Approach

im2im库通过知识图谱自动生成图像内存转换代码，减少低级细节处理，在视觉编程语言中的测试表明其能简化工作流并降低运行时开销，适用于其他编程环境和领域。

　　

摘要

图像处理工作流程通常由一系列不同的功能组成，每个功能都以抽象的方式处理“图像”输入和输出。然而，图像在内存中的具体表示方式在不同库之间甚至在同一库内部都可能存在差异。因此，当将来自多个来源的功能集成到单个程序中时，需要进行转换。转换过程迫使用户考虑低级别的实现细节，包括数据类型、颜色通道、通道顺序、小批量布局、内存位置以及像素强度范围。特别是在视觉编程语言（VPLs）中，这些细节会分散人们对高级操作的注意力。我们介绍了im2im，这是一个Python库，它可以自动化内存中图像表示的转换。该库的核心概念是一个知识图谱，用于描述图像表示方式及其之间的转换方法。系统通过查询这个知识图谱来生成转换代码并执行它，从而将图像转换为所需的表示形式。通过两个VPL案例研究评估了这种方法的有效性。在每个案例中，我们将使用基本基于块的VPL创建的工作流程与使用im2im增强后的相同工作流程进行了比较。评估结果表明，im2im自动化了类型转换，消除了手动干预的需要。此外，我们还比较了使用显式中间表示与im2im之间的开销，这两种方法都避免了在VPL中进行手动类型转换。结果表明，im2im仅生成必要的转换，避免了与转换为中间格式相关的运行时开销。通过比较im2im使用的逐步方法和单功能方法之间的性能，发现im2im引入的开销并不会影响实际可用性。虽然im2im主要针对基于块的VPL设计，但它也可以推广到其他VPL和文本编程环境。其原理也适用于图像以外的领域。源代码和分析资料可通过GitHub获取。