麻省理工学院的工具可视化和编辑“物理上不可能”的对象

通过在2.5维空间中呈现类似埃舍尔的视错觉，“梅舍尔”工具可以帮助科学家理解违反物理学的形状，并激发新的设计。

M.C. 埃舍尔的艺术作品是通往深度挑战视觉错觉世界的入口，其作品以“不可能的物体”为特色，这些物体以复杂的几何形状打破了物理定律。你对他的插画的感知取决于你的视角——例如，一个人看似在上楼，但如果你将头侧倾，他可能实际上是在下楼。

计算机图形科学家和设计师可以在三维空间中重现这些错觉，但只能通过弯曲或切割一个真实形状，并将其放置在特定角度来实现。然而，这种方法存在缺点：改变结构的平滑度或照明会暴露它并非真正的视觉错觉，这也意味着你无法准确地在它上面解决几何问题。

麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员开发了一种独特的方法，以更灵活的方式表示“不可能的物体”。他们的“Meschers”工具将图像和三维模型转换为2.5维结构，创造出类似埃舍尔的窗户、建筑物甚至甜甜圈的描绘。这种方法帮助用户重新照明、平滑并研究独特的几何形状，同时保留其视觉错觉。

该工具可以帮助几何研究人员计算曲面上两点之间的距离（“测地线”）以及模拟热量如何在其上扩散（“热扩散”）。它还可以帮助艺术家和计算机图形科学家在多个维度上创建违反物理定律的设计。

论文的主要作者、麻省理工学院博士生Ana Dodik表示，她希望设计出不受现实复制限制的计算机图形工具，使艺术家能够独立于形状是否能在物理世界中实现来表达他们的意图。“通过Meschers，我们为艺术家解锁了一类新的计算机形状，”她说，“它们还可以帮助感知科学家理解物体真正变得不可能的临界点。”

Dodik及其同事在8月的SIGGRAPH会议上展示他们的论文。

让不可能的物体成为可能

不可能的物体无法在三维空间中完整复制。它们的组成部分通常看起来是合理的，但当在三维空间中组装时，这些部分无法正确地拼接在一起。然而，正如CSAIL研究人员发现的那样，可以计算地模仿我们感知这些形状的过程。

以彭罗斯三角形为例。作为一个整体，这个物体在物理上是不可能的，因为深度“加不起来”，但我们可以在其中识别出真实世界的三维形状（比如它的三个L形角）。这些较小的区域可以在三维空间中实现——这被称为“局部一致性”——但当我们尝试将它们组合在一起时，它们无法形成一个全局一致的形状。

Meschers方法模拟了具有局部一致性的区域，而无需强迫它们全局一致，从而拼凑出一个类似埃舍尔的结构。在幕后，Meschers将不可能的物体表示为我们在图像中知道它们的x和y坐标，以及相邻像素之间z坐标（深度）的差异；该工具利用这些深度差异间接地推理不可能的物体。

Meschers的多种用途

除了渲染不可能的物体外，Meschers还可以将它们的结构细分为更小的形状，以便进行更精确的几何计算和平滑操作。这一过程使研究人员能够减少不可能形状的视觉瑕疵，例如他们将一个红色心形轮廓变细。

研究人员还在一个“不可能的贝果”上测试了他们的工具，这个贝果以一种物理上不可能的方式被阴影化。Meschers帮助Dodik及其同事模拟了热扩散并计算了模型不同点之间的测地线距离。

“想象一下，你是一只在贝果上爬行的蚂蚁，你想知道你需要多长时间才能穿过它，”Dodik说。“同样，我们的工具可以帮助数学家近距离分析不可能形状的底层几何结构，就像我们研究真实世界的形状一样。”

就像魔术师一样，该工具可以将其他实用物体变成视觉错觉，使计算机图形艺术家更容易创造出不可能的物体。它还可以使用“逆向渲染”工具将不可能物体的绘图和图像转换为高维设计。

“Meschers展示了计算机图形工具不必受物理现实规则的限制，”高级作者、电气工程与计算机科学副教授、CSAIL几何数据处理小组负责人Justin Solomon说。“令人难以置信的是，使用Meschers的艺术家可以推理出我们永远不会在现实世界中找到的形状。”

Meschers还可以帮助计算机图形艺术家调整他们作品的阴影，同时保留视觉错觉。这种多功能性将允许创意人员改变他们艺术作品的光线，以描绘更广泛的场景（如日出或日落）——正如Meschers通过重新照明一个滑板上的狗模型所展示的那样。

尽管功能强大，Meschers只是Dodik及其同事的起点。该团队正在考虑设计一个界面，使该工具更易于使用，同时构建更复杂的场景。他们还在与感知科学家合作，以了解计算机图形工具如何更广泛地使用。

Dodik和Solomon与CSAIL成员Isabella Yu ’24, SM ’25、博士生Kartik Chandra SM ’23、麻省理工学院教授Jonathan Ragan-Kelley和Joshua Tenenbaum以及麻省理工学院助理教授Vincent Sitzmann共同撰写了这篇论文。

他们的工作得到了部分支持，包括麻省理工学院总统奖学金、Mathworks奖学金、赫兹基金会、美国国家科学基金会、施密特科学AI2050奖学金、麻省理工学院智能探索计划、美国陆军研究办公室、美国空军科学研究办公室、CSAIL的SystemsThatLearn@CSAIL倡议、谷歌、麻省理工学院–IBM沃森人工智能实验室、丰田–CSAIL联合研究中心、Adobe Systems、新加坡国防科技局以及美国情报高级研究计划局的支持。