人工智能提升了超分辨率显微镜

　　

生成式人工智能(AI)可能最为人所知的是文本或图像创建应用程序，如ChatGPT或Stable Diffusion。但除此之外，它的用途正在越来越多的不同科学领域得到展示。在即将举行的国际学习表示会议(ICLR)上，来自赫姆霍兹-德累斯顿-罗森多夫中心(HZDR)的高级系统理解中心(CASUS)的研究人员与伦敦帝国理工学院和伦敦大学学院的同事合作，提供了一种新的开源算法，称为条件变分扩散模型(CVDM, doi: 10.48550/arXiv.2312.02246)。该模型基于生成式人工智能，通过从随机重构图像来提高图像质量。此外，CVDM在计算上比已建立的扩散模型更便宜，并且可以很容易地适应各种应用。

随着大数据和新的数学和数据科学方法的出现，研究人员的目标是使用反问题方法来破译生物学，医学或环境科学中无法解释的现象。逆问题处理的是恢复导致某些观测结果的因果因素。您有一个灰度版本的图像，并希望恢复颜色。这里通常有几种有效的解决方案，例如，浅蓝色和浅红色在灰度图像中看起来是相同的。因此，这个反问题的解可以是穿浅蓝色衬衫的图像或穿浅红色衬衫的图像。

分析显微图像也是一个典型的逆问题。“你有一个观察:你的显微镜图像。通过一些计算，你可以比第一眼看到的更多地了解你的样本，”CASUS的博士生、ICLR论文的主要作者加布里埃尔·德拉·马吉奥拉说。结果可以是更高分辨率或更好质量的图像。然而，从观察结果，即微观图像到“超级图像”的路径通常并不明显。此外，观测数据常常是有噪声的、不完整的或不确定的。这一切都增加了求解逆问题的复杂性，使它们成为令人兴奋的数学挑战。

像Sora这样的生成式人工智能模型的力量

生成式人工智能是解决逆向问题的强大工具之一。生成式人工智能模型通常学习给定训练数据集中数据的底层分布。一个典型的例子是图像生成。在训练阶段之后，生成式AI模型生成与训练数据一致的全新图像。

在不同的生成式人工智能变体中，一个名为扩散模型的特定家族最近受到了研究人员的欢迎。在扩散模型中，迭代数据生成过程从基本噪声开始，基本噪声是信息论中用来模拟自然界中发生的许多随机过程的影响的概念。在图像生成方面，扩散模型学习了训练数据集图像中哪些像素排列是常见的，哪些是不常见的。他们一点一点地生成新的期望图像，直到像素的排列与训练数据的底层结构最吻合。美国软件公司OpenAI的文本到视频模型Sora是扩散模型的一个很好的例子。实现的扩散组件使Sora能够生成比以前任何AI模型创建的视频都更逼真的视频。

但有一个缺点。“长期以来，人们一直认为训练扩散模型的计算成本很高。一些研究人员最近正是出于这个原因放弃了它们，但是像我们的条件变分扩散模型这样的新发展允许最小化'非生产性运行'，这不会导致最终模型。通过降低计算量和功耗，这种方法也可能使扩散模型更环保。”

聪明的训练能起作用——不仅仅是在运动中

“非生产性运行”是扩散模型的一个重要缺陷。其中一个原因是该模型对控制扩散过程动力学的预定义时间表的选择很敏感:该时间表控制如何添加噪声:太少或太多，错误的地点或错误的时间-有许多可能的情况以失败的训练结束。到目前为止，这个时间表被设置为一个超参数，必须针对每个新应用程序进行调优。换句话说，在设计模型时，研究人员通常以试错的方式估计他们选择的时间表。在ICLR上发表的新论文中，作者将已经在训练阶段的时间表纳入其中，以便他们的CVDM能够自己找到最佳训练。然后，该模型产生了比依赖于预定义时间表的其他模型更好的结果。

其中，作者证明了CVDM对一个科学问题的适用性:超分辨率显微镜，一个典型的逆问题。超分辨率显微镜旨在克服衍射极限，这是由于显微系统的光学特性而限制分辨率的极限。为了在算法上克服这一限制，数据科学家通过消除记录的有限分辨率图像中的模糊和噪声来重建更高分辨率的图像。在这种情况下，与常用的方法相比，CVDM产生了相当甚至更好的结果。

“当然，有几种方法可以增加微观图像的意义，其中一些依赖于生成人工智能模型，但我们相信，我们的方法有一些新的独特特性，将在成像领域产生影响，即与其他扩散模型方法相比，高灵活性和速度相当，甚至质量更好。此外，我们的CVDM提供了对重建不太确定的直接提示，这是一个非常有用的特性，为在新的实验和模拟中解决这些不确定性铺平了道路。”

Gabriel della Maggiora将在5月8日10点45分的年度国际学习表征会议(ICLR)上以海报的形式展示作品。关于论文的一段简短的预先录制的谈话可以在网站上找到。今年是自2017年以来首次在欧洲举行，即在维也纳(奥地利)举行。无论是参加现场会议还是通过视频会议，都需要付费通行证才能访问内容。