用于实时图像去噪的计算物理框架：基于FPGA的DRAM优化与高级综合技术

《Computer Physics Communications》：Computational Physics Framework for Real-Time Imaging Denoising: FPGA-Based DRAM Optimization with High-Level Synthesis

　　

摘要

在物理学领域中，诸如具有光谱映射功能的并行快速成像技术（PRISM）这类高吞吐量实验工作流，其生成图像数据的速度远远超过传统实时处理能力。我们提出了一种基于现场可编程门阵列的硬件加速预处理计算物理框架，该框架通过高级综合技术以及DRAM缓冲机制来实现功能。该处理流程可直接对流式图像数据执行帧间减法和平均操作，借助突发模式AXI4接口将内存延迟降至最低。测试结果表明，该FPGA内核的运行速度可快于帧间间隔时间，从而实现实时处理，同时还能缩小数据集规模，便于在CPU和GPU平台上进行后续分析。这种模块化且具备扩展性的设计为对延迟敏感的光谱学和显微镜应用提供了实用解决方案，展现了FPGA加速技术如何提升那些需要即时实验反馈的计算物理工作流效率。

章节节选

引言与研究动机

在高通量实验技术在材料科学[1]、[2]、[3]、生物学[4]、[5]、[6]、[7]、[8]以及医学成像[9]领域的广泛应用，推动了数据快速生成的新时代。先进的成像技术——尤其是用于显微镜和光谱学的高分辨率相机——所产生的数据流速度往往超出传统处理流程的处理能力。如此庞大的数据量以及日益复杂的数据结构形成了一个关键瓶颈，阻碍了实时处理工作的开展

PRISM工作流：背景与成像挑战

具有光谱映射功能的并行快速成像技术（PRISM）[10]是一种超快速的相干成像技术，它能够以飞秒级的时间分辨率和亚衍射级的空间精度捕捉物体的振动和电子动态。该技术借助宽场泵浦-探测显微镜，能够生成覆盖近10万像素的高吞吐量光谱图像流。其数据采集流程采用共线泵浦-探测配置，结合了二次谐波光学参量效应

FPGA成像流程中的相关研究

2011年有一项研究[11]提出了一种实时4D显微镜系统，该系统将高速相机与FPGA相连，直接在硬件层面实现两种条纹检测算法。这些算法仅针对当前帧进行处理，无需进行片上或片外内存访问，因此也不必过多考虑BRAM或DRAM的利用问题。另一项研究[12]则提出了用于处理尖峰相机图像中的过滤、检测及运动追踪功能的FPGA加速器

FPGA预处理架构与算法

如第3节所述，以往基于FPGA的实时图像处理方案通常只处理包含单帧或短序列帧的小型数据集。这类方法一般会利用块随机存取存储器——那种能够以FPGA时钟速度运行、具备纳秒级访问延迟的片上存储器——来存储和检索数据。虽然BRAM能够实现低延迟性能，但其容量有限（从几KB到几MB不等），这限制了系统的扩展性

硬件设置与数据采集模拟

为了在真实环境下评估我们的框架，我们在一款配备有Xilinx Kintex Ultrascale XCKU035 FPGA芯片以及2GB板载DDR4内存的Coaxlink Octo PCIe帧捕获板上实现了该框架。我们使用Phantom S710高速相机来验证其实时性能，这款相机能够从固定的屏幕图案中捕获原始图像数据。该相机拥有16个CoaXPress接口，分为四组，每组四个通道，从而可实现高带宽的数据采集功能。所捕获的帧图像

延迟基准测试与基于协议的分析

本节利用AMD Vitis高级综合技术生成的仿真报告，对算法1至算法3的性能进行了评估。这三个算法均采用C++语言实现，其寄存器传输级代码是通过Vivado HLS 2018.3（旧称Vitis HLS）工具生成的。输入图像假定遵循mono12格式，也就是将12位无符号整数存储在16位无符号容器中。所有算术运算都使用16位无符号整数来完成。仿真过程

FPGA的实时执行能力与扩展性

为评估这三种FPGA预处理算法的性能，我们进行了两组实验。第一组实验采用软件触发式的数据采集方式，由Coaxlink板卡的内部驱动器控制触发信号；第二组实验则使用频率设置为5kHz的外部LED光源来模拟由激励信号引发的触发方式。在这两种实验中，我们都使用了$G=8$组$N=1000$帧，每次测试可生成500个结果，这些结果都会被汇总在最终结果集中。我们

结论与更广泛的意义

本文提出了一种基于FPGA的新算法，该算法能够加速帧间减法和平均操作，从而为PRISM级别成像工作流产生的数据实现实时去噪处理。通过针对DRAM读写操作采用突发模式优化策略，该设计方案的性能优于那些依赖单一模式内存访问的现有方案。通过对三种不同算法实现方式的比较分析可以发现，这种新架构具有最高的效率以及最低的延迟。FPGA

关于在论文准备过程中使用生成式AI及AI辅助技术的声明

在撰写本文的过程中，作者使用了Microsoft Copilot工具来优化语言表达并提高文本的清晰度。在使用该工具之后，作者对内容进行了必要的审阅和修改，并对最终发表的文章内容承担全部责任。

代码与数据的获取途径

与本研究相关的可复现性代码包已公开发布在GitHub平台上，地址如下：

https://github.com/williamliao28/cpc-fpga-prism-reproducibility

该代码仓库中包含以下内容：

• •
  FPGA内核（示例版本）：这些内核是对第4节中描述的算法进行的结构上完全一致的实现，可供人们查看，以此确保方法的透明度。为便于理解和移植，其中的专用驱动程序以及厂商特定的代码结构已被移除。
• •
  基准测试函数：包括用于CPU和FPGA的基准测试函数

CRediT作者贡献说明

Weichien Liao：负责文章的写作——包括审稿与编辑工作、初始草稿的撰写、可视化处理、结果验证、软件开发、方法设计、实验研究、正式分析以及概念构思等工作。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

Weichien Liao

美国密歇根州东兰辛市，密歇根州立大学