利用低秩近似与Sugon超级计算机的高性能计算技术，加速大规模平面波混合泛函计算

《Computer Physics Communications》：Accelerating large-scale plane-wave hybrid functional calculations via low-rank approximations and high-performance computing on the Sugon supercomputer

　　摘要：大规模密度泛函理论（DFT）模拟的日益增长的计算需求，给传统的基于CPU的超级计算机带来了巨大的性能和可扩展性挑战。近年来，具有强大片上并行性和高内存带宽的类GPU加速器架构的出现，正在改变大规模第一性原理计算的计算格局。在本研究中，我们将平面波DFT软件PWDFT移植到Sugon超级计算机上的类GPU深度计算单元（DCU）异构平台上，通过低秩近似和高性能计算优化，实现了混合泛函计算的显著加速。我们还将自适应压缩交换（ACE）近似与迭代子空间中的投影算符直接反演（PCDIIS）方案相结合，从而将每个自洽步骤的计算时间缩短到基准设置下相应PBE计算时间的约四倍。此外，我们还利用优化的线性代数和FFT库以及考虑通信开销的核函数优化，进一步发挥DCU硬件加速的优势。实验表明，仅需32个DCU即可对包含2,048个原子的硅系统进行平面波混合DFT计算，而该框架还能高效扩展至使用4,096个DCU来模拟包含4,096个原子的系统。这些进展为千原子尺度的大规模平面波混合泛函计算提供了高效的计算框架。

项目总结
项目名称：PWDFT-DCU
开发者仓库链接：https://github.com/USTC-Hu-Group/PWDFT-DCU
许可条款：BSD 3条款
编程语言：C++
问题性质：为明确包含非局域精确交换项的混合密度泛函，寻求高效且可扩展的广义Kohn–Sham方程求解方法。福克交换算子的计算会大幅增加约束能量函数最小化过程中的成本和通信开销，这使得包含数千个原子的大规模混合DFT模拟面临巨大挑战，因此需要在异构CPU–DCU架构上实现精心优化的解决方案。
解决方案：PWDFT结合了如PPCG之类的迭代特征值求解器以及专门的混合泛函加速技术，尤其是ACE近似和PCDIIS方案，以降低自洽迭代中精确交换项的计算成本。该代码采用C++编写，借助HIP以及混合MPI/OpenMP并行机制，将最耗资源的平面波和交换核函数任务卸载到DCU上，并利用优化的BLAS/FFT库，从而在异构CPU–DCU平台上实现高性能的混合DFT模拟。

引言
密度泛函理论（DFT）[1]、[2]作为第一性原理方法的基石，是当今应用最为广泛的量子化学工具之一。DFT能够精确描述原子尺度上的材料电子结构，为研究反应机理和设计新材料提供坚实的理论支持。其应用范围已扩展到催化剂设计[3]、[4]、[5]、[6]、半导体材料筛选[7]、[8]、磁性材料[9]、[10]、[11]、二维材料[12]、[13]以及高熵合金[14]、[15]、[16]等前沿领域。
DFT的核心思想是将复杂的多体波函数问题转化为与单粒子密度相关的泛函优化问题。因此，其精度与所选的交换-相关泛函密切相关。常用的泛函包括局域密度近似（LDA）[17]、广义梯度近似（GGA）[18]、元GGA[19]以及混合泛函[20]，它们的精度和计算成本依次递增。其中，混合泛函通过引入部分精确的哈特里-福克交换能量，有效降低了传统DFT中固有的自相互作用误差，从而显著提升了化学计算的准确性。这类泛函在计算半导体能带隙、分析过渡态以及模拟激发态等方面表现出更优异的性能，其与实验值的吻合度也更高。不过，它们的计算复杂度从O(N3)上升至O(N4)，导致计算成本大幅增加[21]、[22]。
求解Kohn-Sham方程涉及大量计算密集型步骤，如大规模矩阵对角化[23]以及自洽场（SCF）迭代。基组的选择会极大影响这些操作在现代高性能计算架构上的实现方式。在这方面，局域原子轨道和平面波各有优势：局域轨道能够充分利用实空间的局域性和稀疏性，这对大型系统尤为有利；而平面波则基于均匀网格定义，能够形成规则的数据结构，便于使用快速傅里叶变换（FFTs）以及高效的线性代数运算，非常适合在现代异构架构上进行向量化处理和大规模并行计算。正因如此，平面波基组被广泛用于VASP[24]、Quantum ESPRESSO[25]、CASTEP[26]、ABINIT[27]、ABACUS[28]、PWmat[29]和PWDFT[30]等DFT软件包中。通过充分运用平面波基组的技术优势，这些软件工具显著提升了在高性能计算（HPC）平台上的电子结构计算效率与可扩展性。然而，当模拟包含数千个原子的系统时，不仅需要处理庞大的哈密顿矩阵，还要应对内存溢出和收敛困难等问题[31]。虽然通过基于CPU的并行计算增加计算节点可以提高处理能力，但节点间的通信开销会随着核心数量的增加而迅速上升，从而导致计算效率急剧下降。
近年来，集成通用CPU与专用加速器的异构架构已成为迈向百亿亿级计算的主要途径。其中的通用图形处理单元（GPGPU）具备强大的片上并行性、高内存带宽以及出色的双精度浮点（FP64）计算性能。通常，单个现代GPU加速器的FP64计算性能可达数万亿次至数十万亿次，这一数值往往比双插槽CPU节点高出一个数量级，而且它还拥有高带宽内存和快速的互连结构。这类GPU架构基于单指令多数据（SIMD）或单指令多线程（SIMT）执行模型，能够让数千个核心同时对大型数据集执行相同操作。因此，GPU非常适合处理平面波密度泛函理论（DFT）中的核心计算任务，因为这些任务高度依赖大规模并行操作，如批量FFT运算以及高效的BLAS-3函数调用。
在中国的高性能计算领域，Hygon深度计算单元（DCU）系列已发展成为国内主流的加速器平台[32]。它的开发基于自主研发的C86架构，该架构与X86指令集具有高度兼容性，因此无需修改即可直接运行现有的大量软件。从架构上看，DCU属于一种GPGPU，采用大规模并行SIMD/SIMT模型，集成了多个计算单元、宽向量单元以及高带宽内存。它基于AMD的开源ROCm软件栈构建，采用HIP（异构计算可移植接口）编程模型，厂商提供的DTK软件栈则包含了优化的BLAS和FFT库。重要的是，DCU支持全精度算术运算，包括FP64、FP32和FP16，这使其不仅能用于人工智能任务，还能胜任物理学[33]、[34]、[35]、化学[36]和环境科学[37]等对双精度计算要求较高的科研工作。
在本研究中，我们充分利用了Sugon超级计算机的强大CPU-DCU异构计算能力，实现了在平面波基组下对包含4,096个原子的HSE06混合泛函进行大规模计算。通过整合自适应压缩交换（ACE）[38]和迭代子空间中的投影算符直接反演（PCDIIS）[39]这两种低秩算法，我们仅使用4,096张DCU卡就完成了这项极具挑战性的任务。与此同时，Si2048系统的HSE06计算所需的最少硬件配置也降到了32张DCU卡。这一成果不仅展现了CPU-DCU混合异构并行计算在处理大规模系统方面的巨大潜力，也为未来复杂的材料模拟和科学研究奠定了重要基础。

章节节选
Kohn-Sham密度泛函理论
在Kohn–Sham密度泛函理论（KS-DFT）框架下，多电子系统基态性质的研究被重新表述为一个关于电子密度ρ(r)的变分问题，而非多体波函数的问题[1]。在这种表述方式中，所有复杂的多电子相互作用都被统一纳入到一个仅依赖于电子密度的未知交换-相关（XC）能量泛函Exc[ρ]中。该泛函对ρ(r)的函数导数……
PWDFT中的平面波DFT
在实际的平面波实现中，GKS轨道会在平面波基组中展开，表达式为ψi(r)=1Ω∑GCi(G)ei(G)·r，其中Ω为单元格体积，G为满足动能截断条件的倒格矢，Ci(G)为展开系数。在这种表示方式下，动能算符和非局域伪势投影算子在倒空间中具有简洁的形式，而局域项和哈特里项则在实空间中呈对角形式。这种结构为……
结果与讨论
在本研究中，我们将第一性原理电子结构计算代码PWDFT移植到DCU平台上，并实现了基于GGA-PBE和HSE06混合泛函的计算。我们使用了从Si64到Si4096不等的硅超胞作为基准测试对象，重点评估了在CPU–DCU异构架构上混合泛函计算流程的加速效果和可扩展性。所有基准计算均采用伽马点超胞进行，这是一种较为合适的……
结论与展望
总之，本研究成功地将PWDFT代码移植到DCU平台并进行了系统性优化，从而实现了高效的大规模平面波HSE06混合泛函计算。通过深入结合DCU的硬件特性，我们对混合泛函计算的关键组件进行了优化，包括高效的PPCG对角化算法、优化的快速FFT库，以及将ACE和PCDIIS方法在HSE06框架内协同整合。

基准测试
CRediT作者贡献说明
姚宇凡：撰写——初稿、软件、方法论、正式分析、数据整理、概念构建。冯俊伟：撰写——审阅与编辑、方法论。万凌云：撰写——审阅与编辑。焦世哲：撰写——审阅与编辑。李洁兰：撰写——审阅与编辑。陈俊石：撰写——审阅与编辑。安宏：撰写——审阅与编辑。秦新明：撰写——审阅与编辑、监督、资源协调、项目管理、方法论、资金获取。胡伟：
利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。
姚宇凡|冯俊伟|万凌云|焦世哲|李洁兰|陈俊石|安宏|秦新明|胡伟|杨金龙
中国安徽省合肥市安徽大学微尺度物理科学国家研究中心，邮编230026，中国