北大&字节新突破！基于神经网络的偏微分方程求解器登上Nature子刊！

北大&字节新突破！基于神经网络的偏微分方程求解器登上Nature子刊！

引用

CSDN

1.

https://m.blog.csdn.net/2401_88556812/article/details/144958793

神经网络求解偏微分方程（PDE）是近年来兴起的一种前沿技术，它巧妙地结合了深度学习和传统数值方法的优势，能够有效克服传统方法在高维问题上面临的“维度诅咒”难题。最近，基于深度学习的方法求解偏微分方程受到了越来越多的关注。通过使用神经网络来表示偏微分方程中的待求函数，并通过学习神经网络的参数来求得偏微分方程的近似解。相较于有网格的方法，深度学习的方法能使得参数的数量大量地降低，从而有更少的计算消耗。同时，由于目前深度学习框架的普及，使用深度学习求解偏微分方程的编程难度也会比有网格的办法更低。

最近，北京大学与字节跳动的研究团队在这一领域取得了重要突破，其研究成果发表在Nature子刊上，展示了神经网络在求解偏微分方程方面的巨大潜力。下面将详细介绍这些研究的主要内容和创新点。

论文1：基于前向拉普拉斯的神经网络变分蒙特卡罗计算框架

方法：

• 开发了一种新的计算框架，通过前向传播过程直接计算与神经网络相关的拉普拉斯，显著提高了计算效率。
• 将前向拉普拉斯方法应用于神经网络变分蒙特卡洛（NN-VMC），通过将长时间问题分解为多个独立的短时间问题来加速计算。
• 在前向拉普拉斯的基础上，优化稀疏导数矩阵，进一步提高了计算效率。
• 设计了一种新的神经网络架构LapNet，利用前向拉普拉斯方法和稀疏导数注意力模块来提高性能。

创新点：

• 计算效率提升：前向拉普拉斯方法的引入使得拉普拉斯的计算速度提高了约50%，显著降低了NN-VMC的训练时间。
• 准确性：LapNet在多个分子系统上实现了化学精度的能量估计，尤其是在处理复杂系统时，能量估计的误差在2.2 mHa以内。
• 大规模系统的应用：LapNet能够处理多达116个电子的系统，显著扩展了NN-VMC方法的适用范围。
• 加速比：与现有NN-VMC方法相比，LapNet在计算时间上实现了6倍的加速，尤其是在处理大规模系统时，训练时间从10,000 GPU小时减少到1,800 GPU小时。

论文2：编码物理学以学习反应-扩散过程

方法：

• 提出了一种深度学习框架，强制编码给定的物理结构，以促进在稀疏数据条件下对时空动态的学习。
• 开发了一种物理编码的递归卷积神经网络（PeRCNN），用于捕捉系统的空间模式，同时通过递归单元进行时间推进。
• 在网络架构中结合了已知的数值时间积分方法（如前向欧拉法和龙格-库塔法），以编码不完整的偏微分方程（PDE）。
• 利用机器学习统一测量数据和有限的物理知识，以解决复杂的时空动态建模问题。

创新点：

• 高准确性和鲁棒性：通过广泛的数值实验，证明了所提出的物理编码学习范式在反应-扩散系统中的高准确性和鲁棒性。
• 可解释性：所提出的模型具有良好的可解释性，能够从学习的模型中提取出明确的物理方程。
• 泛化能力：在不同初始条件下，模型展示了良好的泛化能力，能够准确预测系统的动态行为。
• 性能提升：与现有方法（如PINN和ConvLSTM）相比，PeRCNN在预测精度上显著提高，尤其是在处理复杂的反应-扩散系统时，RMSE显著降低，具体数据表明PeRCNN在2D和3D系统中的RMSE分别为1.59×10^-2和4.1×10^-3，优于其他基线模型。

论文3：PPINN：用于时间依赖性PDE的并行物理信息神经网络

方法：

• 提出了一种新的并行物理信息神经网络（PPINN）框架，通过将长时间问题分解为多个短时间问题来提高计算效率。
• 设计了一个粗粒度求解器，提供离散时间的近似解，同时并行运行多个细粒度PINN进行迭代修正。
• 通过使用小数据集训练独立的PINN，显著加快了训练过程。
• 将时间域分解为多个子域，利用并行计算提高了整体求解速度。

创新点：

• 显著加速：PPINN方法在长时间积分的PDE求解中实现了显著的加速，具体数据表明，PPINN在处理复杂问题时的计算速度提升了约50%。
• 高效性：通过使用粗粒度求解器，PPINN能够在仅需几次迭代的情况下收敛，减少了整体计算时间。
• 适用性广泛：PPINN能够处理多种时间依赖性PDE问题，展示了其在实际应用中的广泛适用性。
• 并行计算优势：PPINN在并行计算中表现出色，能够在多个GPU核心上同时运行，进一步提升了计算效率。

论文4：有限基物理信息神经网络（FBPINNs）

方法：

• 提出了一种新的可扩展方法，通过将解表示为具有紧支撑的有限基函数之和，灵感来源于经典有限元方法。
• 将问题域分解为重叠的子域，并在每个子域中放置一个神经网络，以学习基函数。
• 在每个子域中对输入变量进行单独归一化，以限制每个子域网络看到的有效解频率。
• 设计灵活的训练计划，允许在每次梯度下降训练步骤中限制哪些子域网络被更新。

创新点：

• 性能提升：FBPINNs在解决小规模和大规模问题时，无论是在准确性还是所需计算资源方面，均优于标准物理信息神经网络（PINNs）。具体来说，在高频率正弦波问题中，FBPINNs在训练步骤和前向推理FLOPS（浮点运算次数）上比PINNs表现出数量级的减少，显示出显著的性能提升。
• 域分解方法：FBPINNs通过数学构造确保了子域边界间的解连续性，无需额外的界面项即可实现PINNs损失函数中的连续性，这与现有的域分解方法（如XPINNs）相比是一个显著改进。
• 平行训练算法：FBPINNs可以高度并行训练，减少了训练时间，并且允许在必要时使用多个GPU进行训练，进一步提高了计算效率。