发表在Neural Networks (2024)上的偏微分方程求解论文。—通过迭代算法使采样点集中于解变化剧烈区域降低近似解与真实解的误差提升 PINN 求解偏微分方程的精度与效率论文概览项目内容标题Moving Sampling Physics-Informed Neural Networks Induced by Moving Mesh PDE作者杨宇、杨启红、邓洋涛、何巧林*四川大学数学学院期刊Neural Networks, Vol. 180, 2024, 106706核心任务基于移动网格PDE的自适应采样物理信息神经网络MS-PINN代码https://github.com/YangYuSCU/MMPDE-Net研究背景与动机PINN的采样困境物理信息神经网络PINN将PDE的控制方程、边界条件嵌入损失函数通过优化网络参数使近似解满足物理约束。但PINN在实际实现中面临一个关键问题损失函数的离散化需要采样点而采样点的质量直接影响近似解的精度现有采样方法分为两类类型代表方法局限均匀采样等距采样、随机均匀采样、拉丁超立方、Sobol序列在解变化剧烈区域采样不足平坦区域采样冗余自适应采样基于损失RAR、RAD、进化采样、DAS-PINN从损失函数角度出发关注点集中在哪里残差大而非解的行为如何核心观察论文通过一个一维Poisson方程的数值实验揭示了一个关键现象解的频率越高变化越剧烈需要的采样点越多频率 k损失函数最小值相对误差 e₂(u)21.033×10⁻⁵3.301×10⁻⁴48.530×10⁻⁵2.843×10⁻³61.215×10⁻⁴2.284×10⁻³81.2441.201×10⁻¹当频率k16时在振荡剧烈区域[π, 2π]增加采样点数量损失函数和误差均显著下降见图1。核心创新MMPDE-Net灵感来源传统数值方法中的移动网格法移动网格法Moving Mesh Method的核心特点只移动网格节点不改变网格拓扑节点数量固定通过监控函数monitor function引导网格向解变化剧烈区域集中相比均匀网格可用更少节点达到相同精度MMPDE-Net 架构输入: 均匀分布的初始采样点 ξ ∈ Ω ↓ ┌─────────────────────────────────────────┐ │ 全连接神经网络坐标变换映射 │ │ 输入: (ξ, η) → 输出: (x, y) │ │ 本质上是一个可学习的坐标变换 │ └─────────────────────────────────────────┘ ↓ 通过求解移动网格PDE (MMPDE) 优化网络参数 ↓ 输出: 自适应分布的新采样点 x x(ξ;θ)关键设计组件说明监控函数 w基于解的梯度/函数值构造如 w √(1 u² |∇u|²)在解变化大处取值大MMPDE损失函数基于Winslow变分扩散方法推导的偏微分方程控制节点移动边界条件强化采用强制满足法enforcement approach而非惩罚项MMPDE损失函数2D情形LMMPDE1M∑i1M∣xi−ξiτxξJS1xηJS2∣2∣yi−ηiτyξJS1yηJS2∣2\mathcal{L}_{\text{MMPDE}} \frac{1}{M}\sum_{i1}^{M}\left|\frac{x_i - \xi_i}{\tau} \frac{x_\xi}{J}S_1 \frac{x_\eta}{J}S_2\right|^2 \left|\frac{y_i - \eta_i}{\tau} \frac{y_\xi}{J}S_1 \frac{y_\eta}{J}S_2\right|^2LMMPDE​M1​i1∑M​​τxi​−ξi​​Jxξ​​S1​Jxη​​S2​​2​τyi​−ηi​​Jyξ​​S1​Jyη​​S2​​2其中Jxξyη−xηyξJ x_\xi y_\eta - x_\eta y_\xiJxξ​yη​−xη​yξ​为Jacobian行列式S1,S2S_1, S_2S1​,S2​为监控函数相关的微分算子。MS-PINN三阶段训练框架┌─────────────────────────────────────────────────────────────┐ │ Stage 1: Pre-training (预训练) │ │ • 输入: 初始均匀采样点 X │ │ • 用标准PINN训练 N₁ 轮 │ │ • 输出: 初步解 u(X; θ_P^{N₁}), ∇u(X; θ_P^{N₁}), ... │ └─────────────────────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────────────────────┐ │ Stage 2: Adaptive Sampling (自适应采样) │ │ • 用预训练得到的解信息构造监控函数 w[u(X; θ_P^{N₁})] │ │ • 输入到MMPDE-Net训练 N₂ 轮 │ │ • 输出: 新采样点分布 X̃ X̃(X; θ_MM^{N₂}) │ └─────────────────────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────────────────────┐ │ Stage 3: Formal Training (正式训练) │ │ • 输入: 新采样点 X̃ 和边界点 X_b │ │ • 继承预训练参数: θ_P^0 θ_P^{N₁} (迁移学习) │ │ • 用PINN训练 N₃ 轮 │ │ • 输出: 最终近似解 u(X̃; θ_P^{N₃}) │ └─────────────────────────────────────────────────────────────┘关键设计MMPDE-Net与PINN的损失函数独立不耦合优化正式训练时采用迁移学习继承预训练参数。理论分析误差估计核心假设假设内容假设1残差损失期望 F(k,M,Mr) 与解复杂度k正相关与采样点数M负相关假设2MMPDE-Net优化算法总能找到最优参数假设3稳定性界C₁|u|₂,ρ ≤ |A(u)|₂,ρ,Ω |B(u)|₂,ρ,∂Ω ≤ C₂|u|₂,ρ假设4近似解序列一致有界主要定理定理1MMPDE-Net降低残差范数∥r(x;θ^)∥2,ρMM,Mr2≤∥r(x;θ^)∥2,U,Mr2\|r(\mathbf{x}; \hat{\theta})\|_{2,\rho_{MM}, M_r}^2 \leq \|r(\mathbf{x}; \hat{\theta})\|_{2,U, M_r}^2∥r(x;θ^)∥2,ρMM​,Mr​2​≤∥r(x;θ^)∥2,U,Mr​2​即MMPDE-Net生成的采样分布ρ_MM下的残差范数不大于均匀分布U下的残差范数。定理2MS-PINN误差上界∥u∗(x)−u(x;θ)∥2,ρMM≤2C1(∥r∥2,ρMM,Mr2∥b∥2,ρMM,∂Ω22RMr(Fr)δ)1/2\|u^*(\mathbf{x}) - u(\mathbf{x};\theta)\|_{2,\rho_{MM}} \leq \frac{\sqrt{2}}{C_1}\left(\|r\|_{2,\rho_{MM},M_r}^2 \|b\|_{2,\rho_{MM},\partial\Omega}^2 2\mathcal{R}_{M_r}(\mathcal{F}_r) \delta\right)^{1/2}∥u∗(x)−u(x;θ)∥2,ρMM​​≤C1​2​​(∥r∥2,ρMM​,Mr​2​∥b∥2,ρMM​,∂Ω2​2RMr​​(Fr​)δ)1/2推论1MS-PINN优于标准PINN结合定理1和定理2MS-PINN的误差上界低于标准PINN在相同概率保证下。数值实验实验1二维Poisson方程单峰值方程-Δu f, Ω (-1,1)², 解析解 u e^{-1000(x²y²)}在(0,0)处有尖锐峰值对比方法6种方法策略PINN100×100均匀采样60000轮PINN-RAR90×90预训练 RAR添加1900点PINN-RAD100×100预训练 RAD自适应10000点PINN-ES100×100预训练 进化采样10000点DAS-PINN90×90预训练 DAS-G添加1900点MS-PINN预训练20000轮 MMPDE-Net 正式训练40000轮结果对比相对误差方法e∞(u)e₂(u)PINN4.374×10⁻²9.213×10⁻²PINN-RAR5.302×10⁻³7.908×10⁻²PINN-RAD3.930×10⁻³6.863×10⁻²PINN-ES3.753×10⁻³6.593×10⁻²DAS-PINN7.466×10⁻³1.279×10⁻¹MS-PINN3.389×10⁻³5.425×10⁻²MS-PINN在L∞和L₂误差上均最优且采样点精准集中在峰值附近图14。实验2迭代MMPDE-Net通过多次迭代MMPDE-Net采样点逐步向峰值区域集中迭代次数采样点分布特征e∞(u)e₂(u)0 (PINN)均匀分布~0.2~0.151次初步集中~0.03~0.023次明显集中~0.01~0.0055次高度集中~0.006~0.001结论迭代次数越多采样点越精准误差越低图16-19。实验3二维Poisson方程双峰值解析解u e^{-1000(x²(y-0.5)²)} e^{-1000(x²(y0.5)²)}MMPDE-Net成功将采样点分配到两个峰值位置图21MS-PINN误差显著低于PINN。实验4一维Burgers方程正问题方程u_t uu_x - (0.01/π)u_xx 0具有大梯度区域关键结果MMPDE-Net将采样点集中在梯度大的区域图24aMS-PINN损失值更低图24b不同时刻的相对误差均低于PINN图26实验5一维Burgers方程反问题求解未知参数 λ₁, λ₂绝对误差PINNMS-PINN|λ₁^NN - λ₁*|2.932×10⁻³4.379×10⁻⁴|λ₂^NN - λ₂*|2.629×10⁻³1.427×10⁻³实验6二维Burgers方程激波解方程在有限时间内产生激波shock wave解具有间断特性。结果PINN误差随时间急剧增大图32, 35MS-PINN采样点沿激波位置分布图33aMS-PINN损失下降2-3个数量级图33b各时刻误差均显著低于PINN图34-35核心贡献总结贡献说明MMPDE-Net首个基于移动网格PDE的端到端自适应采样框架独立于深度学习求解器迭代算法通过多次迭代精确控制采样点分布MS-PINN结合MMPDE-Net与PINN利用预训练解信息指导采样再反馈提升PINN精度误差估计理论证明MS-PINN误差上界低于标准PINN通用性可与其他深度学习求解器Deep Ritz、DeepONet等结合一句话概括MMPDE-Net将传统数值分析中的移动网格方法引入深度学习通过神经网络学习坐标变换使采样点自适应地向解变化剧烈区域集中与PINN结合形成的MS-PINN框架在保持相同采样点数量的前提下显著降低了PDE求解误差并配有严格的误差估计理论保证。