PB–SAV 优化器: 带动量与自适应迁移率的标量辅助变量方法

摘要

科学机器学习的目标函数常写成残差、边界、初值与数据损失等多项之和。pullback 修正标量辅助变量（PB–SAV）方法用一个标量跟踪平移后的目标，各分量梯度则构成秩至多等于分量数的半正定曲率修正。作者把该修正用于动量与自适应迁移率的优化器，在一次隐式求解中同时作用于梯度和存储的动量。在 Loewner 序下非增的迁移率给出精确的修正能量律，涵盖欧氏与 AMSGrad 类选择；求解后追加的动量对应恒等式带符号不定的交叉项。固定迁移率下，作者给出驻点局部稳定充要条件（依赖 Hessian 减去两倍修正），并证明其对任意标量松弛序列都给出局部几何收敛。隐式求解化为阶数等于分量数的稠密方程组。在 forward Burgers 对比中，相同学习率与动量设置下，四个分量较单个分量使平均尾部目标降低 64.7%，最终解误差降低 50.2%。