AdamOptimizer

Adam 优化器（自适应矩估计）

论文使用 Adam 作为 P-NET 的优化器，并配合每 50 个 epoch 主动衰减的学习率策略。 Adam 对每个参数维护梯度的一阶矩估计与二阶矩估计，并做偏置校正， 对 P-NET 这种大量梯度恒为 0 的稀疏梯度场景尤其稳健。

参数更新规则为：

 m_t = beta1 · m_(t-1) + (1 - beta1) · g_t
 v_t = beta2 · v_(t-1) + (1 - beta2) · g_t²
 m̂_t = m_t / (1 - beta1^t),  v̂_t = v_t / (1 - beta2^t)
 θ_t = θ_(t-1) - lr · m̂_t / (sqrt(v̂_t) + eps)
 

由于被掩码屏蔽的连接其梯度恒为 0，对应位置的 m 与 v 也恒为 0， 因此参数更新量恒为 0，即这些权重永远不会被更新。