深度学习学习率调度策略:从 Warmup 到 Cosine Annealing 的训练稳定性工程
深度学习学习率调度策略:从 Warmup 到 Cosine Annealing 的训练稳定性工程一、学习率:训练稳定性的"方向盘"学习率是深度学习训练中最敏感的超参数——太大导致训练发散,太小导致收敛过慢。更棘手的是,训练不同阶段对学习率的需求不同:初期大模型参数随机初始化,需要小学习率避免梯度爆炸
