# 🧩 Summary 1. 初期热身，在训练初期,**逐渐提高学习率**而不是直接使用目标学习率。 2. 后期退火，训练后期**逐渐降低学习率**。 ```Java 学习率 ↑ | ╱────╲___ | ╱ ╲___ | ╱ ╲___ |________________________→ 训练步数 warmup 稳定期 退火期 ``` # 💡 Cues [[余弦退火]] # Notes