盯着终端里疯狂跳动的NaN loss，你是不是也产生过把电脑踹一脚的冲动？别急，这大概率是神经网络学习率出了问题。学习率这个超参数，调好了能让模型顺利收敛，调不好就是一片混乱。

先别急着调参数，这几个常见坑我替你踩了

　　第一个坑：学习率过大导致loss爆炸。症状就是loss值直接飙到无穷大，或者剧烈震荡。原因很简单，梯度更新步长太大，直接跨过了最优区域。怎么办？把学习率减小一个数量级试试，比如从0.01降到0.001。如果还不稳，可以加上学习率预热，头几个epoch用小学习率热热场子。如果发现loss曲线在下降过程中突然出现一个向上的尖峰，那说明当前的学习率对于该批次数据来说太大了，需要立即减小学习率或者使用梯度裁剪，这个技巧能救回不少快崩的模型。

　　第二个坑：学习率过小训练停滞。loss曲线像一潭死水，降不下去。这说明模型在微调，但死活出不了坑。试试把学习率提高10倍，或者用余弦退火调度器，让学习率先大后小，给模型一个冲出去的动力。别怕提高后会发散，观察两三个epoch，一旦发散马上回退。

　　第三个坑：学习率震荡难以收敛。loss曲线像心电图，忽高忽低。这通常是学习率在某个临界值附近。可以试试固定步长衰减，或者用自适应优化器（如Adam）来缓解。但注意，自适应优化器也不是万能药，有时候反而会引入新的震荡。

调学习率就盯这两条曲线

　　第一条是loss曲线。如果loss在下降过程中突然反弹，说明学习率太大了，赶紧减。如果loss下降极其缓慢，说明学习率太小了，赶紧加。第二条是梯度分布曲线。如果大部分梯度接近零，学习率可能太小；如果梯度值巨大，学习率可能太大了。用这两个指标判断，比瞎猜靠谱得多。

　　还有一个实用技巧：用学习率范围测试（learning rate finder）。先把学习率从极小值指数增大到极大值，观察loss的变化，找到loss下降最快的那个学习率，用它作为初始值。很多框架都内置了这个工具，别浪费。就这么简单。

　　记住，神经网络学习率不是孤立的，它和batch size、权重初始化都有关系。一个常见的经验是：batch size翻倍，学习率也翻倍（或者保持线性缩放）。但这只是经验，具体问题还得具体试。别慌。调参本来就是个试错的过程。问题解决了就去跑模型，别在这耗着。参数调整建议去扒官方文档的推荐设置，那玩意儿最准。