学习率设置是决定深度学习模型能否有效收敛的关键超参数，它控制着每次参数更新的步长大小。设得太小，模型训练慢如蜗牛；设得太大，又容易在最优解附近震荡甚至发散。我刚开始调模型时，就曾因为学习率设得激进，眼睁睁看着损失值像过山车一样上蹿下跳，一晚上白跑了。

学习率设置的两种核心思路

手动设置学习率需要经验。我常用的方法是先用一个较大范围（如0.1到0.0001）做快速扫描，观察初期损失下降趋势。比如在图像分类任务中，我可能会从0.01开始，如果损失在前几个epoch下降太慢，就调到0.1试试。更靠谱的是采用学习率预热（warm-up），前5个epoch从0线性增加到0.01，这样能让模型先稳定下来。自适应优化器如Adam、RMSProp能自动调整每个参数的学习率，减轻了手动调参负担。但要注意，它们的默认学习率（如Adam的0.001）未必适合所有任务，我在训练Transformer时发现调到0.0001效果更好。

必须掌握的学习率调整策略

等间隔调整（StepLR）是我最常用的方法，比如每30个epoch将学习率乘以0.1。有次训练目标检测模型，我在第50和80轮各衰减一次，mAP提升了2.3%。余弦退火（Cosine Annealing）让学习率像余弦曲线一样平滑下降，适合需要精细调优的场景。我在Kaggle比赛中用这套方法，配合早停（Early Stopping），避免了过拟合。监控验证集损失是关键——当损失连续3个epoch不降时，就该衰减学习率了。

常见问题（FAQ）

• 问题：学习率设多少最合适？
  答案：没有万能值。CV任务常用0.01-0.001，NLP任务更小些（0.0001）。我的经验是先用标准值跑基线，再根据损失曲线调整。
• 问题：自适应优化器还需要调学习率吗？
  答案：要调。Adam的0.001是通用起点，但我在训练ResNet时发现0.01收敛更快。可以先用默认值，如果震荡就调小。
• 问题：学习率衰减什么时候触发？
  答案：看验证集指标。我通常设“当验证损失停滞3-5轮”就衰减。也可以按固定周期，比如总epoch数的1/3和2/3处各衰减一次。
• 问题：小批量训练时学习率要改吗？
  答案：批量增大时，学习率可以同比增加。但我在实际项目中发现，批量从32调到128后，学习率从0.01调到0.04（不是0.04）效果更好，不是严格线性。

调学习率就像给模型找节奏，急不得也慢不得。下次训练时，别急着跑完所有轮次，多观察损失曲线的前几轮变化，那里藏着最佳学习率的线索。试试从预热开始，结合衰减策略，你的模型收敛速度会有看得见的提升。