盯着训练曲线那忽上忽下的损失值，你是不是也想直接Ctrl+C？别急，深度学习正则化可能就是你要的救星。模型在训练集上跑得欢，验证集准确率却死活上不去，这事谁都遇到过。

别等loss爆炸才动手，常见的正则化误区

　　有的朋友可能以为正则化就是简单加个dropout层，结果设了0.9的比例，把模型一多半神经元都掐了，训练直接不收敛。正确做法是先从0.2～0.5试起，观察验证集准确率有没有回升。另一个误区是把L2权重衰减系数设得特别大，比如lambda=1.0，参数一缩再缩，模型直接欠拟合。通常0.0001～0.001就够用。

　　当训练损失持续下降而验证损失开始上升时，这就是典型的过拟合信号，此时如果不及时引入正则化，你的模型就会把训练数据里的噪声也学进去，导致预测时彻底失效。赶紧停住，调参数比硬着头皮跑完100个epoch有用得多。

先别急着加层，这几个坑我替你踩了

　　提前停止这个正则化技巧看着简单，实际坑不少。耐心参数设太大？模型会无限跑下去，过拟合已经发生你还不知道。耐心设太小？训练还没到最优就停了。建议先设10个epoch，观察loss曲线有没有反弹趋势再调整。

　　还有一个常见问题：Dropout和BatchNorm一起用容易出乱子。训练时Dropout降低神经元激活概率，BatchNorm又在统计层间分布，两者互相干扰。要么在Dropout层之后放BatchNorm，要么干脆别混。

　　别试太大比例。模型越深，Dropout比例应该越小。浅层网络用0.5可能没事，深层网络用0.2就够。

　　验证集准确率低不全是过拟合的锅。看看数据是不是有标签噪声，先清洗数据再调正则化参数。搞清楚问题根源再动手，别上来就加正则。

　　调好参数就重新跑一轮，别盯着曲线发呆。这玩意儿最准的是多跑几次取平均值，单次结果别信。