盯着终端上不断攀升的loss曲线，你是不是也有种想砸键盘的冲动？深度学习特征提取这个环节，往往就是让模型翻车的重灾区。特征提得好，模型像开了挂；提不好，再复杂的网络也白搭。后台经常收到这样的留言："为什么我用了ResNet-101，准确率还不如人家用MobileNet？"问题多半出在特征提取上。

先别急着堆特征，这几个坑我替你踩了

　　很多朋友一上来就把所有能提取的特征全塞进模型，结果维度爆炸，训练时间翻倍，模型还严重过拟合。模型过拟合咋解决？第一步就是检查特征是不是冗余了。有的朋友可能遇到过：同一个数据，换了种特征提取方式，结果天差地别。其实，深度学习特征提取的关键不在于数量，而在于质量。你需要问自己三个问题：这些特征和任务强相关吗？特征之间有没有重复信息？特征的量纲统一了吗？

　　还有一个常见误区：过分依赖卷积层的最后一层输出。最后一层往往丢失了大量空间信息，对于细粒度分类任务很致命。试试把中间层的特征拼接起来，效果往往出奇好。记住，深度学习特征提取不是一锤子买卖，需要反复调试。

手把手拆解特征提取的实战步骤

　　第一步，先搞清楚你的数据特性。小数据集不要盲目用深层网络，容易过拟合。第二步，选择合适的预训练模型时，注意源域和目标域的相似度。第三步，对提取到的特征做降维处理——特征维度太高怎么降？PCA也好、自编码器也好，能有效缓解维度灾难。第四步，别忘了做特征标准化，让每个特征都站在同一起跑线上。第五步，用验证集反复对比不同特征组合的效果。

　　别偷懒。

　　每一步都要动手验证。比如，当你发现模型在验证集上准确率停滞不前，第一个要检查的就是深度学习特征提取是否做到了去冗余。我见过有人花了两周调网络结构，最后发现只是特征没处理好，白白浪费精力。还有一个实操技巧：用t-SNE可视化你提取的特征，如果同类样本聚不到一起，说明特征不行，赶紧换方法。

　　最后说一个最容易忽略的细节——梯度的传播。在微调预训练模型时，如果你冻结了底层，那么底层提取的特征就固定了，无法为下游任务做优化。所以要根据数据量决定微调的层数。对于特征提取效果差怎么办？试试解冻更多卷积层。

　　参数调整建议去扒官方文档，那玩意儿最准。问题解决了就跑个测试集，别在这耗着。