盯着屏幕上随机乱跑的agent，你是不是也在想——这强化学习导论里的Q-learning到底在更新什么？公式里一堆希腊字母，epsilon越来越大，agent还在原地转圈。别慌。

先别急着调参数，这三个坑我替你踩了

　　第一个坑：把强化学习当监督学习来用。有的朋友可能遇到过，给每个动作都打上标签让agent去模仿，结果换了个环境直接报废。强化学习的核心是试错，不是拟合。第二个坑：奖励信号半天不来。你设了稀疏奖励，agent跑了一千步才拿到+1，中间全靠随机探索，训练曲线自然跑不出来。试着用shaping奖励，每靠近目标一步给个小分。第三个坑：忘记平衡探索与利用。epsilon设成0.1就再也不变，agent早早陷入局部最优，Q-learning震荡得厉害。动态衰减epsilon，前期多探索，后期多利用。

　　这三个问题一旦提前留意，能省掉你三天调参时间。强化学习导论里讲的理论，说穿了就是在试错中学会最大化累计奖励。

从CartPole起步，就能跑通第一个agent

　　别一上来就看Deep Q-Network（DQN）那套，先用张量表格做Q-learning。装个OpenAI Gym，加载CartPole环境。观察状态是四个数字：小车位置、速度、杆子角度、角速度。动作只有两个：左推或右推。写个Q表，维度是离散化后的状态空间乘2。主循环里，用epsilon-greedy选动作，执行后拿到奖励和下一状态，然后更新Q值：Q(s,a) = Q(s,a) + alpha * (reward + gamma * maxQ(s',a') - Q(s,a))。跑几百个episode，就能看到agent学会了把杆子立起来。

　　这段代码写完，你才算真正摸到了门。训练曲线刚开始可能是乱窜，别急着跑下一个项目。观察那条曲线：如果一直上不去，检查奖励信号是不是太稀疏。如果突然掉下来，看看是不是epsilon衰减太快。如果这条曲线跑出来了，强化学习导论里那些概念——策略、价值函数、贝尔曼方程——才真正和你手上的代码连上了。

　　问题解决了就去泡杯茶，别在这耗着。参数调整建议去翻官方的tuning guide，那玩意儿最准。