盯着loss曲线不动？先别急着改网络

　　你盯着训练日志里那条直线一样的loss曲线，已经灌下第三杯咖啡了。分层强化学习模型就是不下降，梯度像死了一样。后台经常收到这样的留言：“我抄了论文的架构，为什么跑出来全是噪声？”别慌，这玩意儿翻车太常见了。问题大概率不在网络容量，而在你如何切分任务层次。

　　分层强化学习的核心是把一个复杂任务拆成高层策略和低层技能。高层输出目标，低层执行动作。但很多朋友一上来就堆两个网络，结果高层瞎指挥，低层学不会，整个系统陷入死循环。先别急着调学习率，先问问自己：你的高层决策间隔设对了吗？如果高层每步都选择，它和低层就没有区别了。试试把高层动作步长拉长到10～20步，给低层足够的发挥空间。

　　还有一个常见坑：低层技能库太散。有的朋友把低层动作空间定义成“往前走0.1米”“左转5度”这种微操，那高层就变成了微操大师，分层失去意义。正确的做法是把低层技能封装成“前进到门”“抓取物体”这种有意义的宏动作。记住一条原则：高层决策频率越低，低层技能粒度越粗。

　　现在就动手检查你的低层奖励函数。如果低层技能只拿到稀疏奖励，它根本学不会。

奖励函数设计？这个避坑动作必须做

　　分层强化学习的奖励稀疏问题比普通强化学习还致命。高层收到奖励很远，低层完全不知道自己在干什么。你可能会想：“我用基于状态的奖励设计，低层每完成一次子目标就给分。”这没错，但容易陷入层次崩塌——高层发现直接教低层动作比输出目标更容易，于是绕过分层机制。这样分层强化学习就退化成普通强化学习，你的计算量翻倍效果却更差。

　　怎么治？一个简单动作：强制高层输出目标时，禁止低层访问原始状态。比如机器人导航，高层只给出“前往房间中心”这个抽象指令，低层只能看到局部激光数据，看不到全局坐标。这样低层必须学会用自己的感知去执行指令，高层也必须学会用抽象语言沟通。训练时注意梯度截断，别让低层梯度反向传播到高层，否则又会塌陷。

　　如果你还在头疼分层强化学习训练不收敛，试试把高层的目标空间限制成离散的有限集合。比如3种目标：“左移”“前移”“停止”。太多目标会让高层迷茫，太少则失去分层意义。

　　最后说一个容易忽略的点：采样策略。不要用同一批次的数据更新高层和低层。高层需要长时间跨度的轨迹，低层需要短时间内的密集样本。分开采样，分别优化。你可以把高层数据存在一个大的buffer里，低层用更频繁的在线更新。

　　问题解决了就去泡杯茶，别在这耗着。参数调整建议去扒论文附录的表格，那玩意儿最准。