Google DeepMind 团队近期建议了一种运用预考试自纪念模子里面表示进行层级强化学习（Hierarchical RL）的新形状。该商量的中枢发现是：天然自纪念模子（如 Transformer 和 SSM）仅通过“下一个 token 预测”任务进行考试开云体育(中国)官方网站，但其里面残差流（Residual Stream）中天然显线路了线性可控的时序概括（Temporally-abstract actions），即对应于长跨度子目的的潜在表示。

基于此发现，作家建议了一种名为 Internal RL（里面强化学习） 的范式。该形状领先通过一个无监督的 元扫尾器（Metacontroller） 索要模子里面的时序概括，然后在该潜在空间而非原始动作空间中进行强化学习。实验标明，在稀少奖励的层级化任务（Grid World 和 MuJoCo Ant）中，Internal RL 有时有用科罚圭臬 RL 微调（如 PPO、GRPO）无法科罚的探索难题，已毕了比基线形状高出数个数目级的样本恶果。这一责任为在基础模子（Foundation Models）中已毕高效的层级野心和推理提供了新的视角。

1. 前言

当前东谈主工智能的发达主要由大限制自纪念序列模子驱动。这些模子通过海量数据集上的下一个 token 预测（Next-token prediction）任务进行预考试，随后凡俗通过强化学习（RL）进行微调以对皆东谈主类偏好或耕作特定任务才能。

伸开剩余92%

然而，在处理长程、稀少奖励的任务时，现存的 RL 微调范式濒临显耀挑战。自纪念模子逐 token（token-by-token）生成的特点决定了其探索空间是基于局部 token 变化的。这种局部的抖动（Jittering）很难在需要长技巧跨度野心的任务中触及稀少的奖励信号。举例，在一个需要蚁合完成多个子目的的导航任务中，淌若仅靠 token 级别的速即采样，模子简直不行能偶然完成通盘序列从而赢得奖励。

针对这一问题，层级强化学习（Hierarchical RL, HRL）遥远以来一直试图通过引入“选项”（Options）或子步调（Subroutines）的见地来在更高的技巧概括层面上进行探索。但传统的深度 HRL 形状（如 Option-Critic）常常濒临发现存效子目的的贫穷，接续经管到退化的解。

本文探讨了一个替代假定：自纪念模子在预考试过程中，为了更准确地预测下一个 token，还是在其里面激活（Internal Activations）中隐式地学习了时序概括。 淌若这一假定成立，咱们就不需要重新学习概括动作，而是只需要索要并运用模子里面已有的概括表示。

基于此，商量团队联想了一套完整的机制，包括：

机制可解释性分析：考据里面概括的存在性。 无监督元扫尾器：自动发现并冲破化时序概括。 Internal RL：在索要的概括空间中进行计谋优化。

2. 自纪念模子中的隐式时序概括

在先容具体形状前，领先需要考据中枢假定：预考试模子是否竟然在莫得显式监督的情况放学习了对于子目的的概括表示？

2.1 实验环境与数据树立

商量者构建了两类具有层级结构的导航任务：

Gridworld-pinpad：冲破动作空间的网格寰宇。 Ant-pinpad：基于 MuJoCo 的蚁合扫尾任务（四足机器东谈主 Ant）。

任务条件智能体按照特定法例造访一系列神采标识的子目的（Subgoals）。考试数据 由众人计营生成的 序列构成，不包含任何奖励信息或子目的标签。模子架构涵盖了圭臬的 Causal Transformer 和基于景色空间模子（SSM）的 Hawk 架构。

2.2 线性探伤（Linear Probing）

为了探究模子里面是否编码了当前的子目的信息，商量者在预考试模子的残差流 （第 步，第 层）上考试了线性分类器，用于预测当前智能体正在前去的真实子目的 。

扫尾自满：

深层线性可分性：跟着层数加深，线性探伤的准确率显耀飞腾，在模子中后层达到峰值。 信念增强：跟着技巧步 的推移（即智能体在该子目的阶段内采集了更多不雅测信息），探伤器对正确子目的的预测概率质料逐渐聚合。

这标明，尽管模子仅被考试用于预测下一个动作 ，但为了作念好这一预测，模子必须在里面温煦一个对于“当前哨针是什么”的信念景色（Belief State）。

2.3 线性打扰与因果性

只是能探伤到表示并不虞味着该表示具有因果遵循。商量者进一步引入了线性扫尾器（Linear Controller） 来打扰残差流：

这里 是特定于某个子目的的低秩矩阵。实验发现，在模子中间层（Mid-depth）插入对应于“前去红色”的线性扫尾器，不错强制智能体改变当前行为并实践前去红色的动作序列，即使蓝本的轨迹并非如斯。这阐发了里面表示不仅存在，而且是线性可控的，而且具有时序概括特点（一次打扰可影响后续一系列动作）。

3. 无监督元扫尾器

天然考据了概括的存在，但之前的打扰依赖于真实的子目的标签。为了在无监督树立下自动发现并运用这些概括，作家联想了一个 元扫尾器（Metacontroller）。

3.1 架构联想

元扫尾器是一个附着在冻结的预考试基础模子（Base Model）上的赞助会聚，其目的是学习生成序列化的线性扫尾器 。

元扫尾器包含以下中枢组件：

里面序列镶嵌器（Internal Sequence Embedder）： 读取基础模子的残差流序列 ，生成一个包含将来信息的序列镶嵌 。这是一个非因果（Non-causal）的过程，仅在考试阶段使用。 扫尾器编码器（Controller Encoder）： 基于序列镶嵌，通过变分推断生成潜在变量（Latent Variable）。 这个 代表了在时刻 建议的概括动作（Candidate abstract action）。 切换单位（Switching Unit）： 这是已毕时序概括的重要。该单位输出一个标量 ，用于扫尾是否切换到新的概括动作。 当 时，保抓上一步的潜在编码 （技巧延展）。 当 时，接纳新的编码 （动作切换）。 这一机制使得 有时在多个技巧步内保抓不变，从而变成长技巧跨度的概括。 扫尾器解码器（Controller Decoder）： 这是一个 Hypernetwork，将潜在编码 映射为线性扫尾器参数 。 然后将 作用于基础模子的残差流。

3.2 考试目的：变分下界

元扫尾器的考试接纳无监督的变分自编码器（VAE）范式。基础模子参数 保抓冻结，仅优化元扫尾器参数 。目的函数为最小化负对数似然（NLL）与 KL 散度正则化项的加权和：

其中：

第一项是重构耗损：通过元扫尾器打扰后，模子预测原始动作序列的才能。 第二项是正则化项：经管潜在变量分散接近圭臬正态分散。超参数 扫尾了信息瓶颈的强度。

3.3 稀少切换的露出

一个重要的实验发现是，尽管莫得显式的稀少性处分，切换门 自觉地学习到了准二值（Quasi-binary）的稀少切换行为。 [图 6 自监督元扫尾器发刻下序概括] 如图所示， 的峰值高度对皆于真实任务中子目的发生变化的时刻。这意味着元扫尾器告捷地将蚁合的动作流分割成了成心旨的动作片断（Options）。

3.4 为什么需要冻结基础模子？

作家通过率失真（Rate-Distortion）分析揭示了一个兴味的表象：

冻结基础模子：率失真弧线存在赫然的“水平缺口”（Horizontal Gap），即在某个特定的 值隔邻，少许的编码率（Rate）加多能带来极大的重构性能耕作。这对应于模子发现了与真实子目的对皆的冲破结构。 同一考试（Co-training）：淌若让基础模子和元扫尾器通盘考试，这一结构特征灭绝，模子倾向于退化解（举例在开头切换一次，背面不再切换）。

论断：预考试的自纪念模子通过下一个词预测任务，还是开荒了雅致的潜在表示结构。冻结它有时迫使元扫尾器去运用这些结构，而不是再行学习一套松开的编码。

4. 里面强化学习

在索要出时序概括后，下一步是若何运用它来科罚新的、更难的任务。

4.1 传统 RL 在稀少奖励下的失效

在层级化任务中，淌若奖励仅在完成通盘子目的序列后给出（稀少奖励），圭臬的基于动作空间的 RL（如 PPO 或 GRPO）凡俗会失效。 原因在于：

探索空间宽绰：在 token 级别进行速即探索，有时凑巧生成一长串正确动作序列的概率极低（举例 量级）。 信用分派（Credit Assignment）贫穷：即使偶然赢得奖励，由于序列过长，很难将奖励信号有用地回传到具体的每一个动作决议上。

4.2 Internal RL 范式

Internal RL 的中枢念念想是将 基础模子 + 元扫尾器解码器 视为环境的一部分，计谋会聚 平直在 潜在空间上进行决议。

具体经过如下：

环境封装：将原环境、冻结的基础模子、元扫尾器的解码器 封装为一个新环境。 不雅察空间：输入为基础模子的残差流激活 。 动作空间：输出为潜在编码 。注意 ，且远小于动作序列的长度。 技巧概括：计谋会聚并不需要在每一步都输出新的 。运用元扫尾器考试好的切换机制（通过阈值化 ），计谋仅在需要切换子目的时输出新的 ，在中间过程则由积分器保抓当前的概括动作。

算法上，Internal RL 接纳了篡改版的 PPO/GRPO，去除了 Critic 会聚（使用蒙特卡洛讨教揣度），以适合稀少奖励设定。

4.3 为什么 Internal RL 更有用？

作家在附录 E.2 中给出了详备的梯度方差分析，对比了在原始动作空间作念 RL（Raw Action RL）和在潜在空间作念 RL（Internal RL）的相反。

假定 空间还是被告捷识别为概括动作空间。

Raw Action RL 的梯度方差：随技巧步 线性增长，且受动作空间维度的噪声积聚影响。 Internal RL 的梯度方差：主要取决于讨教 的方差，而不随技巧步 恶化（因为决议频率低，且 空间紧凑）。

这意味着 Internal RL 执行上将一个长程野心问题升沉为了一个决议步数极少的短程问题（Bandit-like problem），极地面简化了信用分派。

5. 实验扫尾与分析

5.1 任务树立：组合泛化

为了测试泛化才能，考试阶段（预考试和元扫尾器考试）使用的任务序列较短（举例 A->B）。而测试阶段（RL 微调）的任务序列更长且组合神志未在考试中出现（举例 A->B->C->D->A）。

5.2 主实验扫尾

实验对比了以下几种形状：

Internal RL（本形状） Internal RL (Co-train) ：使用同一考试得到的元扫尾器。 Internal RL (w/o temporal abstraction) ：强制 ，即每一步都再行决议 。 Raw Action RL：平直在基础模子上微调参数。 CompILE：一种经典的从演示中学习层级结构的 HRL 基线。

扫尾令东谈主印象深远：

Raw Action RL 和 CompILE 皆备失败：在 100 万个 episode 内告捷率简直为 0。 Internal RL 马上经管：在 Gridworld 和 Ant 环境中均能快速达到高告捷率。 时序概括的蹙迫性：去除了时序积分（）的消融实验天然初期有一定告捷率，但最终性能和经管速率远不如完整版块，说明了“守护”概括动作对于信用分派至关蹙迫。

5.3 泛化性分析

作家进一步探究了学到的潜在编码 的性质。

新建立下的泛化：在 Ant 环境中，将在一种迷宫布局放学到的“前去蓝色”的 代码，强制注入到另一种布局的迷宫任务中。扫尾自满智能体有时立即修正轨迹前去蓝色目的。 OOD 序列泛化：在从未见过的子目的转机法例（举例从未见过从红色平直去蓝色）中，手动注入对应的 代码，智能体依然有时实践正确的转机。

这说明了元扫尾器学到的不单是是驰念了考试数据，而是着实拿获了功能性的意图（Functional Intent）。

6. 深入商讨

6.1 与 JEPA 的权衡

Yann LeCun 建议的 JEPA 架构强调在概括表示空间进行预测和野心，而不是在像素或 token 层面。本文的 Metacontroller 与 JEPA 的 Configurator 模块高度雷同。

JEPA 的 Configurator 正经篡改 World Model 和 Policy 以事业于特定目的。 本文的 Metacontroller 读取历史并篡改自纪念模子的残差流以实践特定子目的。

区别在于，JEPA 试图皆备逃避生成式模子（Generative Model），而本文展示了生成式（自纪念）模子自己便是极佳的概括表示学习器。通过对生成式模子进行“里面扫尾”，咱们已毕了肖似 JEPA 的层级野心。

6.2 与 LLM 推理的权衡

当前 LLM 范围的一个热门是运用 Chain-of-Thought (CoT) 进行推理。CoT 实质上是在 token 空间显式地伸开推理设施。

本文的 Internal RL 提供了一种隐式推理的念念路：推理过程可能发生在潜在空间（Latent Space），通过一连串的 变换来指挥输出，而不需要显式地生成每一个推理 token。 最近 DeepSeek-R1 等责任展示了 RL 在推理任务上的遒劲后劲。本文的 Internal RL 表示，淌若能平直在 Transformer 的中间层进行 RL 换取的打扰，可能会比仅在输出端进行 RL 更高效，尤其是在念念维链极长的情况下。

6.3 机制可解释性：SAE vs Metacontroller

稀少自编码器（Sparse Autoencoders, SAE）是当前解释 LLM 里面表示的主流用具。SAE 考试于瞬时的激活向量，旨在寻找静态的特征重迭。 比较之下，本文的 Metacontroller：

动态性：它是预测性和打扰性的，不仅解码特征，还生成扫尾信号。 有景色：它包含 RNN 结构，温煦里面景色，因此能处理跨越长技巧步的特征。 这标明，对于结实和扫尾“过程性”或“算法性”的常识，基于能源系统的 Metacontroller 可能比静态的 SAE 更具上风。

6.4 贝叶斯解释与率失真

附录 E.1 的推导将通盘框架置于坚实的概率论基础之上。 ELBO 的最大化执行上是在作念两件事：

重构（Reconstruction）：保证 高，即概括动作能准确指挥具体行为。 压缩（Compression）：保证 低，即概括动作的信息量尽可能小。

的稀少性不错被视为这种压缩压力的天然扫尾——淌若不切换 ，就莫得新的信息量产生，从而裁汰了总的 Rate。这解释了为什么不需要显式联想复杂的切换处分，通俗的 KL 正则化加上相宜的 就能显线路完整的子目的分割。

7. 局限性与将来瞻望

尽管扫尾令东谈主立志，该责任仍存在局限：

环境复杂度：当今仅在 Gridworld 和 Ant 这种东谈主工构造的层级任务上考据。真实寰宇的谈话任务或复杂机器东谈主的层级结构可能愈加暗昧且难以线性分歧。 模子限制：实验使用的是较小的 Transformer 和 SSM。在大限制 LLM（如 70B 参数）上考试 Metacontroller 的蓄意资本尚待评估。 假定依赖：形状依赖于预考试数据隐蔽了基础妙技的组合。淌若预考试数据皆备莫得触及某些原子妙技，Internal RL 也无法诬捏创造。

将来标的：

LLM 推理加快：运用 Internal RL 在潜在空间进行额外式推理，减少生成的 token 数。 多模态扫尾：将此形状应用于视觉-谈话模子（VLM）的机器东谈主扫尾，已毕更长程的任务野心。 更强的元扫尾器：使用更复杂的架构（如 Transformer）替代当前的 RNN/SSM 行动元扫尾器，以捕捉更复杂的时序依赖。

8. 论断

这篇论文有劲地反驳了“自纪念模子只是速即鹦鹉”的不雅点。它说明了：

深度预测蕴含概括：只是是为了预测下一个 token，神经会聚必须且还是学会了构建对于任务目的的深层、长程的概括表示。 概括是可控的：咱们不需要通过繁琐的 Prompt Engineering 或微调权重来换取模子，平直在残差流进行线性打扰是更平直有用的形状。 Internal RL 是新范式：在潜在空间进行强化学习，通过运用预考试的“势能”，科罚了传统 RL 在长程稀少奖励任务上的根人性难题。

附录：重要数学推导细节

A.1 变分下界 (ELBO) 的推导

目的是最大化不雅测数据似然 。 引入潜在变量序列 和切换变量 。 笔据 Jensen 不等式：

由于切换机制的联想，当 时， 是细则性的（等于 ），此时 KL 散度为 0。独一当 时，才蓄意 分散与先验 的 KL 散度。这导致了最终耗损函数中 KL 项的稀少性，从而饱读吹了稀少切换。

A.2 梯度方差对比

接洽单次切换场景（）。

Raw Action RL:

由于 在每一步都采样，噪声项 的维度随技巧步 积聚，方差项包含 因子。

Internal RL:

这里 仅在序列运行时采样一次（假定 ）。梯度仅与 的维度关系，与 无关。 因此，对于长程任务（ 很大），Internal RL 的方差显耀更小，信噪比更高，这便是其有时考试告捷的数学实质。

论文地址：kuaisou.com开云体育(中国)官方网站

发布于：陕西省