机器之心编辑部

硅谷知名科技播客主持人 Dwarkesh Patel 近期提出一个核心命题：AI 的活干下一代训练范式究竟是什么？

Dwarkesh Patel 是硅谷近年来迅速崛起的科技意见领袖，年仅 25 岁便凭借《Dwarkesh Podcast》跻身 AI 讨论的活干核心圈层。他的活干访谈嘉宾涵盖 Ilya Sutskever、Andrej Karpathy、活干Dario Amodei、活干Demis Hassabis 及 Mark Zuckerberg 等顶尖科技巨头。活干《时代》周刊将其列入 2024 年 TIME100 AI 榜单，活干并评价其播客已成为 AI 从业者的活干重要信息源。

在最新一期节目中，活干Dwarkesh 将当前前沿 AI 实验室的活干主流路线概括为一个关键词：RLVR（Reinforcement Learning with Verifiable Rewards，可验证奖励强化学习）。活干

简而言之，活干RLVR 的活干核心逻辑是：让模型在大量具备自动对错判断机制的任务中反复试错，从而习得规划、活干纠错、活干迭代及长期执行能力。当前代码生成、数学推理等领域的突破性进展，很大程度上得益于这一范式。

然而，Dwarkesh 的追问更为深刻：仅靠“可验证任务训练”，能否支撑下一代 AI 的发展？

他的回答是：可能不够。

因为一个任务不仅要“可验证”，还必须“可刷”（Grindable）。

一、 核心概念：什么是“可刷性”（Grindability）？

在 AI 训练语境下，“可刷性”指的是任务具备可大规模复制、可并行试错、可快速重置的特性。

• 代码任务是典型的可刷场景：构建一个软件仓库、设定待修复 Bug、编写测试用例，随后复制成千上万份环境，让数千个 Agent 并行尝试。通过测试即得分，过程可复现、可重置，完美契合 RLVR。
• 数学题同理：答案对错明确，训练环境易于克隆。

但 Dwarkesh 指出一个反直觉现象：为何 AI 在“使用电脑”这一看似可验证的任务上，进展反而滞后于代码和数学？

表面看，下单成功与否、会议预定状态、税务提交结果均可验证。但问题在于，真实互联网环境极难大规模复制和回放。你无法让一千个 Agent 同时在 Amazon 上重复相同的结账流程——真实网站会识别机器人、封禁账户或动态改变状态。虽然可以克隆 Slack、Gmail 或 Amazon 构建模拟器，但在当前技术阶段，这仍是高成本、低扩展性的工程难题。

结论：AI 在某领域进步快，不仅因为答案可验证，更因为该领域能被封装成可复制、可回放、可并行的训练环境。这解释了为何代码、数学、游戏成为 RLVR 的天然温床，而许多真实世界任务却难以直接纳入。

二、 现实世界的挑战：非平稳与不可重置

当我们将视角转向更复杂的现实世界任务——如从零创业、赢得官司、稳定获利或赢得选举——RLVR 的局限性便暴露无遗。

这些任务虽有明确结果（公司成败、官司输赢、盈亏状况），但存在三大痛点：
1. 反馈延迟长：创业可能持续数年，竞选依赖长期积累。
2. 变量极度复杂：受地域、候选人、选民情绪、媒体环境及偶然事件影响。
3. 环境不可重置：无法像代码那样从同一初始状态复制出一千个平行宇宙供 Agent 试错。

在强化学习术语中，这类环境属于 Reset-free（无重置）和 Non-stationary（非平稳）环境：既不能随意重置，环境本身也在动态变化。

Dwarkesh 质疑：在“可验证、可刷”环境中训练出的 Agent，能否泛化至这些真实世界任务？

这是一个实证问题，而非口号。
* 乐观派观点：只要 RLVR 环境足够复杂，模型学到的通用规划与试错能力终将迁移至创业、管理、政治等领域。
* Dwarkesh 的怀疑：真实世界的高价值知识往往模糊、非结构化且不可重复。它们可能源于一次含糊的客户反馈、一次失败的会议或组织内部的隐性流程。仅靠“刷题”无法习得这些，模型必须具备极高的样本效率（Sample Efficiency）。

三、 关键转折：Learning Back to the Weights（将学习写回权重）

这引出了全文的核心论点：Learning Back to the Weights。

当前的大模型擅长 In-context Learning（上下文学习），能在长对话中临时适应需求。但问题是，这种学习往往局限于上下文窗口，会话结束后模型并未真正“长记性”。

Dwarkesh 认为这是巨大的资源浪费。模型最有价值的训练信号恰恰来自部署后：
* 模型在真实组织中工作，暴露真实错误。
* 观察内部运作流程，发现哪些建议行不通，哪些路径有效。

如果这些经验无法沉淀回模型权重，就只是短暂的会话适应，而非能力的长期增长。

类比人类学习：
员工变得高效，并非因为背诵了所有邮件和会议记录，而是将经历压缩为判断力、直觉、流程理解和问题模式。AI 也应如此。

真正的持续学习（Continual Learning）不是无限扩大 KV Cache 或堆砌历史记录，而是从真实经验中提炼关键洞见，并压缩进模型权重。

四、 解决方案：OPSD 与 Dreaming

如何实现“将经验写回权重”？Dwarkesh 提出了两个方向：

1. On-Policy Self-Distillation (OPSD)

OPSD 可粗略理解为“老员工带新员工”：
* Teacher：已在长会话中积累经验的模型。
* Student：基础模型。
* 过程：让基础模型在没有完整上下文的情况下，模仿 Teacher 的判断。

与普通 SFT 的区别：
朴素 SFT 可能只是让模型复述工作日志（预测 Token），这是低效学习。OPSD 旨在提炼关键洞见，而非记忆细节。

OPSD 的优势：
* 无需外部可验证奖励：只要模型在上下文中学到有用知识，即可将“学习后的模型”作为 Teacher。
* 密集监督信号：相比传统 RL 仅依赖最终 Reward，OPSD 可在 Token 层面对比 Teacher 与 Student 的概率分布差异，将稀缺经验压缩为更精准的权重更新。

2. Dreaming（梦境模拟）

这里的 Dreaming 指 AI 基于真实世界观察，自主构建模拟环境进行反复练习。

• 场景：AI 在真实公司观察到某业务流程后，不满足于写总结，而是投入计算资源构建该流程的“游戏版模拟环境”。
• 行动：在模拟环境中测试不同沟通策略、执行路径，验证有效性。
• 结果：将模拟练习中获得的经验压缩回模型权重。

这类似于 Sutton 强调的 Agent 通过环境互动积累经验，但被置于大模型与真实部署的语境中。

如果此路线成立，它将成为 AI 发展的第四条扩展轴（Scaling Axis）：
1. Pretraining（预训练）
2. RL（强化学习）
3. Inference-time Compute（推理时计算）
4. Test-time Training / Dreaming（测试时训练/梦境模拟）

正如 David Silver 和 Richard Sutton 在《Welcome to the Era of Experience》中所言，AI 不能永远依赖人类数据，下一阶段的关键在于智能体从自身与环境互动中获取经验。

五、 未来图景：2027-2028 年的训练范式

Dwarkesh 将这一宏观判断具体化为未来的训练流程：

1. 基础构建：通过 RLVR 训练出一个具备基本能力的 Agent，使其能在陌生问题中理清思路、尝试策略并迭代。
2. 真实部署：将该 Agent 投入真实世界，参与非原始训练分布的项目，与用户连续工作（如一周）。
3. 经验蒸馏：任务结束后，根据用户反馈（点赞/差评/评价），利用 OPSD 或 Dreaming 等技术，将本次任务中学到的知识蒸馏回基础模型权重。

一旦此路径跑通，AI 的能力边界将不再受限于“可验证任务”。

• 第一阶段：通过 RLVR 掌握代码、数学、网页操作、工具调用。
• 第二阶段：通过真实部署学习组织管理、业务流程、复杂协作。
• 第三阶段：基于上述经验，向相邻领域扩展。

结语

Dwarkesh Patel 所指的“下一代训练范式”，并非单纯追求模型更大、数据更多或 RL 更强，而是指向三个根本性转变：

1. 从发布前训练，走向发布后学习。
2. 从人类数据，走向环境经验。
3. 从上下文里的临时适应，走向权重里的长期能力。

未来最重要的 AI 训练数据，将不再是互联网上已有的文本或实验室构造的可验证任务，而是 AI 在真实世界中完成真实任务时，自我积累的经验。

(责任编辑：知识)