Felix
← 返回文章列表

AI 开始训练 AI，走到哪了

导读海外独角兽关于 RSI 与持续学习的长文：AI 参与训练下一代 AI 已在前沿实验室跑起来，瓶颈从做实验移到了判断对错；持续学习还在四条路线上探索。文中关键说法逐条查了原始出处，需要打折的地方就近标出。

技术··17 分钟阅读

AI 开始训练 AI，走到哪了

资料截至 2026 年 10 月 20 日

先说结论

海外独角兽最近发了一篇长文《智能进步的复利：从 RSI 加速到持续学习》，把两件常被混在一起讲的事拆开了：一是 RSI（recursive self-improvement，递归自我改进），让 AI 参与训练下一代 AI；二是 持续学习（continual learning），让模型在使用中把新经验变成能力。我把文中提到的论文、官方博客和播客逐条找了原始出处，再按自己的理解重新梳理了一遍。

几句话版本：

  • RSI 的初级形态已经在前沿实验室里跑起来了，被自动化的主要是「做实验」这一环。可以公开查到的证据有 OpenAI 的内部实验量统计、Karpathy 的 autoresearch，以及 Anthropic 的几篇研究博客。
  • 瓶颈从「做」移到了「判」。小实验上筛出来的好方法，放到大模型生产训练里不一定还有效；验证器（verifier）和研究品味（taste）现在比算力更稀缺。
  • 持续学习还没有公认的做法。眼下有四条技术路线在并行探索：测试时训练（TTT / fast weights）、模块化适配器（LoRA）、元学习、自蒸馏。要不要换掉 Transformer 架构，业内也还在争。
  • 原文有少数说法需要打折：有的数字正文里找不到，有的比较条件没写清，有一条传闻查不到出处。我在对应位置标出来了。

两个词先分清

原文用两个维度区分这两件事：

  • 自我进化：AI 能不能自己把「训练出更好的 AI」这个循环闭合起来。
  • 适应：AI 能不能针对某个具体的人、任务或环境学到新东西。

按这个框架，过去的大模型是「隔一段时间发一个新版本」，两项都不具备。前沿实验室现在做的事，是把训练流程越来越自动化，在「自我进化」这一维往上走；持续学习则要求两项同时具备。

今天的聊天助手和个人 Agent 也会「记住你」，但做法是把记忆写进 Markdown 之类的文件，用到的时候再翻出来，像一个随身带笔记本的人。笔记本丢了，人还是原来那个人。持续学习想要的是另一回事：经历本身改变了模型。

RSI 已经在发生：先被自动化的是实验

原文对 RSI 的定义比较务实：不要求完全没人参与，而是看 产出同样多的智能进步，需要的研究员数量不再随算力同比例增长。算力可以继续加，人不用跟着加。

公开能查到的几条证据：

  • OpenAI 的内部统计。2026 年 9 月，OpenAI 发文披露：每位活跃研究人员的实验量在 2026 年 8 月达到自 2025 年 1 月开始统计以来的最高值。原文写的是「约 1.6 倍」，这个数在 OpenAI 正文里找不到，可能是从图表上读的（未核实）。OpenAI 自己也提醒，同期可用算力同样大幅增长，所以这个数字不全是 Agent 的功劳。
  • Karpathy 的 autoresearch。这是一个能直接看到的闭环：Agent 只改训练脚本 train.py，在单张 GPU 上每次训练 5 分钟（墙钟时间，不含启动和编译），看验证集指标 val_bpb 有没有变好，变好就保留，否则撤销，然后进入下一轮。人负责写研究方向和边界，Agent 负责一轮接一轮地跑。

一个小人用毛笔画出一个圆圈，圈内一串星点不停地绕圈运行

这也改变了训练基础设施的设计目标。以前训练系统主要考虑研究员用得顺手，现在还得让 Agent 能调用、能观察、能纠错：训练接口能不能被程序调用，环境能不能复现，评估是不是独立于被评估的东西。这几项决定了一个研究员能同时盯多少条这样的闭环。

可以把效率拆成两个量来看：每个研究员能管多少 GPU 小时，以及每个 GPU 小时能产出多少有效结论。自动化目前主要提高了前一个，让更多假设被拿去试。后一个要靠评估方法和研究方法本身变好，而这正是现在卡住的地方。

卡在哪：判断比执行难

悬挂的动态雕塑：左边一大串蓝色小圆片，右边一枚金色圆片与它们保持平衡

实验能自动跑之后，稀缺的工作变成了下面这几类。

一、小实验的结论能不能搬到大模型上。 Anthropic 的一篇对齐研究很能说明问题：9 个 Claude Opus 4.6 实例自主设计并迭代弱到强监督（weak-to-strong）的方法，在研究环境里表现很好；但把最优方法放到 Claude Sonnet 4 的生产训练里，只提升了 0.5 分，原文自己的说法是「处于噪声范围内」。便宜实验筛出来的候选，最后还是要人来把关。

二、好的可验证环境和验证器。 任务一多、一难，人就没法逐项检查，这在学术上叫可扩展监督（scalable oversight）。工程上，原文提到一种实用的检验方式：让 Agent 生成正确答案的变体和故意出错的干扰项，看验证器能不能把它们区分开。

三、从真实工作轨迹里重建训练环境。 很多开源评测是「修一个 issue」这种单轮任务，真实工作却是一串连续任务，文件、运行环境和用户目标都在变。要把真实轨迹变成能训练的环境，有三个难点：

  1. 恢复文件和运行环境：从轨迹里尽量还原文件内容和目录结构，补齐依赖和构建配置，让环境真的能跑。
  2. 切出任务边界：用户一句「继续」，要还原成目标清楚、上下文完整的任务。
  3. 判断任务是否完成：原始回复往往不是最优解，验证器应该看模型行为和环境状态的实际变化，而不是看输出像不像原回复。

四、研究品味和资源分配。 哪个问题值得做，哪个实验该加算力，什么时候该放弃，这些决定没有现成的短期分数，却决定了最后能不能留下有价值的发现。执行越自动化，方向判断越重要。

走出代码：科学和机器人

在模型训练和写代码之外，RSI 很难直接闭环。原文的判断是：先在前沿实验室内部闭环，再进入目标明确、反馈可验证的垂直领域。目前能看到的局部闭环：

  • 蛋白设计。Anthropic 让 Claude 优化了 30 多个开源生物分子模型的推理代码和 GPU kernel，平均提速约 4 倍，再配合更简单的流程和更新的模型，同等水平的设计所需 GPU 小时降了约两个数量级。注意比较条件：对比的是 Anthropic 上一轮设计活动，衡量的是计算机模拟打分，不是湿实验结果；送去做实验验证的订单也是员工下的，不是 Agent 自动提交。
  • 科学模型研发。Phylo 的 Biomni × TusoAI 让 Agent 检索文献和代码、改写方法、训练并评估，一周内测了 500 个候选，最后得到一个融合 9 个来源基因嵌入、回归加 kNN 的基因扰动预测方法（公司自述，未见独立复现）。
  • 机器人软件。Anthropic 的 Project Fetch 第二阶段里，五项机器人接入与编程任务，Claude Opus 4.7 三次试验平均用时 12 分 7 秒；上一轮 Claude 辅助的人类团队用了 264 分钟。
  • 边做边学的机器人策略。NVIDIA、Stanford 和 UT Austin 的 RoboTTT 把 fast weights 接进 VLA 策略，能处理 8K 时间步的上下文，看一次人类视频示范就能适应，并在 10 个阶段的装配任务里在线纠错。上下文从 1K 加到 8K，表现提升 62%；作者只测到 8K，说的是「尚未饱和」。

计算环节越便宜，瓶颈就越集中到真实实验反馈的质量和速度上。

持续学习：把经验写进模型

一个纸雕小人捧着笔记本走路，纸页从身后飘走；远处是一圈圈纸做的年轮，最外层是一道新的金色

原文给持续学习的定义是：一个系统能在与环境的交互中，把新知识转化成可以泛化到其他任务的能力提升。拆成两步：

  1. 获得新信息：新问题、新思路、新工具，可能来自用户、环境，也可能是模型自己生成的。
  2. 把新信息变成能力：不是存下来，而是成为模型的一部分。

关键在「立刻」。如果要先把经历攒起来，过一段时间再统一训练，那还是现在的范式。原文认为第一阶段最现实的目标，是让模型在一个很长的任务里持续从信号中学习，越做越好。

最大的难点是 样本效率。软件测试可以重置环境、并行重跑，奖励来得又密又快，原文把这种性质叫可「磨」（grindable）。物理世界和大多数真实工作没法这样反复磨，只能从少数几次经历里学到关键的东西。环境越难复制，越要从每次经历里多学一点。

四条技术路线

路线主要解决代表工作
测试时训练记忆、个性化TTT-E2E、In-Place TTT
模块化适配器个性化、成本LoRA / Multi-LoRA
元学习学习效率Nested Learning、SCoL
自蒸馏把一次经历学进去OPSD

测试时训练（TTT / fast weights）。 让模型的一部分权重在推理时也能在线更新，学习和推理同时发生，而且记忆的计算量不随上下文长度增长。2025 年底以来有一批工作尝试把它接进标准 Transformer：

  • TTT-E2E 在滑动窗口 Transformer 上做测试时更新，并在训练阶段学一个适合更新的初始化。
  • In-Place TTT（ICLR 2026）直接把 MLP 的最后一个投影矩阵当作 fast weights。
  • ReFINE 用「预测下一段序列」和序列级奖励来训练 fast weights。
  • Falcon 从在线学习角度设计 fast-weight attention，用归一化的一阶更新提高固定大小状态的写入效率。

这条路线还没有规模化，下一步可能卡在数据：需要能教会模型「哪些经验值得写进去、怎么控制遗忘」的长轨迹。

模块化适配器（LoRA / Multi-LoRA）。 冻结底座，只训练很小的低秩参数。Thinking Machines 的 Tinker 是基于 LoRA 的微调 API；Fireworks 用 Multi-LoRA 做服务；Trajectory 做并发 Multi-LoRA 训练，自报实验吞吐提升 2.81 倍。它的价值在于控制「稳定性和可塑性」之间的取舍：把局部学习关在可路由、可删除的小参数里，一次更新不会弄坏整个模型。原文设想了一个分层结构：fast weights 或任务级 LoRA 存短期状态，更慢的适配器固化稳定技能，底座权重只吸收跨用户反复验证过的通用能力。难点是规模：要让大量用户和项目都有自己的适配器，训练、路由和服务都得足够轻。

元学习。 把「怎么学」本身变成训练对象：什么初始化更容易适应，更新哪些层，更新多少，什么值得留下。Google 的 Nested Learning / Hope 把模型看成多层嵌套、更新频率不同的优化循环，快的部分适应当前上下文，慢的部分保存稳定知识。2026 年的 SCoL 让模型根据当前上下文生成「更新指令」，决定更新哪些层，再用元强化学习训练这个策略。它补的是 TTT 没解决的问题：不是每次临时更新都该永久保留，系统需要一个学出来的「闸门」来决定什么进入长期记忆。

自蒸馏和在策略学习。 OPSD（on-policy self-distillation）的思路是：让经历过完整任务的「老手」模型当老师，把经验蒸馏回原来的学生模型。老师和学生在每个 token 上的分布差异，比任务结束时的一个总分提供了密得多的信号；再从学生自己犯错后的状态继续教，可以减少「老师一直扶着走」带来的分布偏移。

要不要换掉 Transformer

这个问题上分歧很大，大致三派：

  • 不一定要换。 Dario Amodei 在 2026 年 2 月的播客 里说，持续学习可能根本不是障碍，没有它也能走完大部分路；他同时也认为持续学习很可能在一两年内被解决。Anthropic 押注技能（skills）这类外部化生态，也能看出这个思路。
  • 必须从根上改。 Richard Sutton 在 访谈 里的批评最彻底：今天的大模型是在模仿人类数据，而不是在「感知—行动—奖励」的持续流里学习世界如何运转。
  • 中间派。 Dwarkesh Patel 在 回应文章 里接受「现有模型缺少从经验中高通量学习的能力」，但认为模仿学习和经验学习不必二选一：大模型可以先当一个很强的先验，再用别的机制逐步逼近持续学习。

Transformer 之外的选项也各有代价。RNN 类（RWKV、xLSTM）和 SSM 类（Mamba）用固定大小的状态保存历史，长序列推理便宜，但细节容易丢，精确回忆更难；混合架构如 Qwen3-Next 把 Gated DeltaNet 和注意力按 3:1 混合，降低成本的同时保留对细节的访问，代价是系统更复杂。

原文把可能性从弱到强排成三种假设，我觉得是个好用的框架：

  1. 现有范式就够：更长的上下文、更强的模型，加上为持续学习准备好的数据。
  2. 算法要改：Transformer 还在，但需要元学习出来的快慢更新、蒸馏、记忆闸门这类新算法。
  3. 架构要改：必须从底层重新设计能持续更新的模型和优化过程。

两个飞轮

两条纸带各自绕成一个环并扣在一起，交汇后合成一条螺旋上升，末端是一个金色的纸花苞

原文最后的判断是：RSI 提高的是「生产智能」的效率，持续学习让「真实使用」成为能力增长的来源。两者可以互相加速：自动化研究帮人更快找到更好的学习方法，更会学习的模型又反过来加速下一轮研究。

读完我最大的感受是，这两件事最后都落在同一个约束上：怎么知道做对了。RSI 卡在小实验的结论能不能迁移、验证器靠不靠得住；持续学习卡在没有标准答案的真实经历里，什么值得学进去。生成任务和环境越来越便宜，判断标准反而越来越贵。

原文还提到两个延伸判断，我没有能力核实，列出来供参考：RSI 会让 AI 进步更直接地受算力约束，从而拉大中美模型的差距；持续学习会模糊训练和推理的分工，让产品比今天的 API 更个性化、黏性更强。

读原文时要打折的几处

  • OpenAI「约 1.6 倍」：OpenAI 正文只写了「创统计以来新高」，没有写倍数；同期算力也在大幅增长。
  • 蛋白设计「1/100 GPU 小时」：比较对象是 Anthropic 自己的上一轮设计活动，看的是模拟打分；降幅来自代码优化、新模型和流程简化的合力，没有单独拆出代码优化的贡献。原文说的「自动提交实验」与 Anthropic 的描述不符。
  • 「SSI 泄露出元学习突破」：没找到可靠出处，只有匿名估计和博客推测，当传闻看。
  • Jeff Dean 的创业公司：名字是 Discovery Loop，原文写成了 Discover Loop；目前只见媒体报道。
  • Lilian Weng 回到 OpenAI 做 RSI：来自 OpenAI 对媒体的确认，没有正式公告。

主要来源