探索RSI，生数新世界模型让机器人开始自我进化

林方舟 发自 凹非寺

量子位 | 公众号 QbitAI

机器人学习拧灯泡，如果拧歪了，谁来告诉它问题出在哪，下次又该怎么改？

这正是机器人 “自进化” 让人期待的原因：人类不可能替它示范所有情况，想让机器人越干越好，就需要它有办法评价动作的结果，并从反馈中继续学习。

生数科技最新发布的Motus2，在这方面做了一次不错的尝试，走入了当前具身智能研究中的深水区。

除了“自进化”，它还颇有些集大成的意味： 触觉、灵巧操作、Ego数据……当前具身圈的几个热门关键词，几乎都能在这个世界模型中找到对应。

今年2月，它的前代Motus发布时，世界动作模型的概念甚至还不成熟，而Motus在50项通用任务测试里，较Pi-0.5绝对成功率高出35%以上。

在前代模型基础上，Motus2进一步拓展视觉、语言、动作与触觉等模态，在一个模型里同时点亮三棵技能树：行动、预测、评估。

它既能撸起袖子干活，又能提前脑补“动作之后会发生啥”，还能事后给自己打分。三种能力无缝衔接，形成闭环。

世界模型终于实现自我进化了。

我用三个关键词，带你迅速看懂Motus2。

第一个关键词是：自进化 ，这是Motus2相比上一代最核心的变化。

传统的机器人策略模型学习的是：现在看到这个状态，下一步该做什么。

这也是当前行业的主流范式，模型只记住了“看到A就做B”的统计关联，却不理解B为何能导致期望的结果C。一旦环境变了，这种缺乏因果认知的策略便会迅速失效。

而Motus2则把三种能力放在了同一个模型中：

更关键的是，行动、预测、评估这三种能力不再彼此独立，而是开始形成闭环：

生成动作→预测后果→评估结果→更新策略

模型自己预测和评估出的结果，成为改进自身策略的反馈；改进后的策略，又进入下一轮迭代。这也是Motus2对递归自我改进（Recursive Self-Improvement，简称RSI）的一次初步探索。

需要说明的是，这里的“自进化”，指的是利用模型自身的预测和价值反馈持续改进策略，并不意味着机器人已经能在开放环境里无限自主学习。

想让同一个模型既能“上手干活”又会“预判未来”，就得先解决一个核心问题：绝不能让它在做动作之前，就提前“偷看”到动作执行后的结果。

这是时序上的作弊，一旦发生，即便模型在训练集上看着很聪明，换到真实场景就会立刻露馅。这也是此前许多“视频生成+动作控制”训练方案折戟的原因——模型学会了用未来的视觉帧来“反推”当前动作，而非真正学会决策。

因此，Motus2从机器人领域中间训练阶段，开始采用Action-first（动作优先）的信息流。

这相当于给模型定好了顺序：先根据当前观测生成动作，再预测动作带来的结果，最后评估结果好坏。

当模型明确了信息流的先后关系后，接下来是把预测结果真正变成决策和学习信号。Motus2分别从推理阶段和训练阶段入手。

推理阶段，Motus2用了一种叫Best-of-N规划的办法：模型先想好几个候选动作，分别脑补执行后的画面，再由价值模型打分，挑一个分数最高的去执行。执行完一小段，机器人重新观察真实世界，再开启下一轮。

这相当于给机器人一次比较方案的机会，用于优化当次动作选择。

这种做法在强化学习和规划算法里并不新鲜，Dreamer一类的model-based RL方法早就验证过“先在脑内模拟、再挑最优动作”的思路；Motus2的新意在于把这套逻辑塞进了一个原本只用来生成动作的视频-动作大模型里，而不是单独训一个轻量级的模拟器。

训练阶段，候选动作的打分会被转化成策略更新的信号，分数高的方案得到更强的正向引导，分数低的逐渐被模型放弃。 团队称之为“基于模型的强化学习（MBRL）”。

该阶段只更新动作相关的参数，预测和评估部分保持不动，避免反馈信号把已经学好的模型带偏。