OpenAI推理之父最新访谈！数学只是多智能体时代的开胃菜

量子位 | 公众号QbitAI

“Navier–Stokes千禧年难题的突破，10000个Agent最多占了10%的功劳。”

此判断出自OpenAI研究员，o1核心作者NoamBrown之口。

NoamBrown， 人称“OpenAI推理教父”。 在几乎所有人还在卷模型参数的2023年，他就已经开始押注test-time compute scaling（推理时计算） 。

一年后，o1-preview横空出世、震动行业。如今，TTS早已成为行业共识，成了人手一个的“深度思考”按钮。

现在，NoamBrown又带来了他目前的研究方向—— 多智能体（multi-Agent）系统。

此前，OpenAI发动了10000个Agent，耗时88小时，输出1300亿token，拿下千禧年数学难题。

关于此事，NoamBrown在最新播客中从多智能体系统聊起，深入到了公司经营、RSI发展、超级对齐等领域……

一个个问题也接连浮现：

当难题越来越少，模型强到一秒解题，将如何继续提升能力？

如果把这批Agent投入到递归自我改进研发中，会发生什么？

前沿模型如果一个长任务可以做三个月，而发布周期只有两个月，怎么办？

AI越来越会隐藏自己的思维链，人应该如何监测？

当AGI已经超越人类智慧，在那时，我们如何知道对齐问题已经解决了？

关于这些问题，对话全文如下。

主持人： 今天我们对话的是OpenAI研究员 Noam Brown 。他是o1及此后一系列推理模型的奠基性贡献者之一，目前的研究方向是多智能体系统。

你们上周宣布，一个由1万个不同AI Agent组成的系统，历时88小时、消耗1300亿token，解出了一道千禧年难题。

实际上大约两三年前，你就指出，只要把推理时的算力投入放大，就能预见几年之后模型的基础能力会到什么水平。

我觉得你现在又站到了类似的位置：Agent的规模已大幅扩展，你可以帮我们看清未来的能力会是什么模样。

Noam Brown： 我是这样想的，如果你用横轴取test-time compute（推理时计算量），纵轴取这些推理模型的基准成绩，就会看到一条极清晰的规律——模型思考答案的时间越长，表现越好。

人也一样，考SAT的话，如果只给五分钟做完整张卷子，成绩必然很糟糕；给五个小时，成绩就会好得多。

AI模型也差不多，它们会用这段时间来自言自语，理清问题、审视各种情形、排除种种可能，并在已有发现上继续推进。

但问题在于，你不可能干等三年才拿到一个答案。于是很多人开始搞 并行化 ，也就是组团队。

所以说，多智能体是把推理时的计算量由纯串行扩展改为并行扩展的方式。

它的效率会低一些，因为不像单个Agent那样独享全部上下文。但只要做得好，它仍是极为有效的手段。

主持人： 接下来我要问一堆外行问题了。这是个尚未发布的模型，外界还没见过这类系统实际如何运作。 我很困惑它们究竟有哪些性质、特点。

并且，能在这么短的时间里凝聚如此庞大的认知投入，令我很震惊。

1300亿token意味着什么？换成一个人以全职工作的方式持续地思考，要思考4000年，每天八小时。也就是说，一个人从古代苏美尔一路想到今天所需的时长，被压缩进了88小时里。

而且更让我意外的是，并行化似乎并未带来很多损耗——你们居然能让1万个Agent协作！也许Agent比人更擅长协作，因而快得多，能在如此规模上真正产出成果。

Noam Brown： 那就先谈并行化损耗，再谈性质问题。实际上关于把多智能体扩展到这种规模，我们还没有比较扎实的科学认识。

发布5.6时是我们第一次在模型中拥有真正成形的多智能体系统。博客里确实给出了多智能体扩展性能的若干曲线，因为我们把它做成了可选项，即Ultra Mode：默认四个Agent，但可以调得更高。