OpenAI研究员Noam Brown谈多智能体: 解千禧年难题中10000个Agent最多占10%功劳

摘要

程浅 发自 凹非寺 量子位 | 公众号QbitAI “Navier–Stokes千禧年难题的突破，10000个Agent最多占了10%的功劳。” 此判断出自OpenAI研究员，o1核心作者NoamBrown之口。 NoamBrown，人称“OpenAI推理教父”。在几乎所有人还在卷模型参数的2023年，他就已经开始押注test-time compute scaling（推理时计算） 。 一年后，o1-preview横空出世、震动行业。如今，TTS早已成为行业共识，成了人手一个的“深度思考”按钮。 现在，NoamBrown又带来了他目前的研究方向——多智能体（multi-Agent）系统。 此前，OpenAI发动了10000个Agent，耗时88小时，输出1300亿token，拿下千禧年数学难题。 关于此事，NoamBrown在最新播客中从多智能体系统聊起，深入到了公司经营、RSI发展、超级对齐等领域…… 一个个问题也接连浮现： 当难题越来越少，模型强到一秒解题，将如何继续提升能力？ 如果把这批Agent投入到递归自我改进研发中，会发生什么？ 前沿模型如果一个长任务可以做三个月，而发布周期只有两个月，怎么办？ AI越来越会隐藏自己的思维链，人应该如何监测？ 当AGI已经超越人类智慧，在那时，我们如何知道对齐问题已经解决了？ …… 关于这些问题，对话全文如下。 多智能体系统如何拿下千禧年难题？ 主持人：今天我们对话的是OpenAI研究员Noam Brown。他是o1及此后一系列推理模型的奠基性贡献者之一，目前的研究方向是多智能体系统。 你们上周宣布，一个由1万个不同AI Agent组成的系统，历时88小时、消耗1300亿token，解出了一道千禧年难题。 实际上大约两三年前，你就指出，只要把推理时的算力投入放大，就能预见几年之后模型的基础能力会到什么水平。 我觉得你现在又站到了类似的位置：Agent的规模已大幅扩展，你可以帮我们看清未来的能力会是什么模样。 Noam Brown：我是这样想的，如果你用横轴取test-time compute（推理时计算量），纵轴取这些推理模型的基准成绩，就会看到一条极清晰的规律——模型思考答案的时间越长，表现越好。 人也一样，考SAT的话，如果只给五分钟做完整张卷子，成绩必然很糟糕；给五个小时，成绩就会好得多。 AI模型也差不多，它们会用这段时间来自言自语，理清问题、审视各种情形、排除种种可能，并在已有发现上继续推进。 但问题在于，你不可能干等三年才拿到一个答案。于是很多人开始搞并行化，也就是组团队。 所以说，多智能体是把推理时的计算量由纯串行扩展改为并行扩展的方式。 它的效率会低一些，因为不像单个Agent那样独享全部上下文。但只要做得好，它仍是极为有效的手段。 主持人：接下来我要问一堆外行问题了。这是个尚未发布的模型，外界还没见过这类系统实际如何运作。我很困惑它们究竟有哪些性质、特点。 并且，能在这么短的时间里凝聚如此庞大的认知投入，令我很震惊。 1300亿token意味着什么？换成一个人以全职工作的方式持续地思考，要思考4000年，每天八小时。也就是说，一个人从古代苏美尔一路想到今天所需的时长，被压缩进了88小时里。 而且更让我意外的是，并行化似乎并未带来很多损耗——你们居然能让1万个Agent协作！也许Agent比人更擅长协作，因而快得多，能在如此规模上真正产出成果。 Noam Brown：那就先谈并行化损耗，再谈性质问题。实际上关于把多智能体扩展到这种规模，我们还没有比较扎实的科学认识。 发布5.6时是我们第一次在模型中拥有真正成形的多智能体系统。博客里确实给出了多智能体扩展性能的若干曲线，因为我们把它做成了可选项，即Ultra Mode：默认四个Agent，但可以调得更高。 四个Agent一起解题，速度会快一倍：四个Agent各干一半时长，等于你多付两倍成本，换来快一倍的答案。推到16个Agent，规律类似，效率略低，性能却仍在继续提升。 主持人：随着并行Agent数量增加，串行耗时的缩短是线性的，还是亚线性的？ Noam Brown：略微呈现亚线性，但很大程度上取决于问题本身。比如数学就相当适合并行，而网页搜索以及需要翻阅大量信源的Deep Research报告这类工作，则极其适合并行。 我猜写小说就很难并行：让1万个Agent合写一部长篇，收益大概率不大，就像让1万个人合写一部长篇小说一样。 所以这个表现确实取决于领域。我们的测试最多只能做到16个Agent，如果要把这套研究推到1万个Agent的规模上，那就太贵了。 主持人：可你们刚刚只用了一个周末就做到了。 Noam Brown：那也只是一次实验结果而已，我们并不知道单个Agent解出纳维–斯托克斯问题需要多久，因为这个实验还没做。也许以后会做，可那也仍然只是一次的实验结果。 如果要做完整的消融实验（ablation），那种规模下的开销根本承受不起。所以我们只能做循序渐进的研究，看扩展到64、128、256个Agent时会发生什么，然后摸清行为规律。 但要一路推到1万个，并确切知道1万个Agent相较1000个究竟带来多少收益，就很难了。 而且有一点我得讲清楚：解出千禧年大奖难题，靠的不是多智能体。我甚至不会把其中10%的功劳记在多智能体头上。 归根结底我们能做成这件事，是因为手上有一个通用且极强的模型。多智能体这类东西新奇、抢眼，因此可能获得了与其贡献不成比例的好评。核心原因还是：模型本身足够强大。 主持人：这种泛化能力让我很震惊。我不知道这些系统是怎么训练的，但想必仍是常规的RL（强化学习）套路，准备一大批答案可验证的合成题目。 我猜在训练过程中，模型从未解过像千禧年大奖难题这么有野心的题。可它的泛化足够强…