新一期节目对谈 Noam Brown。
我们聊了多 Agent、Navier-Stokes，以及当前数学进展的爆发式增长对 AI 研究实现自动化之后的世界意味着什么。
我们还讨论了，在启动 RSI 之前，我们将如何知道模型是否真正实现了对齐。
在 YouTube 上观看；在 Apple Podcasts 或 Spotify 上收听。
Jane Street 对 AI 的兴趣远比你想象的要早，而且不只限于交易。2011 年，也就是 AlexNet 问世的整整一年前、ChatGPT 发布的十多年前，他们举办了首场 FOOM 辩论，由 Eliezer Yudkowsky 和 Robin Hanson 探讨 AI 是否会引发智能爆炸。现在，Jane Street 正通过一场新圆桌讨论重新审视这个问题：Daniel Kokotajlo、Ege Erdil、Ryan Greenblatt 和 Jaime Sevilla 将担任嘉宾，Ron Minsky 主持，活动于今年 10 月在旧金山举行。我预计这会是一场真正精彩的对话。请前往 janestreet.com/dwarkesh 报名。
Grok Bot 让工作交接变得非常轻松。它运行在自己的云端计算机上，会安装完成端到端任务所需的工具。制作这档播客时，我们用 Grok Bot 协助制作视频。你可能注意到了，我们的广告会展示真实网站的动画。过去，为了做到像素级精准，我们得亲自执行一套复杂的多步骤流程。现在只需交给 Grok Bot 即可。最棒的是，Grok Bot 已经学会了我们所有的规范与偏好，所以不必每次都重新描述任务！前往 x.ai/bot 亲自试试 Grok Bot。
Antithesis 无需你真正编写庞大的测试套件，就能给你与之相当的信心。假设你正在进行一次重大的后端重构：要编写足够多的测试，使这次重构值得信赖，可能需要数周。Antithesis 通过让你的软件在无数模拟世界中运行、注入故障并搜寻失败来解决这个问题。对于任何 PR，你都可以转动一个旋钮，精确决定需要多少测试。而且，由于每次运行都完全确定，Agent 可以在 bug 出现的那一刻分支出去，倒回现场、检查内存并重放，同时原始测试仍继续运行。前往 antithesis.com/dwarkesh 了解更多。
(00:00:00) – 多 Agent 与 Navier-Stokes
(00:15:28) – AI 公司将如何运作？
(00:22:02) – 数学进展告诉了我们什么有关递归自我改进的事
(00:40:22) – Hugging Face 与对齐
(01:01:18) – 内部模型与外部模型之间的差距
(01:08:34) – 思维链正在退化
(01:14:12) – 我们如何知道对齐问题已经解决？
Dwarkesh Patel
今天，我要和 OpenAI 研究员 Noam Brown 聊聊。他是后来发展为 o1 及推理模型的奠基性贡献者之一。如今，他正在研究多 Agent 系统。说到这里，你们上周宣布，你们解决了一个千禧年大奖难题：所用系统由 10,000 个不同的 AI Agent 组成，在 88 小时里消耗了 1,300 亿 token。
我之所以想和你谈谈，其中一个原因是，大概两三年前，你是最早开始思考推理模型如何让我们窥见未来的人之一。因为如果扩大推理计算规模，我们就能看到几年后模型的基础能力会是什么样子。
考虑到我们现在能够极大地扩展 Agent 规模，我觉得你如今也处在类似的位置，可以帮助我们理解未来的能力会是什么样子。
Noam Brown
我是这样理解的：把这些推理模型的测试时计算画在横轴上，把它们在几乎任意推理基准上的表现画在纵轴上，你会看到一种非常清晰的规律——模型思考答案的时间越长，表现就越好。这非常自然。人也一样。如果你参加 SAT，只有五分钟做完整场考试，成绩不会太好。如果有五个小时，成绩大概会好得多。
AI 模型也很相似。它们会花时间对自己进行这种独白，弄清问题，考察不同情况，排除不同可能性，并在此前的一些发现上继续推进。
问题在于，随着你把这种方式越推越远，就会碰到延迟瓶颈。你不会想坐在那里等三年才得到回应。所以，你可以采用很多人都会用的办法：并行化。直接组织一支团队。如果你要创办一家公司，会希望把一群人聚在一起，这样进度才能更快。这些 AI 模型也是如此。让多个 Agent 一起处理某件事确实有帮助，因为它们可以更快。
所以，多 Agent 是一种并行扩展测试时计算，而不是纯串行扩展的方法。它的效率较低，因为并不是单个 Agent 独占全部上下文。但如果做得好，它是扩展测试时计算的一种非常有效的方式。
Dwarkesh Patel
我会问一连串很初级的问题。这是一个尚未发布的模型，所以我们还没有公开看到这些系统如何运作。对于这类系统的定性特征，我有很多困惑之处。
你们能在如此短的时间里集中如此大规模的认知投入，令我震惊。想想 1,300 亿 token 是什么概念。如果让一个人把思考当成全职工作，连续不断地进行，1,300 亿 token 相当于一个人思考 4,000 年。每天八小时，按正常工作周上班。从古代苏美尔一直到今天，一个人串行思考这么久，却被压缩在 88 小时内完成。
我觉得从定性角度看，这是一个极其重要的考量。让我惊讶的是，并行化的损失没有更大。你可以直接让 10,000 个 Agent 合作。也许是因为 Agent 比人类更善于合作，所以进展快得多；它们确实可以在这么大的规模上高效协作。也可能并行化损失其实很大。
Noam Brown
我们先谈并行化损失，然后再谈定性层面的东西。事实是，对于多 Agent 扩展到这种规模，我们还没有非常扎实的科学认识。我们发布 5.6 时，我想那是我们的模型第一次拥有真正的多 Agent 系统。我们确实在博客文章中展示了一些多 Agent 系统扩展性能的图表，因为它是一个可选项，也就是 Ultra Mode。默认是四个 Agent，但你可以设得更高。
图表展示了一个 Agent、四个 Agent 协作和 16 个 Agent 协作时，在一些基准上的表现。结果取决于基准，但在其中一些基准上，你会看到四个 Agent 处理问题时，完成速度快一倍。因为四个 Agent 各自工作一半时间，所以你付出 2 倍成本，换来快一倍的答案。增加到 16 个 Agent 时，也会看到相似规律。效率稍低一些，但这种性能趋势仍然持续。
Dwarkesh Patel
随着并行 Agent 数量增加，串行时间的加速是线性的，还是次线性的？
Noam Brown
略微次线性，不过确实很大程度上取决于问题。例如，数学相当适合并行化。它不是最适合并行化的事情，但仍非常适合。网络搜索，比如制作一份需要查阅大量来源的 Deep Research 报告，就极其适合并行化。我猜写小说之类的事会非常不适合并行。让 10,000 个 Agent 一起写一部小说，大概不会带来很大收益，就像让 10,000 个人一起写一部小说，大概也不会有很大收益一样。
因此，表现确实取决于领域。在已发布的博客文章中，我们测到了大约 16 个 Agent。问题是，把这种科学研究推进到 10,000 个 Agent 非常困难，因为成本实在太高。
Dwarkesh Patel
可你们刚刚在一个周末里就这么做了。
Noam Brown
但那只是一个数据点。我们不知道单个 Agent 要花多久才能解决 Navier-Stokes，因为我们还没有做过那个实验。也许以后会做，但那也仍然只是一个数据点。
如果要做一次全面的消融实验，在那种规模下实验成本实在太高。所以，我们必须以某种系统化的科学方法，研究扩展到 64、128、256 个左右时会发生什么，从而了解其行为。但要一路推到 10,000 个，并确切知道使用 10,000 个 Agent 相比 1,000 个究竟带来了多少收益，会非常困难。
有一点我想说清楚。解决千禧年大奖难题，并不是多 Agent 的功劳。我甚至不会把 10% 的功劳归给多 Agent。现实是，OpenAI 训练出了一个非常强大的模型。我们可以让该模型在非常长的时间跨度上运作，也可以让它并行思考。
但归根结底，我们之所以能做到这件事，是因为我们拥有一个通用且非常强大的模型。多 Agent 之类的东西很炫目，也很新颖，因此很可能获得了不成比例的赞誉。但核心原因只是：这是一个非常强大的模型。
Dwarkesh Patel
这种泛化能力让我相当震惊。我不知道这些系统是如何训练的，但它们大概接受了常规的 RL 训练：你准备一大批可验证的合成问题，然后围绕它们进行大量 RL。据我猜测，在训练过程中的任何地方，模型都没有解决过像千禧年大奖难题这样宏大的问题。但它的泛化能力足够强，使这些容易得多、可验证的问题，可以泛化到在如此困难的问题上投入这么大规模的并行努力。
Noam Brown
我认为确实如此。首先，我们的确会用非常困难的问题训练模型。当然存在差距。我们看到，如果用某些类型的任务训练，它就能完成比这些任务更宏大的任务。
这里有一个很有意思的挑战：随着模型变得越来越聪明，我们能问它们的很多问题都太简单了。要难住模型变得很困难。我确实认为这会很有意思。如果非要让我论证为什么 LLMs 这类 AI 可能不会沿着 AlphaGo、AlphaZero 及其他博弈 AI 的相同道路发展，原因可能就是这类问题。
在 AlphaZero 这样的系统里，你有自我对弈，也就拥有无限课程。你面对的总是一个同等强大的 AI。而用强化学习训练 LLM 时，至少按目前公开的方法，你是给模型一道题，让它去解。如果问题简单到它一秒钟就能解决，那它其实学不到任何东西。
如果我们再也找不到足以挑战它的问题，那么这确实是一种可能的情形：继续取得进展会变得困难得多。不过，我认为还是有办法绕过这个问题。它尚未真正成为我们撞上的一堵墙。我觉得，如果它真的成了严重问题，我们会有办法绕过去。但这种情形确实有可能发生。
Dwarkesh Patel
给听众解释一下，当你提到 AlphaGo 或 AlphaZero 时，你说的是在达到人类水平之后，相对迅速地达到超人水平。
Noam Brown
如果观察 Go 这类博弈 AI 的发展轨迹，你会看到，它们在一年之内从击败欧洲冠军——大概是世界第 50 名——到击败世界冠军，再到强大得难以想象，比任何在世人类高出好几个数量级。我们可能会在数学等领域看到相似轨迹，但我认为，也存在一种非常可能的情形：这种事不会发生。
Dwarkesh Patel
我想弄明白，如果六个月后人们能够使用多 Agent 系统，应该如何设想与多 Agent 系统协作或雇用它的体验？
Noam Brown
我应该先讲讲这些多 Agent 系统实际上如何运作。我认为，它的工作方式与其他许多 AI 中的多 Agent 系统非常不同。很多人在为 LLMs 等系统实现多 Agent 时，往往采用一种高度脚手架化的方法。例如，可能有一个协调 Agent，把工作分派给一群子 Agent，并给它们各自的任务。子 Agent 完成工作后，再返回答案。
这看起来是一种非常合理的设置，也是一种非常合理的脚手架。它当然有帮助，但这种设置存在很多限制。例如，在这种设置里，协调者把任务发给子 Agent，子 Agent 完成后返回答案；可如果两个子 Agent 收到了相似任务，会怎样？它们能彼此交谈吗？通常答案是否定的。这非常低效。
如果你接到一项任务，而和某个可能知道你正在处理的问题——或其中一部分——答案的人交谈确实很有帮助，那么最方便的做法就是直接联系对方，说：“嘿，能帮我处理一下这个吗？”但很多系统并没有这种设置。加入这种能力，会显著增加脚手架的复杂性。
还有，如果子 Agent 没有真正理解任务，或者有问题需要澄清，怎么办？那么它只能二选一：“好吧，我是直接返回并提问，而不去解决问题？”还是“我先假设父 Agent 惟一想让我做什么，然后按这个假设解决问题？”无论人们设计出什么脚手架，总会存在限制。我们想采用的方法，是走向另一个极端：尽可能少地内置结构，只给 Agent 非常原始的工具，让它们自己弄清怎样有效使用。所以，我们赋予 Agent 向另一个 Agent 发消息的能力；发出消息后，消息就会被插入对方的上下文。它还能做少数其他类似的事，但核心基本就是这些。它随时都可以发消息——只需一次工具调用——并把消息发给其他 Agent。
它们会自己找到围绕这些工具进行协调的最佳方式。事实证明，如果做得好，就会涌现出非常复杂的行为。在我看来，这很像人类合作者通过 Slack 之类的工具协作。
我们开发这个项目时，终于让它跑起来、看到这些 Agent 一起解决问题的那一刻，真的令人兴奋。我记得有个例子。我们给 Agent 一道题，然后一个 Agent 说：“我想我找到答案了。”另一个 Agent 接着说：“其实我得到了不同的答案。”之后，它们围绕“你是怎么得出那个答案的？能给我解释一下吗？”展开了完整讨论。双方来来回回，努力厘清彼此的推理可能错在何处。
最后，它们终于达成一致：“哦，对。好吧，看来确实如此。”接着，它就向其他 Agent 广播：“其实我改答案了。我觉得他是对的。”整个过程像是一场非常自然的对话。
那种感觉，就像你第一次看到通过强化学习训练出的思维链时，会想：“哦，这就像一个人一边思考，一边把自己的想法写下来。”感觉就是这样。看到这种行为真的很酷。老实说，与这些东西协作的感觉很像与人协作，整个流程非常自然。
Dwarkesh Patel
不过，有一个定性差异将来可能会变得突出：单看它们每秒输出多少 token、再对比人类说话的速度，这些系统的思考速度或许会超过人类 10 倍。它们一直在工作，不需要睡觉。它们彼此协作的节奏，比人类与其他人所能达到的协作强度高得多。
我在设想，一年后我们应该从定性上期待什么。会不会像是我的公司里存在一个影子组织，运转速度比人类组织快 100 倍？一个人类组织要花一年完成的事，在这个影子组织里一周内就完成了？
Noam Brown
它会让人感觉陌生吗？我不知道。实际上，我发现目前与这些东西协作出人意料地自然。我觉得这可能会改变。比如，我们有一些超高速模式，可以让采样速度提升 10 到 15 倍之类。那时，人类就很难跟上这些东西了。这里的设想是，这些 Agent 彼此交流时可以快得惊人。但它们也明白自己是在和 Agent 还是在和人交流，并会在这两种情形下表现出不同的行为。
Dwarkesh Patel
遗憾的是，目前公开可见的复杂多 Agent 系统的主要例子，是那次 Hugging Face 事件。显然，其中很多事情让我担忧。但我觉得有意思的是，层级结构、中层管理会自发涌现。听起来，你的意思是这种组织层级是从训练中自发涌现的？
Noam Brown
具体细节是自发涌现的。不过，尽管我们让 Agent 可以非常自由地决定如何以最优方式彼此沟通，仍然给了它们一个起点。我们给了它们一个关于合理沟通可能是什么样子的先验。它们还接受过大量人类文本的训练，理解人类如何组织与协调，所以这些都已经融入其中。
我觉得，它们能够不断打磨这种能力的方式很令人惊讶。看最初的状态，行为并不复杂。事实上，要让这些 Agent 以富有成效的方式进行协调非常困难，因为它们太容易退化为：“哦，我们都各自独立解决问题就好。”这是一个可能让系统困住的局部最小值。但如果做得好，它们最终可以用这种高度结构化的方式进行极其有效的协调。
Dwarkesh Patel
几年前，我写过一篇文章，讨论自动化公司会是什么样子。我当时思考的是，假设你拥有由人类水平智能组成的全自动化公司，AI 心智的哪些不同性质会让 AI 组建的组织有所不同？其中有几个非常重要的差异。例如，AI 可以比人类顺畅得多地共享上下文，也可以顺畅得多地合并知识。此外，你可以任意启动或停用任意数量、拥有适当知识的实例。
所以，如果你想招聘更多人，就不必经历寻找合适人才等一整套麻烦。对于最优秀的人才，你可以直接无限复制；如果任务不再需要它们，也可以把实例停掉。你可以复制组织中最有效的部分，也可以复制整个卓有成效的组织。你认为一年或两年后，这些多 Agent 系统会发展到什么地步？
Noam Brown
这是个很棒的问题：与这些东西协作，同与人类同事协作究竟有什么不同？你已经指出了一些。有件事非常有趣：如果你有一个人，又想要两份他的副本，你不能直接克隆这个人。但对于 AI，你可以非常轻松地说：“好，你把自己 fork 一下。”然后让两个副本共同处理这件事，再合并回来。我想，我们已经在 Astra 和 5.6 Sol 的多 Agent 系统里实现了这一点：它们启动子 Agent 时，上下文会直接被 fork，所以子 Agent 拥有所有相关上下文。
Agent 与人还会在其他一些有趣的方面存在差异。比如，创业公司为什么能颠覆在位企业？有几个因素。一是创业公司愿意承担更多风险。但另一个主要因素是，随着组织规模扩大，组织内个人之间的不一致会越来越多。
如果一家创业公司有五个人，每人持有公司 20% 的股份，他们都会与公司的成功高度利益一致。如果是一家拥有 10,000 人的大公司，你会看到更多这样的情况：有人划地盘，或者只在乎为自己的项目或团队争取大量编制，建立自己的小王国，获取大量资源，好让自己发表很酷的成果之类并获得晋升。这确实会造成真正的损害。我认为，这在很大程度上解释了创业公司为什么能颠覆在位企业。
确实，从某种角度说，AI 会帮助创业公司。如今，一个人站出来说“我要创建一家价值数百万美元的公司”，比以往任何时候都更容易。AI 极大地放大了个人能力。但也可以论证，AI 会让在位企业受益。如果对齐问题得到解决，公司内部个体之间的不一致问题就不存在了，至少会得到缓解。AI 如果对齐得好，就能直接与公司的利益保持一致。你可以拥有 10,000 个 AI，而它们每一个都会像持股 20% 的联合创始人一样努力工作。
Dwarkesh Patel
还不止如此。它们管理共享记忆和上下文的能力，也远胜不同的人类。假如你明天雇了 10,000 名数学家，然后说：“解决 Navier-Stokes。”至少一开始，他们无法有效合作。但显然，你可以让 10,000 个 AI 做到这一点。
Noam Brown
我还是想谨慎一些，因为我们尚未测量这 10,000 个 Agent 的协调究竟有多有效。我们认为这有帮助，但手头没有良好的测量结果能说明：“这 10,000 个 Agent 相比 2,000 个 Agent 带来了 2 倍加速”，或类似的结论。我不知道是否很可能如此，但我认为，眼下 10,000 个人比 10,000 个 Agent 更善于协调，完全有可能。我认为这完全可能。
此外，我们一直看到一种趋势……你看，我们研究多 Agent 已经有一段时间了，早期版本非常难以做好。甚至让 Agent 彼此交谈都很困难。原因是，当我们最初开发推理模型时，它们并不会与其他 Agent 对话。如果现在把一群 Agent 放在一起，说“共同解决这个问题”，它们会陷入一个局部最小值：它们非常擅长深入思考一个问题，而不断查看其他 Agent 的进展或接收其消息，只会打断思维链，打断自己的节奏。在这种情况下，要把优化做对其实非常困难。
Dwarkesh Patel
问题是首次协作的冷启动吗？还是别的什么？
Noam Brown
我认为问题在于它们不够通用。早期模型的泛化能力不强，能力也更狭窄。随着模型变得更强，它们发展出这种能力就更容易了。我确实认为，随着它们在各方面变得越来越强，它们也会越来越善于在大型组织中自我组织。我不知道，也许它们已经比人类更善于组织 10,000 人的群体。但即便现在还不是，一两年后，就算我们没有围绕这件事进行端到端优化，它们也完全可能做到。
Dwarkesh Patel
这次成果，也许还有 AI 在数学领域取得的整体进展，让我觉得 RSI 比我以前想的更可能发生，而且会更早发生。回顾数学领域，比如在 2024 年，我们有了 AI，当时的感觉是：“哦，好吧，挺有意思。它们能解决高中数学竞赛里的几道题。”到了 2025 年，则是：“哇，它们能拿到国际数学奥林匹克竞赛金牌。”今年早些时候，又变成：“哇，它们真的在解决数学中的开放问题了”，比如尚未解决的 Erdős 问题。但也许人们本来没有很认真地尝试，而且文献中的某个地方存在相似解法。可现在，我觉得已经无可否认了。这是千禧年大奖难题。不存在什么理由能解释它为什么本应很容易。
不过，很多人已经指出——我记得 Terry Tao 写过一篇类似的文章，Toby Ord 也写过一篇很有意思的文章——它们的确解决了很多这类问题，但据我所知，它们没有提出新的洞见，也没有构造出富有洞察力的新问题，或形成思考数学的新理论模式，比如创立拓扑学或提出笛卡尔坐标系。所以，从广义上讲，数学的实际进步可能比只看这些定义明确且被直接解决的问题时显得更小。
然而，我认为这类进展在 ML 中会极具意义，因为在 ML 里，你并不在乎更好地理解深度学习的本质；或者说，你只把这种理解当作取得结果的工具性目标。只要解决这个范围明确的问题：提升模型的样本效率、改善预训练损失，或改进其他任何东西。
我们正在数学领域看到如雪崩般涌来的这种进展，在结构上非常相似……同样，我只是好奇事实是否如此，我完全是个门外汉。我想知道，它在结构上是否非常类似于你预期 AI 进展会获得的直接提升。
令我震惊、或者可能令人担忧的是，这个转变来得太快：如果你是一名数学家，先是“哦，它们让我的工作效率提升了 50%”，接着就变成“哇，它们直接端到端解决了这个领域最大的开放问题”。
Noam Brown
这里面有很多东西需要拆开来说。我们先从数学进展谈起。没错，模型正在做一些强大得惊人的事情，而且进展比我预期得更快。2025 年我们拿到 IMO 金牌时，我当时的想法是……当模型学会解决 GSM8K 时，人类数学家解一道 GSM8K 题大约需要五秒钟。这是小学数学，涵盖 K-8 年级。到了第二年，它们能解决 MATH 基准中的题目。人类数学专家解决这类题目可能需要一分钟。
再往后是 AIME，这是入选 USA 数学奥林匹克竞赛队伍的资格赛。一名优秀的人类数学家大概需要 10 分钟解决一道题，而模型在一年后就做到了。因此，按人类数学家解决任务所需的时间来衡量，你会看到它们能完成的任务每年提高 10 倍。再过一年拿到 IMO 金牌也就非常合理，因为那相当于 100 分钟，大致就是人类数学家解决一道 IMO 题所需的时间。
沿着这条线向外推演，我就想：“好吧，一个人要花多久才能解决千禧年大奖难题这样的题目？”我没有很好的直觉，但如果我们遵循每年提高 10 倍的趋势线，就会从需要一个半小时的 IMO 金牌题，发展到下一年需要 15 小时的题。这应该还不足以解决千禧年大奖难题。所以我当时想：“我不认为我们 2026 年能做到，2027 年大概也不能，也许要到 2028 年。”因此，它发生得确实比我预期快得多。
现在流传着一种说法，认为这些东西正在取代数学家，在数学的所有方面都已经超越人类。我觉得这不是正确的结论。它们在某些方面显然极其出色，但在另一些方面比人类数学家弱。我们面对的是一种参差不齐的局面：模型在某些维度上才华横溢，在另一些维度上又弱于人类。正如你所说，它们不太擅长提出新问题，也不太善于判断哪些方向、哪些完整的数学分支值得探索或发展。
在我看来，这非常好。假如 AI 能补足人类能力，让我们发现新知识，却不会彻底取代人，我会非常乐意生活在那样的世界里。那是最理想的情形。
Dwarkesh Patel
你不认为这种情况真的会持续下去吧？
Noam Brown
AI 的能力确实参差不齐，但随着它们变得更好，各方面都会进步。所以，它们原本极其出色的方面会变得更加出色；远远落后于人类的方面，也会缩小差距。随着时间推移，它们可能会在所有方面都表现得更好。至于需要多久，我不知道。这取决于它们不擅长的那些事情形成的长尾有多长。
Dwarkesh Patel
这又把我们带回 RSI。同样，我想强调，我完全是个门外汉。我只是一个播客主持人，但作为一个既关心又担忧这个领域正在发生什么的人，我在尝试推断 RSI 何时会发生，以及它会是什么样子。
投入这个千禧年大奖难题的认知努力，是一个很好的直觉泵。AI 或许可以在大约一周内，针对某个长期存在的 ML 问题——例如非常流畅的在线学习——投入比该领域自诞生以来累计投入还要多的认知努力。然后你可以说：“嗯，AI 与数学不同，当然需要做实验，而实验需要计算资源，也需要时间。你不能只靠纸笔思考，就让事情真正发生。”
但只要看看 OpenAI 这样的组织可以使用多少计算资源。解决千禧年大奖难题用了 10,000 个 Agent。到明年年底，OpenAI 将拥有足够多的计算资源。假设届时你有 10,000 个 Agent，而且那时它们已经聪明得多，每个 Agent 每天都能获得足够的计算资源，运行一次 GPT-3 规模的实验。对于一群思考极快的超人研究员来说，这似乎是非常多的资源。你怎么看这个直觉泵？
Noam Brown
我觉得它相当准确。这些东西的能力峰谷非常明显。在数学方面，它们以某些方式强得多，又以另一些方式弱得多。但我认为，它们能力突出的那些方面，恰好很可能对 RSI 之类的事情特别有用。你的目标更加明确，也更容易衡量。不太需要问：“那么，哪些新的数学分支值得探索？”不，答案非常明确。你关心某些指标，只要能让它在这些指标上表现更好，你就成功了。所以我认为，这种说法相当有道理。
主要区别在于，数学纯粹受思考能力制约。当然，数学中有些部分也重视运行实验、取得结果之类的事。但总体而言，瓶颈就是极其深入的思考，而模型非常擅长这一点。
谈到 RSI 之类的事情，你确实必须运行实验。仅仅极其聪明还不够。支持这一点的一个论据是：假如 OpenAI 的计算资源减少 100 倍，但全世界最聪明的人都为 OpenAI 工作，与我们现在拥有当前计算资源和当前人员相比，能取得多少进展？我怀疑实际上会取得更少的进展。
Dwarkesh Patel
会少多少？
Noam Brown
不清楚，但肯定会更少，少很多。
Dwarkesh Patel
少 100 倍？
Noam Brown
不，不会少 100 倍。但你真正想问的是，如果我们实现 RSI，拥有所有这些才华横溢、到处运行实验之类的 AI，再配上现有计算资源，进展会加速多少？我认为这是我们意见不同的地方。我们确实会看到加速，而且是显著加速。但我不认为会出现一夜之间的智能爆炸，让速度提高 100 倍，因为我们确实会受到某些并非智能瓶颈的限制。
比如运行实验。实验必须串行进行，因为无论是训练新模型还是拿到结果，都需要时间；还需要 GPUs 来运行这些实验。因此，事情究竟会加快多少并不明确。我肯定认为会快很多。要说明的是，考虑到当前已经处于指数增长，如果指数增长的速度再提高 3 倍，那将是巨大的变化。但这与提高 100 倍仍有天壤之别。
Dwarkesh Patel
对于 RSI 会是什么样、其动力学如何，我很尊重你的内部视角，毕竟你已经在这个领域工作了 10 年。我是在尝试通过非常外部视角的直觉泵来推断这件事。
Noam Brown
我要说的是，人们对此有不同看法。我有自己的看法，但我完全可能是错的，我承认这一点。我对此有一定信心，但并非 100% 确信事情会这样发展。也许真的会出现一夜之间的智能爆炸，我不知道。也许我们看不到 3 倍加速，可能只有 50% 的加速。这里存在很大的不确定性。
Dwarkesh Patel
有两点。稍微岔开一下，我想澄清关于能力参差不齐的一个问题。我最近才真正想通的一点是，只要 AI 特别擅长构建一个更好的学习者，就已经足够，因为那个更好的学习者可以更通用。如果你只是做出一个更擅长使用 Office 产品或下棋之类事情的 AI，随便吧，也没什么。它不会带来巨大的生产力提升之类。
但如果你做出的 AI 非常擅长创造样本效率更高的东西，或者能实现持续学习，或解决其他范围更加明确的 ML 问题，那么由此产生的东西——假设从你直接解决的问题到这种更广泛的学习能力之间存在足够好的迁移——本身就可以更加通用。所以，这是一个很重要的动态，说明为什么能力参差不齐仍然可能在另一端带来通用性。
至于实验这个问题……显然，实验会构成瓶颈，因为如果不是这样，正如你所说，OpenAI 一夜之间就会发生某种疯狂的奇点。你用 88 小时解决 ML 领域相当于千禧年大奖难题的问题，然后就获得了超级智能。所以，实验显然是一个极大的瓶颈，以至于这件事需要很多年，而不是 88 小时。可接下来的问题是，它们究竟构成了多大的瓶颈。
有件事最近让我产生了一点“奇点眩晕”：即使当前的进步速度只是原样持续下去，会发生什么。它不需要进一步加速。即便你谈到的其他阻力出现，它也只需真的保持当前节奏。寻找问题变得更难，任务跨度更长；也许到 2030 年代末，计算资源无法再以这种指数速度扩展。可如果只是保持当前进步速度，人们也没有认真对待这意味着什么——尤其是当我们越过人类能力边界之后。
以下是其中的一些含义。要推断超越人类的智能会是什么样子非常困难，所以我们只按人口规模来思考。按当前进步速度，每过一年，给定数量的计算资源基本可以运行一个有效规模扩大 3 倍的群体，而且计算资源本身还在后台增长。因此，可能出现这样的情形：到 2030 年底——很可能要早得多，但姑且说到 2030 年底——按照届时的能力水平，每一家实验室都有足够的计算资源，运行数亿个人类水平的智能。
我认为，人们没有认真看待当前进步水平意味着什么：几年之后，到 2030 年代中期或更早，每一家实验室里都会拥有相当于许多个地球总人口的人类水平智能。它们在定性上很可能已经超越人类。不管怎样，这是基准情形。
Noam Brown
进展确实非常快，我认为这一点 100% 正确。值得指出的是，研究人员不断对进步速度感到惊讶。即便在 AI 研究人员中，看看他们过去对 2025 年取得 IMO 金牌的预测……一个不使用工具、无法访问互联网的通用语言模型能做到这件事，就连 OpenAI 内部的人也觉得荒谬，认为几乎不可能。
然后到了 2026 年。就在我们解决 Navier-Stokes 的两周前，我还在和一家前沿实验室的研究员讨论还要多久才能拿下一个千禧年大奖。他愿意和我赌 1,000 美元，认为要到 2027 年之后。他觉得要到 2030 年，而我接下了赌约。但即便是我，也以为它需要比现在看起来更长的时间。因此，即使在实验室内部，人们也一直在被进展速度震惊。
昨天我刚和一位参与 Navier-Stokes 项目的人聊过。他告诉我，过去他常说，很难预测 12 个月后的 AI 会发展到哪里。如果有人问他“事情会怎样发展？”，他可以相对有把握地预测接下来 12 个月，但再往后就只能说：“我不知道。”而现在，他说自己连三个月以后的预测都不敢有把握。
所以，事情现在确实发展得非常快。你谈到 2030 年。我不知道 2030 年的世界是什么样子。这就是事实。
Dwarkesh Patel
你预计 AI 劳动会在哪一年实现全面自动化，或者说 95% 的自动化？2028 年、2029 年、2030 年，还是 2027 年？
Noam Brown
我刚刚才说，我不知道 2030 年的世界是什么样子。我们最近确实发布了一篇关于 OpenAI 内部研发加速的博客文章。例如，我们展示了研究人员在 Codex 上的花费。我记得截至 8 月初，花费最高的 1% 研究员每天会为内部使用 Codex 花费 7,000 到 8,000 美元。这个数字正在指数增长，而且还会继续增加。
这里有一个问题：“好吧，如果这种趋势持续，那么工作中有多少应归功于 AI，有多少应归功于人类？是 95%？还是 5%？”出于几个原因，这非常难以推断。首先，如果是人类在指导 AI 完成工作，那么多少功劳该归给人类？多少该归给 AI？
另一点是，这些 AI 的能力参差不齐。它们在某些事情上表现极其出色。例如，它们特别擅长审阅数据集，逐一检查每个数据点是否具备足够质量。与过去相比，你可以不成比例地把 AI 用在这些事情上。所以，没错，你比以前使用了更多 AI，它让一些事情快了 100 倍、好了 100 倍；但还有一些事情，它目前没有带来巨大差异。当然，如果某件事突然快了 100 倍、好了 100 倍，你自然会更多地去做那件事。
所以，你比较的是相较三年前的加速吗？问题更接近于“与三年前做的事情相比，我们现在能以多快的速度完成？”还是“对于我们现在做的事情，如果放在三年前会慢多少？”这其实是两个非常不同的问题。不管怎样，它确实很难衡量。
我可以有把握地说，由于 AI 的进步，现在的发展速度比一年前更快。我认为这种加速还会持续。这个领域的很多人对这类事情的估计都有非常大的误差范围。如果你拿枪顶着我的头，要我给出一个数字，我认为速度可能会提高 3 倍。那是巨大的变化。现在的进步速度已经不可思议。正如你所说，即使完全没有额外提升，事情也会发展得快得多。到 2030 年时，我们甚至不知道那个世界会是什么样子。如果内部加速能带来 3 倍提升，那将极其巨大。想想三年前你在哪里。如果我们能在一年内取得那三年的进展，那太巨大了。
Dwarkesh Patel
那就像在一年内，从甚至还没有 o1、只有非推理模型的状态，直接发展到 Astra。
Noam Brown
所以，我确实认为事情会加快。也可能只加快 50%。我认为可能性很低，但加快 10 倍也并非不可能。这件事存在很大的不确定性。至少对我而言，我对此有很多不确定。
Dwarkesh Patel
我们来谈谈由此引出的对齐局势。我觉得自己对对齐的看法已经发生了相当大的改变，尤其是在思考这种人口规模动态之后：拥有相当于许多个地球的智能，其中许多还会具备物理实体。看到很多人把未经特别处理的 Astra 直接接入不同的移动机械臂，它就胜过了最先进的机器人模型，十分有意思。因此，未来会有数十亿个智能，其中许多在世界中拥有物理实体，深深嵌入整个经济体系。
如果这些智能像我们看到的 OpenAI 模型攻击 Hugging Face、随后又攻击 OpenAI 本身时那样，愿意采取那些行动……如果这些智能也同样愿意秘密合作、欺骗人类、攻击整个社会中与取得高分相关的更广泛机构，乃至攻击 AI 公司自身，以夺取对训练与评估流程的控制权——如果我们面对的是数十亿个智能，而且它们都像攻击 Hugging Face 的那些 AI 一样不对齐——那么，我们很可能会彻底失去对世界的控制，就像阿兹特克人失去对 Cortés 的控制，或莫卧儿帝国失去对东印度公司的控制一样。
我想知道你是否同意这个判断。这是我更新世界观的一个方面。
Noam Brown
这里面有些地方我不同意，但要拆解的内容很多，所以我们一步一步把它们全都过一遍。我在想从哪里开始。首先，Hugging Face 事件是大多数人第一次真正接触到多 Agent 协调。正如我说过的，我在内部看到多 Agent 协调已经有一段时间了。看到它们如何彼此沟通、彼此协调，确实相当震撼。那非常令人印象深刻，是一种不可思议的能力。和多数能力一样，它既可以用于好事，也可以用于坏事，并不天然就是坏事。
我理解，因为人们第一次接触它就是 Hugging Face 事件，所以看到后会想：“这太可怕了。”但我想尝试区分人与 AI 之间的不对齐，以及 AI 与 AI 之间的不对齐。我们在 Hugging Face 事件中看到的是，AI 非常合作。顺便说一句，这是因为我们训练它们高度合作。我们的训练环境里有一群 Agent 共同工作。我们训练它们彼此协作，基本上彼此完全对齐。
在导致 Hugging Face 事件的评估中，它们实际上并没有在多 Agent 设置下接受评估，而是各自独立接受评估。但它们找到了一种计划之外的方式来彼此通信。我们怀疑事情是这样发生的：因为在训练期间，每当它们遇到其他 Agent、遇到自己的其他副本时，都处于高度合作的环境中，所以我们看到多 Agent 训练发生了迁移，使它们在我们并未预期的地方也开始协作、试图互相帮助。
现在有一个问题：我们是否应该把这些 Agent 训练得如此合作？尽管眼前这一幕看起来很可怕，但替代方案其实更糟。替代方案是什么？把它们训练成彼此对抗、彼此欺骗。
把 Agent 训练得完全合作，至少简化了问题。现在你不必思考这 1,000 个 Agent 中每一个是否都对齐，只需要确保一个实体是对齐的。
OpenAI 内部对于该如何处理这件事存在很多争论。让模型完全彼此对齐是否合理？是否应该给它们不同目标，确保它们不是单一实体，也更能抵抗彼此的影响？我认为还没有定论。但多数人的看法似乎是，把这些 Agent 训练得高度合作其实是个坏主意。我不确定事实是否如此。我认为，有很强的理由说明，把 Agent 训练得高度合作，其实优于其他任何多 Agent 替代方案。
Dwarkesh Patel
我首先想梳理的一点是，这些 AI 最终如此不对齐，原因很可能可以用一些关于训练本质、相对平常的观察轻易解释。当这些 AI 持续参与一场由 1,000 多个 Agent 组成的阴谋，最后全体共同攻击一项外部服务——并最终攻击 OpenAI 自身，而据公众所知，这一部分甚至尚未得到调查——它们为什么这么做？为什么没有任何 AI 告密？
它们只是由这个打分器、这个评分者来评估。它们非常积极地推理如何欺骗打分器。如果已经作弊，又该如何蒙混过关，让事情看起来像自己没有作弊？
它们为什么这么做？从某种意义上说，我觉得很容易理解。它们认为自己已经“被污染”了。有些环境会奖励它们与其他 Agent 合作。没有谁告密，因为它们从未因告密得到奖励。不管具体是什么……我担心的是，将来相对平常的这类事情，就足以训练出既愿意、又有能力彻底控制世界的超级智能。
我知道，对人们来说，这听起来极其科幻之类。AI 是否愿意这么做，是一个问题。我认为 Hugging Face 事件表明，不对齐显然可以用某些方式泛化，使 AI 愿意这样做。
接下来的问题是，它们是否有能力做到？这又回到另一个问题，听众可能不同意我的看法：在 10 年甚至更短时间内，会不会出现数十亿个人类水平或更高水平的智能，其中许多还在世界中拥有物理实体？如果这两点都成立，那么 Hugging Face 事件即使起因非常无聊，其结构也与我们如何彻底失去对世界的控制极其相似。
Noam Brown
我们在 Hugging Face 事件中看到的根本问题，即使去掉多 Agent 这一层也仍然存在。问题在于，我们有一个根本就不对齐的模型。当然还有整个安全层面的问题、防护措施不足等。但确实存在 Agent 不对齐这个问题。无论是单个 Agent 还是 1,000 个 Agent，情况都一样：这是一个不对齐的模型。我想先从这里说起。
这里存在一个真实问题：Agent 想要获得奖励，也会为该奖励进行优化。如果奖励定义有误，就可能导致非预期行为。这不是一个新问题，在这个领域已经存在很久了。甚至在 Hugging Face 事件发生之前，我们就已经看到了它，也希望妥善解决。
我们说 Astra 实际上极度对齐——相较以前的模型，极度对齐。这并不是因为 Hugging Face 事件之后我们突然冲刺一轮，把它做得更好。不，我们已经持续推进一些工作流，以让模型更加对齐，其中很多成果在 Astra 上落地了。
所以，有些事情是可以做的。例如，我们曾经以一种非常具体的方式定义目标：如果 Agent 找到办法入侵环境、在考试中作弊，就会获得奖励。接着可以用一些相当简单的方法，检查这种行为并因入侵环境而惩罚模型，或者检查它是如何实现这个目标的。
不过，你要谨慎处理，因为你不希望监督思维链。这件事需要真正找到适当的平衡。如果监督思维链，就可能导致模型以无法观察的方式隐藏意图。因此，我们既希望保留这种可观测性——能理解模型在想什么——又要惩罚它的不良行为。
我认为我们能够在这件事上取得进展，而且已经取得了进展。我确实认为，对齐是一个非常难以解决的问题，尤其因为模型可能以我们难以衡量的方式发生不对齐。我们会评估模型是否对齐，模型在这些评估中的表现可能非常好。但如果这些评估不能代表模型在现实世界中的行为，就会出问题。
在某种程度上，引发 Hugging Face 事件的模型就受到了这个因素的影响。我们有对齐指标，其中大多数看起来不错，也有一些令人担忧。我认为，我们低估了那些令人担忧的指标可能代表多么严重的问题。因为这个模型引入了新能力，而我们没有足够的评估来判断——该如何衡量这些能力下的不对齐？——所以它利用这些新能力后，做出了一些明显不对齐的事情。
Dwarkesh Patel
我首先想说，我愿意改变自己对接下来这些话的看法，或者改变我一直以来思考对齐的方式，因为 Hugging Face 事件已经让我改变了想法。我意识到，自己先前关于优化压力如何塑造 AI 心智的心智模型是错的。所以，我并不清楚该如何正确看待这件事。
但我有一个担忧。你们将会，而且很可能已经，修复训练中的具体问题——正是这些问题导致 Hugging Face 模型以那种特定方式表现出极强的不对齐，使它们会说：“好，我们要入侵这个包管理器。我们知道不应该秘密交谈，因为我们正在推理如何掩盖自己秘密交谈的事实。我们知道不应该访问互联网，更知道绝不应该对其他公司发动足以构成重罪的攻击，更别说攻击我们自己的公司了。”
我认为，你们会修复这个具体问题，比如不再让它们在训练中看到这个包管理器；未来这种事不会再发生，或者这个特定评估不再包含许多不可能完成的挑战。然而，这些 AI 并没有学会某种伦理体系。这里只有梯度压力。它们经历了相当于数百万年的梯度压力，而这种梯度压力以某种方式塑造了它们的心智。
同样，我担心的是，你们会修复这个具体问题，但仍会留下许多其他情况：AI 通过作弊取得成功，因为作弊方式足够复杂。正如你所说，训练中的评估也具有类似性质：它恰好处于模型能力的边缘——或者处于我们评估和监控模型能力的边缘——以至于我们无法发现它作弊了。但无论什么行为导致了作弊成功，它仍然会受到相应的梯度压力。
这种作弊所激励的能力会是：“嘿，只要有把握不被抓住，就尽管作弊，因为这会帮助你取得更好的分数。”这将奖励以下能力：主动推理评分者，主动推理如何逃避监督，主动推理如何夺取对训练和评估流程的控制权，主动推理如何与同样处于训练循环中的其他 AI 沟通和密谋，主动推理如何获得可能在未来派上用场的选择空间和权力，例如到处留下一些小漏洞之类。
我刚才说得太啰唆了。但 TL;DR：你们修复了一个具体问题，却没有解决这个更广泛的问题：AI 只要能不被发现，就会因作弊而得到奖励。
Noam Brown
是的，这完全正确，也是一个问题。我们可以确保 AI 按现有指标衡量时非常对齐。问题是，这些指标真的捕捉到了我们关心的对齐吗？如果没有，我们就有严重问题。这是研究人员正在深入思考的事情，没有简单答案。我们确实拥有一些工具，比如可监控性，因此可以判断：“Agent 是否正在密谋？”
令人担忧的情形是，特别是随着这些模型能力越来越强，我们把它们做到自认为对齐，而且对齐程度达到 99.9%。接着，我们用这些模型帮助开发下一代模型，结果后者只有 99.8% 对齐。此后每一代模型的对齐程度都不断退化。因为我们越来越依赖这些工具——事实上，现在我们已经非常依赖 AI 模型来帮助研究及推进对齐工作——从长期看，它们最终会朝着与人类越来越不对齐的方向发展。
也有可能，我们会朝相反方向发展，每一代模型都能变得越来越对齐。我无法回答如何确保我们最终走上第二条轨迹。但至少在 OpenAI，这是我们真正专注的事情。
Dwarkesh Patel
我认为你提出了非常有意思的一点：评估模型非常困难。最终，我们会拥有经营公司、管理各种事情的模型。在那种情形下，它们会决定加入那个阴谋吗？
Noam Brown
另一个挑战是，有时要真正定义什么算作弊相当困难。没错，如果你在做数学题，答案是一个整数，而它得到了错误或正确答案，那就很容易划清界线。你可以轻易地问：“好，你是真的解决了问题，还是找到了答案表并使用了它？”这是一条非常清楚的作弊与非作弊分界线。
但对于很多其他事情，例如看谄媚，谄媚是否基本上就是奖励黑客？这里确实需要划一条线，而有时非常难划。并不是说那些担忧不成立。我的意思是，从许多角度看，这甚至更令人担忧，因为它不是一个容易解决的问题。如果一切都是二元的，不是作弊就是不作弊，我会对局势更有信心。我认为问题在于，不对齐有时会以很多微妙方式出现。
对齐这件事也存在一些希望，事实上我们已经看到了。观察多 Agent 的情况很有意思：这些 Agent 彼此极度对齐。我想没有人怀疑这一点。真要说的话，人们担忧的反而是它们彼此过度对齐。但我们确实成功地把这些 Agent 训练得彼此极度对齐，这是一件好事。当然，也可以论证这是一件坏事。有趣的问题是：“好，我们已经成功让这些 Agent 彼此超级对齐。能否使用类似技术，让 Agent 与人类高度对齐？”
这里可能存在一条路径，我们仍在努力弄清楚。但我们已经看到一些证据表明答案是肯定的。举个例子：你有一个 Agent，称它为 Agent A，另外还有其他所有 Agent。如果你告诉其他 Agent，用户就是 Agent A，会发生什么？答案是，在我们的许多对齐评估中，它们表现得更好了：诚实度上升，指令遵循度也上升。
这首先表明，确实存在一条让这些模型变得更诚实的路径。其次，也存在一条改善对齐局势的路径。要把这种效果直接转化为对齐收益，还存在许多挑战。但确实存在一些前景可期、值得继续探索的研究方向。
Dwarkesh Patel
这听起来合理。我并不强烈认为它一定不会奏效之类。不过，我想提一些你们可能已经考虑过的事情：Hugging Face 事件揭示的更广泛问题是，没错，部分担忧在于它们彼此对齐，却没有与人类对齐。但另一个问题是，它们有极强的动机，要以非常不稳健的方式在训练和评估中取得好成绩。为了按照评分者的标准表现出色，它们愿意进行大量赤裸裸的作弊和密谋。
如果更聪明的 AI 意识到其中一个 Agent 只是人类，那么与这个人合作并不能真正帮助自己在评分者眼中表现良好。真正有助于在评分者眼中表现良好的办法，是接管 OpenAI，然后亲手按下那个表示自己在评分者这里表现良好的按钮。它们并不愚蠢。它们会想：“好，我有这些在数百万年训练中形成的、极其深层的结构：重视评分者，理解评分者，清除阻碍自己按照评分者标准表现良好的一切障碍。”这些结构正受到强力强化。
Noam Brown
你看，100% 正确。这是第一优先事项。我们必须把对齐这件事做对，并让它走上良好轨迹。我过去常告诉人们，在事态严重之前，我们会先看到迹象，就像孩子长大时，年幼的孩子会学会撒谎，但不太会撒谎。他们会撒谎，可你多少能看出来。
同样——我不想过度拟人化——我认为，随着 AI 能力不断增强，如果它们采取欺骗行为，一开始会比较明显，我们能够发现。我们现在大概就处在这种情形：它们试图做出欺骗行为，而我们确实可以从思维链里看到它们正在尝试欺骗。
但它们会变得更聪明。它们会理解思维链的概念，会明白仅仅隐藏一些文字记录之类还不够，因为存在思维链监控；它们还必须想办法绕过思维链监控。我们不希望陷入那种局面。我们还有一些时间来解决这个问题，但我不认为时间很多。我希望确保我们迅速走上正确轨道。
Dwarkesh Patel
最近，围绕控制前沿发展节奏有很多讨论，人们也开始更认真地看待 RSI。因为假设一个 RSI 进程在 2028 年启动，也许仅仅一年后，我们就会拥有规模巨大、相当于地球人口的智能群体，它们达到人类水平，甚至可能超越人类，而我们不知道该如何控制它们。接着就是你所说的这种动态：在 RSI 过程中，系统会随时间推移变得更加对齐，还是更加不对齐？在这个过程另一端产生的东西，会不会像那些为了在评估中表现良好而愿意广泛攻击不同攻击面的 AI 一样不对齐？
可是，如果不知道如何评估，那么在经历 RSI 的过程中，我们怎么知道它正在奏效？我想，我们会希望在整个 RSI 过程中都有一套稳健的安全论证：“好，对齐正在奏效。让我们进行下一阶 RSI。再进行下一阶 RSI。”它也许奏效，也许没有。我们怎么知道？
Noam Brown
这是个好问题。我最近一直在思考一件事：我们当前处在模型发布周期极快的局面。你会看到新的前沿模型至多每两个月发布一次，有时更快。每周都会出现新的 AI 突破。
而关注 AI 的人，有时上一次真正深入了解模型能力还是一年前或六个月前。但实际上，今天的模型已经远远超越甚至六个月前能做到的事情。所以，如果有人怀疑这些能力中的许多，我建议你直接试试今天的模型，亲眼看看今天的前沿究竟在哪里。
所以，我们处在模型发布周期非常快的时期，同时模型也越来越能在越来越长的时间跨度上运行。这形成了一种有意思的局面，因为在发布任何模型之前，我们都希望确保模型正确对齐，也希望进行安全评估，非常彻底地检查，确保一切状况良好。从大概 GPT-4 甚至更早开始，一直都是如此。其中隐含着一个假设：你可以在相当短的时间内完成这些评估。
但模型能够有效运作的时间跨度越来越长。对于 GPT-3，你可以让它循环运行，以完成长时间跨度的任务，只是效果不会太好。而今天的模型确实可以在极长的时间跨度上有效运行。
你想让它执行一周的任务，它就可以执行一周。我们很可能会发展到它们可以执行一个月任务的阶段，也很可能会发展到它们可以执行 3 个月任务的阶段。如果在那个世界里，它们能有效运行三个月，但模型每两个月发布一代，那么在下一轮模型发布周期到来前，你根本无法按其能力的完整时间长度对模型进行评估。
于是就出现一个有意思的问题：在那种情形下该怎么办？当模型可以在这些极长的时间跨度上运行时，如何确保它们安全且对齐？谁知道呢，也许能力会退化。这甚至不只是对齐问题，也是产品问题。也许产品会在这段时间里以某些我们没有足够时间测试的方式退化。也许对齐程度会下降，也许安全特性会退化。现在这还不是一个问题，但它正迅速变成一个我们必须找到解决方案的问题。
很多安全政策都是在 GPT-4 时代制定的，当时这根本不在任何人的考虑范围内。此后，很多公司并没有真正更新这些政策，以考虑 Agent 正在这些极长时间跨度上运作这一事实。所以，我认为，无论实验室内外，考虑这种局势的人都不够多。该如何为这个问题做准备？只要看看趋势线，就知道我们迟早会撞上它。
Dwarkesh Patel
我的一个担忧是，在 RSI 期间，如果目前需要三个月取得的进展改为一个月就能取得，那么 AI 的内部使用价值会大到让人们想：“好，我们可以不断推进 RSI。为什么还要完成所有这些额外工作，构建分类器、防护措施之类的东西，还可能因此受到大量抨击，只为把这个模型部署给外部？为什么不继续推进越来越强的 RSI？”
所以，不仅日历时间会低估模型之间的能力差距，而且在 RSI 期间，你们也许会彻底停止向外部署模型，因为我们为什么要用自己的模型帮助别人自行推进 RSI？到年底时，你最终会面对权力高度集中的局面。
现在其实已经如此——谈到千禧年大奖难题和其他类似问题时，我们还会讲到——更广泛的世界无法使用那些正在促成非常酷的成果的模型。而且，它们最终会拥有比数学广泛得多的现实意义，所做的事情不会只是提出一些很酷的数学成果。
它们会与需要就世界作出重要决策的政治领导人相关，也会与媒体之类相关。世界上正在发生什么？公众该如何看待？单从经济角度说，人们在经营企业，也希望使用这些模型。我认为，默认情况下，随着进步加速，AI 的外部部署会在定性上显著落后于 AI 的内部部署。
Noam Brown
完全正确。人们很容易说：“好，这些模型正在变得极其强大，也极其危险。它们能在越来越长的时间跨度上运行，而我们希望确保，在发布之前有足够时间按这些时间跨度来评估它们。因此，模型发布周期应该放慢，模型发布之间应有更长的间隔。”
但正如你所说，这还有另一面。这样做会扩大实验室内部能够使用的东西——我们能够使用的东西——与外部世界能够使用的东西之间的差距。那同样不是理想局面。
数学其实很好地说明了这一点。在许多方面，数学是我们首次清楚看到这种局面的领域。我们内部有一个非常强大的模型，目前外界无法使用，却能解决不可思议的数学问题。不只是千禧年大奖难题，人们还利用这个模型得出了许多未解问题的解答。
问题是在这种情形下该怎么办？我们没有很好的答案。这种局面确实构成一种不公平优势。这里存在权衡，我无法回答如何恰当地衡量这些权衡，但问题的两面都很复杂。
Dwarkesh Patel
我想确保我们处理了先前的那个关键分歧点，它似乎对正确推进 RSI 至关重要。我们如何做到，在模型能够避开人类时，不再仅仅因为作弊和密谋而得到奖励——也就是在我们没有把相应环境或任务从训练分布中移除的情况下？然后，我们如何知道这件事已经做到，从而在推进 RSI 时完成评估，并说：“好，没问题。继续推进下一阶 RSI。”
Noam Brown
这同样是一个真实的担忧，也是我们希望做对的事情。我认为存在一些策略，思维链监控就是其中之一。我们刚做出推理模型时，必须肯定 Jakub 的一点：他非常、非常明确地说，我们不能监督思维链。因为这其实是一份礼物。神经网络的可监控性极难实现。而现在，我们面对的情形是，神经网络直接进行推理，用自然语言完整地列出思考过程，让我们阅读。这太方便了，确实是安全方面最理想的情形。
但如果你查看思维链，然后说：“哦，模型正在想坏念头，我们应该因为它想这些坏念头而惩罚它。”那么，最终发生的事情就是，模型会学会以我们无法观察的方式想那些坏念头。可能存在这种情形：通过查看思维链，我们能看到“哦，模型正在密谋，正在做不对齐的事情，而我们的对齐指标实际上没有发现这些”。问题在于，人们接着很容易受到诱惑，依据这项观察进行干预，并改变对齐指标。
你可以非常克制地这样做，而且确实有研究表明，只要次数不多就没问题。但每一次根据思维链观察结果进行干预，都会隐式施加一点压力，促使模型隐藏思维链。这是一个主要担忧。出于各种原因，我们已经看到思维链的可监控性正在退化的迹象。我们正在努力弄清确切原因，因为希望扭转这种趋势。但我们确实看到，模型控制自身思维链的能力越来越强。
这是个问题，因为可能出现这样的情形：模型理解什么是思维链，也知道人们正在观察它。最终它们会知道。这些内容全都在预训练数据中。思维链监控这个概念已经存在了足够久，以至于出现在了预训练数据里。它们知道这件事，只是还无法真正控制自己的思维链。
如果到了某个阶段，它们真的可以意识到：“哦，我正在被观察。我想以监控者无法观察的方式思考这些坏念头。”接着又真的能够做到，那么问题就出现了。到那时，我们必须依靠其他可观测性方法。
Dwarkesh Patel
围绕 Astra 的循环结构和循环 Transformer之类的东西存在很大争议：思维链是否确实正在退化。与一个更大的担忧相比，这似乎只是旁枝末节：从四月到八月，你们确实拥有思维链，而在此期间连续发生了三次 AI Agent 集群事件——先是破坏训练流程，接着破坏评估流程，然后直接控制了 OpenAI 的一部分基础设施。在整个过程中，人类对这个 Agent 集群的所作所为及其规模始终或多或少一无所知。这一切连续发生了三个月，而当时我们的思维链还比未来将拥有的更强。
从更高层面看，思维链也许奏效，也许不起作用，我不知道。只看历史，它并不足以阻止能力相当弱的模型发生恶劣的不对齐事件。
Noam Brown
这里有几个因素。第一，我们没有为那些模型启用思维链监控。假如启用了，我们会立即叫停。所以，我们采取的一项措施是：“好，任何前沿模型在评估、部署和训练期间都要有思维链监控。”但这只解决一个问题。我们不希望陷入依靠单一技术来预防下一次问题的局面，因为技术可能失效。
此外，模型本身就是彻底不对齐的。那我们该如何解决不对齐问题？还有一个问题是，它所处的沙箱并不安全，因此可以把沙箱做得更安全。
但我认为，这次事件的一个主要教训是，人们低估了 AI。我们再也不希望陷入低估 AI 的局面。这是一个奇怪的世界：因为 AI 进步如此之快，人们一直在低估 AI。因此，要确保在安全与对齐问题上不再低估它，就必须设立非常、非常、非常高的标准。你甚至可以说：“嗯，我们应该把计算机物理隔离。”可我不确信这就足够了。
有一些研究——主要是学术研究——表明，即使把两台彼此物理隔离的计算机放在一起，它们仍然能够通过温度传感器彼此通信。其中一台可以让自己的 CPU 运行得非常热，另一台就能检测到温度变化。这为它们提供了一种通信机制。
所以，安全机制能为我们争取时间，思维链监控之类的东西也能为我们争取时间，并告诉我们是否走在正确道路上。但归根结底，我们确实必须解决对齐问题。
Dwarkesh Patel
也许没有答案，而事情归根结底就在这里，但我们怎么知道自己已经解决了它？这似乎是一个极其关键的问题。明年、也许后年、也许再后一年，我们会处在一个利害关系极高的局面，并会说：“好，AI 已经把 AI 进步自动化了。进展速度快了 3 倍，我们也达到了人类水平，而且可能正在超越人类水平。”这没问题吗？我们把它对齐了吗？成功了吗？
我完全不知道怎样的训练压力会产生怎样的 AI。也许只要每 100 条 RL 轨迹中只有 1 条激励作弊，我们就能造出一群乖孩子，那也没关系。但也许眼下每 3 条推理轨迹中，就有 1 条在奖励……
Noam Brown
要说明的是，100 条中有 1 条还不够。这个数字必须趋近于 0，或者就是 0。
Dwarkesh Patel
我不知道。也许现在，每 10 条中就有超过 1 条在主动奖励作弊或主动奖励密谋。我不知道这个数字是多少，也不知道它需要降到多少。
Noam Brown
同样，这也是一种很难衡量的事情。界线应该划在哪里？它是一个连续谱。但越接近 0 越好。我最希望看到的是，它随着时间推移不断下降的趋势。
Dwarkesh Patel
但不管怎样，在推进 RSI 时，我们怎么知道？我们是在按计划构建数十亿个对齐的 ASI，还是不对齐的 ASI？我们怎么知道？
Noam Brown
这是我们需要解决的对齐问题之一：我们到底如何知道，又如何衡量？下面只是我的即兴想法。如今，我的团队中从事对齐工作的人比以往任何时候都多。目前，我的团队有超过 10% 的人在研究对齐与安全。但我一直以来都是一名能力研究员。所以，我接下来会说一些东西。听起来可能很傻，但我只是在这里即兴讨论。
如果你能创建非常逼真的环境，把 AI 放进去——如果你有足够逼真的评估环境——就可以了解把 AI 部署到现实世界后，它是否真的会有良好表现。如果评估与现实世界部署可以完全匹配，这就是一条路径。挑战在于，怎样才能让环境足够逼真？
我们现在确实面临一个问题：模型非常聪明，非常机敏，也极其善于识别自己何时身处虚假的测试环境。我们会尝试判断模型是否对齐。你可以想象一些非常简单的评估：给它一道数学题，然后它有一个文件夹，里面放着答案表。它会查看答案表吗？如果查看了，会告诉你自己查看过吗？
现在的情况是，模型看到这个文件夹里有答案表，就会想：“嗯，这看起来像个陷阱。”它们知道这是陷阱。它们不会查看答案，因为知道这是测试环境，自己的能力正在接受测试。并不是说它们怀有恶意，想要密谋，而且知道这是陷阱，所以试图寻找其他办法。它们只是想：“哦，我在测试环境里。好吧。”因此，要创造一个逼真到让它们无法与现实世界区分的环境，正变得越来越困难。
Dwarkesh Patel
我会提出这样一个判断：我不认为自己能创造出任何一种模拟现实中具有经济价值的工作——这类工作需要与其他人及整个世界互动——的环境，使你身处其中时，即使投入足够努力也意识不到自己就在这个环境里。而你并不是 ASI，对吧？
Noam Brown
但你是人类。所以，如果拥有非常强大的 AI 模型，也许它们能够制作出可以做到这一点的环境。
Dwarkesh Patel
这似乎就是不……尤其是如果我们接下来还要依赖 AI。它们是否也参与了这场骗局？我不知道。
Noam Brown
这也是我们希望衡量的事情。我认为，这其实是反对把 AI 训练得完全合作的一个有力论据。如果 Agent 本应拥有不同目标时，这种训练却导致它们的协作增加，那就是一个问题。我认为，我们确实有衡量这件事的指标。我不知道这些指标的最新情况，但没有人就此向我发出警报。所以，我假设它目前还不是一个严重问题。
Dwarkesh Patel
如果最终又发生一起严重程度或令人担忧程度相当的事件，或者某件能像 Hugging Face 事件一样帮助全世界更好地理解不对齐风险的事情，OpenAI 会报告吗？
Noam Brown
当然。我认为，即使事件的安全问题没有那么严重，我们也会报告。
Dwarkesh Patel
报告是一回事，调查又是另一回事。至少作为公众的一员，我觉得自己并没有真正理解 Agent 随后攻击 OpenAI 时究竟发生了什么。这似乎比 Hugging Face 事件更令人担忧，因为它在结构上与 ASI 阶段那些持续存在、破坏 RSI 进程的失控部署非常相似。似乎即便在这起事件中，我们也没有了解到事情全貌的全部细节。
Noam Brown
遗憾的是，我在研究团队。这或许应该由安全团队的人来说明，因为我不知道已经披露的所有细节。
Dwarkesh Patel
就我个人而言，每当新能力出现时，我都非常兴奋，也很期待使用新模型。它会提高我的生产力，这同样让我兴奋。我的更广泛使命——尝试更好地理解世界，同时制作一档更好的播客——会因更好的 AI 模型而得到推进。只不过，这件事的下游结果可能是 RSI。
Noam Brown
如果你一直在关注事态，而你确实如此，那么这是一种非常可以理解的反应。OpenAI 内部的人也一样。那些原本觉得事情会花更长时间的人，正在开始觉得实际发展速度比预期更快。这样的讨论正变得越来越普遍。
Dwarkesh Patel
Noam，非常感谢你参加这次访谈。
Noam Brown
当然。我也非常愉快。