Sam Altman 讲述 ChatGPT 背后的规模化哲学

Sam 开篇指出了一个惊人的事实：现在用少量 token 预算，一个人就能完成以前需要百人工程团队才能做到的事情。这在过去对创业者来说是完全不可能的选项。

他提出了一个核心观察："规模化是自己的野兽"——借用"数量本身就是质量"这句话。Sam 承认他不知道为什么这个观察是正确的，也没有满意的理论来解释，但这让他有点紧张地建议人们相信它——因为经验证据表明它确实有效。

Sam 总结了他职业生涯中观察到的规律：所有最有趣的事情都与规模化的涌现属性相关，或者规模化带来的回报远超共识预期的程度。

他举了 Y Combinator 的例子：当 YC 变得"太大"时，很多人说应该缩小规模，每批只投资较少的公司。但实际上，最好的时期恰恰是规模最大的时期。Sam 意识到，YC 的魔力来自于批次内的网络效应——这是一个之前从未被发现的大规模涌现属性。

Sam 分享了他在 OpenAI 扩大规模时的经验：领域内的"天才们"都说这不会有效——"这只是 barely scientific result"、"为什么继续扩大你已经证明有效的"、"你为什么要把所有计算资源投入一个项目而不是分散投资"。但 Sam 和团队还是坚持了规模化策略。

规模化带来的挑战：随着规模扩大，事物会以加速且不可预测的方式"坏掉"。聪明的总有人说"不要太大、不要太有野心"。因此，将规模化问题分解成系统性的子问题来解决至关重要。

关键洞察：当你在小规模上已经看到有趣的事情在发生，而这是人们从未尝试过的更大规模时，大多数时候继续推进是个好主意——这也是大多数人做得不够的事情。

Sam 分享了 ChatGPT 背后的完整故事。OpenAI 制作了 GPT-3，但需要收入来支持扩展到十亿级计算规模的计划。GPT-3 是个很酷的演示，但他们找不到合适的产品来构建。

他们尝试了几件事都没有成功，虽然知道模型会继续改进，但也希望尽早启动收入引擎。于是他们决定："既然我们想不出做什么产品，就把这个放进 API 里，希望别人能想出来。"

2020 年夏天，GPT-3 API 发布。最初几乎没有关注。一个月后，它在 Twitter 上爆火——几个开发者发现它能做很酷的事情，发布了出来，其他人开始尝试。但 Sam 回顾说，GPT-3 或 3.5 相比当时的兴奋程度来说"惊人地糟糕"。

唯一有效的业务是文案写作，但那不是很激动人心。然而，开发者们已经发现如何输入 prompt 并与模型聊天。更重要的是，很多人虽然无法让 API 为他们的业务工作，但他们都在用 API key 来聊天。

OpenAI 团队观察到："我们显然可以做一个好的 chatbot，人们显然想要这个。"他们有 GPT-4 已经完成，还有一个中间模型 3.5 准备发布。他们还开发了一种新的后训练方法，能让模型更好地遵循指令。

API 的收入大约只有 1000-2000 万美元的年化率，但人们爱它。按照 Y Combinator 的原则——"看用户热爱什么，然后做那个"——他们决定围绕聊天界面构建产品。

ChatGPT 发布后"疯狂病毒式传播"。Sam 回顾了另一个从 YC 学到的教训：当某件事真的开始增长而它还不够好时，你就有一个"有保证的命中"。

最初的五天里，流量每天暴涨、下跌、再涨到更高的峰值。人们说"这只是炒作周期"。到第四或第五天，Sam 意识到："我知道这怎么运作。我们有潜力在这里做出杀手级产品。我们知道可以让它变得更好。我们知道我们有 GPT-4，我们可以继续规模化。"

第五天，Sam 召集团队说："这是紧急情况。这是好的紧急情况。但我们必须同时建立公司和产品。"然后是两个月的疯狂规模化。

关键时刻：Sam 承认他们仍没想到商业模式，所以先向用户收费来覆盖计算账单。"但这显然不是长期答案。"但这个策略竟然奏效了。

Sam 分享了 Codex 的故事。在 ChatGPT 出现之前，OpenAI 的计划是 All-in 代码——他们知道这些模型能写代码，能写得很好，会是有价值的领域。

他们的内部信念是：编码是这些模型控制计算机的方式，机器人是它们控制物理世界的方式。如果模型足够智能，拥有编写代码和驾驶机器人的执行器，就能真正让这种智能在世界上为人们做事。

关于 AI 能力的管道，Sam 表示当前的架构（pre-training、mid-training、post-training、RL 和监督反馈循环）会让他们跨越"AI 能做不可思议工作"的门槛。但他预计管道会有重大重写，只是不知道何时或如何。

Sam 分享了 OpenAI 的目标：

• 2026 年 9 月：使用 50 万个 A100 等效 GPU 进行 AI 研究
• 2028 年 3 月：拥有完整的端到端"非常有才华的研究员"，能够发现完整的新架构

他说："我认为我们将用当前的管道和架构跨越那条线。"

Sam 分享了他对"公用事业"（utility）的深入研究。他正在研究我们正在创造一种新的公用事业——这种事并不常发生。电力、互联网、水……没有太多案例可以研究。

他最近研究了电力成为公用事业的历史，这是一个很好的类比，当然也不完美。

电力公司并不销售"电"，因为没人知道那是什么或为什么需要它。这听起来很可怕——这东西会进入你家，可能用可怕的方式杀死你。感觉非常不同于之前的世界。

他们销售的是"夜晚的光"——"你从我们得到的不是电，是夜晚的光。顺便说一下，同样能让你得到所有这些其他东西。"

人们会说："我为什么要那个？"他们说："嗯，某天它会帮你洗衣服。"Sam 的回应是："不，不会的。这对我来说跳跃太大了。"

Sam 承认不知道他们的类比应该是什么，但怀疑即使他们完全正确——即使智能将成为每个公司、每个客户、每个政府都需要使用并将在各种令人难以置信的方式中使用的新公用事业——找到一种向世界解释"智能管道"的方法仍然很困难。

关键洞察：你将拥有一个 OpenAI token 订阅，接入一切，使用它来访问一切，它将始终为你运行，做着这些令人惊叹的事情。

Sam 区分了两个"公用事业"概念：

• Jensen Huang：计算（芯片）作为公用事业
• Sam Altman：智能（tokens）作为公用事业

作为消费者、企业或个人，你会以 tokens 的方式思考，或者可能在 tokens 之上的一层。你不会太关心硬件在哪里、是什么芯片在驱动。这些会被抽象掉。

你关心的是：能否大量使用系统？它便宜吗？它做得好吗？

Sam 认为随着我们进入一个世界——我们都有一个恒定的 agent 在为我们服务——你可能会以更高层的方式来思考它。就像支付手机账单时，你购买的是接入时间和一些数据，而不太关心具体的基础设施。

Sam 回应了关于 Yan LeCun 认为 LLM 是死路的观点。

首先，在实现人类水平智能方面，这些模型在某些方面已经远远超越了人类智能，而在其他方面则"疯狂地更糟"。它们在长周期规划方面比人类差得多，但在高判断力任务方面表现出色。

然后 Sam 分享了一个令人兴奋的突破：昨天，他们的一个模型推翻了一个 Erdős 猜想——这是一个聪明的数学家们长期研究的问题。很多科学家甚至在最近还说"这不会发生"。然后模型就做到了。

现在，所有这些数学家都在说："数学结束了吗？这对我们的领域意味着什么？"

Sam 的结论：LLM 显然有能力发现新知识，有能力做一些人类根本做不到的事情。它们会扩展得更远。它们在多大程度上比人类做得更好，我们将拭目目以待，但他怀疑是"很多"。

Sam 认为整个领域被一整代科学家拖累，他们太确定"规模化不会产生什么"。然后有些人只看图表就说："嗯，看起来在继续完美地扩展。让我们继续。"

Sam 的有力回应："我认为世界模型显然很重要，我们将需要它来实现机器人技术。但在此时此刻，打赌 LLM 规模化对我来说是相当误导的。"

他不会觉得成为"早就告诉过你"的人很烦人——"事实上，我甚至在这个时候不觉得是'我告诉过你'。更像是：你还在继续说它。数据在我们这边相当强。我不认为说'我告诉过你'会很有趣，而且你还在继续说我们是错的也不会真的困扰我。"

Sam 提出了一个重要观点：如果你把你的身份建立在某个特定事情会或不会成功上，然后科学或经验结果驳斥了你，你太执着于你的身份，无法放手，无法看到真相。"我认为这在两个方向上都是重要的提醒。"