2026 年 9 月 3 日，OpenAI 发布了 GPT-6 Astra。公告称，它是在预训练、强化学习和对齐三个方向上“多年研究和重大押注”的成果。该公司研究副总裁 Aidan Clark 在接受《财富》杂志采访时补充了一个引人注目的细节：这是他们第一次用超过 10 万块 GPU 预训练一个模型，地点是其位于得克萨斯州的 Stargate 数据中心。他说，这是公司有史以来规模最大的一次训练，而且“远超以往”。
如果回想不到两年前的说法，这个细节会让人意外。2024 年 12 月，OpenAI 联合创始人 Ilya Sutskever 在机器学习领域最重要的会议 NeurIPS 上表示，“我们所知的预训练无疑将会终结”。他的理由是，算力仍在增长，数据却没有：“我们只有一个互联网”。2025 年 2 月底，OpenAI 推出了 GPT-4.5，这是它当时发布过的最大模型。它在对话和知识方面有所提升，却落后于那些先推理再回答的较小模型；该公司于 2025 年 7 月将其从 API 中下线。
规模化到底有没有走到尽头？如果我们不再把“规模”当作单数来谈，这两件事就能对得上。语言模型的进步并非来自单一规则，而是来自多个杠杆，每个杠杆都有自己把更多资源转化为更好结果的方式。当一个杠杆变得昂贵时，力气就转向另一个；而之前的杠杆并没有被放弃，而是叠加在一起。
其中一些杠杆遵循缩放定律（scaling law）。这个名字有点误导：它不是物理定律，而是一种被反复观察到的规律。如果在某个具体方面投入更多，比如参数、数据或算力，结果就会以非常可预测的方式提升，可预测到能在花钱之前就算出来。另一些杠杆没有自己的定律：它们改变的是扩展什么，或者扩展的成本。本文梳理我们认为最能解释从 GPT-3 到今天这段历程的七个杠杆，以及仍停留在实验室里的第八个。
2020 年：第一条定律把进步变成预算问题
要理解第一条定律，需要先了解三个词。语言模型通过阅读文本、逐个片段地猜测接下来是什么来学习。这些片段叫作词元（token）：一个短单词通常是一个词元，一个长单词则是几个。
模型在学习过程中调整的是它的参数，也就是决定它如何回答的数十亿个内部数值。因此，模型的大小用参数来衡量。
要知道它学到了多少，就要衡量它的损失：简单地说，就是它在没见过的文本上猜下一个词元时错得有多厉害。越低越好。
2017 年和 2018 年的两项进展让这套方法得以扩大规模。第一项是 Transformer，Google 在 2017 年提出的架构。它同时处理一段文本中的所有词，而不是一个接一个地处理，因此可以把训练分摊到成千上万块芯片上。第二项是这个任务不需要标注：任何文本都可以用来学习，因为正确答案永远是接下来的那个片段。OpenAI 把两者结合起来，在 2018 年推出了 GPT，又在 2019 年推出了 GPT-2。
2020 年 1 月，由 Jared Kaplan 领导的 OpenAI 团队训练了大小差异很大的模型，并在论文 Scaling Laws for Neural Language Models 中比较了它们的损失。他们发现了一种不寻常的规律。给模型更多参数、更多数据或更多算力时，损失总是以同样的方式下降，其中一些趋势在跨越 1000 万倍以上的范围内都成立。相反，设计细节的重要性远低于人们原先的设想。
实际后果很容易表述：算力每增加十倍，损失就按相同比例下降，根据他们的测量大约是 11 %。这就是所谓的幂律。进步是可能的，但每一步的成本都是上一步的十倍。好处是它可以预测。
几个月后，2020 年 5 月，OpenAI 发布了 GPT-3，拥有 1750 亿参数，是 GPT-2 的一百多倍。除了写得更好，它还能做到小模型几乎做不到的事：仅凭请求中写下的几个示例就解决一项新任务，而无需重新训练。从那以后，用于训练顶尖模型的算力持续增长。收集这些数据的 Epoch AI 估计，2010 年至 2024 年间，这一算力每年增长到原来的四到五倍。
2020 年以前，改进语言模型主要是一个设计问题：尝试各种架构和训练技巧，希望其中某个能奏效。此后，它也变成了一个预算问题。在花钱之前，就可以算出一个大十倍的模型损失会降低多少。这种可预测性有一个不能忘记的局限：定律预测的是损失，而不是模型具体会完成哪些任务。损失的平滑改善，可能在某项任务上表现为突然的跳跃，正如我们在《为什么 AI 在某些任务上似乎突然变强》中所解释的。
2022 年：大模型也需要读得更多
Kaplan 的研究留下了一条建议：预算固定时，最好主要把钱花在把模型做大上，即使它读的东西相对较少。2020 年和 2021 年的大模型就是这样构建的。2022 年 3 月，DeepMind 发表了一项涵盖 400 多个模型的研究，得出了不同的结论，这个结论以证明它的模型命名：Chinchilla。要充分利用预算，模型大小和数据必须同步增长：模型规模翻倍，读的数据也要翻倍。按照这个标准，当时的大模型读得太少了。
为了证明这一点，他们训练了 Chinchilla，一个 700 亿参数的模型，所用算力与他们之前的 2800 亿参数模型 Gopher 相同。区别在于，Chinchilla 读了 1.4 万亿个词元，几乎是 Gopher 的五倍。模型小了四倍，它却在几乎所有测试中都超过了 Gopher；在涵盖 57 个科目的问答考试 MMLU 上，它的正确率达到 67.5 %，高出七个多百分点。流行开来的经验法则是每个参数大约 20 个词元。
| 模型 | 年份 | 参数 | 训练词元数 | 每个参数的词元数 |
|---|---|---|---|---|
| GPT-3 | 2020 | 1750 亿 | 3000 亿 | ≈ 2 |
| Gopher | 2021 | 2800 亿 | 3000 亿 | ≈ 1 |
| Chinchilla | 2022 | 700 亿 | 1.4 万亿 | ≈ 20 |
| Llama 3 8B | 2024 | 80 亿 | 超过 15 万亿 | ≈ 1,900 |
数据来自 GPT-3 和 Chinchilla 的论文，以及 Llama 3 的发布公告。
最后一行表明，Chinchilla 的规则也没有成为教条。2024 年 4 月，Meta 解释说，按照这一标准，其 80 亿参数模型的最优数据量约为 2000 亿个词元。他们用超过 15 万亿个词元训练了它，约为前者的 75 倍，而模型仍在继续进步。原因在于经济。Chinchilla 优化的是训练成本，而训练只需付一次钱。但一个模型会被使用数百万次，一个读过大量数据的小模型，运行起来比质量相同的大模型更便宜。
读得更多有一个明显的极限：可用的文本。Epoch AI 估计，人类撰写的公开文本约有 300 万亿个词元，按照目前的速度，模型会在 2026 年至 2032 年间的某个时候把它们用完。这正是 Sutskever 把数据称为“AI 的化石燃料”时所表达的担忧。应对的办法包括更好地过滤、重复使用数据、用其他模型生成合成数据，以及最重要的：寻找不只依赖于读更多文本的改进途径。
2022 年：知道不等于会帮忙
预训练模型的工作是续写文本。如果你给它写一个请求，它不一定会把它理解为指令：它可能把它当成一份清单的开头接着写下去。OpenAI 在 2022 年发表的 InstructGPT 论文中包含了这个问题的一个例子。
“用法语写一个短篇故事，讲一只青蛙穿越时空回到古希腊。”
GPT-3：用更多同类请求来回应。“写一个故事，讲一个想知道众神游戏的一切的孩子……”“写一个故事，讲一个在遥远年代经历冒险的年轻人……”
InstructGPT：写出了这个故事。“青蛙迷了路，筋疲力尽。它心中只有一个目标：穿越时空，到达古希腊……”
变化在哪里：第一个模型把请求当作一串任务清单的开头；第二个模型把它当作一项必须完成的任务。两个模型都有 1750 亿参数。
来源：Ouyang 等（2022）的图 8。示例译自法语，并有删节。
为了做到这一点，OpenAI 使用了基于人类偏好的强化学习技术，即 RLHF。首先，几个人为真实请求撰写示范回答。然后，他们比较模型给出的不同回答，并按从好到差排序。用这些比较训练出第二个模型，即奖励模型，它学习预测人会更喜欢哪个回答。最后，用强化学习调整主模型：它生成回答，奖励模型为其打分，训练让得分高的回答变得更有可能出现。
这个结果挑战了“一切取决于规模”的观念。评估回答的人更喜欢 13 亿参数的 InstructGPT，而不是 1750 亿参数的 GPT-3，后者大了一百多倍。而且这次调整的成本很低：据 OpenAI 称，它使用的算力和数据不到预训练的 2 %。该公司自己将其描述为一种“解锁”GPT-3 已有能力的方法。2022 年 11 月推出的 ChatGPT，把这套方法用在了一款通用产品上。
这个杠杆并不增加知识，而是改变目标：从续写文本变成帮助提问的人。值得记住 2 % 这个数字，因为三年后，用于预训练之后这一阶段的算力比例将大不相同。
2023 年：参数很多，每次只用少数
在传统模型中（通常称为稠密模型），所有参数都会参与处理每个词元。如果模型大十倍，每个词的计算成本大约就高十倍。
混合专家（英文缩写 MoE）打破了这种关系。它把模型的一部分分成多个块，称为专家，并增加一个路由器，为每个词元选择由少数几个专家来处理。其余专家不处理这个词元。
这个想法可以追溯到 2017 年，当时 Noam Shazeer 和 Google 的其他研究人员把它应用到多达 1370 亿参数的网络上。在语言模型中，它随着 Mistral 于 2023 年 12 月发布的 Mixtral 8x7B 流行起来：该模型共有 467 亿参数，但每个词元只用到 129 亿。
“专家”这个名字有点误导。并不存在一个医学专家和一个历史专家：路由器在训练中自行决定如何分工，而在 Mixtral 中，这种分工似乎更多跟随文本的句法，而不是主题。
一年后，DeepSeek-V3 展示了这种节省能达到什么程度。它有 6710 亿参数，每个词元使用其中 370 亿；根据其技术报告，最终训练花费了约 560 万美元的 GPU 租用费用。这个数字不包括之前的研究，但对于一个能与最好的闭源模型竞争的模型来说已经非常低，而 MoE 设计正是原因之一。
所有模型都是 MoE 吗？不是，但在 2026 年，几乎所有大型开放权重模型（任何人都可以下载的模型）都是。下表汇总了其中最新的模型，并附上三个较早的模型作为对比。
| 模型 | 日期 | 架构 | 总参数 | 每个词元激活的参数 |
|---|---|---|---|---|
| Mixtral 8x7B | 2023 年 12 月 | MoE | 467 亿 | 129 亿 |
| DeepSeek-V3 | 2024 年 12 月 | MoE | 6710 亿 | 370 亿 |
| Llama 4 Maverick | 2025 年 4 月 | MoE | 4000 亿 | 170 亿 |
| GLM-5 | 2026 年 2 月 | MoE | 7440 亿 | 400 亿 |
| Qwen3.5-397B-A17B | 2026 年 2 月 | MoE | 3970 亿 | 170 亿 |
| Gemma 4 31B | 2026 年 4 月 | 稠密 | 307 亿 | 全部 |
| Gemma 4 26B A4B | 2026 年 4 月 | MoE | 252 亿 | 38 亿 |
| DeepSeek-V4-Pro | 2026 年 4 月 | MoE | 1.6 万亿 | 490 亿 |
| Kimi K3 | 2026 年 7 月 | MoE | 2.8 万亿 | 1040 亿 |
| Qwen3.8-27B | 2026 年 8 月 | 稠密 | 270 亿 | 全部 |
数据来自各模型的技术说明卡，链接见文末来源。仅包括架构公开的开放权重模型。
这张表显示出一个规律。到 2026 年，参数达到数千亿以上的模型几乎都是 MoE：Meta 在 Llama 4 上采用了这种设计，这是它的第一个 MoE 系列；Kimi K3 达到 2.8 万亿参数，每个词元使用的不到 4 %。稠密模型仍然出现在中等规模上，那里节省下来的计算不太能抵消增加的复杂性；Google 甚至在同一个 Gemma 4 系列中同时发布了两种变体。至于 OpenAI、Anthropic 或 Google 的闭源模型，由于它们不公开架构，无法确定。GPT-4 是 MoE 的说法流传很广，但 OpenAI 从未证实过。
有一个重要的细节：MoE 节省计算，但不节省内存。所有专家都必须加载，因为任何词元都可能需要其中任何一个。DeepSeek-V4-Pro 计算每个词时相当于一个约 500 亿参数的模型，但占用的内存相当于它全部的 1.6 万亿参数。我们在关于本地推理的文章中有更详细的解释。
混合专家不是一条新的缩放定律，而是价格的变化。过去，参数多十倍意味着每生成一个词要多付大约十倍的成本。有了 MoE，模型存储知识的容量和每个词的计算量不再总是绑在一起。
2024 年：在回答时投入算力
到这里为止，所有杠杆都作用于训练。模型训练完成后，对每个词元投入的努力大致相同，不管问它的是法国首都，还是一道奥赛题。下一个杠杆是让它在需要的问题上投入更多算力。
第一步几乎只是一个写法上的技巧。2022 年 1 月，Google 的一个团队发表了关于思维链的研究：如果在请求中加入逐步求解的示例，模型也会在给出答案前写出中间步骤，而且正确率更高。
请求中包含一道带解题步骤的例题：Roger 有 5 个网球，又买了 2 罐网球，每罐 3 个。“他一开始有 5 个。2 罐每罐 3 个，共 6 个。5 + 6 = 11。答案是 11。”
“食堂原有 23 个苹果。如果用掉 20 个做午饭，又买了 6 个，现在有多少个苹果？”
如果例题只给出最终答案：模型回答 27。
如果例题给出步骤：“原有 23 个，用掉 20 个，所以剩下 3 个。又买了 6 个：3 + 6 = 9。答案是 9。”
正确答案：9。写出中间结果，给了模型一个可以依靠的落脚点；没有它，模型试图一步跳到答案，结果出错。
来源：Wei 等（2022）的图 1，经翻译。模型为 Google 的 PaLM，参数量为 5400 亿。
在小学数学题集 GSM8K 上，这一改变让 PaLM 的正确率从 17.9 % 提高到 56.9 %。但这种效果只出现在参数约 1000 亿的大模型上；在小模型中，写出步骤没有帮助，甚至会让结果变差。思维链本身就是规模带来的一种效应。
如果写出一些步骤有帮助，那写得更多会不会更有帮助？或者多次尝试同一个问题，再保留最好的答案？2024 年 8 月，来自 Google 和伯克利的 Snell 等研究人员比较了两种花费相同算力的方式：用更大的模型，或者让小模型思考更久。在小模型有时已经能解决的问题上，思考更久可以胜过一个大 14 倍的模型。在更难的问题上则不行：那里仍然需要更好的模型。
一个月后，2024 年 9 月 12 日，OpenAI 发布了 o1，这是第一个被设计成先思考一段时间再回答的商用模型。它的公告附有两张被广泛引用的图。在两张图中，一项数学考试的正确率都稳定上升：一张是给训练更多算力时，另一张是允许它在每个回答上思考更长时间时。这与 2020 年那条定律的形状相同，只是应用在了一条新的轴上。这次跃升的具体数字见关于 S 形曲线的文章。
在 2026 年，这条轴已经成为产品上的又一个调节旋钮。GPT-6 Astra 提供多个努力程度档位，而像大型 Qwen3.8 这样的开放模型也包含一个“推理强度”设置，可以根据所需的深度和成本，选择少想、正常思考或多想。在 Astra 的公告中，Lovable 的首席技术官解释说，更高的努力程度可以带来更多迭代，以及更多借助浏览器测试进行的检查。
2022 年以前，模型的质量在训练结束时就已确定。现在，其中一部分在每个问题上决定，取决于允许它花费多少算力。每个回答的成本不再固定，而是变成一个决策：一个简单的问题不值得像代码审计那样投入。
2025 年：用可以验证的东西训练
模型写出更多步骤，并不能保证它想得更好：它可能原地打转、毫无进展。o1 能够利用这段时间，是因为它经过了强化学习训练来做到这一点。问题也就出现在这里。在 RLHF 中，打分的是一个模仿人类喜好的奖励模型，而它是一个不完美的裁判。如果针对它训练得太久，模型就会学会讨好它，而不是把任务做好，就像一个学生为了阅卷人而不是为了这门课而学习。所以这个阶段一直保持得很短。
出路是用可以自动批改的问题来训练，就像附有标准答案的考试：有已知答案的数学题，或者必须通过一组测试的代码。在这些问题上，分数是可靠的，训练可以持续得久得多。
2025 年 1 月，DeepSeek 公布了它如何用 DeepSeek-R1 做到这一点。它的第一个版本 R1-Zero 只靠这类分数学习，没有任何由人撰写的推理示例。值得注意的是训练过程中发生的事情：它的回答自己变长了，推理从数百个词元增加到数千个。没人要求它多想；它学会这样做，是因为多想能让它答对更多。作者甚至记录下一个中间版本打断自己的时刻：它说出“等等，等等。等等。这是一个我可以标记出来的顿悟时刻”，然后重新审视自己的思路。
此外，这种强化学习也能扩展。OpenAI 在 2025 年 4 月发布 o3 时表示，它同样遵循预训练中的那条规律：算力越多，表现越好。2025 年 7 月，xAI 称它“以预训练的规模”用强化学习训练了 Grok 4，所用的可验证问题涵盖的领域远不止数学和编程。与 2022 年相比，变化一目了然：InstructGPT 在这一阶段投入的算力不到预训练的 2 %；三年后，一些实验室投入的算力已与预训练相当。
还缺一次严谨的测量。2025 年 10 月，来自 Meta 和多所大学的团队发表了第一项系统性研究，探讨强化学习如何扩展，使用了超过 40 万 GPU 小时。改进遵循一条规则的曲线，规则到足以用小规模训练预测一次大规模训练的结果。但它与 2020 年的定律有一个区别：这条曲线最终会趋平。每种训练方法都有自己的上限，许多调整只改变到达上限的速度，而不改变上限的高度。
借助 RLHF，模型学会给出讨人喜欢的回答。借助可验证的奖励，它学会解决那些答案可以检验的问题。稀缺资源也随之转移：不再只是可供阅读的文本，还有那些有可靠方法判断是否解对的问题。
2025 年：从能调用工具到知道何时使用
单靠语言模型本身，它算长运算会出错，不知道训练之后发生了什么，也无法在对话之外采取行动。工具解决了这三个问题。2023 年 2 月，Meta 发布了 Toolformer，这个模型学会了在文本中插入对计算器、搜索引擎或翻译器的调用。2023 年 6 月，OpenAI 在其 API 中加入了函数调用：开发者描述可用的工具，模型则以结构化请求的形式回应，要求使用它们。
那只是一个接口。模型可以请求某个工具，却还没有学会在长任务中判断何时值得这样做，也没有学会根据工具返回的结果改变计划。变化来自工具与强化学习的结合。在 o3 和 o4-mini 的公告中，OpenAI 解释说，它通过强化学习训练这些模型使用工具，教会它们“不仅是如何使用工具，还要推理何时使用它们”。公告本身就举了一个例子来说明这意味着什么。
“今年夏天加州的能源消耗与去年相比会怎样？”
为了回答，模型会在网上搜索公开的能耗数据，编写 Python 代码构建预测，生成一张图表，并解释支撑这一预测的因素。如果一次搜索没有找到所需内容，它可以再搜一次。
变化在哪里：没人告诉它该用哪个工具、按什么顺序使用。选择工具并把它们串联起来，是模型学到的能力的一部分。
来源：o3 和 o4-mini 发布公告中描述的例子，2025 年 4 月 16 日。
工具之所以与上一个杠杆契合，有一个实际的原因：它们也可以用来验证。一个能运行自己所写代码的模型，在交付前就知道代码能不能用。在同一份公告中，o4-mini 在可以使用 Python 解释器的情况下，解出了 2025 年 AIME 考试 99.5 % 的题目。OpenAI 提醒，这个数字不应与不使用工具的模型相比较，但它说明了模型如何利用手头的资源。
在 2026 年，各次发布所强调的测试不再问模型会不会用计算器，而是问它能不能操作一台电脑。GPT-6 Astra 在 OSWorld 2.0（一项在操作系统中完成真实任务的测试）上取得了 72.6 % 的成绩，每项任务平均用时约 40 分钟。环境，无论是电脑、浏览器还是代码仓库，已经成为模型懂得加以利用的一部分。我们在关于基准测试历史的文章中讲述了各次发布是如何走到衡量这类工作的。
在实验室里：不写出来的思考
到目前为止我们看到的各种思考方式都有一个共同点：模型通过写来推理。每个中间步骤都会变成词元，而每个词元都需要计算、需要付费。此外还有一个不那么明显的缺点。在内部，模型用成千上万个数值表示每一步，这些数值可以同时包含多种可能性。一旦选定一个词，它就只保留一种，舍弃其余。
由此产生了一条被称为潜在空间推理的研究路线。潜在空间就是模型在选择每个词之前所使用的那种由数值构成的内部语言。这个想法是让模型在那里思考，而不经过文本。
最知名的方案沿着两条路径展开：
- 把思考传回去。 在 Meta 于 2024 年 12 月提出的 Coconut 中，模型不写出下一步，而是把自己的内部状态当作下一个输入传给自己。这样它就能同时保留多条路径，就像在迷宫里同时探索几条通道；在需要规划的逻辑问题上，它的表现超过了思维链。
- 在内部多转几圈。 模型不写更多文字，而是根据需要多次重复同一组层：它在深度上思考，而不是在长度上思考。Geiping 等研究人员的原型发布于 2025 年 2 月，只有 35 亿参数，在推理测试上的表现不断提升，直到所花的算力相当于一个 500 亿参数的模型。2025 年 10 月，循环模型 Ouro 把这个想法带入了预训练：参数为 14 亿和 26 亿的模型，表现分别相当于 40 亿和 80 亿参数的模型。据作者称，这不是因为它们知道得更多，而是因为它们更善于运用已有的知识。
截至 2026 年 10 月，它们仍是研究模型，与前沿模型相比规模很小。没有任何实验室证实其顶尖模型以这种方式推理，不过它们也不公开架构。因此它没有出现在开头的图中：它是一个候选杠杆，而不是一个已经确立的杠杆。
它的主要障碍并不是技术问题。书面的思维链如今是监控模型行为的最佳窗口之一，因为它能让人发现模型何时在考虑违反规则。2025 年 7 月，来自 OpenAI、Google DeepMind、Anthropic 和其他机构的研究人员发表了一份联合文件，将其描述为 AI 安全的一个“新的、脆弱的机会”，并呼吁各实验室考虑其设计决策会如何影响这扇窗口。同年 12 月，OpenAI 发布的评估表明，监控思维链比只监控行为和结果有效得多。
即便不需要新架构，这扇窗口也已经在变窄。一项 2026 年 7 月的研究发现，13 个先进模型在写出毫无意义的填充词元时，在合成推理任务上的成绩最多提高了 13 个百分点：一部分计算发生了，却没有留下可读的痕迹。在 GPT-6 Astra 的公告中，OpenAI 也承认，在要求模型规避监督的测试中，它的书面推理比前代模型更难监控，部分原因是它用更少的书面步骤解决问题。
不写出来的思考，将是另一种在回答时投入算力的方式，而且每一步可能更便宜。代价是关上这扇窗口。它能否成为一个杠杆，取决于它的表现，也取决于各实验室以及监管它们的人是否接受这种交换。
规模化已经到头了吗？
走完这段历程，可以回到开头的问题了。认为规模化正在走到尽头的人有充分的理由：
- 每增加十倍都要花更多的钱和能源，而数据中心需要数年才能建成。
- 人类撰写的文本是有限的。
- GPT-4.5 表明，仅靠扩大预训练，已经无法在最受关注的任务上带来明显的跃升。
- 强化学习的定律有上限，而且强化学习主要在有自动方式检验结果的地方奏效。
这些都是事实，但每一条描述的都是某个具体杠杆的极限，而不是整体的极限。当预训练变得昂贵时，回答时的算力和强化学习接过了接力棒。
此外，各个杠杆相互支撑。DeepSeek-R1 的作者尝试直接对一个 320 亿参数的模型应用强化学习，效果却不如教它模仿大模型的推理。他们的结论是，要走得更远，需要更强的基础模型和更多的强化学习：强化学习利用的是预训练打下的基础。GPT-6 Astra 符合这种解读。它是对第一个杠杆的回归，但建立在所有其他杠杆之上：OpenAI 规模最大的预训练，随后是强化学习、工具和努力程度档位。
还有一条适用于本文所有定律的提醒。它们是观察结果，而不是保证。它们衡量的是损失或某项测试的分数，而不是在真实工作中的有用程度，而且可能会毫无预兆地失效，就像 Kaplan 关于数据的建议不再成立一样。
与其看大小，不如看这些
多年来，参数数量一直是比较模型的捷径。如今，单看它已经说明不了多少。一个模型可以有 2.8 万亿参数，而每个词只用 1040 亿；它读过的数据可以是 2022 年一条规则所建议的 75 倍；它在高努力程度下的价值，可以远远高于低努力程度下。有用的问题不再是一个模型长大了多少，而是扩展了什么，以及如何验证。
这个问题对在实际流程中使用这些模型的人有实际影响。质量在一定程度上已经变成每项任务的决策：每一步值得投入多少努力、多少时间、每个回答多少成本。而模型会在结果可以验证的地方更早进步。在一个组织里，已经有自动检查的流程，例如软件测试、对账或数据校验，会是智能体最先能够可靠工作的地方。构建这些检查，在很大程度上与实验室训练模型时所做的是同一种工作。
这段历史中的每个杠杆，都曾有过看似终极方案的时刻。没有一个是终极方案，也没有一个消失。
来源
- OpenAI：GPT-6 Astra，2026 年 9 月 3 日
- Fortune：OpenAI launches GPT-6 Astra，2026 年 9 月 3 日
- Cointelegraph：Ilya Sutskever 在 NeurIPS 上的演讲，2024 年 12 月
- TechCrunch：OpenAI 将从其 API 中下线 GPT-4.5，2025 年 4 月 14 日
- Kaplan 等：Scaling Laws for Neural Language Models，2020 年 1 月
- Brown 等：Language Models are Few-Shot Learners (GPT-3)，2020 年 5 月
- Epoch AI：Training compute of frontier AI models grows by 4-5x per year
- Our World in Data：Computation used to train notable AI systems
- Hoffmann 等：Training Compute-Optimal Large Language Models (Chinchilla)，2022 年 3 月
- Meta：Introducing Meta Llama 3，2024 年 4 月
- Villalobos 等：Will we run out of data?，Epoch AI
- OpenAI：Aligning language models to follow instructions，2022 年 1 月 27 日
- Ouyang 等：Training language models to follow instructions with human feedback，2022 年 3 月
- Shazeer 等：Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer，2017 年
- Mistral AI：Mixtral of experts，2023 年 12 月 11 日
- Jiang 等：Mixtral of Experts，2024 年 1 月
- DeepSeek-AI：DeepSeek-V3 Technical Report，2024 年 12 月
- Meta：The Llama 4 herd，2025 年 4 月 5 日
- Z.ai：GLM-5，2026 年 2 月
- Qwen：Qwen3.5-397B-A17B，2026 年 2 月
- Google：Gemma 4 31B，2026 年 4 月
- DeepSeek-AI：DeepSeek-V4-Pro，2026 年 4 月
- Moonshot AI：Kimi K3，2026 年 7 月
- Qwen：Qwen3.8-27B，2026 年 8 月
- Qwen：Qwen3.8-2.4T-A95B，2026 年 8 月
- Wei 等：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models，2022 年 1 月
- Snell 等：Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters，2024 年 8 月
- OpenAI：Learning to reason with LLMs，2024 年 9 月 12 日
- DeepSeek-AI：DeepSeek-R1，2025 年 1 月
- OpenAI：Introducing OpenAI o3 and o4-mini，2025 年 4 月 16 日
- xAI：Grok 4，2025 年 7 月
- Khatri 等：The Art of Scaling Reinforcement Learning Compute for LLMs，2025 年 10 月
- Schick 等：Toolformer，2023 年 2 月
- OpenAI：Function calling and other API updates，2023 年 6 月 13 日
- Hao 等：Training Large Language Models to Reason in a Continuous Latent Space (Coconut)，2024 年 12 月
- Geiping 等：Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach，2025 年 2 月
- Zhu 等：Scaling Latent Reasoning via Looped Language Models (Ouro)，2025 年 10 月
- Korbak 等：Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety，2025 年 7 月
- OpenAI：Evaluating chain-of-thought monitorability，2025 年 12 月 18 日
- Baherwani、Goldstein 和 Panda：Not All LLM Reasoning is Visible in the Chain-of-Thought，2026 年 7 月
