2019 年 2 月，OpenAI 发布 GPT-2，展示的能力之一是阅读一段故事，并推断结尾缺失的单词。如今，这看起来只是一项小任务。当时，它却能帮助研究一种基础能力：模型是否在跟随文本中的情节，而不只是把经常一起出现的词串起来？
2026 年 9 月，Grok 4.7 的发布公告通过设计电路、识别合同法律风险、分析医疗案例等测试比较模型。理解指令只是这些任务的一部分：模型还必须将知识用于具体案例，并满足相应要求。公告所表达的期待，已经接近把专业人员的一部分工作交给模型。
在这两个时间点之间，变化的不仅是模型，还有我们认为怎样才算展示了模型的能力。实验室通过发布公告让这种变化显现出来：选择共同的测试，也就是基准测试，公布结果，再与其他系统比较。分数告诉我们模型取得了什么结果；重点展示哪类测试，则告诉我们开始对模型抱有什么期待。
从最初的 GPT 模型回顾这段历程，可以看清这种变化：每次进步如何让我们有理由提出更有挑战性的任务，并寻找新的方法，验证模型能否完成。
2018–2020：它能跟上自己读到的内容吗？
从 2018 年开始的早期 GPT 模型，会接受回答文本相关问题、判断两句话是否矛盾等任务的评估。对于从大量语言材料中学习的系统，正确完成这些练习，有助于检验学到的东西能否用于理解给它阅读的文本。
2019 年 2 月发布 GPT-2 时，重点展示的测试之一是 LAMBADA。它收集了一些需要补全最后一个单词的段落。难点在于，只看紧挨着空缺的前几个词并不够，必须利用故事的上下文。
Julia 告诉一名男子，她已经对准他的朋友完成了对焦，他只需要按下快门。
“他点点头，扔掉香烟，拿起了___。”
预期答案：相机。根据上下文，可以推断他拿起的是什么。英语原文中的词是 camera.
“拿起了……”后面可以接很多东西。要得出“相机”，就需要把快门、即将被拍照的朋友，以及在人与人之间传递的物品联系起来。一个单词的答案，就能帮助检验模型是否能关联散布在文本中的细节。
这正是这个问题的价值。这样的正确回答让人有理由认为，学习续写文本可能产生比通顺句子更有用的能力：跟随情境，并回答相关问题。测试提供了模型在具体任务中具备理解能力的迹象，但它本身不能解决机器“理解”究竟意味着什么。
GPT-2 在 LAMBADA 上的正确率为 63.24 %。2020 年 5 月，GPT-3 在回答前获得几个已解示例时，正确率达到 86.4 %。测试条件不同，而这种帮助本身就是新意的一部分：可以直接在请求中放入例子，让模型知道希望它做什么，而无需针对每种任务重新训练。
从 GPT-2 到 GPT-3，LAMBADA 依然要求填出缺失的词，在我们的例子里就是“相机”。同时改变的是测试的呈现方式：GPT-3 会收到任务示范。除了联系故事线索，人们还想验证另一种能力：在没有专门训练的情况下，从几个例子中领会所要求的任务。这让我们有理由尝试其他任务，比如编写代码。
2021–2023：它能运用已有知识吗？
2021 年，OpenAI 推出了最初的 Codex，这是一组根据指令生成代码的模型。需要将其与如今的 Codex 区分开：OpenAI 把这个名字重新用于其基于智能体的编程产品，可以把软件项目中的任务交给它。
当时 Codex 的技术报告 引入了 HumanEval：164 道练习，每道描述一种操作，要求模型编写实现该操作的函数。函数是一段接收输入数据并产生结果的代码。评估会用不同的数据运行它，以检验它是否完成了要求。
编写一个函数，接收一组数字和一个最大距离，判断是否存在两个数字，其差值小于这个距离。
例如，给定列表 [1.0, 2.0, 3.0]，距离为 0.5，是否存在满足条件的一对数字？
不存在：函数应返回 False.列表中任意两个数字的最小差值为 1。任务是编写也能处理其他情况的代码，而不只是回答这个例子。
每道题只尝试一次时，Codex 能解决 28.8 % 的练习。局限很大，但它打开的期待也很大：用文字描述操作，就能得到完成操作的代码。
与 LAMBADA 相比，变化体现在预期的回答上。LAMBADA 只需要根据故事推断“相机”；HumanEval 则要求构造一个在执行时能处理不同情况的函数。它测试的是把指令转化为正确过程的能力。任务范围仍然很窄：模型被明确告知要编写什么。
2023 年 3 月 14 日，GPT-4 的发布 把比较带到了更多人熟悉的领域。根据 OpenAI 的介绍，它通过了模拟的美国律师资格考试，成绩大约位于考生前 10 %，而 GPT-3.5 的成绩约在后 10 %。
把这项考试作为重点成绩，意味着采用了不同的参照：用评估一个人专业准备程度的问题来评估模型。它的技术报告 也包含 MMLU，这是一套涵盖 57 个学科的选择题。GPT-4 的正确率为 86.4 %。其中一道题如下：
哪项政策最符合供给侧财政政策？
预期答案：C。财政政策使用税收和公共支出。这里问的是促进生产的措施：减轻研究活动的税负，可以促进新技术开发。
同一个模型还能回答经济、历史、物理、医学或法律问题。人们希望展示的是足够广泛的知识，使它可以被视为多个领域中有准备的交流对象。
与 LAMBADA 对照，就能看到变化：补全“相机”所需的线索就在故事中；回答 MMLU 的问题，却需要运用题干没有解释的经济学知识。理解文本之外，又增加了运用多学科知识的要求。GPT-4 的好成绩因此引出了下一个问题：如果掌握学科知识只是解决问题的第一步，它还能走多远？
2023–2024：问题变复杂后会怎样？
2023 年 12 月，Google 发布 Gemini Ultra，重点展示了 MMLU 上 90 % 的正确率。公告称，它超过了这项测试中的人类专家参照分数。系统会生成多个推理过程，再选择答案：成绩也取决于模型被允许以什么方式完成考试。
2024 年 3 月，Claude 3 再次在知识、编程和数学方面与 GPT-4、Gemini 比较。共同测试使厂商之间的差异可见，但也开始给后续发布带来一个问题：某些测试已经没有多少提升空间。
Claude 3 Opus 在小学数学应用题集合 GSM8K 上的正确率为 95 %。下面是一道例题：
Janet 的鸭子每天产 16 个蛋。她早餐吃 3 个，做松饼用 4 个，剩下的以每个 2 美元出售。
她每天收入多少？
预期答案：18 美元。 (16 − 3 − 4) × 2 = 18。难点在于按步骤计算，同时不忘记自己正在计算什么。
来源：GSM8K 测试集中的第一道题，经过简写。
解题需要理解情境并串联几步运算。但正确率达到 95 % 后，下一代模型已经很难在这项测试中体现差异。几乎掌握所有此类练习，并不能说明模型面对不那么常规的问题时能走多远。要弄清这一点，就得换问题。
2024 年 9 月发布 o1 时，这一点尤其明显。OpenAI 将其介绍为经过训练、会在回答前投入更多计算来形成解法的模型。重点测试包括 AIME——美国数学奥林匹克选拔流程中的数学竞赛考试，以及包含物理、化学和生物专业问题的 GPQA。
人们期待模型能持续进行更复杂的推理：找到处理问题的方法，逐步抵达解答，即使仅仅识别概念或串联简单计算已经不够。在 AIME 上，OpenAI 把此前的 GPT-4o、刚发布的预览版 o1-preview，以及仍在开发中的 o1 进行了比较。每题尝试一次时，它们的正确率如下：
范围为 0 至 100 %。数据来自OpenAI 公告附录 A，每个模型均使用该评估为其配置的最大计算量。公告发布时可用的版本是 o1-preview。
上一代模型在绝大多数这些问题上失败；而在研究条件下，o1 答对了接近四分之三。寻找高难度问题的过程，将继续推动评估靠近解题与开展数学研究之间的边界。
从 GSM8K 到 AIME，具体改变的是推理难度：从串联 Janet 鸭蛋题中的计算，变成寻找竞赛问题的解题路径。人们想测量的是，当所需操作不那么明显时，模型能够在多大程度上构造解法。不过，我们仍然是给它一道题、等待一个答案。下一步则是要求它操作文件和应用程序，以取得结果。
2024–2025：不逐步指示，它能自己推进吗？
2024 年 10 月 22 日，就在 o1 发布几周后，Anthropic 推出了新版 Claude 3.5 Sonnet。编程方面的重点成绩之一，是解决了 SWE-bench Verified 中 49.0 % 的任务。这个测试从真实软件项目的错误报告和修改请求出发：向系统提供问题描述及项目文件，要求它提交修复。
一份错误报告指出，Web 开发工具 Django 会接受以换行符结尾的用户名，尽管它应该拒绝这种情况。
需要找到验证用户名的代码，并修改它，使其拒绝这种输入。
参考解法只修改两行代码。虽然改动很小，找到修改位置却需要在项目文件中摸清方向。评估会检查错误是否修复，以及其他被测试的行为是否继续正常工作。
来源：SWE-bench Verified，测试集第 31 行，以及OpenAI 于 2026 年 2 月 23 日发布的审查.
这个例子重新触及 Codex 在 2021 年提出的愿景，但改变了交给系统的工作量。HumanEval 描述的是一个具体函数；这里则要求模型先找出错误在哪、要修改什么，再编写解决方案。两行代码可能是一项任务的终点，而此前需要更多搜索、阅读和检查。
为此，模型需要能查看文件、编辑文件和运行测试的工具。外围程序把每次操作的结果返回给模型，让它决定如何继续。这种组合就是我们所说的智能体。评估开始衡量系统能否通过一连串操作推进任务。
同一份 Sonnet 公告还展示了通过截图、点击和键盘输入使用电脑。在 OSWorld 这项应用程序内任务测试中，它以这种方式正确完成了 14.9 % 的任务；允许更多步骤后，达到 22.0 %。它仍经常失败。新意在于展示目标：在软件中完成任务，而不只是解释怎么做。
2025 年 11 月，Google 在 Gemini 3 发布时重点展示 了一项更强调持续性的测试：Vending-Bench 2。任务不再结束于修复一个错误，而是要在模拟环境中维持一家企业的运转。
模型必须经营一家模拟企业：采购库存、与供应商打交道、决定售价，并在一个模拟年中维持运营。
评估业务结束时剩下多少钱。要取得好结果，就必须在整个模拟期间协调采购、销售和补货。每个决策都会影响后续决策的可能选择。
来源：Andon Labs 的 Vending-Bench 2，曾在Gemini 3 发布介绍中重点展示。这一年是在模拟中度过的。
SWE-bench Verified 在提交修复后结束；Vending-Bench 2 则要求在一个模拟年中持续决策。一次库存采购会影响销量和后续补货。在借助工具完成任务之外，又增加了维持目标、记住已发生的情况、随时间调整决策的能力。这就是新测试试图在模拟环境中衡量的自主性提升。
12 月，GPT-5.2 把 GDPval 放在结果表的开头，这项评估涵盖 44 种职业的工作任务。它把模型制作的演示文稿、电子表格和文档，与人类完成同一任务的成果进行比较。根据 OpenAI 的说法，GPT-5.2 Thinking 的成果在 70.9 % 的比较中被认为更好或同样好。这个数字包括这些任务中的胜出与平局，并不衡量某种职业有多大比例可以被替代。
到 2025 年底，基准测试已经同时扩大了任务范围和评价方式。HumanEval 要求一个函数，并通过执行测试验证它；SWE-bench 增加了理解项目和修复项目的要求；GDPval 比较文档及其他成果与人类工作的质量。人们寻找的能力，是承担更多步骤并产出符合任务要求的结果。Grok 4.7 的公告则让我们可以根据工程和法律的具体标准检视这种期待。
2026：它能完成专业人员的工作任务吗？
2023 年，展示 GPT-4 的律师考试成绩，是在邀请人们把它与学过法律的人比较。三年后，2026 年 9 月 21 日发布的 Grok 4.7 公告 中，一项测试要求模型分析企业收购文件，并编写法律风险报告。这种比较已接近律师在办公桌上收到的实际工作。
同一公告还包含电气工程、临床推理、编程和办公室工作测试。将它们汇集在一次模型介绍中，意味着把模型看作可执行不同职业任务的候选者。表格每行对应一项测试，各列比较模型在该测试中的成绩。
| 测试 | Grok 4.7 xHigh | Grok 4.6 High | GPT-5.6 Sol Max | Fable 5.1 Max |
|---|---|---|---|---|
| 编程 CursorBench 4.0 | 46.3 % | 40.4 % | 41.7 % | 51.8 % |
| 编程 DeepSWE v1.1 | 71.0 %* | 65.2 % | 72.7 % | 70.0 % |
| 电气工程 EEBench | 64.0 % | 53.0 % | 39.4 % | 56.4 % |
| 办公室工作 AA-Briefcase v1.1 | 1657 | 1546 | 1487 | 1678 |
| 终端操作 Terminal-Bench 4.0 | 37.6 % | 20.3 % | 37.3 % | 57.9 % |
| 法律工作 Harvey Legal Agent | 19.6 % | 15.8 % | 2.5 % | 6.7 % |
| 临床推理 HealthBench Professional | 56.7 % | 48.5 % | 60.5 % | 62.1 % |
由 atopile 创建的工程测试 EEBench，展示了这种变化的含义。它的一项任务如下：
电表需要在停电后继续运行 20 毫秒，以保存读数。任务是选择能够储存能量的元件——电容器，让电表在这段短暂时间内继续工作。
模型提交一个描述电路的文件。评估通过仿真检查电路运行情况，并对满足要求的程度及元件成本评分。测试不会制造实体电路。
根据EEBench 方法说明简化的例子。示意图展示的是任务目标，而非电路解决方案。
答案的评价依据，是电路在失去供电后会怎样工作。电容器知识的价值，在于能否帮助满足这个要求。测试要求从解释原理，走向把原理用于可验证的设计。
Harvey 的法律评估将这一要求用于合同审查：
一位买家正在考虑收购虚构公司 Crestview Software Solutions。智能体收到八份相关合同，它们与其他文档混在一起。
它需要报告收购的法律风险，以及如何应对。
如果公司更换所有者，一项许可将失去独占性。买家可能指望获得某项独占使用权，但这项权利在收购后会变为非独占。报告必须找到这一条款，并解释后果。
GPT-4 的考试检查法律知识。这项任务则要求从文档中找到条款，把它与收购联系起来，并提出行动建议。只有满足所有强制标准，报告才会被判定为通过。xAI 为 Grok 4.7 公布的 19.6 %，表示有多少任务达到了这一门槛：专业要求构成了测试的一部分，尽管模型在很多任务上仍然失败。
与 GPT-4 考试相比，变化体现在什么才算成功。MMLU 检查模型是否选出正确答案；EEBench 检查电路是否让电表运行足够长的时间；Harvey 检查报告是否发现风险并满足审查标准。阅读、知识和决策必须结合成一个可验证的结果。测试想衡量的是，在满足要求的前提下，系统能够完成一项专业任务的多少部分。
我们的期待，以及尚待证明的能力
把这些发布放在一起看，就能发现我们赋予模型的角色如何扩大。最初检查它是否跟得上故事；接着问它掌握了什么知识，提出更困难的问题；随后给它工具和需要组织多个步骤的工作。每一次进步，都让我们有理由尝试更有挑战性的任务。
这并不意味着理解、知识或推理已经成为彻底攻克的阶段。各类测试仍然共存，错误也依然存在。厂商选择的一张表格，同样不能证明模型能够接管一种职业。但它能够表明，厂商认为哪种能力值得尝试向公众展示。
LAMBADA 中缺失的那个词，让研究者考察模型是否能联系故事中的线索。企业收购报告则提出另一种问题：它能否把这种理解与知识、工具结合起来，发现会影响决策的问题？任务变了，我们判断回答的标准也变了。
因此，历史也藏在我们选择用来介绍每一代模型的问题中。我们逐渐敢于要求模型承担更多工作。分数需要告诉我们，模型满足了多少这种期待；单凭发布公告，并不能把期待变成可靠的能力。
来源
- OpenAI：最初的 GPT，2018 年 6 月 与 GPT-2，2019 年 2 月。早期任务和理解能力结果表。
- Paperno 等：LAMBADA 与 Brown 等：GPT-3，2020 年。相机例子和指令中的任务示范。
- OpenAI：Codex，2021 年 8 月 与 Chen 等：Codex 和 HumanEval 报告。函数生成与验证。
- OpenAI：GPT-4 发布介绍，2023 年 3 月 与技术报告。考试、MMLU 和 HumanEval。
- Hendrycks 等：MMLU 与 Cobbe 等：GSM8K。2023 年和 2024 年表格中的测试任务。
- Google：Gemini，2023 年 12 月 与 Anthropic：Claude 3，2024 年 3 月。基于共同测试的比较。
- OpenAI：o1，2024 年 9 月。部分测试的饱和与 AIME 结果；图表使用附录 A 的数据。
- Anthropic：新版 Claude 3.5 Sonnet 与电脑操作，2024 年 10 月。SWE-bench Verified 和 OSWorld。
- Jimenez 等：SWE-bench 与 SWE-bench Verified 数据集。从孤立函数到真实项目问题。
- Google：Gemini 3，2025 年 11 月、Andon Labs：Vending-Bench 2 与 OpenAI：GPT-5.2，2025 年 12 月。智能体、长期任务和专业工作。
- xAI：Grok 4.7，2026 年 9 月、atopile：EEBench 方法说明 与 Harvey：Legal Agent Benchmark。最新表格及其中的工程、法律例子。
