为什么 AI 在某些任务上似乎突然变强

深色背景上三条错开的 S 形曲线,代表在不同时间上升的 AI 能力。生成图像。

2026 年 9 月 22 日,Anthropic 发布了 Claude Opus 5.5。根据公告,它在大多数工作中的表现与 Claude Fable 5.1 相当,运行成本比 Opus 5 低 40 %。两天后,以 DotCSV 为名的西班牙科普作者 Carlos Santana 发布了一段视频,却几乎没有在这些数字上停留。他关心的是另一件事:在过去两个月里,语言模型在视听创作上实现了一次飞跃。动画、动态图形、3D 场景或像素画,都是通过编写代码完成的,而不是借助生成视频的模型。

为了解释这一点,他画了一条 S 形曲线(sigmoid):开始时进展缓慢,在一小段时间里迅速攀升,最后几乎趋平。他的观点是,每一类任务都会在不同的时间走完自己的那条 S 形曲线。他把语言能力的陡峭阶段放在 GPT-3 时期,把编程的陡峭阶段放在 2025 年到 2026 年初,而视听创作的陡峭阶段就在最近几周。

DotCSV Lab,2026 年 9 月 24 日,西班牙语。视频从 3:12 开始,他在这里讲解 S 形曲线的想法。在 YouTube 上观看。

这个观察与我们很多人的亲身体验相符。真正有意思的是它为什么会发生。构建模型的要素增长得相当平稳:每年都有更多算力、更多数据和更好的方法。那么,一项任务为什么会在短短几个月里,从“几乎从不成功”变成“几乎总能成功”?原因不止一个,至少有四个。值得把它们分开来看,因为每一个都有助于预判下一次跳跃可能出现在哪里。

能力持续增长;每项任务以自己的曲线作出回应

首先要区分两件我们常常混为一谈的事:模型的总体能力,以及它在某项具体任务上的结果。

Epoch AI 是一家用数据追踪 AI 发展的机构,它的能力指数正是建立在这一区分之上。它假设每个模型都有一个无法直接观察的总体水平,而每项测试都会通过自己的 S 形曲线把这个水平转换成分数。低于某个水平时,模型几乎答不对;高于这个水平时,几乎全都答对。不同测试之间有两点不同:上升发生在什么水平,这取决于测试的难度;以及上升有多陡。Epoch 解释说,当曲线非常陡峭时,“多一点点智能就能带来很大差别”,测试也会很快饱和。

0 %50 %100 %模型的总体能力 →已解决的任务简单任务中等任务困难任务某个模型
示意图,并非真实数据。总体能力从左向右提升,每项任务都通过自己的 S 形曲线把它转换为成功率。同一个模型(虚线位置)几乎总能完成简单任务,在中等任务上正处于上升阶段,而在困难任务上才刚刚起步。

这样看,一次跳跃并不需要模型发生本质变化。只要一项增长相当平稳的能力到达某项任务的上升段就够了。对关注这项任务的人来说,变化显得很突然;对关注总体能力的人来说,这只是既有趋势中的又一步。

过去十年的测试用数据展示了这一点。在下面的图表中,每条线代表一种用各自测试衡量的能力:识别手写字、图像或语音,回答阅读理解问题,或理解语言。−100 对应该测试记录到的第一个 AI 结果,0 对应人类参考水平。

数据来自 Kiela 等人,经 Our World in Data 少量处理,覆盖 1998 年至 2023 年。较新的测试达到人类水平所需的时间比早期测试短得多。

手写识别用了大约二十年才达到人类水平。而 2016 年至 2018 年间设立的阅读理解和语言理解测试,大约两年就达到了。每种能力都有自己的上升阶段,而且越新的能力走完这一阶段越快。这张图解释了现象的形状,但还没有回答:为什么有些曲线如此陡峭?

第一个原因:长任务是一串步骤

很多任务不是一个决定,而是许多决定串联在一起。如果一个错误就足以毁掉结果,那么顺利完成的概率就是每一步的可靠性自乘步骤数那么多次。

小小的变化会带来巨大的差别。如果每一步的正确率是 90 %,一个 10 步的任务成功率为 35 %,一个 50 步的任务只有 0.5 %。如果每一步的正确率是 99 %,同样的任务成功率分别为 90 % 和 61 %。每一步的可靠性提高九个百分点,长任务的成功率就会提高一百多倍。

0 %50 %100 %每一步的可靠性无错误完成的任务80 %85 %90 %95 %100 %1 步10 步50 步
简化计算:各步骤相互独立,一个错误就足以导致失败。一步任务呈直线提升;五十步任务则一直接近零,直到每一步都变得非常可靠时才陡然上升。

这种简化夸大了效应:好的系统能发现并纠正一些错误,相当于减少了可能毁掉结果的步骤数。但这个机制确实存在,而且已经被测量过。评估模型的机构 METR 收集了从编程到机器学习研究的各类软件任务,测量人类专家完成它们所需的时间,并考察每个模型在一半情况下能完成多长的任务。对同一个模型来说,任务越长,成功率越低,而且再次沿着一条 S 形曲线下降。

根据 METR 在 2026 年 1 月发布的更新,这个时长在 2019 年至 2025 年间大约每六个半月翻一番,自 2024 年以来大约每三个月翻一番。METR 自己也提醒,这一估计取决于其任务集包含哪些任务。如果这个时间跨度稳定增长,那么一项固定长度的任务会在某个具体时刻被跨越:多年来几乎从不成功,然后在很短时间内变得几乎总能成功。

用代码制作的动画是串联任务的一个极端例子。几十个元素、节奏、转场和镜头运动必须同时配合好。一个物体跑出画面,或一次剪辑时机不对,就足以让结果无法使用。可以合理预期,这类任务在其各个环节还不够可靠时会一直接近零,而一旦各环节变得可靠,就会迅速上升。这是根据机制作出的推断,并不是针对动画测得的结果。

第二个原因:我们用“及格或不及格”来评判

2022 年,来自 Google 和其他机构的团队描述了所谓的涌现能力:在某些任务上,小型和中型模型的表现与随机猜测无异,而超过一定规模后,准确率突然飙升。这些看起来像是之前任何趋势都无法预见的质变。

第二年,Schaeffer、Miranda 和 Koyejo 提出了另一种解读。其中许多测试只接受完全正确的答案。例如,把两个四位数相加,结果的每一位都必须正确。如果模型在每一位上逐渐进步,完整答案会一直是错的,直到所有位都正确,这时结果才会突然跳升。这与步骤链的效应相同。当他们用渐进式指标重新评估同样的答案,也就是衡量答案与正确答案有多接近时,许多这样的跳升就变得平滑了。

这场争论尚无定论。另一些研究,例如 Du 等人 2024 年的工作,认为有些能力是在模型训练中跨过真实阈值时出现的,而不仅仅是因为用“及格或不及格”来衡量。就我们的问题而言,一个结论就足够了:测量方式可以把渐进的改进变成表面上的跳跃。

而用户几乎总是这样衡量的。我们不会按正确帧的比例来评价一段动画,而是问自己能不能用。即使质量在一点点提高,我们感受到的却是它开始变得有用的那一天。

第三个原因:实验室训练它们能够验证的东西

对模型的投入在稳定增长。Epoch AI 估计,2010 年至 2024 年间,训练前沿模型所用的算力每年增长四到五倍。每年真正变化的,是这些投入被引向哪些任务。

2024 年 9 月 12 日,OpenAI 发布了 o1,这是一个通过大规模强化学习训练、在回答前先进行推理的模型。强化学习的意思是让模型尝试解决问题,并强化那些成功的尝试。在 2024 年的 AIME 考试中(这是美国用来选拔最优秀高中生的数学竞赛),GPT-4o 平均解出 12 % 的题目,而 o1 每题只尝试一次就解出了 74 %。

要强化成功的做法,就必须知道它是否成功。2025 年 1 月,DeepSeek 公布了 DeepSeek-R1 的训练方式:数学题由一条规则检查最终答案是否正确,编程题则由编译器用测试用例运行代码。在这次训练中,它的第一个版本在同一项 AIME 考试上的成绩从 15.6 % 提高到 71 %。

编程同时满足推动这种投入的两个条件。结果可以自动验证,因为测试要么通过、要么失败。而且需求旺盛:根据 2026 年 3 月的 Anthropic 经济指数,编程仍然是 Claude 最常见的用途,计算机和数学类职业的任务占 Claude.ai 对话的 35 %。

编程的 S 形曲线可以用数据看到。SWE-bench 收集了来自 Python 开源项目的真实缺陷:模型拿到代码仓库和问题描述,必须修改代码,使项目开发者编写的测试通过。在我们关于基准测试历史的文章中,我们展示过其中一项任务。

0 %50 %100 %已解决的问题202420252026Claude 2 · 1.96 %*GPT-4o · 33.2 %Claude 3.5 Sonnet · 49 %Claude 3.7 Sonnet · 63.7 %Claude Opus 4.5 · 80.9 %OpenAI 弃用
各时间点公开的最佳水平。*Claude 2 的 1.96 % 对应 2023 年 10 月的原版 SWE-bench,共 2,294 项任务。其余各点对应 SWE-bench Verified,即经人工审核的 500 项任务;Claude 3.7 Sonnet 的结果是在其中 489 项上测得的。各次评估使用的工具不同,因此这条线显示的是趋势,而不是模型之间的精确比较。来源:OpenAI,以及 Claude 3.5 Sonnet、Claude 3.7 Sonnet 和 Claude Opus 4.5 的发布公告。

2023 年 10 月,接受评估的最佳模型每一百个问题解决不到两个。两年内,公开的最佳结果超过了 80 %。最早的编程测试要求根据精确描述写出一个简短函数;而这里,模型必须在别人的项目中找到缺陷,理解其代码,并在不破坏任何东西的前提下修改它。这一进步恰好发生在实验室开始用可自动验证的任务进行训练,并为模型提供作为智能体工作的工具的那几年:打开文件、运行测试、再次尝试。

第四个原因:有些能力由其他能力组成

用代码进行视听创作并不是单一技能。它需要写出能运行的代码,并在长任务中不迷失方向。它还需要看到代码生成了什么并加以判断:节奏是否合适,构图是否清晰,有没有哪里不协调。这就是我们通常所说的品味或判断力。

复合能力取决于它最薄弱的环节。只要其中一部分落后,整体就会继续失败,即便其他部分早已在进步。当最后一部分达到所需水平时,整体看起来就像是一下子出现了。

我们的假设是,视听创作正处在这个节点上。编程和长任务处理早已走完了各自 S 形曲线的大部分。最近几个月似乎有所提升的是视觉部分:判断生成的内容,并利用这种判断去修正它。如果一个模型能够渲染一个场景、查看结果并修复不对的地方,那么步骤链就不会在第一个错误处断掉。

这是一个假设,但它已不再只靠零散的轶事。在关于 Opus 5.5 的技术说明中,Anthropic 把更精确地读取图表、示意图和屏幕截图列为相对 Opus 5 的变化,尤其是密集的图表和元素位置很重要的图像。在其公告中,图表读取从 83.4% 提高到 89.0%。同一份公告还提到一位测试者让几个 Claude 模型根据一条提示制作游戏,Opus 5.5 在图形和完成度上得分最高。其余的都是科普作者和用户的演示,就像我们在关于 AI 爆红测试的文章中收集的那些:很有启发,但没有统一的方法。

不过,模型看得更清楚,并不能证明这就是跃升的原因。至少还有另外三种说得通的解释,而且很可能每一种都起了一些作用。Anthropic 把 Opus 5.5 定位为专为长任务打造的模型,而一段动画是由数百个步骤组成的链条:每一步只要更可靠一点,单凭这一点就足以让整条链开始完整地跑通。一部分进步发生在不看结果的情况下:在用 SVG 画鹈鹕的测试中,模型一次画完、看不到结果,但这些画多年来仍在不断变好。品味也可以训练:如果实验室给模型生成内容的视觉完成度打分,模型的判断力就会提高,即使它的视觉没有变化。

如果这个假设成立,它也能解释为什么这条 S 形曲线比编程的来得晚。代码有测试,要么通过、要么失败;品味没有。实验室可以用模型来评估结果,或者用书面标准来打分,但这种检验不如测试可靠。难以验证的东西,训练起来也更慢。

平坦段并不总是终点

S 形曲线的最后一段与上升段同样值得关注。当一条曲线趋平时,发生的可能并不是能力停止提升。

有时,极限在于测试本身。2026 年 2 月 23 日,OpenAI 不再使用 SWE-bench Verified。最佳成绩在六个月里仅从 74.9 % 提高到 80.9 %。在审查模型没能解决的问题时,OpenAI 发现,在接受审计的问题中,至少 59.4 % 的测试存在缺陷,会拒绝正确的解法。此外,前沿模型能够凭记忆复现一些解法。这段平台期有一部分衡量的是测试的缺陷,而不是能力的极限。

有时,极限在于我们的感知。语言方面已经是这样:模型的写作能力仍在提高,但几乎没人再去问新模型的文字表达进步了多少。进步仍在继续;耗尽的是我们在对话中察觉这些进步的能力。

最重要的是,一条 S 形曲线的终点往往是另一条的起点。动画在演示中成功是一回事,在没人逐帧检查的流程中每次都成功是另一回事。从 80 % 提高到 99 %,看单个例子时几乎察觉不到,却决定了某样东西能否成为每天重复的工作的一部分。这又是步骤链的问题:一个五十步的流程,可靠性为 80 % 时几乎从不成功;可靠性为 99 % 时,十次中能成功六次。

预判下一次跳跃时该看什么

S 形曲线的思路无法给跳跃定下日期,但能帮助我们提出更好的问题。与其问 AI 什么时候能胜任某项任务,不如关注四件事:

  • 任务由多少步骤组成,每一步有多可靠。 长任务落后的时间更长,之后上升得也更快。
  • 如何判断任务是否成功。 如果按“及格或不及格”来评判,改进会一下子显现出来。
  • 结果能否自动验证。 能够验证的东西就能大规模训练,投入也会首先流向那里。
  • 缺的是哪一块。 在复合能力中,最薄弱的部分决定跳跃发生的时刻。

视听创作正在发生的事情符合这一模式:一项长任务,以能否使用来评判,建立在已经可靠的能力之上,唯独缺少“眼睛”。下一批 S 形曲线很可能出现在具备这种组合的任务中。而每当其中一条到达平坦段,在真实工作中使用 AI 时最重要的问题就会开始:不是它能不能做到,而是它能不能每次都做好。

用 Opus 5.5 通过代码制作的动画,出自开头引用的视频,从 6:36 开始。作者在视频中介绍了制作方法。在 YouTube 上观看。

来源

返回博客