Warum KI bei manchen Aufgaben plötzlich besser zu werden scheint

Drei versetzte S-Kurven auf dunklem Hintergrund stehen für KI-Fähigkeiten, die zu unterschiedlichen Zeitpunkten ansteigen. Generiertes Bild.

Am 22. September 2026 stellte Anthropic Claude Opus 5.5 vor. Laut der Ankündigung arbeitet das Modell bei den meisten Aufgaben auf dem Niveau von Claude Fable 5.1 und kostet im Betrieb 40 % weniger als Opus 5. Zwei Tage später veröffentlichte Carlos Santana, der spanische Wissenschaftskommunikator, der als DotCSV bekannt ist, ein Video, das sich mit diesen Zahlen kaum aufhielt. Ihn interessierte etwas anderes: In den vorangegangenen zwei Monaten hatten Sprachmodelle einen Sprung bei der audiovisuellen Gestaltung gemacht. Animationen, Motion Graphics, 3D-Szenen oder Pixel Art, erstellt durch das Schreiben von Code, ohne ein Modell, das Videos erzeugt.

Zur Erklärung zeichnete er eine Sigmoidkurve: eine S-förmige Kurve, die langsam beginnt, auf einem kurzen Abschnitt sehr schnell ansteigt und fast flach endet. Seine Idee ist, dass jede Art von Aufgabe ihr eigenes S zu einem anderen Zeitpunkt durchläuft. Den steilen Abschnitt der Sprache verortet er in der Zeit von GPT-3, den der Programmierung zwischen 2025 und Anfang 2026 und den der audiovisuellen Gestaltung in den letzten Wochen.

DotCSV Lab, 24. September 2026, auf Spanisch. Das Video beginnt bei 3:12, wo er die Idee der Sigmoidkurven erklärt. Auf YouTube ansehen.

Die Beobachtung deckt sich mit dem, was viele von uns erlebt haben. Interessant ist, warum das passiert. Die Zutaten, aus denen Modelle gebaut werden, wachsen recht gleichmäßig: mehr Rechenleistung, mehr Daten und jedes Jahr bessere Methoden. Woher kommt dann ein Abschnitt, in dem eine Aufgabe innerhalb weniger Monate von „klappt fast nie“ zu „klappt fast immer“ wechselt? Es gibt nicht die eine Ursache. Es gibt mindestens vier, und es lohnt sich, sie zu trennen, weil jede hilft abzuschätzen, wo der nächste Sprung liegen könnte.

Die Fähigkeit wächst kontinuierlich; jede Aufgabe reagiert mit ihrer eigenen Kurve

Zuerst müssen wir zwei Dinge unterscheiden, die wir oft gleich nennen: die allgemeine Fähigkeit eines Modells und sein Ergebnis bei einer bestimmten Aufgabe.

Epoch AI, eine Organisation, die die Entwicklung der KI mit Daten verfolgt, baut ihren Fähigkeitsindex auf dieser Unterscheidung auf. Sie nimmt an, dass jedes Modell ein allgemeines Niveau hat, das sich nicht direkt beobachten lässt, und dass jeder Test es über ein eigenes S in eine Punktzahl übersetzt. Unterhalb eines bestimmten Niveaus löst das Modell fast nichts; darüber fast alles. Von Test zu Test ändern sich zwei Dinge: auf welchem Niveau der Anstieg liegt, was von der Schwierigkeit abhängt, und wie steil er ist. Wenn die Kurve sehr steil ist, erklärt Epoch, „bringt ein wenig mehr Intelligenz sehr viel“, und der Test ist schnell gesättigt.

0 %50 %100 %allgemeine Fähigkeit des Modells →gelöste AufgabenLeichtMittelSchwerein Modell
Schematische Darstellung, keine echten Daten. Die allgemeine Fähigkeit nimmt von links nach rechts zu, und jede Aufgabe übersetzt sie mit ihrem eigenen S in Erfolge. Ein und dasselbe Modell, auf der gestrichelten Linie, löst die leichte Aufgabe fast immer, ist bei der mittleren mitten im Anstieg und fängt bei der schweren gerade erst an.

So betrachtet verlangt ein Sprung nicht, dass sich das Modell grundlegend verändert. Es genügt, dass eine recht gleichmäßig wachsende Fähigkeit den Anstiegsabschnitt einer Aufgabe erreicht. Wer diese Aufgabe verfolgt, erlebt die Veränderung als plötzlich. Wer die allgemeine Fähigkeit betrachtet, sieht einen weiteren Schritt in einem Trend, den es schon gab.

Die Tests des letzten Jahrzehnts zeigen das mit Daten. In der folgenden Grafik ist jede Linie eine Fähigkeit, die mit eigenen Tests gemessen wird: Handschrift, Bilder oder Sprache erkennen, Fragen zum Leseverständnis beantworten oder Sprache verstehen. Der Wert −100 entspricht dem ersten für diesen Test erfassten KI-Ergebnis, 0 dem menschlichen Referenzniveau.

Daten von Kiela et al., mit geringfügiger Bearbeitung durch Our World in Data. Zeitraum 1998 bis 2023. Die neueren Tests erreichen das menschliche Niveau in viel kürzerer Zeit als die älteren.

Bei der Handschrifterkennung dauerte es rund zwanzig Jahre, bis das menschliche Niveau erreicht war. Die Tests zu Leseverständnis und Sprachverständnis, die zwischen 2016 und 2018 entstanden, erreichten es in etwa zwei Jahren. Jede Fähigkeit hat ihren eigenen Anstieg, und die neueren durchlaufen ihn immer schneller. Die Grafik erklärt die Form des Phänomens. Offen bleibt, warum manche Kurven so steil sind.

Erste Ursache: Eine lange Aufgabe ist eine Kette von Schritten

Viele Aufgaben bestehen nicht aus einer einzigen Entscheidung, sondern aus vielen aneinandergereihten. Wenn ein Fehler genügt, um das Ergebnis zu verderben, ist die Wahrscheinlichkeit, gut ans Ziel zu kommen, die Zuverlässigkeit jedes Schritts, so oft mit sich selbst multipliziert, wie es Schritte gibt.

Kleine Änderungen haben große Wirkung. Bei 90 % Trefferquote pro Schritt gelingt eine Aufgabe mit 10 Schritten in 35 % der Fälle, eine mit 50 Schritten in 0,5 %. Bei 99 % pro Schritt gelingen dieselben Aufgaben in 90 % und 61 % der Fälle. Neun Punkte mehr Zuverlässigkeit pro Schritt vervielfachen den Erfolg der langen Aufgabe um mehr als das Hundertfache.

0 %50 %100 %Zuverlässigkeit jedes Schrittsfehlerfrei erledigte Aufgaben80 %85 %90 %95 %100 %1 Schritt10 Schritte50 Schritte
Vereinfachte Rechnung: Die Schritte sind unabhängig, und ein einziger Fehler genügt zum Scheitern. Die Aufgabe mit einem Schritt verbessert sich geradlinig. Die mit fünfzig bleibt nahe null und schießt nach oben, wenn jeder Schritt sehr zuverlässig wird.

Die Vereinfachung übertreibt den Effekt: Ein gutes System erkennt manche Fehler und korrigiert sie, was einer geringeren Zahl von Schritten entspricht, die das Ergebnis ruinieren können. Aber der Mechanismus existiert und wurde gemessen. METR, eine Organisation, die Modelle evaluiert, sammelt Softwareaufgaben vom Programmieren bis zur Forschung im maschinellen Lernen, misst, wie lange Fachleute für ihre Lösung brauchen, und prüft, welche Aufgabendauer jedes Modell in der Hälfte der Fälle bewältigt. Für ein bestimmtes Modell sinkt der Erfolg mit zunehmender Aufgabenlänge, und zwar wieder entlang einer S-Kurve.

Laut der Aktualisierung, die METR im Januar 2026 veröffentlichte, verdoppelte sich diese Dauer zwischen 2019 und 2025 etwa alle sechseinhalb Monate und seit 2024 etwa alle drei Monate. METR selbst weist darauf hin, dass die Schätzung davon abhängt, welche Aufgaben die Sammlung enthält. Wächst der Horizont gleichmäßig, überschreitet eine Aufgabe fester Länge ihn zu einem bestimmten Zeitpunkt: Jahrelang gelingt sie fast nie, und innerhalb kurzer Zeit fast immer.

Eine mit Code erstellte Animation ist ein Extremfall einer verketteten Aufgabe. Dutzende Elemente, Timings, Übergänge und Kamerabewegungen müssen gleichzeitig zusammenpassen. Ein Objekt, das aus dem Bild rutscht, oder ein Schnitt zur falschen Zeit reichen, damit das Ergebnis unbrauchbar ist. Es ist plausibel, dass eine solche Aufgabe nahe null bleibt, solange ihre Teile nicht sehr zuverlässig sind, und schnell ansteigt, sobald sie es sind. Das ist eine Folgerung aus dem Mechanismus, kein für Animationen gemessenes Ergebnis.

Zweite Ursache: Wir urteilen nach bestanden oder nicht bestanden

Im Jahr 2022 beschrieb ein Team von Google und weiteren Einrichtungen emergente Fähigkeiten: Aufgaben, bei denen kleine und mittlere Modelle nur zufällig richtig lagen und die Trefferquote ab einer bestimmten Größe in die Höhe schoss. Sie wirkten wie qualitative Sprünge, die kein früherer Trend vorhersagte.

Ein Jahr später schlugen Schaeffer, Miranda und Koyejo eine andere Deutung vor. Viele dieser Tests akzeptierten nur die exakte Antwort. Um zwei vierstellige Zahlen zu addieren, mussten zum Beispiel alle Ziffern des Ergebnisses stimmen. Wenn sich das Modell bei jeder Ziffer nach und nach verbessert, bleibt die vollständige Antwort falsch, bis alle stimmen, und dann springt das Ergebnis nach oben. Es ist derselbe Effekt wie bei der Kette von Schritten. Als sie dieselben Antworten mit graduellen Maßen bewerteten, die messen, wie nah die Antwort an der richtigen liegt, wurden viele dieser Anstiege sanft.

Die Debatte ist nicht abgeschlossen. Andere Arbeiten, etwa die von Du und Koautoren aus dem Jahr 2024, vertreten die Ansicht, dass manche Fähigkeiten auftreten, wenn das Modell im Training eine echte Schwelle überschreitet, und nicht nur, weil nach bestanden oder nicht bestanden gemessen wird. Für unsere Frage genügt eine Schlussfolgerung: Die Art der Messung kann eine allmähliche Verbesserung in einen scheinbaren Sprung verwandeln.

Und Nutzerinnen und Nutzer messen fast immer so. Eine Animation bewerten wir nicht nach dem Anteil korrekter Einzelbilder, sondern danach, ob wir sie verwenden können. Auch wenn die Qualität nach und nach steigt, erleben wir den Tag, an dem sie brauchbar wird.

Dritte Ursache: Labore trainieren, was sie überprüfen können

Was in Modelle investiert wird, wächst gleichmäßig. Epoch AI schätzt, dass sich die Rechenleistung für das Training der Spitzenmodelle zwischen 2010 und 2024 jedes Jahr vervierfacht bis verfünffacht hat. Was sich von Jahr zu Jahr ändert, ist, auf welche Aufgaben sich der Aufwand richtet.

Am 12. September 2024 stellte OpenAI o1 vor, ein Modell, das mit groß angelegtem bestärkendem Lernen trainiert wurde, um vor der Antwort nachzudenken. Beim bestärkenden Lernen versucht das Modell, Probleme zu lösen, und die erfolgreichen Versuche werden verstärkt. Bei den AIME-Prüfungen 2024, einem Mathematiktest zur Auswahl der besten Schülerinnen und Schüler in den USA, löste GPT-4o im Schnitt 12 % der Aufgaben; o1 74 % mit einem einzigen Versuch pro Aufgabe.

Um zu verstärken, was gelingt, muss man wissen, ob es gelungen ist. Im Januar 2025 veröffentlichte DeepSeek, wie es DeepSeek-R1 trainiert hatte: Bei Mathematikaufgaben prüfte eine Regel, ob die Endantwort stimmte; bei Programmieraufgaben führte ein Compiler den Code mit Testfällen aus. Während dieses Trainings stieg die erste Version im selben AIME-Test von 15,6 % auf 71 %.

Das Programmieren erfüllt beide Bedingungen, die einen solchen Aufwand begünstigen. Das Ergebnis lässt sich automatisch überprüfen, weil Tests bestanden werden oder nicht. Und es gibt Nachfrage: Laut dem Anthropic Economic Index vom März 2026 ist das Programmieren weiterhin die häufigste Nutzung von Claude, und Aufgaben aus Informatik- und Mathematikberufen machen 35 % der Unterhaltungen auf Claude.ai aus.

Das S des Programmierens lässt sich mit Daten zeigen. SWE-bench sammelt echte Fehler aus Open-Source-Projekten in Python: Das Modell erhält das Repository und die Problembeschreibung und muss den Code so ändern, dass die von den Entwicklern geschriebenen Tests bestanden werden. In unserem Artikel über die Geschichte der Benchmarks zeigen wir eine dieser Aufgaben.

0 %50 %100 %gelöste Probleme202420252026Claude 2 · 1,96 %*GPT-4o · 33,2 %Claude 3.5 Sonnet · 49 %Claude 3.7 Sonnet · 63,7 %Claude Opus 4.5 · 80,9 %OpenAI gibt ihn auf
Ergebnisse, die zum jeweiligen Zeitpunkt das beste veröffentlichte Niveau markierten. *Die 1,96 % von Claude 2 beziehen sich auf das ursprüngliche SWE-bench vom Oktober 2023 mit 2.294 Aufgaben. Die übrigen Punkte beziehen sich auf SWE-bench Verified, 500 von Menschen geprüfte Aufgaben; der Wert von Claude 3.7 Sonnet wurde auf 489 davon gemessen. Die Werkzeuge der einzelnen Evaluationen unterscheiden sich, daher zeigt die Linie einen Trend, keinen exakten Vergleich zwischen Modellen. Quellen: OpenAI und die Ankündigungen von Claude 3.5 Sonnet, Claude 3.7 Sonnet und Claude Opus 4.5.

Im Oktober 2023 löste das beste evaluierte Modell weniger als zwei von hundert Problemen. Innerhalb von zwei Jahren überschritt das beste veröffentlichte Ergebnis 80 %. Die ersten Programmiertests verlangten, eine kurze Funktion nach einer genauen Beschreibung zu schreiben. Hier muss das Modell den Fehler in einem fremden Projekt finden, dessen Code verstehen und ihn ändern, ohne etwas kaputtzumachen. Der Fortschritt fällt in die Jahre, in denen die Labore begannen, mit automatisch überprüfbaren Aufgaben zu trainieren und den Modellen Werkzeuge zu geben, um als Agenten zu arbeiten: Dateien öffnen, Tests ausführen und es erneut versuchen.

Vierte Ursache: Manche Fähigkeiten bestehen aus anderen

Audiovisuelle Gestaltung mit Code ist keine einzelne Fähigkeit. Sie erfordert, funktionierenden Code zu schreiben und eine lange Aufgabe durchzuhalten, ohne den Faden zu verlieren. Sie erfordert auch, zu sehen, was dieser Code erzeugt hat, und es zu beurteilen: ob der Rhythmus stimmt, ob die Komposition lesbar ist, ob etwas aus dem Rahmen fällt. Das nennen wir gewöhnlich Geschmack oder Urteilsvermögen.

Eine zusammengesetzte Fähigkeit hängt von ihrem schwächsten Glied ab. Solange einer ihrer Teile zurückbleibt, scheitert das Ganze weiter, auch wenn sich die anderen schon lange verbessern. Wenn der letzte das nötige Niveau erreicht, scheint das Ganze auf einen Schlag aufzutauchen.

Unsere Hypothese ist, dass die audiovisuelle Gestaltung an diesem Punkt steht. Programmieren und die Arbeit an langen Aufgaben hatten bereits einen guten Teil ihres S durchlaufen. Was sich in den letzten Monaten verbessert zu haben scheint, ist der visuelle Teil: das Erzeugte zu beurteilen und dieses Urteil zur Korrektur zu nutzen. Wenn ein Modell eine Szene rendern, das Ergebnis betrachten und reparieren kann, was nicht funktioniert, reißt die Kette von Schritten nicht mehr beim ersten Fehler.

Es ist eine Hypothese, aber sie stützt sich nicht mehr nur auf Anekdoten. In seinen technischen Hinweisen zu Opus 5.5 nennt Anthropic als Neuerung gegenüber Opus 5 ein genaueres Lesen von Diagrammen, Grafiken und Screenshots, vor allem von dichten Diagrammen und Bildern, bei denen es auf die Position jedes Elements ankommt. In der Ankündigung steigt das Lesen von Diagrammen von 83,4 % auf 89,0 %. Dieselbe Ankündigung zitiert einen Tester, der mehrere Claude-Modelle ein Spiel aus einer einzigen Anfrage bauen ließ: Opus 5.5 schnitt bei Grafik und Feinschliff am besten ab. Der Rest sind Demonstrationen von Wissenschaftskommunikatoren und Nutzern, wie wir sie in unserem Artikel über virale KI-Tests gesammelt haben: sehr aufschlussreich, aber ohne gemeinsame Methode.

Dass ein Modell besser sieht, beweist nicht, dass dies den Sprung verursacht hat. Es gibt mindestens drei weitere passende Erklärungen, und vermutlich spielen alle eine Rolle. Anthropic stellt Opus 5.5 als Modell für lange Aufgaben vor, und eine Animation ist eine Kette aus Hunderten von Schritten: Etwas mehr Zuverlässigkeit bei jedem Schritt reicht für sich allein, damit die Kette als Ganzes gelingt. Ein Teil der Verbesserung geschieht ohne Hinsehen: Beim SVG-Pelikan-Test zeichnet das Modell in einem Zug, ohne das Ergebnis zu sehen, und trotzdem werden die Zeichnungen seit Jahren besser. Und auch Geschmack lässt sich trainieren: Wenn ein Labor den visuellen Feinschliff dessen bewertet, was seine Modelle erzeugen, verbessert sich ihr Urteil, auch wenn ihr Sehvermögen gleich bleibt.

Trifft die Hypothese zu, würde sie auch erklären, warum dieses S später kommt als das des Programmierens. Code hat Tests, die bestanden werden oder nicht; Geschmack nicht. Labore können Modelle einsetzen, die das Ergebnis bewerten, oder schriftliche Kriterien zur Bewertung nutzen, aber diese Prüfung ist weniger zuverlässig als ein Test. Was sich nicht leicht überprüfen lässt, wird langsamer trainiert.

Der flache Teil ist nicht immer das Ende

Der letzte Teil des S verdient dieselbe Aufmerksamkeit wie der Anstieg. Wenn eine Kurve abflacht, kann etwas anderes passieren, als dass sich die Fähigkeit nicht mehr verbessert.

Manchmal liegt die Grenze im Test. Am 23. Februar 2026 hörte OpenAI auf, SWE-bench Verified zu verwenden. Das beste Ergebnis war in sechs Monaten nur von 74,9 % auf 80,9 % gestiegen. Bei der Prüfung der Probleme, die die Modelle nicht lösten, stellte OpenAI fest, dass mindestens 59,4 % der geprüften Aufgaben fehlerhafte Tests hatten, die korrekte Lösungen ablehnten. Außerdem konnten Spitzenmodelle einige Lösungen aus dem Gedächtnis wiedergeben. Ein Teil des Plateaus maß die Mängel des Tests, nicht die Grenze der Fähigkeit.

Manchmal liegt die Grenze in unserer Wahrnehmung. Bei der Sprache ist das schon so: Die Modelle werden beim Schreiben weiter besser, aber kaum jemand fragt noch, wie sehr sich ein neues Modell beim Formulieren verbessert hat. Die Verbesserungen gehen weiter; was sich erschöpft, ist unsere Fähigkeit, sie in einem Gespräch zu bemerken.

Und vor allem ist das Ende eines S oft der Anfang eines anderen. Dass eine Animation in einer Demo gelingt, ist eine Sache; dass sie immer gelingt, in einem Prozess, in dem niemand jedes Bild prüft, eine andere. Der Schritt von 80 % auf 99 % fällt beim Betrachten eines Beispiels kaum auf, entscheidet aber, ob etwas Teil einer täglich wiederholten Arbeit sein kann. Es ist wieder die Kette von Schritten: Ein Prozess mit fünfzig Schritten und 80 % Zuverlässigkeit gelingt fast nie; mit 99 % gelingt er sechs von zehn Malen.

Worauf man achten sollte, um den nächsten Sprung vorherzusehen

Die Idee der Sigmoidkurven erlaubt es nicht, die Sprünge zu datieren, aber sie hilft, bessere Fragen zu stellen. Statt zu fragen, wann KI eine Aufgabe beherrschen wird, lohnt es sich, auf vier Dinge zu achten:

  • Aus wie vielen Schritten die Aufgabe besteht und wie zuverlässig jeder einzelne ist. Lange Aufgaben bleiben länger zurück und steigen dann schneller an.
  • Wie entschieden wird, ob etwas gelungen ist. Wird nach bestanden oder nicht bestanden geurteilt, macht sich die Verbesserung schlagartig bemerkbar.
  • Ob sich das Ergebnis automatisch überprüfen lässt. Was sich überprüfen lässt, kann in großem Maßstab trainiert werden, und dorthin wird sich der Aufwand zuerst richten.
  • Welches Teil fehlt. Bei einer zusammengesetzten Fähigkeit bestimmt der schwächste Teil den Zeitpunkt des Sprungs.

Was bei der audiovisuellen Gestaltung passiert, passt zu diesem Muster: eine lange Aufgabe, die danach beurteilt wird, ob sie brauchbar ist, aufgebaut auf bereits zuverlässigen Fähigkeiten, der der Blick fehlte. Die nächsten S-Kurven werden wahrscheinlich bei Aufgaben mit dieser Kombination auftreten. Und jedes Mal, wenn eine davon ihren flachen Teil erreicht, beginnt die Frage, die beim Einsatz von KI in echter Arbeit am meisten zählt: nicht, ob sie es kann, sondern ob sie es immer gut macht.

Mit Opus 5.5 per Code erstellte Animationen im eingangs zitierten Video, ab 6:36. Der Autor erklärt dort, wie er sie vorbereitet hat. Auf YouTube ansehen.

Quellen

Zurück zum Blog