Im Februar 2019 stellte OpenAI GPT-2 vor und zeigte dabei unter anderem, ob es eine Geschichte lesen und das fehlende letzte Wort erschließen konnte. Heute wirkt das wie eine kleine Aufgabe. Damals diente sie dazu, eine grundlegende Fähigkeit zu untersuchen: Folgte das Modell dem Geschehen im Text, statt lediglich Wörter aneinanderzureihen, die oft gemeinsam vorkommen?
Im September 2026 vergleicht die Ankündigung von Grok 4.7 Modelle anhand von Tests, die elektrische Schaltungen, das Erkennen rechtlicher Vertragsrisiken und Überlegungen zu medizinischen Fällen verlangen. Die Anweisungen zu verstehen, ist nur ein Teil dieser Aufgaben: Man muss Wissen auf einen Fall anwenden und dessen Anforderungen erfüllen. Die darin formulierte Erwartung nähert sich der Vorstellung, einen Teil der Arbeit einer Fachkraft zu delegieren.
Zwischen diesen Zeitpunkten ändern sich die Modelle, aber auch das, was wir als Nachweis ihrer Fähigkeiten betrachten. Labore machen das bei ihren Modellvorstellungen sichtbar: Sie wählen gemeinsame Tests — die Benchmarks —, veröffentlichen Ergebnisse und vergleichen sie mit anderen Systemen. Die Punktzahl sagt, welches Ergebnis ein Modell erzielt. Die Art des hervorgehobenen Tests zeigt, was wir allmählich von ihm erwarten.
Der Rückblick bis zu den ersten GPT-Modellen macht diese Veränderung nachvollziehbar: wie Fortschritte Anlass gaben, anspruchsvollere Aufgaben zu stellen und neue Wege zu suchen, ihre Bewältigung zu überprüfen.
2018–2020: Folgt es dem, was es liest?
Die ersten GPT-Modelle ab 2018 wurden etwa daran gemessen, ob sie Fragen zu einem Text beantworten oder Widersprüche zwischen zwei Sätzen erkennen konnten. Bei einem System, das aus großen Sprachmengen lernte, ließ sich mit solchen Aufgaben prüfen, ob das Gelernte beim Interpretieren eines vorgelegten Textes half.
Bei der Vorstellung von GPT-2 im Februar 2019 gehörte LAMBADA zu den hervorgehobenen Tests. Die Sammlung enthielt Textpassagen, deren letztes Wort ergänzt werden musste. Die Schwierigkeit: Ein Blick auf die unmittelbar vorhergehenden Wörter reichte nicht aus. Man musste den Kontext der Geschichte nutzen.
Julia erklärt einem Mann, dass sie seinen Freund bereits scharf gestellt hat und er nur noch auf den Auslöser drücken muss.
„Er nickte, warf seine Zigarette weg und nahm die ___.“
Erwartete Antwort: Kamera. Aus dem Kontext lässt sich erschließen, welchen Gegenstand er nimmt. Im englischen Original lautet das Wort camera.
Nach „nahm die …“ kommen viele Dinge infrage. Für „Kamera“ muss man den Auslöser, den Freund, der fotografiert werden soll, und den Gegenstand verbinden, der den Besitzer wechselt. Mit einer Antwort aus nur einem Wort ließ sich prüfen, ob das Modell über den Text verteilte Hinweise zusammenführte.
Darin lag der Wert der Frage. Solche richtigen Antworten gaben Anlass zu der Vermutung, dass das Erlernen der Textfortsetzung mehr hervorbringen konnte als plausible Sätze: die Fähigkeit, Situationen zu verfolgen und Fragen dazu zu beantworten. Der Test lieferte ein Indiz für Verständnis bei einer konkreten Aufgabe, ohne allein zu klären, was „Verstehen“ bei einer Maschine bedeutet.
GPT-2 löste 63,24 % der LAMBADA-Aufgaben richtig. Im Mai 2020 erreichte GPT-3 86,4 %, wenn es vor der Antwort einige gelöste Beispiele erhielt. Die Bedingungen waren unterschiedlich, und diese Hilfe gehörte zur Neuerung: Beispiele direkt in der Anfrage konnten dem Modell zeigen, welche Aufgabe gewünscht war, ohne es für jede Tätigkeit erneut zu trainieren.
Zwischen GPT-2 und GPT-3 verlangte LAMBADA weiterhin das fehlende Wort: in unserem Beispiel „Kamera“. Geändert hatte sich auch die Darbietung des Tests: GPT-3 bekam Beispiele für das gewünschte Vorgehen. Neben dem Verknüpfen der Hinweise in der Geschichte wurde eine weitere Fähigkeit geprüft: aus einigen Beispielen zu erfassen, welche Aufgabe gestellt wird, ohne spezifisches Training. Das gab Anlass, andere Aufträge auszuprobieren, etwa das Schreiben von Code.
2021–2023: Kann es sein Wissen anwenden?
2021 stellte OpenAI den ursprünglichen Codex vor, eine Modellfamilie, die aus Anweisungen Code erzeugte. Davon zu unterscheiden ist der heutige Codex: OpenAI verwendet den Namen erneut für sein Programmierprodukt mit Agenten, denen sich Aufgaben in Softwareprojekten übertragen lassen.
Der technische Bericht zu jenem Codex führte HumanEval ein: 164 Aufgaben, die eine Operation beschrieben, für die das Modell eine Funktion schreiben sollte. Eine Funktion ist ein Stück Code, das Daten entgegennimmt und ein Ergebnis erzeugt. Zur Bewertung wurde sie mit unterschiedlichen Eingaben ausgeführt, um zu prüfen, ob sie die geforderte Operation erledigte.
Schreibe eine Funktion, die eine Zahlenliste und einen maximalen Abstand erhält. Sie soll angeben, ob sich zwei Zahlen um weniger als diesen Abstand unterscheiden.
Zum Beispiel: Gibt es für die Liste [1.0, 2.0, 3.0] und einen Abstand von 0.5 ein Zahlenpaar, das die Bedingung erfüllt?
Nein: Der Rückgabewert der Funktion lautet False. Der kleinste Abstand zwischen zwei Zahlen dieser Liste beträgt 1. Gefordert ist Code, der auch andere Fälle löst, nicht nur eine Antwort auf dieses Beispiel.
Mit einem Versuch pro Problem löste Codex 28,8 % der Aufgaben. Das war eine erhebliche Einschränkung, doch auch die eröffnete Erwartung war beträchtlich: eine Operation in Worten beschreiben und Code erhalten, der sie ausführt.
Die Veränderung gegenüber LAMBADA zeigte sich an der erwarteten Antwort. Dort genügte es, aus der Geschichte „Kamera“ abzuleiten; HumanEval verlangte eine Funktion, die bei der Ausführung verschiedene Fälle löste. Geprüft wurde die Fähigkeit, eine Anweisung in ein korrektes Verfahren zu übersetzen. Der Auftrag blieb eng begrenzt: Es wurde genau vorgegeben, was zu programmieren war.
Am 14. März 2023 brachte die Vorstellung von GPT-4 den Vergleich auf ein Gebiet, das erheblich mehr Menschen einordnen konnten. Laut OpenAI hatte das Modell eine simulierte US-amerikanische Anwaltszulassungsprüfung mit einem Ergebnis ungefähr unter den besten 10 % bestanden. GPT-3.5 lag etwa unter den schlechtesten 10 %.
Diese Prüfung hervorzuheben, setzte einen anderen Maßstab: Das Modell wurde mit Fragen bewertet, mit denen wir die fachliche Vorbereitung eines Menschen einschätzen. Sein technischer Bericht enthielt auch MMLU, eine Sammlung von Multiple-Choice-Fragen aus 57 Fächern. GPT-4 beantwortete 86,4 % richtig. Eine Frage lautete:
Welche Maßnahme beschreibt am besten eine angebotsorientierte Fiskalpolitik?
Erwartete Antwort: C. Fiskalpolitik nutzt Steuern und Staatsausgaben. Hier ist eine produktionsfördernde Maßnahme gefragt: Steuererleichterungen für Forschung können die Entwicklung neuer Technologien begünstigen.
Quelle: MMLU, Makroökonomie der Oberstufe, Entwicklungsdatensatz, Zeile 4.
Dasselbe Modell beantwortete Fragen zu Wirtschaft, Geschichte, Physik, Medizin und Recht. Gezeigt werden sollte eine Wissensbreite, aufgrund derer man es in vielen Bereichen als sachkundigen Gesprächspartner behandeln könnte.
Der Vergleich mit LAMBADA verdeutlicht die Veränderung: Die Hinweise auf „Kamera“ standen in der Geschichte; die MMLU-Frage erforderte wirtschaftliches Wissen, das die Aufgabenstellung nicht erklärte. Zum Interpretieren eines Textes kam die Anforderung, erlerntes Wissen aus vielen Fächern anzuwenden. GPT-4s gute Noten eröffneten damit die nächste Frage: Wie weit käme es, wenn Fachwissen nur der erste Schritt zur Problemlösung wäre?
2023–2024: Was passiert, wenn das Problem schwieriger wird?
Im Dezember 2023 stellte Google Gemini Ultra vor und hob 90 % richtige Antworten auf MMLU hervor. Laut Ankündigung übertraf es damit den Referenzwert menschlicher Fachleute. Das System erzeugte mehrere Gedankengänge, bevor es eine Antwort auswählte: Die Note hing auch davon ab, wie es die Prüfung bearbeiten durfte.
Im März 2024 verglich sich Claude 3 erneut mit GPT-4 und Gemini in Wissen, Programmierung und Mathematik. Gemeinsame Tests machten Unterschiede zwischen Anbietern sichtbar, zeigten aber ein Problem für kommende Modellvorstellungen: Manche boten kaum noch Spielraum für Verbesserungen.
Claude 3 Opus löste 95 % von GSM8K richtig, einer Sammlung von Mathematikaufgaben auf Grundschulniveau. Hier ein Beispiel:
Janets Enten legen täglich 16 Eier. Sie isst drei zum Frühstück und verwendet vier für Muffins. Den Rest verkauft sie für 2 Dollar pro Ei.
Wie viel nimmt sie täglich ein?
Erwartete Antwort: 18 Dollar. (16 − 3 − 4) × 2 = 18. Die Schwierigkeit besteht darin, die Schritte nachzuvollziehen, ohne aus dem Blick zu verlieren, was gezählt wird.
Quelle: erste Frage im GSM8K-Testdatensatz, gekürzt.
Zur Lösung muss man die Situation verstehen und mehrere Rechenoperationen verknüpfen. Bei 95 % richtigen Antworten konnte sich die nächste Generation in diesem Test jedoch kaum noch abheben. Fast alle diese Aufgaben lösen zu können, sagte nicht, wie weit das Modell bei einem weniger routinemäßigen Problem käme. Dafür mussten sich die Fragen ändern.
Besonders deutlich wurde das bei der Vorstellung von o1 im September 2024. OpenAI präsentierte es als Modell, das darauf trainiert wurde, vor der Antwort mehr Rechenaufwand in die Ausarbeitung einer Lösung zu investieren. Zu den hervorgehobenen Tests gehörten AIME, eine Mathematikprüfung im US-Olympiade-Auswahlverfahren, und GPQA mit spezialisierten Fragen aus Physik, Chemie und Biologie.
Erwartet wurde, dass das Modell anspruchsvollere Gedankengänge verfolgen konnte: einen Ansatz finden und bis zur Lösung vorankommen, auch wenn das Erkennen eines Begriffs oder einige einfache Rechnungen nicht genügten. Bei AIME verglich OpenAI sein bisheriges GPT-4o mit o1-preview, der gerade veröffentlichten Vorversion, und dem noch in Entwicklung befindlichen o1. Das waren die Erfolgsquoten mit einem Versuch pro Problem:
Skala von 0 bis 100 %. Daten aus Anhang A der OpenAI-Ankündigung, bei denen jedes Modell den für die Bewertung maximal konfigurierten Rechenaufwand nutzen darf. Zum Ankündigungszeitpunkt war o1-preview verfügbar.
Die vorherige Generation scheiterte an der großen Mehrheit dieser Probleme; o1 löste unter den Studienbedingungen fast drei von vier. Die Suche nach anspruchsvollen Problemen würde die Bewertung weiter an die Grenze zwischen Aufgabenlösen und mathematischer Forschung heranführen.
Von GSM8K zu AIME änderte sich konkret die Schwierigkeit des Denkprozesses: Statt die Rechnungen zu Janets Eiern zu verknüpfen, musste ein Lösungsweg für ein Wettbewerbsproblem gefunden werden. Gemessen werden sollte, wie weit das Modell eine Lösung ausarbeiten konnte, wenn die nötigen Schritte weniger offensichtlich waren. Es bekam aber weiterhin eine Aufgabenstellung und sollte antworten. Als Nächstes würde es Dateien und Anwendungen bearbeiten müssen, um ein Ergebnis zu erzielen.
2024–2025: Kommt es ohne Vorgaben für jeden einzelnen Schritt voran?
Am 22. Oktober 2024, nur wenige Wochen nach o1, stellte Anthropic eine neue Version von Claude 3.5 Sonnet vor. Ein hervorgehobenes Programmierergebnis waren 49,0 % gelöste Aufgaben auf SWE-bench Verified. Dieser Test geht von Fehlern und Änderungswünschen in echten Softwareprojekten aus: Das System bekommt die Problembeschreibung und die Projektdateien und soll eine Korrektur liefern.
Ein Fehlerbericht erklärt, dass Django, ein Werkzeug für Webentwicklung, Benutzernamen mit einem Zeilenumbruch am Ende akzeptiert, obwohl es sie ablehnen sollte.
Gesucht ist der Code zur Prüfung der Benutzernamen. Er muss so geändert werden, dass dieser Fall abgelehnt wird.
Die Referenzlösung ändert zwei Codezeilen. Obwohl die Änderung klein ist, muss man sich zum Auffinden in den Projektdateien orientieren. Die Bewertung prüft, ob der Fehler behoben ist und die ebenfalls getesteten Verhaltensweisen weiterhin funktionieren.
Quelle: SWE-bench Verified, Testdatensatz, Zeile 31, und OpenAI-Prüfung vom 23. Februar 2026.
Das Beispiel greift das Versprechen von Codex aus dem Jahr 2021 auf, verändert aber den Arbeitsumfang, den wir dem System überlassen. HumanEval beschrieb eine bestimmte Funktion. Hier muss das System zuerst herausfinden, wo der Fehler liegt und was geändert werden muss. Zwei Codezeilen können am Ende einer Aufgabe stehen, die deutlich mehr Suchen, Lesen und Prüfen erfordert.
Dazu braucht ein Modell Werkzeuge, mit denen es Dateien lesen, bearbeiten und Tests ausführen kann. Das umgebende Programm gibt das Ergebnis jeder Handlung zurück, damit das Modell über den nächsten Schritt entscheidet. Diese Kombination nennen wir einen Agenten. Die Bewertung beginnt zu messen, ob das System über eine Folge von Handlungen hinweg vorankommt.
Dieselbe Sonnet-Ankündigung stellte Computernutzung über Screenshots, Klicks und Tastatureingaben vor. Auf OSWorld, einem Test von Aufgaben innerhalb von Anwendungen, erledigte es in dieser Variante 14,9 % korrekt; mit mehr Schritten waren es 22,0 %. Es scheiterte weiterhin häufig. Neu war das Ziel der Demonstration: die Aufgabe im Programm ausführen, statt lediglich zu erklären, wie sie erledigt wird.
Im November 2025 hob Google bei der Vorstellung von Gemini 3 einen Test hervor, der diese Kontinuität weitertrieb: Vending-Bench 2. Die Aufgabe endete nicht mehr mit einer Fehlerkorrektur. Ein Unternehmen musste innerhalb einer Simulation am Laufen gehalten werden.
Das Modell soll ein simuliertes Unternehmen führen: Waren einkaufen, mit Lieferanten umgehen und Preise festlegen, während es den Betrieb ein simuliertes Jahr lang aufrechterhält.
Gemessen wird, wie viel Geld das Unternehmen am Ende besitzt. Ein gutes Ergebnis verlangt die Abstimmung von Einkauf, Verkauf und Nachbestellung während der gesamten Simulation. Jede Entscheidung beeinflusst die Möglichkeiten der folgenden.
Quelle: Vending-Bench 2 von Andon Labs, hervorgehoben in der Vorstellung von Gemini 3. Das Jahr verläuft innerhalb einer Simulation.
SWE-bench Verified endete mit der Abgabe einer Korrektur; Vending-Bench 2 verlangte fortlaufende Entscheidungen während eines simulierten Jahres. Ein Wareneinkauf beeinflusste Verkäufe und spätere Nachbestellungen. Zur Erledigung einer Werkzeugaufgabe kam die Fähigkeit hinzu, ein Ziel beizubehalten, Vergangenes zu berücksichtigen und Entscheidungen mit der Zeit anzupassen. Diesen Zuwachs an Autonomie sollte der neue Test innerhalb einer Simulation messen.
Im Dezember eröffnete GPT-5.2 seine Ergebnistabelle mit GDPval, einer Bewertung von Aufträgen aus 44 Berufen. Präsentationen, Tabellen und Dokumente des Modells wurden mit menschlicher Arbeit für dieselben Aufträge verglichen. Laut OpenAI wurden die Ergebnisse von GPT-5.2 Thinking in 70,9 % der Vergleiche bevorzugt oder als gleichwertig bewertet. Die Zahl umfasst Siege und Gleichstände in diesen Aufgaben; sie misst nicht, welcher Anteil eines Berufs ersetzt werden kann.
Ende 2025 hatten Benchmarks sowohl den Auftrag als auch dessen Bewertung erweitert. HumanEval verlangte eine Funktion und prüfte sie durch Ausführung; SWE-bench ergänzte das Orientieren und Korrigieren in einem Projekt; GDPval verglich die Qualität von Dokumenten und anderen Ergebnissen mit menschlicher Arbeit. Gesucht war die Fähigkeit, mehr Schritte zu übernehmen und ein dem Auftrag angemessenes Ergebnis zu liefern. Die Ankündigung von Grok 4.7 würde diese Erwartung anhand konkreter technischer und juristischer Kriterien untersuchen lassen.
2026: Kann es den Auftrag einer Fachkraft erledigen?
2023 legte GPT-4s Ergebnis in einer Anwaltsprüfung den Vergleich mit jemandem nahe, der Jura studiert hatte. Drei Jahre später verlangt ein Test in der Grok-4.7-Ankündigung vom 21. September 2026, Dokumente zu einem Unternehmenskauf zu analysieren und einen Bericht über rechtliche Risiken zu verfassen. Der Vergleich nähert sich einem Auftrag, der auf dem Schreibtisch eines Anwalts landen könnte.
Dieselbe Ankündigung enthält Tests zu Elektrotechnik, klinischem Denken, Programmierung und Büroarbeit. Sie in einer Modellvorstellung zusammenzuführen, schlägt vor, das System als Kandidaten für Aufgaben verschiedener Berufe zu betrachten. Jede Tabellenzeile entspricht einem Test; die Spalten vergleichen die Ergebnisse der Modelle darin.
| Test | Grok 4.7 xHigh | Grok 4.6 High | GPT-5.6 Sol Max | Fable 5.1 Max |
|---|---|---|---|---|
| Programmierung CursorBench 4.0 | 46,3 % | 40,4 % | 41,7 % | 51,8 % |
| Programmierung DeepSWE v1.1 | 71,0 %* | 65,2 % | 72,7 % | 70,0 % |
| Elektrotechnik EEBench | 64,0 % | 53,0 % | 39,4 % | 56,4 % |
| Büroarbeit AA-Briefcase v1.1 | 1657 | 1546 | 1487 | 1678 |
| Arbeit im Terminal Terminal-Bench 4.0 | 37,6 % | 20,3 % | 37,3 % | 57,9 % |
| Juristische Arbeit Harvey Legal Agent | 19,6 % | 15,8 % | 2,5 % | 6,7 % |
| Klinisches Denken HealthBench Professional | 56,7 % | 48,5 % | 60,5 % | 62,1 % |
Der von atopile entwickelte Elektrotechniktest EEBench zeigt, was diese Veränderung bedeutet. Eine Aufgabe lautet:
Ein Stromzähler muss nach einem Stromausfall 20 Millisekunden eingeschaltet bleiben, um den Zählerstand zu speichern. Die Aufgabe besteht darin, Kondensatoren — Bauteile zur Energiespeicherung — auszuwählen, die ihn in dieser kurzen Zeit weiter versorgen können.
Das Modell liefert eine Datei mit der Beschreibung der Schaltung. Die Bewertung simuliert ihre Funktion und bewertet sowohl die Erfüllung der Anforderungen als auch die Bauteilkosten. Die Schaltung wird in diesem Test nicht hergestellt.
Vereinfachtes Beispiel aus der EEBench-Methodik. Das Diagramm zeigt das Ziel des Auftrags, keine elektrische Lösung.
Beurteilt wird die Antwort danach, was die Schaltung beim Verlust der Versorgung tut. Wissen über Kondensatoren zählt insofern, als es die Erfüllung dieser Anforderung ermöglicht. Der Test verlangt den Übergang von der Erklärung eines Prinzips zu dessen Anwendung in einem überprüfbaren Entwurf.
Harveys juristische Bewertung überträgt diesen Anspruch auf eine Vertragsprüfung:
Ein Käufer erwägt die Übernahme des fiktiven Unternehmens Crestview Software Solutions. Der Agent erhält acht relevante Verträge, gemischt mit weiteren Dokumenten.
Er muss über rechtliche Risiken des Kaufs und den Umgang damit berichten.
Eine Lizenz verliert ihre Exklusivität, wenn das Unternehmen den Eigentümer wechselt. Der Käufer könnte mit einem exklusiven Nutzungsrecht rechnen, das nach der Übernahme nicht mehr exklusiv wäre. Der Bericht muss die Klausel finden und ihre Folgen erläutern.
GPT-4s Prüfung testete juristisches Wissen. Dieser Auftrag verlangt, eine Klausel unter den Dokumenten zu finden, sie auf den Kauf zu beziehen und eine Handlung zu empfehlen. Für einen gültigen Bericht müssen alle Pflichtkriterien erfüllt sein. Die von xAI für Grok 4.7 genannten 19,6 % zeigen, wie viele Aufgaben diese Hürde nahmen: Der professionelle Anspruch gehört zum Test, auch wenn das Modell oft scheitert.
Die Veränderung gegenüber GPT-4s Prüfungen zeigt sich darin, was als Erfolg zählt. MMLU prüfte, ob das Modell die richtige Antwort auswählte; EEBench prüft, ob die Schaltung den Zähler lange genug versorgt; Harvey, ob der Bericht Risiken erkennt und die Prüfkriterien erfüllt. Lesen, Wissen und Entscheidungen müssen in einem überprüfbaren Ergebnis zusammenkommen. Gemessen werden soll, wie viel eines professionellen Auftrags das System unter Einhaltung der Anforderungen erledigen kann.
Was wir erwarten und was noch zu zeigen ist
Zusammen zeigen diese Modellvorstellungen, wie sich die von uns vorgesehene Rolle der Modelle erweitert hat. Zunächst prüften wir, ob sie einer Geschichte folgen; dann fragten wir nach ihrem Wissen und stellten schwierige Probleme; anschließend gaben wir ihnen Werkzeuge und Aufträge mit mehreren zu organisierenden Schritten. Jeder Fortschritt bot Anlass für eine anspruchsvollere Aufgabe.
Das bedeutet nicht, dass Verständnis, Wissen oder Denken bereits abgeschlossene Etappen wären. Die Tests bestehen nebeneinander, und Fehler bleiben. Auch eine vom Hersteller ausgewählte Tabelle beweist nicht, dass sein Modell einen Beruf übernehmen kann. Sie zeigt jedoch, welche Fähigkeit er für wichtig genug hält, um sie öffentlich zu demonstrieren.
Das fehlende Wort in LAMBADA half zu untersuchen, ob das Modell Hinweise in einer Geschichte verknüpft. Der Bericht über einen Unternehmenskauf fragt, ob es dieses Verständnis zusammen mit Wissen und Werkzeugen nutzen kann, um ein entscheidungsrelevantes Problem aufzudecken. Die Aufgabe ändert sich, ebenso das Kriterium, nach dem wir die Antwort beurteilen.
Die Geschichte steckt deshalb auch in den Fragen, mit denen wir jede Generation vorstellen. Wir trauen uns zu, immer größere Teile der Arbeit zu verlangen. Die Ergebnisse müssen zeigen, wie weit das Modell diese Erwartung erfüllt; eine Ankündigung allein macht daraus keine verlässliche Fähigkeit.
Quellen
- OpenAI: erstes GPT, Juni 2018 und GPT-2, Februar 2019. Erste Aufgaben und Tabelle zum Textverständnis.
- Paperno und Kollegen: LAMBADA und Brown und Kollegen: GPT-3, 2020. Das Kamerabeispiel und Demonstrationen in der Anweisung.
- OpenAI: Codex, August 2021 und Chen und Kollegen: Codex- und HumanEval-Bericht. Funktionen erzeugen und überprüfen.
- OpenAI: GPT-4-Vorstellung, März 2023 und technischer Bericht. Prüfungen, MMLU und HumanEval.
- Hendrycks und Kollegen: MMLU und Cobbe und Kollegen: GSM8K. Aufgaben aus den Tabellen von 2023 und 2024.
- Google: Gemini, Dezember 2023 und Anthropic: Claude 3, März 2024. Wettbewerb auf gemeinsamen Tests.
- OpenAI: o1, September 2024. Sättigung einiger Tests und AIME-Ergebnisse; das Diagramm verwendet Anhang A.
- Anthropic: neues Claude 3.5 Sonnet und Computernutzung, Oktober 2024. SWE-bench Verified und OSWorld.
- Jimenez und Kollegen: SWE-bench und SWE-bench-Verified-Datensatz. Von isolierten Funktionen zu realen Fehlerberichten.
- Google: Gemini 3, November 2025, Andon Labs: Vending-Bench 2 und OpenAI: GPT-5.2, Dezember 2025. Agenten, längere Aufgaben und professionelle Arbeit.
- xAI: Grok 4.7, September 2026, atopile: EEBench-Methodik und Harvey: Legal Agent Benchmark. Aktuelle Tabelle und Beispiele aus Technik und Recht.
