Nicht nur größer: Was Sprachmodelle besser gemacht hat

Am 3. September 2026 stellte OpenAI GPT-6 Astra vor. Die Ankündigung beschreibt das Modell als Ergebnis „jahrelanger Forschung und großer Wetten“ an drei Fronten: Vortraining, bestärkendes Lernen und Alignment. Aidan Clark, Vizepräsident für Forschung des Unternehmens, nannte gegenüber Fortune eine bemerkenswerte Zahl: Zum ersten Mal habe man ein Modell mit mehr als 100.000 GPUs vortrainiert, im Stargate-Rechenzentrum des Unternehmens in Texas. Es handle sich „mit Abstand“ um das größte Training seiner Geschichte.

Die Zahl überrascht, wenn man sich erinnert, was vor weniger als zwei Jahren gesagt wurde. Im Dezember 2024 erklärte Ilya Sutskever, Mitgründer von OpenAI, auf der NeurIPS, der wichtigsten Konferenz für maschinelles Lernen, dass das Vortraining, „wie wir es kennen, zweifellos enden wird“. Sein Argument: Die Rechenleistung wachse weiter, die Daten aber nicht, denn „wir haben nur ein Internet“. Ende Februar 2025 brachte OpenAI GPT-4.5 heraus, das größte Modell, das es bis dahin veröffentlicht hatte. Es war besser im Gespräch und im Wissen, blieb aber hinter kleineren Modellen zurück, die vor dem Antworten nachdachten, und das Unternehmen nahm es im Juli 2025 aus seiner API.

War die Skalierung nun erschöpft oder nicht? Beides passt zusammen, wenn wir aufhören, von „der Skalierung“ in der Einzahl zu sprechen. Sprachmodelle sind nicht dank einer einzigen Regel besser geworden, sondern dank mehrerer Hebel, von denen jeder auf eigene Weise mehr Ressourcen in bessere Ergebnisse verwandelt. Wenn einer teurer wurde, verlagerte sich der Aufwand auf einen anderen; und die früheren wurden nicht aufgegeben, sie kamen zusammen.

Einige dieser Hebel folgen einem Skalierungsgesetz. Der Name täuscht ein wenig: Es ist kein Gesetz der Physik, sondern eine Regelmäßigkeit, die immer wieder beobachtet wurde. Investiert man mehr in etwas Bestimmtes, etwa Parameter, Daten oder Rechenleistung, verbessert sich das Ergebnis so vorhersehbar, dass es sich berechnen lässt, bevor man das Geld ausgibt. Andere Hebel haben kein eigenes Gesetz: Sie verändern, was skaliert wird oder wie viel es kostet. Dieser Artikel geht die sieben durch, die aus unserer Sicht den Weg von GPT-3 bis heute am besten erklären, und einen achten, der sich noch in den Laboren befindet.

2020: Das erste Gesetz macht Fortschritt zur Budgetfrage

Um das erste Gesetz zu verstehen, braucht es drei Begriffe. Ein Sprachmodell lernt, indem es Texte liest und zu erraten versucht, was als Nächstes kommt, Stück für Stück. Diese Stücke heißen Tokens: Ein kurzes Wort ist meist ein Token, ein langes mehrere.

Was das Modell beim Lernen anpasst, sind seine Parameter, Milliarden interner Zahlen, die bestimmen, was es antwortet. Deshalb wird die Größe eines Modells in Parametern gemessen.

Und um zu wissen, wie viel es gelernt hat, misst man seinen Verlust: vereinfacht gesagt, wie stark es sich beim Erraten des nächsten Tokens in Texten irrt, die es nicht gesehen hat. Je niedriger, desto besser.

Zwei Bausteine aus den Jahren 2017 und 2018 ermöglichten es, dass dieses Rezept wachsen konnte. Der erste war der Transformer, die Architektur, die Google 2017 vorstellte. Er verarbeitet alle Wörter eines Textes gleichzeitig statt nacheinander, und das erlaubt es, das Training auf Tausende Chips zu verteilen. Der zweite: Die Aufgabe braucht keine Labels. Jeder Text eignet sich zum Lernen, weil die richtige Antwort immer das Stück ist, das als Nächstes kommt. OpenAI verband beides 2018 in GPT und 2019 in GPT-2.

Im Januar 2020 trainierte ein Team von OpenAI unter der Leitung von Jared Kaplan Modelle sehr unterschiedlicher Größe und verglich ihren Verlust im Artikel Scaling Laws for Neural Language Models. Es fand eine ungewöhnliche Regelmäßigkeit. Erhielt das Modell mehr Parameter, mehr Daten oder mehr Rechenleistung, sank der Verlust immer auf dieselbe Weise, und einige dieser Trends hielten über Bereiche von mehr als dem Zehnmillionenfachen an. Designdetails waren dagegen viel weniger wichtig als gedacht.

Die praktische Folge lässt sich leicht formulieren: Jedes Mal, wenn man die Rechenleistung verzehnfacht, sinkt der Verlust um denselben Anteil, nach ihren Messungen um etwa 11 %. Das nennt man ein Potenzgesetz. Verbesserung ist möglich, aber jeder Schritt kostet zehnmal so viel wie der vorherige. Der Vorteil ist, dass er sich vorhersagen lässt.

Wenige Monate später, im Mai 2020, veröffentlichte OpenAI GPT-3 mit 175 Milliarden Parametern, mehr als hundertmal so vielen wie GPT-2. Es schrieb nicht nur besser, sondern konnte etwas, das kleine Modelle kaum schafften: eine neue Aufgabe anhand weniger Beispiele lösen, die in der Anfrage selbst standen, ohne neu trainiert zu werden. Seitdem ist die Rechenleistung für das Training der Spitzenmodelle stetig gewachsen. Epoch AI, das diese Daten sammelt, schätzt, dass sie sich zwischen 2010 und 2024 jedes Jahr vervierfacht bis verfünffacht hat.

Vor 2020 war die Verbesserung eines Sprachmodells vor allem ein Designproblem: Architekturen und Trainingskniffe ausprobieren, in der Hoffnung, dass einer davon funktioniert. Danach wurde sie auch zu einer Budgetfrage. Man konnte berechnen, bevor man das Geld ausgab, wie stark der Verlust eines zehnmal größeren Modells sinken würde. Diese Vorhersehbarkeit hat eine Grenze, die man nicht vergessen sollte: Das Gesetz sagt den Verlust voraus, nicht, welche konkreten Aufgaben das Modell beherrschen wird. Eine sanfte Verbesserung des Verlusts kann sich bei einer Aufgabe in abrupte Sprünge übersetzen, wie wir in „Warum KI bei manchen Aufgaben plötzlich besser zu werden scheint“ erklären.

2022: Ein großes Modell muss auch mehr lesen

Kaplans Arbeit enthielt eine Empfehlung: Bei festem Budget sollte man es vor allem dafür ausgeben, das Modell größer zu machen, auch wenn es verhältnismäßig wenig liest. Die großen Modelle von 2020 und 2021 wurden so gebaut. Im März 2022 veröffentlichte DeepMind eine Studie mit mehr als 400 Modellen, die zu einem anderen Schluss kam, bekannt unter dem Namen des Modells, das ihn belegte: Chinchilla. Um das Budget gut zu nutzen, müssen Größe und Daten gemeinsam wachsen: Verdoppelt das Modell seine Größe, muss es doppelt so viel lesen. Nach diesem Kriterium hatten die großen Modelle jener Zeit zu wenig gelesen.

Um das zu zeigen, trainierten sie Chinchilla, ein Modell mit 70 Milliarden Parametern, mit derselben Rechenleistung wie Gopher, ihr vorheriges Modell mit 280 Milliarden. Der Unterschied: Chinchilla las 1,4 Billionen Tokens, fast fünfmal so viele. Mit einem viermal kleineren Modell übertraf es Gopher in fast allen Tests; in MMLU, einer Prüfung mit Fragen aus 57 Fächern, erreichte es 67,5 % richtige Antworten, mehr als sieben Punkte mehr. Als Faustregel setzten sich etwa 20 Tokens pro Parameter durch.

Modell	Jahr	Parameter	Trainingstokens	Tokens pro Parameter
GPT-3	2020	175 Milliarden	300 Milliarden	≈ 2
Gopher	2021	280 Milliarden	300 Milliarden	≈ 1
Chinchilla	2022	70 Milliarden	1,4 Billionen	≈ 20
Llama 3 8B	2024	8 Milliarden	mehr als 15 Billionen	≈ 1.900

Eine Billion entspricht tausend Milliarden. Daten aus den Artikeln zu GPT-3 und Chinchilla sowie aus der Ankündigung von Llama 3.

Die letzte Zeile zeigt, dass auch die Chinchilla-Regel nicht zum Dogma wurde. Im April 2024 erklärte Meta, dass die nach diesem Kriterium optimale Datenmenge für sein Modell mit 8 Milliarden Parametern bei rund 200 Milliarden Tokens lag. Meta trainierte es mit mehr als 15 Billionen, etwa 75-mal so vielen, und das Modell wurde weiter besser. Die Erklärung ist wirtschaftlich. Chinchilla optimiert die Kosten des Trainings, die einmal anfallen. Ein Modell wird aber millionenfach genutzt, und ein kleines Modell, das viel gelesen hat, ist im Betrieb billiger als ein großes gleicher Qualität.

Mehr zu lesen hat eine offensichtliche Grenze: den verfügbaren Text. Epoch AI schätzt, dass der öffentliche, von Menschen geschriebene Text rund 300 Billionen Tokens umfasst und dass die Modelle ihn beim derzeitigen Tempo irgendwann zwischen 2026 und 2032 aufbrauchen würden. Das ist die Sorge, die Sutskever ausdrückte, als er Daten den „fossilen Brennstoff der KI“ nannte. Die Antworten darauf waren, besser zu filtern, Daten wiederzuverwenden, mit anderen Modellen synthetische Daten zu erzeugen und vor allem nach Verbesserungen zu suchen, die nicht nur davon abhängen, mehr zu lesen.

2022: Wissen ist nicht dasselbe wie helfen

Ein vortrainiertes Modell setzt Texte fort. Schreibt man ihm eine Anfrage, versteht es sie nicht unbedingt als Auftrag: Es kann sie fortsetzen, als wäre sie der Anfang einer Liste. Der InstructGPT-Artikel, den OpenAI 2022 veröffentlichte, enthält ein Beispiel für dieses Problem.

„Schreibe eine kurze Geschichte über einen Frosch, der durch die Zeit bis ins antike Griechenland reist, auf Französisch.“

GPT-3: antwortet mit weiteren Anfragen derselben Art. „Schreibe eine Geschichte über ein Kind, das alles über die Spiele der Götter wissen möchte …“, „Schreibe eine Geschichte über einen jungen Mann, der in einer fernen Zeit ein Abenteuer erlebt …“.

InstructGPT: schreibt die Geschichte. „Der Frosch war verloren und erschöpft. Er hatte nur ein Ziel vor Augen: durch die Zeit zu reisen und das antike Griechenland zu erreichen …“

Was sich ändert: Das erste Modell behandelt die Anfrage als Beginn einer Liste von Aufträgen, das zweite als Auftrag, den es erfüllen muss. Beide Modelle haben 175 Milliarden Parameter.

Quelle: Abbildung 8 in Ouyang et al. (2022). Beispiel aus dem Französischen übersetzt und gekürzt.

Um das zu erreichen, nutzte OpenAI die Technik des bestärkenden Lernens aus menschlichen Präferenzen, bekannt als RLHF. Zuerst schrieben mehrere Personen Beispielantworten auf echte Anfragen. Dann verglichen sie verschiedene Antworten des Modells und ordneten sie von der besten zur schlechtesten. Mit diesen Vergleichen wurde ein zweites Modell trainiert, das Belohnungsmodell, das vorherzusagen lernt, welche Antwort ein Mensch bevorzugen würde. Zuletzt wurde das Hauptmodell mit bestärkendem Lernen angepasst: Es erzeugt Antworten, das Belohnungsmodell bewertet sie, und das Training macht die gut bewerteten wahrscheinlicher.

Das Ergebnis stellte die Vorstellung infrage, dass alles von der Größe abhing. Die Personen, die die Antworten bewerteten, bevorzugten die des InstructGPT mit 1,3 Milliarden Parametern gegenüber denen von GPT-3 mit 175 Milliarden, einem mehr als hundertmal größeren Modell. Und diese Anpassung kostete wenig: Laut OpenAI verbrauchte sie weniger als 2 % der Rechenleistung und der Daten des Vortrainings. Das Unternehmen selbst beschrieb sie als eine Möglichkeit, Fähigkeiten „freizuschalten“, die GPT-3 bereits besaß. ChatGPT, im November 2022 gestartet, wandte dieses Rezept auf ein Produkt für den allgemeinen Gebrauch an.

Dieser Hebel fügt kein Wissen hinzu, sondern ändert das Ziel: vom Fortsetzen von Texten zum Helfen für die Person, die fragt. Die Zahl von 2 % sollte man sich merken, denn drei Jahre später sollte der Anteil der Rechenleistung für diese Phase nach dem Vortraining ganz anders aussehen.

2023: Viele Parameter, wenige gleichzeitig

In einem herkömmlichen Modell, das man meist dicht nennt, arbeiten alle Parameter an jedem Token. Ist das Modell zehnmal größer, kostet jedes Wort etwa zehnmal so viel Rechenaufwand.

Die Mischung von Experten, englisch Mixture of Experts und meist als MoE abgekürzt, löst diesen Zusammenhang auf. Sie teilt Teile des Modells in mehrere Blöcke auf, die Experten heißen, und fügt einen Router hinzu, der für jedes Token auswählt, welche wenigen Experten es verarbeiten. Die übrigen tun mit diesem Token nichts.

Die Idee stammt aus dem Jahr 2017, als Noam Shazeer und weitere Forschende von Google sie auf Netze mit bis zu 137 Milliarden Parametern anwandten. Bei Sprachmodellen wurde sie mit Mixtral 8x7B populär, das Mistral im Dezember 2023 veröffentlichte: Es hatte 46,7 Milliarden Parameter, aber jedes Token nutzte nur 12,9 Milliarden.

Die Bezeichnung „Experte“ führt etwas in die Irre. Es gibt keinen Experten für Medizin und einen anderen für Geschichte: Der Router legt die Aufteilung während des Trainings selbst fest, und bei Mixtral schien sie eher der Syntax des Textes zu folgen als seinem Thema.

Ein Jahr später zeigte DeepSeek-V3, wie weit die Einsparung gehen konnte. Es hat 671 Milliarden Parameter, von denen jedes Token 37 Milliarden nutzt, und laut seinem technischen Bericht kostete das abschließende Training rund 5,6 Millionen US-Dollar an GPU-Miete. Die Zahl schließt die vorausgegangene Forschung nicht ein, war aber sehr niedrig für ein Modell, das mit den besten geschlossenen Modellen konkurrierte, und das MoE-Design war einer der Gründe dafür.

Sind alle Modelle MoE? Nein, aber 2026 sind es fast alle großen Modelle mit offenen Gewichten, also jene, die jeder herunterladen kann. Die Tabelle stellt die neuesten neben drei ältere, um sie zu vergleichen.

Modell	Datum	Architektur	Parameter insgesamt	Aktiv pro Token
Mixtral 8x7B	Dez. 2023	MoE	46,7 Milliarden	12,9 Milliarden
DeepSeek-V3	Dez. 2024	MoE	671 Milliarden	37 Milliarden
Llama 4 Maverick	Apr. 2025	MoE	400 Milliarden	17 Milliarden
GLM-5	Feb. 2026	MoE	744 Milliarden	40 Milliarden
Qwen3.5-397B-A17B	Feb. 2026	MoE	397 Milliarden	17 Milliarden
Gemma 4 31B	Apr. 2026	dicht	30,7 Milliarden	alle
Gemma 4 26B A4B	Apr. 2026	MoE	25,2 Milliarden	3,8 Milliarden
DeepSeek-V4-Pro	Apr. 2026	MoE	1,6 Billionen	49 Milliarden
Kimi K3	Juli 2026	MoE	2,8 Billionen	104 Milliarden
Qwen3.8-27B	Aug. 2026	dicht	27 Milliarden	alle

Daten aus den Modellkarten der einzelnen Modelle, in den Quellen verlinkt. Enthält nur Modelle mit offenen Gewichten, deren Architektur öffentlich ist.

Die Tabelle lässt ein Muster erkennen. Ab einigen hundert Milliarden Parametern ist 2026 praktisch alles MoE: Meta übernahm das Design mit Llama 4, seiner ersten MoE-Familie, und Kimi K3 kommt auf 2,8 Billionen Parameter und nutzt bei jedem Token weniger als 4 % davon. Dichte Modelle gibt es weiterhin in mittleren Größen, wo die Einsparung die Komplexität weniger aufwiegt; Google veröffentlicht in derselben Familie, Gemma 4, sogar beide Varianten. Bei den geschlossenen Modellen von OpenAI, Anthropic oder Google weiß man es nicht sicher, weil diese Unternehmen ihre Architektur nicht veröffentlichen. Dass GPT-4 ein MoE sei, wird oft wiederholt, aber OpenAI hat es nie bestätigt.

Es gibt eine wichtige Einschränkung: Ein MoE spart Rechenaufwand, aber keinen Speicher. Alle Experten müssen geladen sein, weil jedes Token jeden von ihnen brauchen kann. DeepSeek-V4-Pro berechnet jedes Wort wie ein Modell mit rund 50 Milliarden Parametern, belegt im Speicher aber so viel wie seine 1,6 Billionen. Ausführlicher erklären wir das in unserem Artikel über lokale Inferenz.

Die Mixture of Experts ist kein neues Skalierungsgesetz, sondern eine Änderung des Preises. Früher bedeuteten zehnmal so viele Parameter, für jedes erzeugte Wort etwa zehnmal so viel zu bezahlen. Mit MoE gehen die Fähigkeit eines Modells, Wissen zu speichern, und der Rechenaufwand pro Wort nicht mehr zwangsläufig Hand in Hand.

2024: Rechenleistung beim Antworten einsetzen

Bis hierhin wirken alle Hebel auf das Training. Ist das Modell einmal trainiert, verwendet es auf jedes Token ungefähr denselben Aufwand, ob man es nach der Hauptstadt Frankreichs fragt oder nach einer Olympiadeaufgabe. Der nächste Hebel besteht darin, es bei den Fragen, die es erfordern, mehr Rechenleistung einsetzen zu lassen.

Der erste Schritt war fast ein Formulierungstrick. Im Januar 2022 veröffentlichte ein Team von Google die Arbeit zur Gedankenkette: Enthält die Anfrage Beispiele, die Schritt für Schritt gelöst sind, schreibt auch das Modell die Zwischenschritte auf, bevor es die Antwort gibt, und liegt häufiger richtig.

Die Anfrage enthält eine gelöste Aufgabe mit ihren Schritten: Roger hat 5 Tennisbälle und kauft 2 Dosen mit je 3 Bällen. „Er hatte anfangs 5. Zwei Dosen mit je 3 Bällen sind 6. 5 + 6 = 11. Die Antwort ist 11.“

„Die Cafeteria hatte 23 Äpfel. Wenn sie 20 für das Mittagessen verbraucht und 6 weitere gekauft haben, wie viele Äpfel haben sie dann?“

Wenn das Beispiel nur die Endantwort enthält: Das Modell antwortet 27.

Wenn das Beispiel die Schritte enthält: „Sie hatten 23 und haben 20 verbraucht, also blieben 3 übrig. Sie haben 6 weitere gekauft: 3 + 6 = 9. Die Antwort ist 9.“

Richtige Antwort: 9. Das Aufschreiben des Zwischenergebnisses gibt dem Modell einen Halt; ohne ihn versucht es, die Antwort in einem Sprung zu erreichen, und scheitert.

Quelle: Abbildung 1 in Wei et al. (2022), übersetzt. Das Modell ist PaLM von Google mit 540 Milliarden Parametern.

In GSM8K, einer Sammlung von Mathematikaufgaben auf Grundschulniveau, stieg PaLM mit dieser Änderung von 17,9 % auf 56,9 % richtige Antworten. Der Effekt trat aber nur bei großen Modellen mit rund 100 Milliarden Parametern auf; bei kleinen half das Aufschreiben von Schritten nicht und verschlechterte das Ergebnis sogar. Die Gedankenkette war selbst ein Effekt der Skalierung.

Wenn es hilft, einige Schritte aufzuschreiben, hilft es dann, mehr aufzuschreiben? Oder die Aufgabe mehrmals zu versuchen und die beste Antwort zu behalten? Im August 2024 verglichen Snell und weitere Forschende von Google und Berkeley zwei Arten, denselben Rechenaufwand einzusetzen: ein größeres Modell zu verwenden oder ein kleines länger nachdenken zu lassen. Bei den Aufgaben, die das kleine Modell schon manchmal löste, konnte längeres Nachdenken ein vierzehnmal größeres Modell schlagen. Bei den schwierigsten nicht: Dort brauchte es weiterhin ein besseres Modell.

Einen Monat später, am 12. September 2024, stellte OpenAI o1 vor, das erste kommerzielle Modell, das dafür ausgelegt war, eine Weile nachzudenken, bevor es antwortet. Die Ankündigung enthielt zwei viel zitierte Grafiken. In beiden stieg die Trefferquote in einer Mathematikprüfung gleichmäßig an: in der einen, wenn das Training mehr Rechenleistung erhielt; in der anderen, wenn das Modell mehr Zeit bekam, über jede Antwort nachzudenken. Es war dieselbe Form wie beim Gesetz von 2020, angewandt auf eine neue Achse. Die Zahlen dieses Sprungs stehen in dem Artikel über die Sigmoidkurven.

2026 ist diese Achse ein weiterer Regler der Produkte. GPT-6 Astra wird mit mehreren Aufwandsstufen angeboten, und ein offenes Modell wie das große Qwen3.8 enthält eine Einstellung für den „Denkaufwand“, um je nach gewünschter Tiefe und gewünschten Kosten zwischen wenig, normal oder viel Nachdenken zu wählen. In der Ankündigung von Astra erklärt der technische Leiter von Lovable, dass mehr Aufwand mehr Iterationen und mehr Prüfungen mit Tests im Browser ermöglicht.

Vor 2022 stand die Qualität eines Modells mit dem Ende seines Trainings fest. Heute wird ein Teil davon bei jeder Frage entschieden, je nachdem, wie viel Rechenleistung man ihm zugesteht. Die Kosten pro Antwort sind nicht mehr fest, sondern werden zu einer Entscheidung: Eine einfache Frage verdient nicht denselben Aufwand wie ein Code-Audit.

2025: Mit dem trainieren, was sich überprüfen lässt

Dass ein Modell mehr Schritte schreibt, garantiert nicht, dass es besser denkt: Es kann sich im Kreis drehen, ohne voranzukommen. o1 nutzte diese Zeit, weil es mit bestärkendem Lernen darauf trainiert worden war. Und dort tauchte ein Problem auf. Bei RLHF vergibt die Note ein Belohnungsmodell, das die Vorlieben von Menschen nachahmt, und es ist ein unvollkommener Richter. Trainiert man zu lange darauf, lernt das Modell, es zufriedenzustellen, statt die Aufgabe gut zu erledigen, wie ein Schüler, der für den Korrektor lernt und nicht für das Fach. Deshalb hielt man diese Phase kurz.

Der Ausweg bestand darin, mit Aufgaben zu trainieren, die sich automatisch korrigieren lassen, wie eine Prüfung mit Lösungsheft: Mathematik mit bekannter Antwort oder Code, der bestimmte Tests bestehen muss. Dort ist die Note verlässlich, und man kann viel länger trainieren.

Im Januar 2025 veröffentlichte DeepSeek, wie es das mit DeepSeek-R1 gemacht hatte. Die erste Version, R1-Zero, lernte nur mit dieser Art von Noten, ohne von Menschen geschriebene Beispiele für Denkwege. Bemerkenswert ist, was während des Trainings geschah: Ihre Antworten wurden von selbst länger, von Hunderten auf Tausende Tokens an Überlegungen. Niemand verlangte von ihr, mehr nachzudenken; sie lernte es, weil mehr Nachdenken ihr mehr Treffer brachte. Die Autoren dokumentieren sogar den Moment, in dem sich eine Zwischenversion mit einem „Warte, warte. Warte. Das ist ein Aha-Moment, den ich hier festhalten kann“ unterbricht und ihren Ansatz überprüft.

Dieses bestärkende Lernen skalierte zudem. Bei der Vorstellung von o3 im April 2025 berichtete OpenAI, dass damit dieselbe Regel galt wie beim Vortraining: mehr Rechenleistung, bessere Leistung. Im Juli 2025 erklärte xAI, Grok 4 „im Maßstab des Vortrainings“ mit bestärkendem Lernen trainiert zu haben, mit überprüfbaren Aufgaben aus viel mehr Bereichen als Mathematik und Programmierung. Der Vergleich mit 2022 fasst den Wandel zusammen: InstructGPT verwendete für diese Phase weniger als 2 % der Rechenleistung des Vortrainings; drei Jahre später verwenden einige Labore dafür eine vergleichbare Menge.

Es fehlte noch eine rigorose Messung. Im Oktober 2025 veröffentlichte ein Team von Meta und mehreren Universitäten die erste systematische Studie darüber, wie bestärkendes Lernen skaliert, mit mehr als 400.000 GPU-Stunden. Die Verbesserung folgte einer regelmäßigen Kurve, regelmäßig genug, um ein großes Training aus kleineren vorherzusagen. Doch es gab einen Unterschied zum Gesetz von 2020: Diese Kurve flacht am Ende ab. Jedes Trainingsrezept hat seine Obergrenze, und viele Anpassungen ändern nur, wie schnell man sie erreicht, nicht, wie hoch sie liegt.

Mit RLHF lernte das Modell, Antworten zu geben, die gefielen. Mit überprüfbaren Belohnungen lernt es, Probleme zu lösen, deren Lösung sich überprüfen lässt. Auch die knappe Ressource verschiebt sich: Es sind nicht mehr nur die Texte zum Lesen, sondern die Aufgaben, bei denen sich verlässlich feststellen lässt, ob sie richtig gelöst sind.

2025: Vom Aufrufen eines Werkzeugs zum Wissen, wann man es einsetzt

Ein Sprachmodell allein rechnet lange Operationen schlecht, weiß nicht, was nach seinem Training geschehen ist, und kann außerhalb des Gesprächs nicht handeln. Werkzeuge lösen alle drei Probleme. Im Februar 2023 stellte Meta Toolformer vor, ein Modell, das lernte, in seinen Text Aufrufe eines Taschenrechners, einer Suchmaschine oder eines Übersetzers einzufügen. Im Juni 2023 ergänzte OpenAI seine API um Funktionsaufrufe: Wer entwickelt, beschreibt die verfügbaren Werkzeuge, und das Modell antwortet mit einer strukturierten Anfrage, sie zu nutzen.

Das war eine Schnittstelle. Das Modell konnte ein Werkzeug anfordern, hatte aber nicht gelernt zu entscheiden, wann es ihm innerhalb einer langen Aufgabe nützt, oder seinen Plan nach dem zu ändern, was das Werkzeug zurückgab. Der Wandel kam, als Werkzeuge mit bestärkendem Lernen kombiniert wurden. In der Ankündigung von o3 und o4-mini erklärte OpenAI, es habe die Modelle mit bestärkendem Lernen auf die Nutzung von Werkzeugen trainiert und ihnen beigebracht, „nicht nur, wie man Werkzeuge benutzt, sondern auch darüber nachzudenken, wann man sie einsetzt“. Die Ankündigung selbst enthielt ein Beispiel dafür, was das bedeutet.

„Wie wird der Energieverbrauch in Kalifornien in diesem Sommer im Vergleich zum letzten Jahr aussehen?“

Um zu antworten, sucht das Modell im Web nach öffentlichen Verbrauchsdaten, schreibt Python-Code, um eine Prognose zu erstellen, erzeugt eine Grafik und erklärt die Faktoren, auf denen sie beruht. Liefert eine Suche nicht, was es braucht, kann es eine weitere durchführen.

Was sich ändert: Niemand sagt ihm, welches Werkzeug es in welcher Reihenfolge nutzen soll. Die Werkzeuge auszuwählen und zu verketten, gehört zu dem, was das Modell gelernt hat.

Quelle: Beispiel aus der Ankündigung von o3 und o4-mini, 16. April 2025.

Werkzeuge passen aus einem praktischen Grund zum vorherigen Hebel: Sie dienen auch zum Überprüfen. Ein Modell, das den Code ausführen kann, den es schreibt, weiß, ob er funktioniert, bevor es ihn abliefert. In derselben Ankündigung löste o4-mini mit Zugang zu einem Python-Interpreter 99,5 % der Aufgaben der AIME-Prüfung 2025. OpenAI wies darauf hin, dass diese Zahl nicht mit der von Modellen ohne Werkzeuge verglichen werden sollte, aber sie veranschaulicht, wie das Modell die Ressourcen nutzt, die ihm zur Verfügung stehen.

2026 fragen die Tests, die bei neuen Modellen hervorgehoben werden, nicht mehr, ob das Modell einen Taschenrechner benutzen kann, sondern ob es einen Computer bedienen kann. GPT-6 Astra erreicht 72,6 % in OSWorld 2.0, einem Test mit echten Aufgaben in einem Betriebssystem, und verwendet im Schnitt rund 40 Minuten auf jede. Die Umgebung, ob Computer, Browser oder Code-Repository, ist Teil dessen geworden, was das Modell zu nutzen weiß. Wie die Veröffentlichungen dazu kamen, diese Art von Arbeit zu messen, erzählen wir in unserer Geschichte der Benchmarks.

Im Labor: Denken ohne zu schreiben

Alle Formen des Denkens, die wir gesehen haben, haben etwas gemeinsam: Das Modell denkt, indem es schreibt. Jeder Zwischenschritt wird zu Tokens, und jedes Token muss berechnet und bezahlt werden. Dazu kommt ein weniger sichtbarer Nachteil. Intern stellt das Modell jeden Schritt mit Tausenden Zahlen dar, die mehrere Möglichkeiten zugleich enthalten können. Wenn es ein Wort wählt, behält es nur eine davon und verwirft den Rest.

Daraus ist eine Forschungsrichtung entstanden, die als Schließen im latenten Raum bekannt ist. Der latente Raum ist jene interne Sprache aus Zahlen, mit der das Modell arbeitet, bevor es jedes Wort wählt. Die Idee ist, es dort denken zu lassen, ohne den Umweg über Text.

Die bekanntesten Vorschläge verfolgen zwei Wege:

• Den Gedanken weiterreichen. Bei Coconut, das Meta im Dezember 2024 vorstellte, schreibt das Modell den nächsten Schritt nicht auf: Es gibt sich seinen internen Zustand selbst als nächste Eingabe. So kann es mehrere Wege gleichzeitig offenhalten, wie jemand, der ein Labyrinth über mehrere Gänge erkundet, und übertraf die Gedankenkette bei logischen Aufgaben, die Planung erfordern.
• Innen mehr Runden drehen. Statt mehr zu schreiben, wiederholt das Modell denselben Block von Schichten so oft wie nötig: Es denkt in die Tiefe, nicht in die Länge. Der Prototyp von Geiping und weiteren Forschenden vom Februar 2025 hatte 3,5 Milliarden Parameter und verbesserte sich in Tests zum logischen Denken, bis er den Rechenaufwand eines Modells mit 50 Milliarden aufwendete. Im Oktober 2025 brachten die Schleifenmodelle Ouro die Idee ins Vortraining: Mit 1,4 und 2,6 Milliarden Parametern leisteten sie so viel wie Modelle mit 4 und 8 Milliarden. Laut ihren Autoren nicht, weil sie mehr wussten, sondern weil sie besser mit dem umgingen, was sie wussten.

Im Oktober 2026 sind das weiterhin Forschungsmodelle, klein im Vergleich zu den Spitzenmodellen. Kein Labor hat bestätigt, dass seine führenden Modelle auf diese Weise schließen, allerdings veröffentlichen die Labore ihre Architektur auch nicht. Deshalb erscheint dieser Ansatz nicht in der Grafik vom Anfang: Er ist ein Kandidat für einen Hebel, kein etablierter Hebel.

Sein größtes Hindernis ist nicht technischer Natur. Die geschriebene Gedankenkette ist heute eines der besten Fenster, um zu überwachen, was ein Modell tut, weil sie erkennen lässt, wann es erwägt, die Regeln zu umgehen. Im Juli 2025 veröffentlichten Forschende von OpenAI, Google DeepMind, Anthropic und weiteren Einrichtungen ein gemeinsames Papier, das sie als „neue und fragile Chance“ für die Sicherheit beschrieb und die Labore aufforderte zu berücksichtigen, wie sich ihre Designentscheidungen auf dieses Fenster auswirken. Im Dezember veröffentlichte OpenAI Evaluationen, denen zufolge es viel wirksamer ist, die Gedankenkette zu überwachen, als nur die Aktionen und Ergebnisse.

Dieses Fenster wird schon jetzt etwas schmaler, ohne dass es neue Architekturen braucht. Eine Studie vom Juli 2026 stellte fest, dass sich dreizehn fortgeschrittene Modelle bei synthetischen Denkaufgaben um bis zu 13 Punkte verbesserten, wenn sie Fülltokens ohne jede Bedeutung schrieben: Ein Teil der Berechnung geschieht, ohne eine lesbare Spur zu hinterlassen. Und in der Ankündigung von GPT-6 Astra räumt OpenAI ein, dass sich das geschriebene Schließen des Modells in Tests, in denen es die Aufsicht umgehen sollte, schwerer überwachen ließ als das seines Vorgängers, teilweise weil es die Aufgaben mit weniger geschriebenen Schritten löst.

Denken ohne zu schreiben wäre eine weitere Art, beim Antworten Rechenleistung einzusetzen, wahrscheinlich günstiger pro Schritt. Der Preis wäre, dieses Fenster zu schließen. Ob daraus ein Hebel wird, hängt davon ab, was es leistet, aber auch davon, ob die Labore und diejenigen, die sie regulieren, diesen Tausch akzeptieren.

Ist die Skalierung am Ende?

Nach diesem Überblick lässt sich zur Frage vom Anfang zurückkehren. Wer meint, die Skalierung sei erschöpft, hat gute Argumente:

• Jede Verzehnfachung kostet mehr Geld und Energie, und der Bau von Rechenzentren dauert Jahre.
• Der von Menschen geschriebene Text ist endlich.
• GPT-4.5 zeigte, dass ein größeres Vortraining für sich allein keinen spürbaren Sprung mehr bei den Aufgaben brachte, die am meisten interessierten.
• Das Gesetz des bestärkenden Lernens hat eine Obergrenze, und bestärkendes Lernen funktioniert vor allem dort, wo es eine automatische Möglichkeit gibt, das Ergebnis zu überprüfen.

Alle Argumente stimmen, aber jedes beschreibt die Grenze eines bestimmten Hebels, nicht des Ganzen. Als das Vortraining teurer wurde, übernahmen die Rechenleistung beim Antworten und das bestärkende Lernen.

Außerdem stützen sich die Hebel gegenseitig. Die Autoren von DeepSeek-R1 versuchten, bestärkendes Lernen direkt auf ein Modell mit 32 Milliarden Parametern anzuwenden, und es funktionierte schlechter, als ihm beizubringen, die Denkwege des großen Modells nachzuahmen. Ihr Schluss: Um weiterzukommen, werde es leistungsfähigere Basismodelle und mehr bestärkendes Lernen brauchen; das bestärkende Lernen holt heraus, was das Vortraining aufgebaut hat. GPT-6 Astra passt zu dieser Lesart. Es ist eine Rückkehr zum ersten Hebel, aber auf allen anderen aufbauend: das größte Vortraining von OpenAI, gefolgt von bestärkendem Lernen, Werkzeugen und Aufwandsstufen.

Bleibt ein Vorbehalt, der für alle Gesetze in diesem Artikel gilt. Sie sind Beobachtungen, keine Garantien. Sie messen den Verlust oder die Punktzahl in einem Test, nicht den Nutzen in echter Arbeit, und sie können ohne Vorwarnung aufhören zu gelten, so wie Kaplans Empfehlung zu den Daten aufgehört hat zu gelten.

Worauf man statt auf die Größe achten sollte

Jahrelang war die Zahl der Parameter die Abkürzung, um Modelle zu vergleichen. Heute sagt sie für sich genommen wenig. Ein Modell kann 2,8 Billionen Parameter haben und 104 Milliarden pro Wort nutzen; es kann das 75-Fache dessen gelesen haben, was eine Regel von 2022 empfahl; es kann mit hohem Aufwand viel mehr wert sein als mit niedrigem. Die nützliche Frage ist nicht mehr, wie stark ein Modell gewachsen ist, sondern was skaliert wurde und wie es überprüft wurde.

Diese Frage hat Folgen für alle, die diese Modelle in einem echten Prozess einsetzen. Qualität ist zum Teil zu einer Entscheidung pro Aufgabe geworden: wie viel Aufwand, wie viel Zeit und wie viel Kosten pro Antwort jeder Schritt verdient. Und die Modelle werden zuerst dort besser, wo sich das Ergebnis überprüfen lässt. In einer Organisation sind Prozesse, die bereits automatische Prüfungen haben, etwa Softwaretests, Kontenabgleiche oder Datenvalidierungen, die ersten, in denen ein Agent verlässlich arbeiten kann. Diese Prüfungen aufzubauen ist zu einem guten Teil dieselbe Arbeit, die die Labore leisten, um ihre Modelle zu trainieren.

Jeder Hebel in dieser Geschichte hatte seinen Moment, in dem er wie der endgültige wirkte. Keiner war es, und keiner ist verschwunden.

Quellen

• OpenAI: GPT-6 Astra, 3. September 2026
• Fortune: OpenAI launches GPT-6 Astra, 3. September 2026
• Cointelegraph: Vortrag von Ilya Sutskever auf der NeurIPS, Dezember 2024
• TechCrunch: OpenAI nimmt GPT-4.5 aus seiner API, 14. April 2025
• Kaplan et al.: Scaling Laws for Neural Language Models, Januar 2020
• Brown et al.: Language Models are Few-Shot Learners (GPT-3), Mai 2020
• Epoch AI: Training compute of frontier AI models grows by 4-5x per year
• Our World in Data: Computation used to train notable AI systems
• Hoffmann et al.: Training Compute-Optimal Large Language Models (Chinchilla), März 2022
• Meta: Introducing Meta Llama 3, April 2024
• Villalobos et al.: Will we run out of data?, Epoch AI
• OpenAI: Aligning language models to follow instructions, 27. Januar 2022
• Ouyang et al.: Training language models to follow instructions with human feedback, März 2022
• Shazeer et al.: Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, 2017
• Mistral AI: Mixtral of experts, 11. Dezember 2023
• Jiang et al.: Mixtral of Experts, Januar 2024
• DeepSeek-AI: DeepSeek-V3 Technical Report, Dezember 2024
• Meta: The Llama 4 herd, 5. April 2025
• Z.ai: GLM-5, Februar 2026
• Qwen: Qwen3.5-397B-A17B, Februar 2026
• Google: Gemma 4 31B, April 2026
• DeepSeek-AI: DeepSeek-V4-Pro, April 2026
• Moonshot AI: Kimi K3, Juli 2026
• Qwen: Qwen3.8-27B, August 2026
• Qwen: Qwen3.8-2.4T-A95B, August 2026
• Wei et al.: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, Januar 2022
• Snell et al.: Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters, August 2024
• OpenAI: Learning to reason with LLMs, 12. September 2024
• DeepSeek-AI: DeepSeek-R1, Januar 2025
• OpenAI: Introducing OpenAI o3 and o4-mini, 16. April 2025
• xAI: Grok 4, Juli 2025
• Khatri et al.: The Art of Scaling Reinforcement Learning Compute for LLMs, Oktober 2025
• Schick et al.: Toolformer, Februar 2023
• OpenAI: Function calling and other API updates, 13. Juni 2023
• Hao et al.: Training Large Language Models to Reason in a Continuous Latent Space (Coconut), Dezember 2024
• Geiping et al.: Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach, Februar 2025
• Zhu et al.: Scaling Latent Reasoning via Looped Language Models (Ouro), Oktober 2025
• Korbak et al.: Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety, Juli 2025
• OpenAI: Evaluating chain-of-thought monitorability, 18. Dezember 2025
• Baherwani, Goldstein und Panda: Not All LLM Reasoning is Visible in the Chain-of-Thought, Juli 2026