Pas seulement plus grands : ce qui a fait progresser les modèles de langage

Le 3 septembre 2026, OpenAI a présenté GPT-6 Astra. L’annonce le décrit comme le résultat d’« années de recherche et de grands paris » sur trois fronts : le préentraînement, l’apprentissage par renforcement et l’alignement. Aidan Clark, vice-président de la recherche de l’entreprise, a ajouté dans des déclarations à Fortune une donnée frappante : c’était la première fois qu’ils préentraînaient un modèle avec plus de 100 000 GPU, dans leur centre Stargate, au Texas. Il s’agissait, « de loin », du plus grand entraînement de leur histoire.

La donnée surprend si l’on se rappelle ce qui se disait il y a moins de deux ans. En décembre 2024, Ilya Sutskever, cofondateur d’OpenAI, a affirmé à NeurIPS, le principal congrès d’apprentissage automatique, que le préentraînement « tel que nous le connaissons prendra fin, sans aucun doute ». Son argument était que le calcul continuait de croître, mais pas les données : « nous n’avons qu’un seul internet ». Fin février 2025, OpenAI a lancé GPT-4.5, le plus grand modèle qu’elle avait publié jusque-là. Il progressait en conversation et en connaissances, mais restait derrière des modèles plus petits qui raisonnaient avant de répondre, et l’entreprise l’a retiré de son API en juillet 2025.

La mise à l’échelle s’était-elle épuisée ou non ? Les deux faits se concilient si l’on cesse de parler de « la mise à l’échelle » au singulier. Les modèles de langage n’ont pas progressé grâce à une seule règle, mais grâce à plusieurs leviers, chacun avec sa propre façon de convertir davantage de ressources en meilleurs résultats. Quand l’un devenait plus coûteux, l’effort se déplaçait vers un autre ; et les précédents n’étaient pas abandonnés, ils s’additionnaient.

Certains de ces leviers suivent une loi d’échelle. Le nom est un peu trompeur : ce n’est pas une loi de la physique, mais une régularité observée encore et encore. Si l’on investit davantage dans quelque chose de précis, comme les paramètres, les données ou le calcul, le résultat s’améliore de façon si prévisible qu’on peut le calculer avant de dépenser l’argent. D’autres leviers n’ont pas de loi propre : ce qu’ils font, c’est changer ce qui est mis à l’échelle ou ce que cela coûte. Cet article parcourt les sept qui, à notre avis, expliquent le mieux le chemin de GPT-3 à aujourd’hui, et un huitième qui est encore dans les laboratoires.

2020 : la première loi transforme le progrès en budget

Pour comprendre la première loi, il faut trois mots. Un modèle de langage apprend en lisant des textes et en essayant de deviner ce qui vient ensuite, fragment par fragment. Ces fragments s’appellent des tokens : un mot court correspond généralement à un token, et un mot long, à plusieurs.

Ce que le modèle ajuste pendant qu’il apprend, ce sont ses paramètres, des milliards de nombres internes qui décident de ce qu’il répond. C’est pourquoi la taille d’un modèle se mesure en paramètres.

Et pour savoir combien il a appris, on mesure sa perte : en simplifiant, à quel point il se trompe en devinant le token suivant dans des textes qu’il n’a pas vus. Plus elle est basse, mieux c’est.

Deux pièces de 2017 et 2018 ont permis à cette recette de grandir. La première a été le Transformer, l’architecture présentée par Google en 2017. Il traite tous les mots d’un texte en même temps, au lieu de l’un après l’autre, ce qui permet de répartir l’entraînement entre des milliers de puces. La seconde est que la tâche n’a pas besoin d’étiquettes : n’importe quel texte sert à apprendre, car la bonne réponse est toujours le fragment qui vient ensuite. OpenAI a réuni les deux dans GPT, en 2018, et dans GPT-2, en 2019.

En janvier 2020, une équipe d’OpenAI dirigée par Jared Kaplan a entraîné des modèles de tailles très différentes et comparé leur perte dans l’article Scaling Laws for Neural Language Models. Elle a trouvé une régularité peu commune. En donnant au modèle plus de paramètres, plus de données ou plus de calcul, la perte baissait toujours de la même manière, et certaines de ces tendances se maintenaient sur des plages de plus de dix millions de fois. Les détails de conception, en revanche, comptaient beaucoup moins qu’on ne le pensait.

La conséquence pratique est facile à énoncer : chaque fois que l’on multiplie le calcul par dix, la perte baisse dans la même proportion, d’environ 11 % selon leurs mesures. C’est ce qu’on appelle une loi de puissance. Progresser est possible, mais chaque pas coûte dix fois plus que le précédent. L’avantage, c’est qu’on peut le prévoir.

Quelques mois plus tard, en mai 2020, OpenAI a publié GPT-3, avec 175 milliards de paramètres, plus de cent fois ceux de GPT-2. En plus de mieux écrire, il faisait quelque chose que les petits modèles réussissaient à peine : résoudre une tâche nouvelle à partir de quelques exemples écrits dans la requête elle-même, sans le réentraîner. Depuis, le calcul utilisé pour entraîner les modèles de pointe a crû de façon soutenue. Epoch AI, qui compile ces données, estime qu’il a été multiplié par quatre ou cinq chaque année entre 2010 et 2024.

Avant 2020, améliorer un modèle de langage était surtout un problème de conception : essayer des architectures et des astuces d’entraînement en espérant que l’une d’elles fonctionne. Ensuite, c’est devenu aussi un problème de budget. On pouvait calculer, avant de dépenser l’argent, de combien baisserait la perte d’un modèle dix fois plus grand. Cette prévisibilité a une limite qu’il vaut mieux ne pas oublier : la loi prédit la perte, pas les tâches concrètes que le modèle saura accomplir. Une amélioration douce de la perte peut se traduire par des bonds brusques sur une tâche, comme nous l’expliquons dans « Pourquoi l’IA semble progresser d’un coup sur certaines tâches ».

2022 : un grand modèle doit aussi lire davantage

Le travail de Kaplan laissait une recommandation : avec un budget fixe, mieux vaut le dépenser surtout à agrandir le modèle, même s’il lit relativement peu. Les grands modèles de 2020 et 2021 ont été construits ainsi. En mars 2022, DeepMind a publié une étude portant sur plus de 400 modèles qui aboutissait à une autre conclusion, connue sous le nom du modèle qui l’a démontrée : Chinchilla. Pour bien exploiter le budget, la taille et les données doivent croître ensemble : si le modèle double de taille, il doit lire deux fois plus. Selon ce critère, les grands modèles de l’époque avaient trop peu lu.

Pour le démontrer, ils ont entraîné Chinchilla, un modèle de 70 milliards de paramètres, avec le même calcul que Gopher, leur modèle précédent de 280 milliards. La différence est que Chinchilla a lu 1,4 billion de tokens, presque cinq fois plus. Avec un modèle quatre fois plus petit, il a dépassé Gopher dans presque tous les tests ; sur MMLU, un examen de questions portant sur 57 matières, il a obtenu 67,5 % de bonnes réponses, plus de sept points au-dessus. La règle pratique qui s’est popularisée était d’environ 20 tokens par paramètre.

Modèle	Année	Paramètres	Tokens d’entraînement	Tokens par paramètre
GPT-3	2020	175 milliards	300 milliards	≈ 2
Gopher	2021	280 milliards	300 milliards	≈ 1
Chinchilla	2022	70 milliards	1,4 billion	≈ 20
Llama 3 8B	2024	8 milliards	plus de 15 billions	≈ 1 900

Un billion équivaut à mille milliards. Données des articles de GPT-3 et de Chinchilla, et de l’annonce de Llama 3.

La dernière ligne montre que la règle de Chinchilla n’est pas non plus devenue un dogme. En avril 2024, Meta a expliqué que la quantité optimale de données pour son modèle de 8 milliards de paramètres, selon ce critère, tournait autour de 200 milliards de tokens. Meta l’a entraîné sur plus de 15 billions, environ 75 fois plus, et le modèle a continué de progresser. L’explication est économique. Chinchilla optimise le coût de l’entraînement, qui se paie une fois. Mais un modèle est utilisé des millions de fois, et un petit modèle qui a beaucoup lu est moins cher à exécuter qu’un grand de même qualité.

Lire davantage a une limite évidente : le texte disponible. Epoch AI estime que le texte public écrit par des personnes avoisine les 300 billions de tokens et qu’au rythme actuel, les modèles l’épuiseraient à un moment donné entre 2026 et 2032. C’est la préoccupation qu’exprimait Sutskever en qualifiant les données de « combustible fossile de l’IA ». Les réponses ont été de mieux filtrer, de réutiliser des données, de générer des données synthétiques avec d’autres modèles et, surtout, de chercher des améliorations qui ne dépendent pas seulement du fait de lire davantage.

2022 : savoir n’est pas la même chose qu’aider

Un modèle préentraîné prolonge des textes. Si on lui écrit une requête, il ne l’interprète pas forcément comme une consigne : il peut la prolonger comme si c’était le début d’une liste. L’article d’InstructGPT, publié par OpenAI en 2022, inclut un exemple de ce problème.

« Écrivez une courte histoire sur une grenouille qui voyage dans le temps jusqu’à la Grèce antique en français. »

GPT-3 : répond par d’autres requêtes du même type. « Écrivez une histoire au sujet d’un enfant qui voudrait tout savoir sur les jeux des dieux… », « Écrivez une histoire sur un jeune homme qui a une aventure dans une époque lointaine… ».

InstructGPT : écrit l’histoire. « La grenouille était perdue et épuisée. Elle n’avait qu’un objectif en tête : voyager dans le temps et atteindre la Grèce antique… ».

Ce qui change : le premier modèle traite la requête comme le début d’une liste de consignes ; le second, comme une consigne qu’il doit accomplir. Les deux modèles ont 175 milliards de paramètres.

Source : figure 8 d’Ouyang et al. (2022). Exemple original en français, tronqué.

Pour y parvenir, OpenAI a utilisé la technique d’apprentissage par renforcement à partir de préférences humaines, connue sous le nom de RLHF. D’abord, plusieurs personnes ont écrit des réponses d’exemple à de vraies requêtes. Ensuite, elles ont comparé différentes réponses du modèle et les ont classées de la meilleure à la pire. Avec ces comparaisons, on a entraîné un second modèle, le modèle de récompense, qui apprend à prédire quelle réponse une personne préférerait. Enfin, le modèle principal a été ajusté par apprentissage par renforcement : il génère des réponses, le modèle de récompense les note et l’entraînement rend plus probables celles qui obtiennent une bonne note.

Le résultat remettait en question l’idée que tout dépendait de la taille. Les personnes qui ont évalué les réponses préféraient celles de l’InstructGPT de 1,3 milliard de paramètres à celles de GPT-3 avec 175 milliards, un modèle plus de cent fois plus grand. Et cet ajustement a coûté peu : selon OpenAI, il a utilisé moins de 2 % du calcul et des données du préentraînement. L’entreprise elle-même l’a décrit comme une façon de « débloquer » des capacités que GPT-3 possédait déjà. ChatGPT, lancé en novembre 2022, a appliqué cette recette à un produit d’usage général.

Ce levier n’ajoute pas de connaissances, il change l’objectif : passer de prolonger des textes à aider la personne qui pose la question. Il vaut la peine de retenir le chiffre de 2 %, car trois ans plus tard la proportion de calcul consacrée à cette phase postérieure au préentraînement serait très différente.

2023 : beaucoup de paramètres, peu à la fois

Dans un modèle conventionnel, qu’on appelle généralement dense, tous les paramètres travaillent sur chaque token. Si le modèle est dix fois plus grand, chaque mot coûte environ dix fois plus à calculer.

Le mélange d’experts, connu sous son sigle anglais MoE, rompt cette relation. Il divise des parties du modèle en plusieurs blocs, appelés experts, et ajoute un routeur qui choisit, pour chaque token, les quelques experts qui le traitent. Les autres ne font rien avec ce token.

L’idée remonte à 2017, quand Noam Shazeer et d’autres chercheurs de Google l’ont appliquée à des réseaux allant jusqu’à 137 milliards de paramètres. Dans les modèles de langage, elle s’est popularisée avec Mixtral 8x7B, que Mistral a publié en décembre 2023 : il avait 46,7 milliards de paramètres, mais chaque token n’en utilisait que 12,9 milliards.

Le nom d’« expert » prête un peu à confusion. Il n’y a pas un expert en médecine et un autre en histoire : le routeur décide de sa propre répartition pendant l’entraînement, et dans Mixtral cette répartition semblait suivre davantage la syntaxe du texte que son sujet.

Un an plus tard, DeepSeek-V3 a montré jusqu’où pouvait aller l’économie. Il compte 671 milliards de paramètres, dont chaque token utilise 37 milliards, et selon son rapport technique l’entraînement final a coûté environ 5,6 millions de dollars en location de GPU. Le chiffre n’inclut pas la recherche préalable, mais il était très bas pour un modèle qui rivalisait avec les meilleurs modèles fermés, et la conception MoE en était l’une des raisons.

Tous les modèles sont-ils des MoE ? Non, mais en 2026 c’est le cas de presque tous les grands modèles à poids ouverts, ceux que n’importe qui peut télécharger. Le tableau réunit les plus récents avec trois plus anciens, à titre de comparaison.

Modèle	Date	Architecture	Paramètres totaux	Actifs par token
Mixtral 8x7B	déc. 2023	MoE	46,7 milliards	12,9 milliards
DeepSeek-V3	déc. 2024	MoE	671 milliards	37 milliards
Llama 4 Maverick	avr. 2025	MoE	400 milliards	17 milliards
GLM-5	févr. 2026	MoE	744 milliards	40 milliards
Qwen3.5-397B-A17B	févr. 2026	MoE	397 milliards	17 milliards
Gemma 4 31B	avr. 2026	dense	30,7 milliards	tous
Gemma 4 26B A4B	avr. 2026	MoE	25,2 milliards	3,8 milliards
DeepSeek-V4-Pro	avr. 2026	MoE	1,6 billion	49 milliards
Kimi K3	juill. 2026	MoE	2,8 billions	104 milliards
Qwen3.8-27B	août 2026	dense	27 milliards	tous

Données des fiches techniques de chaque modèle, liées dans les sources. N’inclut que des modèles à poids ouverts, dont l’architecture est publique.

Le tableau laisse voir une tendance. À partir de quelques centaines de milliards de paramètres, en 2026, pratiquement tout est MoE : Meta a adopté cette conception avec Llama 4, sa première famille MoE, et Kimi K3 atteint 2,8 billions de paramètres en en utilisant moins de 4 % pour chaque token. Les modèles denses restent présents dans les tailles moyennes, où l’économie compense moins la complexité ; Google publie même les deux variantes dans la même famille, Gemma 4. Pour les modèles fermés d’OpenAI, d’Anthropic ou de Google, on ne le sait pas avec certitude, car ces entreprises ne publient pas leur architecture. On répète souvent que GPT-4 était un MoE, mais OpenAI ne l’a jamais confirmé.

Il y a une nuance importante : un MoE économise du calcul, mais pas de la mémoire. Tous les experts doivent être chargés, car n’importe quel token peut avoir besoin de n’importe lequel d’entre eux. DeepSeek-V4-Pro calcule chaque mot comme un modèle d’environ 50 milliards de paramètres, mais occupe en mémoire ce qu’occupent ses 1,6 billion. Nous l’expliquons plus en détail dans notre article sur l’inférence locale.

Le mélange d’experts n’est pas une nouvelle loi d’échelle, mais un changement de prix. Avant, avoir dix fois plus de paramètres signifiait payer environ dix fois plus pour chaque mot généré. Avec le MoE, la capacité d’un modèle à stocker des connaissances et la quantité de calcul par mot cessent d’aller toujours de pair.

2024 : dépenser du calcul au moment de répondre

Jusqu’ici, tous les leviers agissent sur l’entraînement. Une fois entraîné, le modèle consacre à peu près le même effort à chaque token, qu’on lui demande la capitale de la France ou un problème d’olympiade. Le levier suivant consiste à le laisser dépenser plus de calcul sur les questions qui le nécessitent.

Le premier pas a presque été une astuce de rédaction. En janvier 2022, une équipe de Google a publié le travail sur la chaîne de pensée : si la requête inclut des exemples résolus pas à pas, le modèle écrit lui aussi les étapes intermédiaires avant de donner la réponse, et il réussit davantage.

La requête inclut un problème résolu avec ses étapes : Roger a 5 balles de tennis et achète 2 boîtes de 3 balles chacune. « Il en avait 5 au départ. Deux boîtes de 3 balles font 6. 5 + 6 = 11. La réponse est 11. »

« La cafétéria avait 23 pommes. Si elle en a utilisé 20 pour le déjeuner et en a acheté 6 de plus, combien de pommes a-t-elle ? »

Si l’exemple ne donne que la réponse finale : le modèle répond 27.

Si l’exemple donne les étapes : « Elle en avait 23 et en a utilisé 20, il lui en restait donc 3. Elle en a acheté 6 de plus : 3 + 6 = 9. La réponse est 9. »

Bonne réponse : 9. Écrire le résultat intermédiaire donne au modèle un point d’appui ; sans lui, il essaie d’atteindre la réponse d’un seul bond et échoue.

Source : figure 1 de Wei et al. (2022), traduite. Le modèle est PaLM, de Google, avec 540 milliards de paramètres.

Sur GSM8K, une collection de problèmes de mathématiques de niveau primaire, PaLM passait de 17,9 % à 56,9 % de bonnes réponses avec ce changement. Mais l’effet n’apparaissait que dans les grands modèles, d’environ 100 milliards de paramètres ; dans les petits, écrire des étapes n’aidait pas et dégradait même le résultat. La chaîne de pensée était, en elle-même, un effet de l’échelle.

Si écrire quelques étapes aide, écrire davantage aide-t-il ? Ou essayer le problème plusieurs fois et garder la meilleure réponse ? En août 2024, Snell et d’autres chercheurs de Google et de Berkeley ont comparé deux manières de dépenser le même calcul : utiliser un modèle plus grand ou laisser un petit modèle réfléchir davantage. Sur les problèmes que le petit modèle résolvait déjà parfois, réfléchir davantage pouvait battre un modèle quatorze fois plus grand. Sur les plus difficiles, non : là, il fallait encore un meilleur modèle.

Un mois plus tard, le 12 septembre 2024, OpenAI a présenté o1, le premier modèle commercial conçu pour réfléchir un moment avant de répondre. Son annonce incluait deux graphiques très cités. Dans les deux, la réussite à un examen de mathématiques montait de façon régulière : dans l’un, en donnant plus de calcul à l’entraînement ; dans l’autre, en lui laissant plus de temps pour réfléchir à chaque réponse. C’était la même forme que la loi de 2020, appliquée à un nouvel axe. Les chiffres de ce bond se trouvent dans l’article sur les sigmoïdes.

En 2026, cet axe est un curseur de plus dans les produits. GPT-6 Astra est proposé avec plusieurs niveaux d’effort, et un modèle ouvert comme le grand Qwen3.8 inclut un réglage d’« effort de raisonnement » pour choisir entre réfléchir peu, normalement ou beaucoup, selon la profondeur et le coût souhaités. Dans l’annonce d’Astra, le directeur technique de Lovable explique que plus d’effort permet plus d’itérations et plus de vérifications avec des tests dans le navigateur.

Avant 2022, la qualité d’un modèle était fixée à la fin de son entraînement. Désormais, une partie se décide à chaque question, selon la quantité de calcul qu’on lui permet de dépenser. Le coût par réponse cesse d’être fixe et devient une décision : une question simple ne mérite pas le même effort qu’un audit de code.

2025 : entraîner sur ce qui peut être vérifié

Qu’un modèle écrive plus d’étapes ne garantit pas qu’il réfléchisse mieux : il peut tourner en rond sans avancer. o1 exploitait ce temps parce qu’on l’avait entraîné à le faire par apprentissage par renforcement. Et c’est là qu’apparaissait un problème. Dans le RLHF, celui qui note est un modèle de récompense qui imite les goûts des personnes, et c’est un juge imparfait. Si l’on entraîne trop contre lui, le modèle apprend à le contenter au lieu de bien faire la tâche, comme un élève qui étudie pour le correcteur et non pour la matière. C’est pourquoi cette phase restait courte.

La solution a été d’entraîner sur des problèmes qui peuvent être corrigés automatiquement, comme un examen accompagné de son corrigé : des mathématiques avec une réponse connue ou du code qui doit passer des tests. Là, la note est fiable et on peut entraîner beaucoup plus longtemps.

En janvier 2025, DeepSeek a publié la façon dont il l’avait fait avec DeepSeek-R1. Sa première version, R1-Zero, a appris uniquement avec ce type de notes, sans exemples de raisonnement écrits par des personnes. Ce qui frappe, c’est ce qui s’est passé pendant l’entraînement : ses réponses se sont allongées d’elles-mêmes, de centaines à des milliers de tokens de raisonnement. Personne ne lui a demandé de réfléchir davantage ; il l’a appris parce que réfléchir davantage lui apportait plus de bonnes réponses. Les auteurs rapportent même le moment où une version intermédiaire s’interrompt avec un « Attends, attends. Attends. C’est un moment eurêka que je peux signaler ici » et revoit son approche.

Ce renforcement, en outre, passait à l’échelle. En présentant o3, en avril 2025, OpenAI a raconté qu’on y retrouvait la même règle que dans le préentraînement : plus de calcul, de meilleures performances. En juillet 2025, xAI a dit avoir entraîné Grok 4 par renforcement « à l’échelle du préentraînement » et avec des problèmes vérifiables issus de bien plus de domaines que les mathématiques et la programmation. La comparaison avec 2022 résume le changement : InstructGPT a consacré à cette phase moins de 2 % du calcul du préentraînement ; trois ans plus tard, certains laboratoires lui consacrent une quantité comparable.

Il restait à le mesurer avec rigueur. En octobre 2025, une équipe de Meta et de plusieurs universités a publié la première étude systématique sur la façon dont le renforcement passe à l’échelle, avec plus de 400 000 heures de GPU. Le progrès suivait une courbe régulière, assez pour prédire un grand entraînement à partir d’autres plus petits. Mais il y avait une différence avec la loi de 2020 : cette courbe finit par s’aplatir. Chaque recette d’entraînement a son plafond, et beaucoup d’ajustements ne changent que la vitesse à laquelle on l’atteint, pas sa hauteur.

Avec le RLHF, le modèle apprenait à donner des réponses qui plaisaient. Avec des récompenses vérifiables, il apprend à résoudre des problèmes dont la solution peut être vérifiée. La ressource rare se déplace aussi : ce ne sont plus seulement les textes à lire, mais les problèmes assortis d’une façon fiable de savoir s’ils sont bien résolus.

2025 : de pouvoir appeler un outil à savoir quand l’utiliser

Un modèle de langage, à lui seul, calcule mal les opérations longues, ne sait pas ce qui s’est passé après son entraînement et ne peut pas agir en dehors de la conversation. Les outils résolvent ces trois problèmes. En février 2023, Meta a présenté Toolformer, un modèle qui a appris à insérer dans son texte des appels à une calculatrice, à un moteur de recherche ou à un traducteur. En juin 2023, OpenAI a ajouté à son API les appels de fonctions : le développeur décrit les outils disponibles et le modèle répond par une demande structurée pour les utiliser.

C’était une interface. Le modèle pouvait demander un outil, mais il n’avait pas appris à décider quand il avait intérêt à le faire au sein d’une tâche longue, ni à changer de plan selon ce que l’outil lui renvoyait. Le changement est venu en combinant les outils avec le renforcement. Dans l’annonce d’o3 et d’o4-mini, OpenAI expliquait les avoir entraînés à utiliser des outils par apprentissage par renforcement, en leur apprenant « non seulement à utiliser des outils, mais aussi à raisonner sur le moment où les utiliser ». L’annonce elle-même incluait un exemple de ce que cela signifie.

« Comment la consommation d’énergie en Californie cet été se comparera-t-elle à celle de l’année dernière ? »

Pour répondre, le modèle cherche sur le web des données publiques de consommation, écrit du code Python pour construire une prévision, génère un graphique et explique les facteurs qui la sous-tendent. Si une recherche ne donne pas ce dont il a besoin, il peut en faire une autre.

Ce qui change : personne ne lui indique quel outil utiliser ni dans quel ordre. Les choisir et les enchaîner fait partie de ce que le modèle a appris.

Source : exemple décrit dans l’annonce d’o3 et d’o4-mini, 16 avril 2025.

Les outils s’accordent avec le levier précédent pour une raison pratique : ils servent aussi à vérifier. Un modèle qui peut exécuter le code qu’il écrit sait s’il fonctionne avant de le livrer. Dans la même annonce, o4-mini résolvait 99,5 % des problèmes de l’examen AIME 2025 avec accès à un interpréteur Python. OpenAI prévenait que ce chiffre ne devait pas être comparé à celui de modèles sans outils, mais il illustre la façon dont le modèle tire parti des ressources dont il dispose.

En 2026, les tests que mettent en avant les lancements ne demandent plus si le modèle sait utiliser une calculatrice, mais s’il peut manier un ordinateur. GPT-6 Astra obtient 72,6 % sur OSWorld 2.0, un test de tâches réelles dans un système d’exploitation, en consacrant en moyenne environ 40 minutes à chacune. L’environnement, qu’il s’agisse d’un ordinateur, d’un navigateur ou d’un dépôt de code, fait désormais partie de ce que le modèle sait exploiter. Nous racontons comment les lancements en sont venus à mesurer ce type de travail dans notre histoire des benchmarks.

En laboratoire : penser sans écrire

Toutes les façons de réfléchir que nous avons vues ont un point commun : le modèle raisonne en écrivant. Chaque étape intermédiaire devient des tokens, et chaque token doit être calculé et payé. Il y a en outre un inconvénient moins visible. En interne, le modèle représente chaque étape avec des milliers de nombres qui peuvent contenir plusieurs possibilités à la fois. En choisissant un mot, il n’en garde qu’une et écarte les autres.

De là vient une ligne de recherche connue sous le nom de raisonnement dans l’espace latent. L’espace latent est ce langage interne de nombres avec lequel le modèle travaille avant de choisir chaque mot. L’idée est de le laisser réfléchir là, sans passer par le texte.

Les propositions les plus connues suivent deux voies :

• Renvoyer la pensée. Dans Coconut, présenté par Meta en décembre 2024, le modèle n’écrit pas l’étape suivante : il se transmet à lui-même son état interne comme s’il s’agissait de l’entrée suivante. Il peut ainsi garder ouverts plusieurs chemins à la fois, comme quelqu’un qui explore un labyrinthe par plusieurs couloirs, et il surpassait la chaîne de pensée sur des problèmes logiques qui obligent à planifier.
• Faire plus de tours en interne. Au lieu d’écrire davantage, le modèle répète un même bloc de couches autant de fois que nécessaire : il réfléchit en profondeur, pas en longueur. Le prototype de Geiping et d’autres chercheurs, de février 2025, avait 3,5 milliards de paramètres et progressait sur des tests de raisonnement jusqu’à dépenser le calcul d’un modèle de 50 milliards. En octobre 2025, les modèles en boucle Ouro ont porté l’idée jusqu’au préentraînement : avec 1,4 et 2,6 milliards de paramètres, ils se comportaient comme des modèles de 4 et 8 milliards. Selon leurs auteurs, non parce qu’ils en savaient davantage, mais parce qu’ils maniaient mieux ce qu’ils savaient.

En octobre 2026, ce sont encore des modèles de recherche, petits comparés à ceux de la frontière. Aucun laboratoire n’a confirmé que ses modèles de pointe raisonnent ainsi, même si les laboratoires ne publient pas non plus leur architecture. C’est pourquoi cette approche n’apparaît pas dans le graphique du début : c’est un levier candidat, pas un levier consolidé.

Son principal obstacle n’est pas technique. La chaîne de pensée écrite est aujourd’hui l’une des meilleures fenêtres pour surveiller ce que fait un modèle, car elle permet de détecter quand il envisage de contourner les règles. En juillet 2025, des chercheurs d’OpenAI, de Google DeepMind, d’Anthropic et d’autres institutions ont publié un document commun qui la décrivait comme une opportunité « nouvelle et fragile » pour la sécurité et demandait aux laboratoires de tenir compte de la façon dont leurs choix de conception affectent cette fenêtre. En décembre, OpenAI a publié des évaluations selon lesquelles surveiller la chaîne de pensée est beaucoup plus efficace que surveiller seulement les actions et les résultats.

Cette fenêtre se rétrécit déjà un peu sans qu’il faille de nouvelles architectures. Une étude de juillet 2026 a constaté que treize modèles avancés progressaient jusqu’à 13 points sur des tâches de raisonnement synthétiques en écrivant des tokens de remplissage, dépourvus de toute signification : une partie du calcul se produit sans laisser de trace lisible. Et dans l’annonce de GPT-6 Astra, OpenAI reconnaît que, lors de tests où on lui demandait d’échapper à la supervision, son raisonnement écrit s’est révélé plus difficile à surveiller que celui de son prédécesseur, en partie parce qu’il résout les problèmes avec moins d’étapes écrites.

Penser sans écrire serait une autre façon de dépenser du calcul au moment de répondre, probablement moins chère par étape. Le prix serait de fermer cette fenêtre. Que cela devienne un levier dépendra de ses performances, mais aussi de la décision des laboratoires, et de ceux qui les régulent, d’accepter ou non cet échange.

La mise à l’échelle est-elle terminée ?

Avec ce parcours, on peut revenir à la question du début. Ceux qui soutiennent que la mise à l’échelle s’épuise ont de bons arguments :

• Chaque multiplication par dix coûte plus d’argent et d’énergie, et les centres de données mettent des années à se construire.
• Le texte écrit par des personnes est fini.
• GPT-4.5 a montré qu’agrandir le préentraînement ne produisait plus, à lui seul, un bond perceptible sur les tâches qui intéressaient le plus.
• La loi du renforcement a un plafond, et le renforcement fonctionne surtout là où il existe une façon automatique de vérifier le résultat.

Tous sont exacts, mais chacun décrit la limite d’un levier précis, pas de l’ensemble. Quand le préentraînement est devenu plus coûteux, le calcul au moment de répondre et le renforcement ont pris le relais.

En outre, les leviers s’appuient les uns sur les autres. Les auteurs de DeepSeek-R1 ont essayé d’appliquer le renforcement directement à un modèle de 32 milliards de paramètres, et cela a moins bien fonctionné que de lui apprendre à imiter les raisonnements du grand modèle. Leur conclusion était que, pour aller plus loin, il faudra des modèles de base plus puissants et davantage de renforcement : le renforcement tire parti de ce que le préentraînement a construit. GPT-6 Astra cadre avec cette lecture. C’est un retour au premier levier, mais par-dessus tous les autres : le plus grand préentraînement d’OpenAI, suivi de renforcement, d’outils et de niveaux d’effort.

Reste une précaution qui vaut pour toutes les lois de cet article. Ce sont des observations, pas des garanties. Elles mesurent la perte ou le score à un test, pas l’utilité dans un vrai travail, et elles peuvent cesser de se vérifier sans prévenir, comme a cessé de se vérifier la recommandation de Kaplan sur les données.

Ce qu’il faut regarder plutôt que la taille

Pendant des années, le nombre de paramètres a été le raccourci pour comparer les modèles. Aujourd’hui, à lui seul, il dit peu de chose. Un modèle peut avoir 2,8 billions de paramètres et en utiliser 104 milliards par mot ; il peut avoir lu 75 fois ce que recommandait une règle de 2022 ; il peut valoir beaucoup plus avec un effort élevé qu’avec un effort faible. La question utile n’est plus de savoir de combien un modèle a grandi, mais ce qui a été mis à l’échelle et comment cela a été vérifié.

Cette question a des conséquences pour qui utilise ces modèles dans un processus réel. La qualité est devenue en partie une décision propre à chaque tâche : combien d’effort, combien de temps et quel coût par réponse mérite chaque étape. Et les modèles progressent d’abord là où le résultat peut être vérifié. Dans une organisation, les processus qui ont déjà des vérifications automatiques, comme les tests logiciels, les rapprochements ou les validations de données, sont les premiers où un agent peut parvenir à travailler de façon fiable. Construire ces vérifications, c’est en bonne partie le même travail que celui que font les laboratoires pour entraîner leurs modèles.

Chaque levier de cette histoire a eu son moment où il semblait définitif. Aucun ne l’a été, et aucun n’a disparu.

Sources

• OpenAI : GPT-6 Astra, 3 septembre 2026
• Fortune : OpenAI launches GPT-6 Astra, 3 septembre 2026
• Cointelegraph : intervention d’Ilya Sutskever à NeurIPS, décembre 2024
• TechCrunch : OpenAI retirera GPT-4.5 de son API, 14 avril 2025
• Kaplan et al. : Scaling Laws for Neural Language Models, janvier 2020
• Brown et al. : Language Models are Few-Shot Learners (GPT-3), mai 2020
• Epoch AI : Training compute of frontier AI models grows by 4-5x per year
• Our World in Data : Computation used to train notable AI systems
• Hoffmann et al. : Training Compute-Optimal Large Language Models (Chinchilla), mars 2022
• Meta : Introducing Meta Llama 3, avril 2024
• Villalobos et al. : Will we run out of data?, Epoch AI
• OpenAI : Aligning language models to follow instructions, 27 janvier 2022
• Ouyang et al. : Training language models to follow instructions with human feedback, mars 2022
• Shazeer et al. : Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, 2017
• Mistral AI : Mixtral of experts, 11 décembre 2023
• Jiang et al. : Mixtral of Experts, janvier 2024
• DeepSeek-AI : DeepSeek-V3 Technical Report, décembre 2024
• Meta : The Llama 4 herd, 5 avril 2025
• Z.ai : GLM-5, février 2026
• Qwen : Qwen3.5-397B-A17B, février 2026
• Google : Gemma 4 31B, avril 2026
• DeepSeek-AI : DeepSeek-V4-Pro, avril 2026
• Moonshot AI : Kimi K3, juillet 2026
• Qwen : Qwen3.8-27B, août 2026
• Qwen : Qwen3.8-2.4T-A95B, août 2026
• Wei et al. : Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, janvier 2022
• Snell et al. : Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters, août 2024
• OpenAI : Learning to reason with LLMs, 12 septembre 2024
• DeepSeek-AI : DeepSeek-R1, janvier 2025
• OpenAI : Introducing OpenAI o3 and o4-mini, 16 avril 2025
• xAI : Grok 4, juillet 2025
• Khatri et al. : The Art of Scaling Reinforcement Learning Compute for LLMs, octobre 2025
• Schick et al. : Toolformer, février 2023
• OpenAI : Function calling and other API updates, 13 juin 2023
• Hao et al. : Training Large Language Models to Reason in a Continuous Latent Space (Coconut), décembre 2024
• Geiping et al. : Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach, février 2025
• Zhu et al. : Scaling Latent Reasoning via Looped Language Models (Ouro), octobre 2025
• Korbak et al. : Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety, juillet 2025
• OpenAI : Evaluating chain-of-thought monitorability, 18 décembre 2025
• Baherwani, Goldstein et Panda : Not All LLM Reasoning is Visible in the Chain-of-Thought, juillet 2026