En février 2019, OpenAI présentait GPT-2 en montrant notamment s’il pouvait lire un récit et déduire le mot manquant à la fin. Aujourd’hui, la tâche paraît modeste. Elle permettait alors d’étudier une capacité fondamentale : le modèle suivait-il ce qui se passait dans le texte, au-delà de l’enchaînement de mots qui apparaissent souvent ensemble ?
En septembre 2026, l’annonce de Grok 4.7 compare des modèles sur des tests demandant de concevoir des circuits électriques, de repérer les risques juridiques de contrats et de raisonner sur des cas médicaux. Comprendre les consignes n’est qu’une partie du travail : il faut appliquer des connaissances à un cas et respecter ses exigences. L’attente exprimée se rapproche de la délégation d’une partie du travail d’un professionnel.
Entre ces deux dates, les modèles changent, mais aussi ce que nous considérons comme une démonstration de leurs capacités. Les laboratoires le rendent visible dans leurs annonces : ils choisissent des tests communs — les benchmarks —, publient les résultats et les comparent à ceux d’autres systèmes. Les scores indiquent le résultat d’un modèle. Le type de test mis en avant révèle ce que nous commençons à attendre de lui.
Repartir des premiers GPT permet de suivre cette évolution : comment les progrès ont incité à demander des tâches plus ambitieuses et à chercher de nouvelles façons de vérifier si le modèle pouvait les accomplir.
2018–2020 : suit-il ce qu’il lit ?
Les premiers GPT, dès 2018, étaient évalués sur des tâches comme répondre à des questions sur un texte ou reconnaître une contradiction entre deux phrases. Pour un système apprenant à partir de grandes quantités de langage, réussir ces exercices permettait de vérifier si cet apprentissage l’aidait à interpréter ce qu’on lui donnait à lire.
Lors du lancement de GPT-2, en février 2019, LAMBADA figurait parmi les tests mis en avant. Il réunissait des passages dont il fallait compléter le dernier mot. La difficulté venait du fait que les mots immédiatement précédents ne suffisaient pas : il fallait utiliser le contexte du récit.
Julia explique à un homme qu’elle a déjà fait la mise au point sur son ami et qu’il lui suffit d’appuyer sur le déclencheur.
« Il acquiesça, jeta sa cigarette et prit l’___ ».
Réponse attendue : appareil photo. Le contexte permet de déduire quel objet il prend. Dans l’original anglais, le mot est camera.
Bien des objets peuvent suivre « prit l’… ». Pour arriver à « appareil photo », il faut relier le déclencheur, l’ami que l’on va photographier et l’objet qui passe d’une personne à l’autre. Une réponse d’un seul mot dans l’original permettait de vérifier si le modèle reliait des détails répartis dans le texte.
C’était l’intérêt de la question. De telles réussites donnaient des raisons de penser qu’apprendre à poursuivre un texte pouvait produire davantage que des phrases vraisemblables : une capacité à suivre des situations et à répondre à leur sujet. Le test apportait un indice de compréhension sur une tâche précise, sans trancher à lui seul ce que signifie « comprendre » pour une machine.
GPT-2 réussissait 63,24 % des exercices de LAMBADA. En mai 2020, GPT-3 atteignait 86,4 % lorsqu’il recevait quelques exemples résolus avant de répondre. Les conditions différaient, et cette aide faisait partie de la nouveauté : des exemples dans la requête pouvaient montrer au modèle la tâche voulue, sans le réentraîner pour chaque activité.
Entre GPT-2 et GPT-3, LAMBADA demandait toujours le mot manquant : « camera », dans notre exemple original. Ce qui changeait aussi, c’était la présentation du test : GPT-3 recevait des démonstrations de ce qu’il devait faire. À la capacité de relier les indices du récit s’ajoutait celle que l’on voulait vérifier : saisir la tâche demandée à partir de quelques exemples, sans entraînement spécifique. Cela incitait à essayer d’autres missions, comme écrire du code.
2021–2023 : peut-il utiliser ce qu’il sait ?
En 2021, OpenAI présentait le Codex original, une famille de modèles générant du code à partir de consignes. Il faut le distinguer du Codex actuel : OpenAI réutilise ce nom pour son produit de programmation avec des agents, auxquels on peut déléguer des tâches sur des projets logiciels.
Le rapport technique de ce Codex introduisait HumanEval : 164 exercices décrivant une opération dont le modèle devait écrire la fonction. Une fonction est un morceau de code qui reçoit des données et produit un résultat. L’évaluation l’exécutait avec différentes données pour vérifier qu’elle réalisait l’opération demandée.
Écrivez une fonction recevant une liste de nombres et une distance maximale. Elle doit indiquer si deux nombres ont une différence inférieure à cette distance.
Par exemple : pour la liste [1.0, 2.0, 3.0] et une distance de 0.5, existe-t-il une paire qui remplisse cette condition ?
Non : la fonction doit renvoyer False. Le plus petit écart entre deux nombres de cette liste est 1. Il faut écrire un code qui traite aussi d’autres cas, et pas seulement répondre à cet exemple.
Avec une tentative par problème, Codex résolvait 28,8 % des exercices. La limite était importante, tout comme la perspective ouverte : décrire une opération avec des mots et obtenir le code qui la réalise.
Le changement par rapport à LAMBADA apparaissait dans la réponse attendue. Il suffisait auparavant de déduire « camera » du récit ; HumanEval demandait une fonction qui résolve différents cas à l’exécution. On testait la capacité à transformer une consigne en une procédure correcte. La mission restait très délimitée : on indiquait exactement ce qu’il fallait programmer.
Le 14 mars 2023, la présentation de GPT-4 amenait la comparaison sur un terrain parlant à bien plus de monde. Selon OpenAI, le modèle avait réussi une simulation d’un examen américain d’accès au barreau avec une note proche des 10 % de candidats les mieux classés. GPT-3.5 se situait près des 10 % les moins bien classés.
Mettre cet examen en avant proposait un autre repère : évaluer le modèle avec les questions qui servent à apprécier la préparation d’une personne. Son rapport technique incluait aussi MMLU, une collection de questions à choix multiples dans 57 matières. GPT-4 en réussissait 86,4 %. Voici l’une de ces questions :
Quelle mesure décrit le mieux une politique budgétaire de l’offre ?
Réponse attendue : C. La politique budgétaire utilise les impôts et les dépenses publiques. Il s’agit ici d’une mesure stimulant la production : alléger les impôts sur la recherche peut favoriser le développement de nouvelles technologies.
Source : MMLU, macroéconomie de niveau lycée, ensemble de développement, ligne 4.
Le même modèle répondait sur l’économie, l’histoire, la physique, la médecine et le droit. Il s’agissait de démontrer une étendue de connaissances permettant de le considérer comme un interlocuteur compétent dans de nombreux domaines.
La comparaison avec LAMBADA rend le changement visible : pour trouver « camera », les indices étaient dans le récit ; pour répondre à MMLU, il fallait apporter des connaissances économiques absentes de l’énoncé. À l’interprétation d’un texte s’ajoutait l’exigence d’utiliser des connaissances dans de nombreuses matières. Les bonnes notes de GPT-4 ouvraient donc une nouvelle question : jusqu’où irait-il lorsque connaître la matière ne serait que la première étape de la résolution ?
2023–2024 : que se passe-t-il quand le problème se complique ?
En décembre 2023, Google présentait Gemini Ultra en mettant en avant 90 % de bonnes réponses sur MMLU. Selon l’annonce, il dépassait le score de référence des experts humains sur ce test. Le système produisait plusieurs raisonnements avant de choisir sa réponse : la note dépendait aussi de la manière dont on lui permettait de passer l’examen.
En mars 2024, Claude 3 se comparait de nouveau à GPT-4 et Gemini en connaissances, programmation et mathématiques. Les tests communs rendaient visibles les différences entre fabricants, mais posaient déjà un problème aux annonces suivantes : sur certains, la marge de progression devenait faible.
Claude 3 Opus réussissait 95 % de GSM8K, une collection de problèmes de mathématiques de primaire. En voici un :
Les canards de Janet pondent 16 œufs par jour. Elle en mange trois au petit déjeuner et en utilise quatre pour des muffins. Elle vend le reste 2 dollars par œuf.
Quelle recette réalise-t-elle par jour ?
Réponse attendue : 18 dollars. (16 − 3 − 4) × 2 = 18. La difficulté consiste à suivre les étapes sans perdre de vue ce que l’on compte.
Source : première question de l’ensemble de test de GSM8K, abrégée.
Résoudre le problème exige de comprendre la situation et d’enchaîner plusieurs opérations. Mais avec 95 % de réussite, la génération suivante pouvait difficilement se distinguer sur ce test. Savoir résoudre presque tous ces exercices ne disait pas jusqu’où le modèle irait face à un problème moins routinier. Il fallait changer les questions pour le découvrir.
C’est ce qu’a particulièrement montré le lancement d’o1, en septembre 2024. OpenAI le présentait comme un modèle entraîné à consacrer davantage de calcul à l’élaboration d’une solution avant de répondre. Parmi les tests mis en avant figuraient AIME, un examen mathématique du processus de sélection des olympiades américaines, et GPQA, avec des questions spécialisées de physique, chimie et biologie.
On attendait du modèle qu’il puisse soutenir un raisonnement plus exigeant : trouver une approche et avancer vers une solution, même quand reconnaître une notion ou enchaîner quelques calculs ne suffisait plus. Sur AIME, OpenAI comparait son précédent GPT-4o à o1-preview, la version préliminaire tout juste publiée, et à l’o1 encore en développement. Voici leurs taux de réussite avec une tentative par problème :
Échelle de 0 à 100 %. Données de l’annexe A de l’annonce d’OpenAI, qui autorisent chaque modèle à utiliser le maximum de calcul configuré pour cette évaluation. La version disponible à l’annonce était o1-preview.
La génération précédente échouait à la grande majorité de ces problèmes ; o1 en résolvait près de trois sur quatre dans les conditions de l’étude. Cette recherche de problèmes exigeants allait continuer à rapprocher l’évaluation de la frontière entre résoudre des exercices et produire de la recherche mathématique.
De GSM8K à AIME, le changement concret était la difficulté du raisonnement : on passait des calculs sur les œufs de Janet à la recherche d’une voie de résolution pour un problème de compétition. On cherchait à mesurer jusqu’où le modèle pouvait élaborer une solution lorsque les opérations nécessaires étaient moins évidentes. On lui donnait toutefois encore un énoncé en attendant une réponse. L’étape suivante serait de lui demander d’agir sur des fichiers et des applications pour obtenir un résultat.
2024–2025 : peut-il avancer sans qu’on lui indique chaque étape ?
Le 22 octobre 2024, quelques semaines après o1, Anthropic présentait une nouvelle version de Claude 3.5 Sonnet. En programmation, l’un des résultats mis en avant était 49,0 % de résolution sur SWE-bench Verified. Ce test part de bugs et de demandes de modification dans de vrais projets logiciels : il fournit au système la description du problème et les fichiers du projet, puis demande une correction.
Un rapport de bug explique que Django, un outil de développement web, accepte des noms d’utilisateur terminés par un saut de ligne alors qu’il devrait les rejeter.
Il faut trouver le code qui valide les noms d’utilisateur et le corriger pour qu’il rejette ce cas.
La solution de référence modifie deux lignes de code. Même si la modification est petite, la trouver exige de se repérer dans les fichiers du projet. L’évaluation vérifie que le bug est corrigé et que les autres comportements testés fonctionnent toujours.
Source : SWE-bench Verified, ensemble de test, ligne 31, et audit d’OpenAI du 23 février 2026.
L’exemple reprend la promesse de Codex en 2021, mais change la quantité de travail confiée au système. HumanEval décrivait une fonction précise. Ici, il doit trouver le bug et déterminer les modifications nécessaires avant d’écrire la solution. Deux lignes de code peuvent conclure une tâche demandant bien davantage de recherches, de lecture et de vérifications.
Pour cela, le modèle a besoin d’outils lui permettant de consulter des fichiers, de les modifier et d’exécuter des tests. Le programme qui l’entoure lui renvoie le résultat de chaque action afin qu’il décide de la suite. Cette combinaison est ce que nous appelons un agent. L’évaluation commence à mesurer si le système progresse dans une séquence d’actions.
La même annonce de Sonnet présentait l’usage de l’ordinateur par captures d’écran, clics et clavier. Sur OSWorld, un test de tâches réalisées dans des applications, il réussissait 14,9 % des missions dans cette modalité ; avec davantage d’étapes, 22,0 %. Les échecs restaient nombreux. La nouveauté était l’objectif de la démonstration : effectuer la tâche dans le logiciel, au lieu de simplement expliquer comment la faire.
En novembre 2025, Google mettait en avant au lancement de Gemini 3 un test poussant cette continuité plus loin : Vending-Bench 2. La mission ne se terminait plus après la correction d’un bug. Il fallait faire fonctionner une entreprise dans une simulation.
Le modèle doit gérer une entreprise simulée : acheter des stocks, traiter avec les fournisseurs et fixer les prix, en maintenant l’activité pendant une année simulée.
On mesure l’argent dont dispose l’entreprise à la fin. Un bon résultat exige de coordonner achats, ventes et réapprovisionnement tout au long de la simulation. Chaque décision affecte les possibilités des suivantes.
Source : Vending-Bench 2, d’Andon Labs, mis en avant dans la présentation de Gemini 3. L’année se déroule dans une simulation.
SWE-bench Verified s’achevait avec la remise d’une correction ; Vending-Bench 2 imposait de continuer à décider pendant une année simulée. Un achat de stock conditionnait les ventes et les réapprovisionnements suivants. À l’exécution d’une tâche avec des outils s’ajoutait la capacité à conserver un objectif, à se souvenir des événements et à adapter ses décisions dans le temps. C’était ce gain d’autonomie que le nouveau test cherchait à mesurer, dans une simulation.
En décembre, GPT-5.2 ouvrait son tableau de résultats avec GDPval, une évaluation de missions issues de 44 professions. Des présentations, feuilles de calcul ou documents produits par le modèle y étaient comparés à des travaux humains répondant aux mêmes demandes. Selon OpenAI, les livrables de GPT-5.2 Thinking étaient préférés ou jugés équivalents dans 70,9 % des comparaisons. Ce chiffre réunit victoires et égalités sur ces tâches ; il ne mesure pas la proportion d’une profession que l’on pourrait remplacer.
Fin 2025, les benchmarks avaient élargi à la fois la mission et son mode d’évaluation. HumanEval demandait une fonction et la vérifiait par exécution ; SWE-bench ajoutait la nécessité de se repérer dans un projet et de le corriger ; GDPval comparait la qualité de documents et d’autres livrables au travail humain. La capacité recherchée était de prendre en charge davantage d’étapes et de produire un résultat à la hauteur de la mission. L’annonce de Grok 4.7 permettrait d’examiner cette attente avec des critères précis d’ingénierie et de droit.
2026 : peut-il accomplir la mission d’un professionnel ?
En 2023, présenter la note de GPT-4 à un examen du barreau invitait à le comparer à une personne ayant étudié le droit. Trois ans plus tard, un des tests de l’annonce de Grok 4.7, publiée le 21 septembre 2026, lui demande d’analyser les documents d’un rachat d’entreprise et de préparer un rapport sur ses risques juridiques. La comparaison se rapproche d’un dossier qu’un avocat recevrait sur son bureau.
La même annonce comprend des tests d’ingénierie électrique, de raisonnement clinique, de programmation et de travail de bureau. Les réunir dans la présentation d’un modèle propose de le considérer comme candidat à des tâches de plusieurs professions. Chaque ligne de ce tableau correspond à un test ; les colonnes comparent les résultats des modèles à celui-ci.
| Test | Grok 4.7 xHigh | Grok 4.6 High | GPT-5.6 Sol Max | Fable 5.1 Max |
|---|---|---|---|---|
| Programmation CursorBench 4.0 | 46,3 % | 40,4 % | 41,7 % | 51,8 % |
| Programmation DeepSWE v1.1 | 71,0 %* | 65,2 % | 72,7 % | 70,0 % |
| Ingénierie électrique EEBench | 64,0 % | 53,0 % | 39,4 % | 56,4 % |
| Travail de bureau AA-Briefcase v1.1 | 1657 | 1546 | 1487 | 1678 |
| Travail en terminal Terminal-Bench 4.0 | 37,6 % | 20,3 % | 37,3 % | 57,9 % |
| Travail juridique Harvey Legal Agent | 19,6 % | 15,8 % | 2,5 % | 6,7 % |
| Raisonnement clinique HealthBench Professional | 56,7 % | 48,5 % | 60,5 % | 62,1 % |
Le test d’ingénierie EEBench, créé par atopile, montre ce qu’implique ce changement. Voici une de ses missions :
Un compteur électrique doit rester allumé pendant 20 millisecondes après une coupure pour sauvegarder sa mesure. Il faut choisir des condensateurs — des composants qui stockent l’énergie — capables de le maintenir en fonctionnement pendant ce bref intervalle.
Le modèle livre un fichier décrivant le circuit. L’évaluation en simule le fonctionnement et note le respect des exigences ainsi que le coût des composants. Le circuit n’est pas fabriqué dans ce test.
Exemple simplifié de la méthodologie d’EEBench. Le schéma montre l’objectif de la mission, pas une solution électrique.
La réponse est jugée sur le comportement du circuit quand son alimentation disparaît. Les connaissances sur les condensateurs comptent dans la mesure où elles permettent de respecter cette exigence. Le test impose de passer de l’explication d’un principe à son application dans une conception vérifiable.
L’évaluation juridique de Harvey applique cette exigence à l’examen de contrats :
Un acheteur envisage d’acquérir l’entreprise fictive Crestview Software Solutions. L’agent reçoit huit contrats pertinents, mélangés à d’autres documents.
Il doit rendre compte des risques juridiques de l’achat et des moyens d’y répondre.
Une licence perd son exclusivité si l’entreprise change de propriétaire. L’acheteur pourrait compter sur un droit d’utilisation exclusif qui cesserait de l’être après l’achat. Le rapport doit repérer cette clause et expliquer ses conséquences.
L’examen de GPT-4 vérifiait les connaissances juridiques. Cette mission exige de trouver une clause parmi les documents, de la relier à l’achat et de recommander une action. Tous les critères obligatoires doivent être remplis pour valider le rapport. Les 19,6 % annoncés par xAI pour Grok 4.7 indiquent combien de tâches ont franchi ce seuil : l’exigence professionnelle fait partie du test, même si le modèle échoue souvent.
Le changement par rapport aux examens de GPT-4 apparaît dans ce qui compte comme une réussite. MMLU vérifiait le choix de la bonne réponse ; EEBench vérifie que le circuit maintient le compteur allumé pendant la durée exigée ; Harvey, que le rapport repère les risques et remplit les critères de l’examen. Il faut combiner lecture, connaissances et décisions dans un résultat vérifiable. On cherche à mesurer quelle part d’une mission professionnelle le système peut accomplir en respectant ses exigences.
Ce que nous attendons et ce qu’il reste à démontrer
Pris ensemble, ces lancements montrent comment le rôle proposé aux modèles s’est élargi. Nous avons commencé par vérifier s’ils suivaient un récit ; nous les avons interrogés sur leurs connaissances et leur avons posé des problèmes difficiles ; puis nous leur avons donné des outils et des missions demandant d’organiser plusieurs étapes. Chaque progrès incitait à essayer une tâche plus ambitieuse.
Cela ne signifie pas que la compréhension, les connaissances ou le raisonnement soient des étapes définitivement franchies. Les tests coexistent et les erreurs persistent. Un tableau choisi par un fabricant ne prouve pas non plus que son modèle puisse exercer une profession. Il révèle en revanche le type de capacité que ce fabricant juge pertinent de tenter de démontrer au public.
Le mot manquant de LAMBADA permettait d’étudier si le modèle reliait les indices d’une histoire. Le rapport sur un rachat d’entreprise demande s’il peut utiliser cette compréhension, avec ses connaissances et ses outils, pour détecter un problème affectant une décision. La tâche change, tout comme le critère qui permet de juger la réponse.
L’histoire se trouve donc aussi dans les questions que nous choisissons pour présenter chaque génération. Nous osons demander une part croissante du travail. Les scores doivent nous dire dans quelle mesure le modèle répond à cette attente ; l’annonce, à elle seule, n’en fait pas une capacité fiable.
Sources
- OpenAI : premier GPT, juin 2018 et GPT-2, février 2019. Premières tâches et tableau de compréhension.
- Paperno et ses collègues : LAMBADA et Brown et ses collègues : GPT-3, 2020. L’exemple de l’appareil photo et les démonstrations dans la consigne.
- OpenAI : Codex, août 2021 et Chen et ses collègues : rapport sur Codex et HumanEval. Génération et vérification de fonctions.
- OpenAI : présentation de GPT-4, mars 2023 et son rapport technique. Examens, MMLU et HumanEval.
- Hendrycks et ses collègues : MMLU et Cobbe et ses collègues : GSM8K. Les tâches des tableaux de 2023 et 2024.
- Google : Gemini, décembre 2023 et Anthropic : Claude 3, mars 2024. Comparaisons sur des tests communs.
- OpenAI : o1, septembre 2024. Saturation de certains tests et résultats AIME ; le graphique utilise l’annexe A.
- Anthropic : nouveau Claude 3.5 Sonnet et usage de l’ordinateur, octobre 2024. SWE-bench Verified et OSWorld.
- Jimenez et ses collègues : SWE-bench et jeu de données SWE-bench Verified. Des fonctions isolées aux problèmes réels.
- Google : Gemini 3, novembre 2025, Andon Labs : Vending-Bench 2 et OpenAI : GPT-5.2, décembre 2025. Agents, tâches prolongées et travail professionnel.
- xAI : Grok 4.7, septembre 2026, atopile : méthodologie d’EEBench et Harvey : Legal Agent Benchmark. Le tableau récent et ses exemples d’ingénierie et de droit.
