En mai 2026, PNAS a publié une étude au résultat étrange : dans des conversations écrites de cinq minutes, les participants choisissaient GPT-4.5 comme interlocuteur humain plus souvent que la personne à laquelle il était opposé. Cela arrivait dans 73 % des comparaisons lorsque le modèle recevait des instructions pour adopter une personnalité humaine. Cette recherche, présentée dès 2025, ajoutait aussi des tests de quinze minutes avec d’autres modèles. Le travail de Cameron Jones et Benjamin Bergen permet de parler de progrès concrets au test de Turing.
Pendant des décennies, ce nom a évoqué une frontière : le jour où une conversation ne permettrait plus de distinguer une machine d’une personne. Maintenant que certains systèmes la franchissent dans des conditions expérimentales, une question moins confortable apparaît. Que nous apprend ce résultat sur leur intelligence ?
Pour répondre, il faut revenir au problème posé par Turing. Il faut aussi distinguer la valeur historique de sa proposition, ce qu’une épreuve précise mesure et les conséquences de vivre avec des systèmes capables de convaincre.
En 1950, Turing a changé la question
Alan Turing ouvre Computing Machinery and Intelligence en demandant si les machines peuvent penser. Il propose aussitôt de remplacer cette discussion par un jeu observable. Sa première version réunit un homme, une femme et une personne qui doit les distinguer par des messages écrits ; il demande ensuite ce qui se passerait si une machine prenait la place de l’homme.
De là vient la version la plus connue : un juge échange par écrit avec une personne et une machine, sans savoir qui est qui. Le texte exclut l’apparence et la voix. Les questions peuvent couvrir de nombreux domaines, et le juge peut insister là où il soupçonne une différence.
Le juge sait qu'il y a une personne et une machine. À la fin, il doit identifier la personne. En choisissant au hasard, il réussirait environ une fois sur deux.
Notre schéma de la version habituelle à trois participants. La proposition initiale de Turing consistait à distinguer un homme d'une femme.
Ce déplacement garde sa force : si nous attribuons des capacités intellectuelles aux autres par ce qu’ils font et disent, nous devons justifier les preuves différentes que nous exigerions d’une machine. Rejeter toute réponse parce qu’elle vient d’un ordinateur reviendrait à trancher la discussion à l’avance.
Une conversation ouverte permet aussi de modifier l’examen en cours de route. Nous pouvons demander une explication, introduire une contradiction ou vérifier si l’interlocuteur suit une plaisanterie. Cette souplesse fait son intérêt : celui qui questionne peut explorer la réponse précédente au lieu de corriger une liste de solutions prévues.
Turing imaginait également des machines apprenant par une forme d’éducation. Son article dépassait l’épreuve qui a hérité de son nom. Le réduire à un concours pour tromper quelqu’un fait perdre cette ambition : construire et étudier des capacités jusque-là associées à l’esprit humain.
ELIZA a montré ce qu’apporte celui qui converse
En 1966, Joseph Weizenbaum présente ELIZA, un programme transformant les phrases par des règles. Son célèbre scénario de conversation imite certains procédés d’un psychothérapeute : renvoyer des questions, reprendre les mots de l’interlocuteur et l’encourager à continuer.
Un fragment du dialogue publié suffit pour voir le mécanisme :
Personne : « Ma mère s'occupe de moi. »
ELIZA : « Qui d'autre dans votre famille s'occupe de vous ? »
Une référence familiale active une règle permettant de reconstruire la question. La pertinence de la réponse ne nécessite aucune représentation de la mère ni des soins qu'elle apporte.
Traduction de deux répliques du dialogue original de Weizenbaum. Cette conversation n'a pas été générée pour l'article.
La situation favorise l’illusion. Si nous attendons des questions sur ce que nous venons de dire, une question en retour peut sembler une marque d’attention. Nous apportons l’histoire, reconnaissons un lien et complétons ce que la réponse laisse ouvert.
Cela aide à comprendre l’effet ELIZA : attribuer compréhension ou qualités humaines à un système à partir de son comportement conversationnel. Cela ne signifie pas qu’ELIZA ait réussi un test général exigeant. Cela montre quelque chose de plus limité et d’utile : une partie de l’impression d’intelligence se construit chez celui qui interprète la réponse.
Les modèles de langage actuels fonctionnent autrement. Ils apprennent des régularités à partir de grandes quantités de données et produisent des réponses conditionnées par la conversation ; ils ne reposent pas sur un scénario de mots-clés comme celui-là. La distance technique est immense. La question laissée par ELIZA reste pourtant ouverte à chaque interaction : que démontre le système, et qu’ajoutons-nous en le lisant ?
L’objection de la chambre chinoise et le problème de la ressemblance
En 1980, John Searle propose la chambre chinoise. Il imagine quelqu’un qui ne comprend pas le chinois, enfermé avec des instructions pour manipuler des symboles. Cette personne reçoit des questions, suit les règles et remet des réponses qui semblent écrites par un locuteur compétent. De l’extérieur, la conversation fonctionne ; à l’intérieur, elle ne comprend toujours pas la langue.
Searle veut montrer qu’exécuter un programme ne suffit pas en soi pour comprendre. La réponse du système avance que la compréhension pourrait appartenir à l’ensemble — personne, règles et mémoire — même si une partie ne comprend pas. Searle conteste cette réponse ; le désaccord dépend de l’endroit où nous situons la compréhension et de ce que nous jugeons suffisant pour la produire.
Conservons cette expérience de pensée comme argument philosophique. Ce n’est ni une mesure d’un modèle actuel ni une preuve expérimentale qu’une machine ne pourra jamais comprendre. Elle oblige toutefois à expliquer le passage entre observer des réponses appropriées et leur attribuer une certaine vie mentale.
Une autre critique touche directement la recherche. Dans Turing Test Considered Harmful (1995), Patrick Hayes et Kenneth Ford contestent l’idée de faire de l’imitation humaine l’objectif organisateur de l’IA. Leur analogie avec le vol distingue reproduire un animal et étudier les principes permettant de construire une machine utile.
Prenons une situation simple. Nous voulons un programme qui détecte des erreurs de calcul. S’il répond exactement, il est utile. S’il apprend aussi à commettre des erreurs plausibles pour passer pour une personne, il peut progresser dans le jeu de l’imitation tout en reculant dans la tâche pour laquelle nous le voulions.
Le dialogue imaginé par Turing contenait lui-même une addition incorrecte :
Question : additionner 34 957 et 70 764.
Réponse imaginée : après environ 30 secondes, 105 621.
Le résultat correct est 105 721. Dans ce jeu, lenteur et erreur peuvent correspondre à l'identité que la machine essaie de représenter. Dans une épreuve de calcul, elles compteraient comme un échec.
Adaptation de l'exemple de la section 2 de Turing (1950). Dialogue hypothétique de l'auteur, et non résultat d'une machine de l'époque.
Cela n’invalide pas la conversation comme épreuve. Un entretien rigoureux peut révéler des capacités qu’un questionnaire fermé manque. Ce qui est contesté, c’est le critère final : choisir celui qui paraît humain mélange compétence, style, attentes et connaissance du contexte social.
Ce que les modèles actuels ont réellement réussi
L’étude de Jones et Bergen observe ce mélange avec des contrôles explicites. Les premières expériences réunissent des étudiants et des personnes recrutées sur Prolific, une plateforme de recherche. Chaque juge converse simultanément avec un humain et un système, dans deux chats séparés.
Les chercheurs comparent deux façons d’instruire les modèles. L’une leur donne pour objectif de convaincre le juge qu’ils sont humains, avec des informations de contexte. L’autre ajoute une personnalité : quelqu’un de jeune, introverti, familier de la culture d’internet et utilisant un langage informel. « Sans personnalité » ne signifie donc pas utiliser l’assistant tel qu’il apparaît à l’ouverture d’une application.
Avec deux options, le hasard donnerait environ 50 %. Les 73 % mesurent les choix des juges : ils ne signifient pas « 73 % d'intelligence humaine ».
Notre graphique d'après « Win Rates » et le tableau 1 de l'article publié. Pourcentages arrondis, deux populations et conversations limitées à cinq minutes. Estimations agrégées sans intervalles de confiance. Le résumé inverse l'ordre des deux chiffres sans personnalité ; nous suivons ici le corps des résultats.
La différence entre les deux instructions compte autant que le chiffre le plus élevé. Le test réagit à la manière dont le système se présente au juge. Adapter la conversation à cette situation fait partie de la capacité démontrée ; cela limite aussi ce que nous pouvons déduire pour d’autres tâches.
La publication de 2026 dépasse les cinq minutes du préprint de 2025. Elle ajoute une réplication avec quinze minutes complètes de conversation. GPT-5, qui remplace GPT-4.5 à cette étape, est choisi comme humain dans 59 % des comparaisons ; Llama 3.1 dans 56 %. Les deux reçoivent des instructions de personnalité. Les auteurs estiment qu’ils réussissent cette version du test.
Cette extension empêche d’écarter le résultat en disant que tout disparaît dès que la conversation dure un peu plus longtemps. Mais remplacer GPT-4.5 par GPT-5 empêche de lire les deux chiffres comme une mesure isolée de ce que perd le même modèle lorsque la durée triple. La conclusion doit conserver le modèle, les instructions, les participants et la durée qui la soutiennent.
Un pourcentage proche de 50 % ne suffit pas non plus à déclarer une équivalence universelle. Un échantillon comporte de l’incertitude ; ne pas détecter une différence ne prouve pas qu’elle soit impossible à trouver avec d’autres juges ou conditions. Ces travaux transforment une intuition culturelle en comparaison que nous pouvons examiner, répéter et discuter.
Sa place dans l’IA est plus précise que sa réputation
Historiquement, le test a contribué à formuler le débat sur l’intelligence artificielle en termes de comportement observable. Comme outil de recherche, il reste précieux pour étudier l’imitation conversationnelle et les signes permettant de reconnaître les autres. Comme mesure générale de la qualité d’une IA, il laisse trop de questions ouvertes.
La différence apparaît avec les évaluations d’autres capacités. SWE-bench soumet des problèmes de projets logiciels et vérifie par des tests si les modifications proposées les résolvent. HELM combine scénarios et mesures d’exactitude, robustesse, calibration, biais, toxicité ou efficacité. La calibration examine simplement si la confiance du système correspond à ses bonnes réponses.
| Évaluation | Ce qu'on observe | Ce qui reste hors champ |
|---|---|---|
| Jeu de l'imitation | Si le juge identifie l'humain dans une conversation. | La justesse d'un travail qui n'a pas été demandé au système. |
| SWE-bench | Si une modification de code résout un problème et passe les tests. | La capacité à assumer n'importe quel travail d'ingénierie. |
| HELM | Le comportement du modèle dans plusieurs scénarios et dimensions. | Une réponse définitive sur la conscience ou la compréhension. |
Dans l’article sur l’évolution des benchmarks d’IA, nous parcourions le passage de la complétion de textes aux missions professionnelles. Le test de Turing éclaire un autre aspect : prendre la place d’un interlocuteur humain sans que le juge s’en aperçoive. Cette capacité peut coexister avec des erreurs de mathématiques, de code ou de faits vérifiables.
L’évaluation de l’humanité ne se transpose pas automatiquement d’un média à l’autre. Un travail présenté à ICLR 2026 sur les conversations vocales réunit 2 968 jugements humains sur les dialogues de neuf systèmes et 28 participants. Aucun système évalué ne réussit son épreuve. Les auteurs relèvent des difficultés d’expressivité émotionnelle et de signaux vocaux accompagnant les mots.
L’étude utilise ses propres systèmes et son protocole ; elle ne réfute pas les résultats écrits. Elle montre pourquoi parler du « test » comme d’un examen unique peut tromper. Retirer la voix, comme Turing, délimite une question. La réintroduire ajoute d’autres capacités et indices.
La meilleure défense de Turing reste inconfortable
Il serait facile de clore le débat en affirmant qu’une machine ne fait qu’imiter. Mais quelle preuve accepterions-nous pour réviser cette opinion ? Si une conversation plus longue, une explication plus précise ou une réponse à une situation nouvelle ne pouvait jamais compter en sa faveur, nous aurions fait de la conclusion une condition de départ.
La force de la proposition tient à l’obligation de préciser nos exigences. Une personne peut comprendre et mal expliquer. Une autre peut sembler très sûre d’elle et se tromper. Pour juger un système artificiel, nous devons séparer ces possibilités avec le même soin, sans tenir ses capacités pour établies à cause d’une phrase convaincante ni les rejeter à cause de son origine.
Nous pouvons tester s’il maintient une explication quand les données changent, reconnaît une contradiction ou réutilise un apprentissage dans un problème différent. Ces observations apportent des preuves de capacités. L’existence éventuelle d’une expérience subjective — le fait qu’il y ait quelque chose que cela fait d’être ce système — exige un argument supplémentaire. Un vote sur l’interlocuteur qui paraît humain ne fournit pas à lui seul ce pont.
Les deux idées méritent donc d’être conservées : réussir une épreuve conversationnelle exigeante est un accomplissement, et cet accomplissement ne tranche pas toutes les questions associées au mot intelligence. Les limites ne rendent pas une mesure sans intérêt ; elles imposent de l’utiliser pour ce qu’elle permet d’observer.
Quand reconnaître une personne ne dépend plus de sa façon d’écrire
Imaginons un forum où quelqu’un répond avec patience, se souvient de nos confidences et emploie nos références culturelles. Nous pouvons lui faire confiance sans lui demander un théorème ni lui imposer un test de programmation. Il suffit que la conversation corresponde à ce que nous attendons d’une autre personne.
Si un système produit cette impression, une conséquence sociale apparaît même si nous débattons encore de sa compréhension. Un participant artificiel pourrait se présenter comme client satisfait, voisin ou amateur partageant notre passion. Une brève interaction convaincante ne prouve pas qu’il puisse maintenir l’identité pendant des mois ; elle donne des raisons d’étudier où les signes d’humanité cessent de nous aider à reconnaître notre interlocuteur.
Il existe aussi le cas transparent : quelqu’un sait qu’il parle à une IA et trouve néanmoins la conversation utile ou agréable. La même capacité linguistique peut expliquer avec tact ou soutenir une fausse identité. La différence dépend de la présentation du système, des promesses faites à l’utilisateur et de la responsabilité de son fonctionnement.
C’est là que nous situerions une part importante de la pertinence actuelle du test. L’histoire de Turing aide à réfléchir aux preuves que nous accepterions d’une intelligence artificielle. Ses versions expérimentales révèlent aussi les signes utilisés pour attribuer de l’humanité et la difficulté à les reproduire.
Quand une machine paraît humaine, nous avons démontré quelque chose sur son comportement et notre jugement. Pour savoir ce qu’elle comprend, ce qu’elle peut faire de façon fiable et quelle relation nous souhaitons avec elle, il faut continuer à questionner. Et pour savoir à qui nous parlons, nous aurons de plus en plus de raisons de demander davantage qu’une bonne conversation.
Sources
- Alan Turing : Computing Machinery and Intelligence (1950). Jeu de l’imitation, exemple arithmétique et machines qui apprennent.
- Joseph Weizenbaum : article original d’ELIZA (1966). Règles de fonctionnement et dialogue reproduit.
- John Searle : Minds, Brains, and Programs (1980). Transcription d’un brouillon antérieur à la publication : chambre chinoise et objections.
- Patrick Hayes et Kenneth Ford : Turing Test Considered Harmful (1995). Critique de l’imitation humaine comme principe organisateur de la recherche.
- Cameron Jones et Benjamin Bergen : Large language models pass a standard three-party Turing test, PNAS (19 mai 2026), également sur PubMed Central. Résultats, instructions, contrôles et réplication de quinze minutes. Le préprint de mars 2025 contient les premières épreuves de cinq minutes.
- Carlos E. Jimenez et collaborateurs : SWE-bench (2023). Évaluation de modifications de code pour résoudre des problèmes réels.
- Percy Liang et collaborateurs : Holistic Evaluation of Language Models (2022 ; publication dans TMLR, 2023). Évaluation par scénarios et dimensions multiples.
- Xiang Li et collaborateurs : Human or Machine? A Preliminary Turing Test for Speech-to-Speech Interaction, ICLR 2026. Version révisée le 8 septembre 2026 ; résultats limités aux systèmes et au protocole évalués.
