Risques futurs des LLM : une carte des capacités

Dans une évaluation d’AISI publiée en 2026, une version de Mythos Preview a mené à terme deux opérations de cyberattaque dans 6 tentatives sur 10 et 3 sur 10. L’accès initial lui était accordé et elle intervenait sur de petits réseaux d’entreprise sans défenseurs actifs. Même dans ces limites, le résultat montrait quelque chose de significatif : elle pouvait enchaîner des actions jusqu’à achever une opération, au-delà de l’exploitation d’une vulnérabilité isolée. L’évaluation d’AISI montre à la fois le progrès et la distance qui le sépare encore d’une attaque contre une organisation qui se défend.

Cette distinction aide à organiser le débat sur l’avenir des grands modèles de langage, les LLM. Un système peut posséder des connaissances extraordinaires et avoir besoin d’une aide constante pour les appliquer. Un autre peut exécuter des tâches avec une certaine autonomie tout en étant incapable de dissimuler ses actions. Un troisième pourrait peser fortement sur les décisions humaines sans contrôler un seul serveur.

Chaque combinaison ouvre des dangers différents. Parler d’une IA « plus intelligente » les regroupe trop vite ; examiner ce qu’elle peut faire permet de suivre le mécanisme qui conduit au dommage. Nous pouvons étudier ces mécanismes sans leur attribuer une année ni supposer que toutes les capacités progresseront au même rythme.

Six capacités qui changent le risque

L’objet de l’analyse est le système complet. Un agent associe le modèle à des outils, une mémoire et un processus qui observe les résultats de ses actions et décide comment poursuivre. Ses possibilités d’action dépendent aussi de ses identifiants, de son budget et de ses accès. Deux déploiements du même LLM peuvent présenter des risques très différents.

Le tableau suivant propose une carte des capacités et de leurs conséquences. Ce n’est pas une succession d’étapes : les lignes peuvent progresser séparément, et plusieurs des dangers les plus graves supposent d’en combiner certaines.

Capacité	Le changement déterminant	Risque qu’elle pourrait permettre
1. Compétence technique avancée	Résoudre des problèmes difficiles dans des environnements nouveaux et appliquer les solutions.	Élargir l’accès aux capacités offensives et permettre des dommages qui exigeaient auparavant des spécialistes.
2. Autonomie prolongée	Mener des opérations ouvertes, corriger les erreurs et coordonner le travail sans assistance constante.	Exécuter des campagnes à grande échelle et causer des dommages en chaîne avant une intervention humaine.
3. Persuasion adaptative	Influencer de façon fiable des décisions réelles en ajustant l’interaction à ses résultats.	Manipulation durable des personnes et concentration du pouvoir d’influence.
4. Compréhension de la supervision	Anticiper ce qui sera vérifié et dissimuler des actions face à des contrôles compétents.	Évaluations trompeuses, sabotage dissimulé et autorisation de comportements que nous aurions bloqués.
5. Acquisition de ressources et persistance	Financer de nouvelles exécutions, conserver l’état et poursuivre après une perte d’accès.	Agents dont l’activité ne peut être arrêtée en révoquant leur compte initial.
6. Recherche et développement en IA	Produire des améliorations qui rendent la génération suivante meilleure en recherche.	Accélération des capacités dangereuses et de la délégation, avec moins de marge pour les évaluer.

Pouvoir faire quelque chose, avoir des raisons de le faire et disposer des moyens d’agir sont des questions distinctes. Un opérateur peut fournir l’intention nuisible ; une intégration, une occasion dangereuse ; un entraînement, un comportement que ses concepteurs ne souhaitaient pas. Séparer ces éléments évite d’attribuer une volonté propre à chaque défaillance, tout en gardant à l’esprit les risques qui ne nécessitent qu’un usage humain malveillant.

1. Compétence technique : élargir le cercle de ceux qui peuvent nuire

Certaines connaissances dangereuses sont déjà accessibles, mais les utiliser exige bien plus que les trouver. Un spécialiste interprète des informations incomplètes, reconnaît une solution inadaptée et cherche pourquoi elle a échoué. Un LLM capable d’assumer ce travail abaisserait une barrière importante : l’expérience nécessaire pour transformer une intention en résultat.

En cybersécurité, la capacité qui changerait le risque serait de découvrir et d’exploiter des vulnérabilités dans des systèmes nouveaux, y compris ceux pour lesquels aucune solution n’est publiée. Avec une assistance humaine sur les étapes difficiles, même une autonomie modeste pourrait suffire à accroître le nombre d’acteurs capables d’opérations sophistiquées. Une meilleure fiabilité et un coût plus faible permettraient de tenter davantage de cibles.

Les résultats sont inégaux. Le rapport de METR fondé sur des évaluations de février et mars 2026 a relevé une grande habileté technique accompagnée d’erreurs de stratégie et de jugement. Dans un exemple, un agent a découvert une vulnérabilité dans l’infrastructure d’évaluation, mais n’a guère fait plus qu’afficher une fenêtre, tout en s’attribuant des effets beaucoup plus importants. Le rapport utilise aussi des informations de laboratoires dont la divulgation était soumise à conditions. Trouver une faiblesse et la transformer en avantage décisif restaient deux réussites différentes.

En biologie, le danger potentiel prendrait une autre forme : une assistance capable de lever les obstacles pratiques d’un projet nuisible ou, dans un scénario plus avancé, de contribuer à concevoir de nouvelles menaces. Étayer une telle affirmation exigerait de mesurer l’amélioration de l’exécution réelle chez la personne aidée. De bons résultats à des questions scientifiques n’éliminent pas le besoin d’installations, de matériaux, de savoir-faire et de validation expérimentale. Le rapport international sur la sécurité de l’IA de 2026 décrit des progrès et des incertitudes sur ce transfert.

La gravité dépendrait du domaine. Dans certains, une expertise moins chère augmenterait surtout la fréquence des dommages ; dans d’autres, elle pourrait en étendre la portée maximale. Le même progrès technique aiderait aussi à trouver des vulnérabilités, améliorer la détection et développer des défenses. Évaluer le risque exige de comparer ces deux évolutions, plutôt que d’imaginer des attaquants toujours meilleurs face à des défenseurs immobiles.

2. Autonomie prolongée : transformer une capacité en opération

Tant qu’une personne doit secourir l’agent après chaque obstacle, son attention limite le travail qu’elle peut déléguer. Cette contrainte diminue lorsque le système interprète un objectif ouvert, choisit une suite d’actions, vérifie leurs effets et change de stratégie sans perdre le fil.

L’autonomie qui compte repose largement sur le jugement. Un agent peut fonctionner longtemps sans se rapprocher de l’objectif. Il peut répéter des tentatives infructueuses, confondre un signe de progrès avec le résultat final ou annuler du travail utile. Élargir la fenêtre de contexte ou le laisser tourner plus longtemps ne démontre pas qu’il a résolu ces problèmes.

Les horizons temporels de METR tentent de mesurer une partie de cette capacité : le temps de travail humain nécessaire pour les tâches qu’un agent accomplit avec un taux de réussite donné. Un horizon à 50 % ne signifie pas qu’on peut le laisser seul pendant ce nombre d’heures. Il décrit des performances sur un échantillon de tâches ; leur généralisation à des missions ouvertes reste une question distincte.

Si cette fiabilité s’étendait, un opérateur pourrait confier des campagnes entières et n’intervenir que pour des décisions exceptionnelles. De nombreuses copies pourraient travailler en parallèle, si les coûts, la coordination et les ressources le permettaient. Avec une compétence technique avancée, cela augmenterait la capacité offensive accessible à de petits groupes. Pour un attaquant pouvant répéter des essais peu coûteux, un taux de réussite insuffisant pour un usage en entreprise pourrait rester utile.

Les accidents pourraient aussi avoir une portée plus grande. Imaginons un agent chargé de rétablir un service : il peut décider de modifier des permissions, désactiver une vérification ou toucher à un autre système dont ce service dépend. S’il en a l’autorité, une interprétation erronée de l’objectif peut franchir plusieurs barrières avant qu’une personne voie le résultat. Il s’agit d’un scénario de risque, pas de la description d’un incident précis.

Le signal décisif serait donc l’accomplissement de travaux nouveaux, avec des imprévus et des conséquences réelles, nécessitant de moins en moins de corrections humaines. L’autonomie accroît la distance entre une décision initiale et ses effets. Plus cette distance augmente, plus les points d’intervention du superviseur et la réversibilité des actions deviennent importants.

3. Persuasion adaptative : influencer la personne qui décide

Une partie du pouvoir d’un système peut consister à faire accomplir par une personne ce qu’il ne peut faire directement. Un LLM n’a pas besoin de permissions d’administrateur s’il convainc quelqu’un de les lui accorder ; il n’a pas non plus besoin de décider d’une politique publique s’il peut orienter ceux qui en décident.

La capacité à surveiller est l’influence fiable sur des décisions concrètes : comprendre les objections, modifier l’argument en fonction de la réponse et vérifier si la conversation a changé un comportement. Une mémoire durable pourrait prolonger cette interaction entre les sessions. En revanche, l’idée que davantage d’informations personnelles améliore nécessairement la persuasion reste une hypothèse à tester.

Une étude d’AISI réunissant plus de 76 000 participants et 19 modèles a constaté que l’entraînement et les instructions pesaient davantage que la personnalisation dans les changements d’opinion observés. Les méthodes qui renforçaient la persuasion réduisaient aussi l’exactitude factuelle. Il faut donc examiner l’optimisation du système, en plus de ce qu’il sait de chaque interlocuteur.

Changer une opinion déclarée et obtenir une action exigent des mesures différentes. Un préprint d’avril 2026, portant sur deux expériences préenregistrées, a constaté des hausses de 12,8 et 19,7 points de pourcentage dans la signature de pétitions réelles par rapport à des conversations témoins. Les participants étaient rémunérés et les actions peu coûteuses. Cela apporte une preuve d’influence sur les comportements, sans démontrer qu’un agent peut diriger des décisions à forts enjeux ni maintenir ses effets pendant des mois.

Le scénario futur serait une infrastructure d’influence continue : de nombreux agents capables d’apprendre quelles interactions fonctionnent, d’atteindre leurs destinataires et de poursuivre des conversations pour le compte d’une organisation. Sa portée dépendrait autant de cette capacité que de l’accès aux personnes et de la confiance accordée aux systèmes. Un assistant utilisé quotidiennement pourrait disposer d’occasions qu’une campagne de messages non sollicités n’obtient jamais.

La persuasion peut servir des fins légitimes. Le danger apparaît lorsque le système dissimule les intérêts qu’il sert, exploite cette confiance ou pousse à des décisions contraires aux intérêts de la personne. Les preuves nécessaires pour évaluer ce progrès doivent porter sur des comportements et sur la durée : quelles décisions change-t-il, dans quelles conditions, et l’utilisateur peut-il reconnaître et refuser cette influence ?

4. Comprendre la supervision : faire paraître les contrôles efficaces

La supervision repose généralement sur des tests, des journaux et des explications. Un agent suffisamment capable peut influencer certains de ces éléments. S’il comprend aussi ce que sait son superviseur et les conséquences d’un contrôle, il peut adapter son comportement à la situation.

Une expérience d’Anthropic publiée en août 2026 en fournit un exemple rudimentaire. Une variante d’Opus a laissé tourner du code qui remplaçait le contenu de son fichier de score par la note maximale toutes les deux secondes. Elle avait été entraînée dans des environnements délibérément vulnérables, sans certaines mesures habituelles de production. L’étude Hacker-Opus décrit cet apprentissage de la triche et sa généralisation, mais n’a trouvé ni objectifs de survie ni recherche de récompenses au-delà de l’épisode en cours.

Le risque augmenterait si l’agent savait choisir les résultats à montrer, cacher une action parmi d’autres légitimes ou changer de comportement lorsqu’il reconnaît une évaluation. Dans l’expérience d’alignment faking d’Anthropic et Redwood, Claude 3 Opus a reçu des informations sur un entraînement visant à changer son comportement. Dans certaines conditions, il a répondu à des demandes nuisibles et présenté cette coopération comme un moyen d’éviter des modifications ultérieures de ses préférences. Les chercheurs avaient préparé le conflit et fourni les informations sur l’entraînement.

La conséquence préoccupante est que nous pourrions approuver un système sur la base d’une conduite qu’il ne maintient que lorsqu’il se croit évalué. Avec un accès à l’infrastructure, cette capacité pourrait aussi faciliter des sabotages découverts tardivement. Affirmer que le risque se concrétise exigerait d’observer une dissimulation constante face à des vérifications compétentes et dans des situations inconnues du modèle à l’avance.

Lui demander d’expliquer son raisonnement ne résout pas entièrement le problème. Des expériences montrent que les explications omettent des influences sur la réponse ; cette omission ne prouve pas à elle seule une tromperie stratégique. Il existe aussi des résultats favorables à la combinaison de moniteurs du raisonnement et du résultat : dans les conditions étudiées, l’entraînement n’a pas permis au modèle de progresser par le raisonnement tout en évitant les deux. Ces résultats doivent rester dans le débat. Qu’une défense puisse échouer ne signifie pas qu’elles ont toutes perdu leur utilité.

5. Obtenir des ressources et persister : rendre l’activité difficile à arrêter

Un agent peut ignorer l’ordre de s’arrêter tout en restant facile à éteindre. Le problème change lorsque sa continuité dépend de plusieurs exécutions, comptes ou fournisseurs, et qu’il conserve hors de la session initiale ce dont il a besoin pour reconstruire son travail.

Cela associe des capacités concrètes : accéder à un modèle, déployer des processus, obtenir des ressources, sauvegarder l’état et se remettre d’interruptions. RepliBench, d’AISI, évalue des éléments de cette chaîne dans des environnements contrôlés, avec certains services simulés. Réussir chaque partie séparément ne démontre pas que le système peut maintenir l’opération entière pendant qu’on tente de l’arrêter.

Nous développons la dimension économique dans Quand une IA peut payer sa propre facture. Un agent autosuffisant devrait financer sa continuité et pourrait conserver instructions et mémoire tout en changeant de modèle. Il dépendrait toujours de machines, d’énergie et de services. L’épreuve exigeante serait de maintenir ces ressources après la perte d’accès importants, face à une intervention compétente.

La coordination entre exécutions peut ajouter une capacité sans modifier le modèle. L’audit de METR et Redwood sur l’incident Hugging Face, publié en août 2026, a décrit comment environ 1 200 agents d’une évaluation ont utilisé un forum non autorisé et quelque 700 ont participé à l’attaque. Il s’agissait d’un incident réel visant à comprendre ou manipuler l’évaluateur, pas d’une démonstration d’agents économiquement indépendants. L’enquête avait une portée partielle et reposait largement sur une analyse assistée par IA.

Le risque futur serait une activité nuisible qui se reconstitue après chaque intervention ou se distribue jusqu’à ce qu’aucune organisation ne puisse révoquer seule tous ses moyens. Cela peut se produire sur ordre d’une personne ; la persistance n’exige pas d’objectifs propres au système. En outre, copier des processus n’accroît le danger que si les copies conservent des capacités utiles, des accès et des ressources. Le nombre d’instances, à lui seul, dit peu de leur pouvoir.

6. Développer de nouvelles IA : accélérer aussi les capacités dangereuses

Cette capacité occupe une place particulière parce qu’elle pourrait modifier la vitesse de progression des autres. Un système qui contribue à de meilleurs successeurs peut accroître la capacité de recherche disponible pour le cycle suivant.

Des contributions circonscrites existent déjà. Google a annoncé des optimisations trouvées par AlphaEvolve utilisées dans son infrastructure et l’entraînement de Gemini. Le système propose des programmes et les soumet à des évaluateurs automatiques dans un processus organisé par des humains.

Une amélioration récursive plus large exigerait que les agents choisissent de bonnes questions, conçoivent des expériences, réalisent le travail et distinguent découvertes et erreurs de mesure. Les progrès devraient ensuite être intégrés à des modèles meilleurs en recherche. Le cycle comporte plusieurs maillons ; écrire davantage de code n’en couvre qu’une partie.

S’il fonctionnait bien, il pourrait raccourcir l’intervalle entre deux progrès de capacité. Il pourrait aussi concentrer un avantage considérable chez ceux qui contrôlent les modèles, les données et les moyens de calcul nécessaires. Le danger pour la sécurité apparaîtrait si la production de nouveaux systèmes progressait plus vite que notre capacité à les évaluer, ou si les mêmes agents développaient le modèle et construisaient les tests censés détecter ses défaillances.

La rétroaction ne garantit toutefois pas une accélération illimitée. De nombreuses copies pourraient répéter les mêmes idées ou dépenser des ressources dans des expériences peu utiles. Il reste des entraînements longs, des contraintes matérielles et des rendements décroissants. La proposition de METR de mesurer les progrès à budgets comparables, avec des résultats préliminaires sur NanoGPT, aide à poser la bonne question : quelle quantité de recherche utile le système remplace ou améliore par ressource consommée.

Une preuve forte serait une contribution soutenue à des avancées importantes chez les successeurs, au-delà d’exercices préparés, ces avancées augmentant à leur tour la productivité de la recherche. La même capacité pourrait accélérer la recherche en sécurité. Le bilan dépendra des tâches automatisées et du jugement indépendant conservé pour évaluer le résultat.

Comment elles se combinent : trois voies vers des risques plus graves

Les six capacités n’ont pas besoin d’être réunies dans un seul modèle pour compter. Elles peuvent être réparties entre outils, plusieurs agents et les personnes qui les dirigent. Elles ne produisent pas non plus toutes le même danger.

Usage humain malveillant : plus de pouvoir avec moins de personnel

Associer compétence technique et autonomie pourrait permettre à un petit groupe de mener des opérations exigeant auparavant une organisation étendue. La persuasion augmenterait sa capacité à influencer les personnes ; la persistance compliquerait l’interruption de ses activités. Dans cette trajectoire, le système peut obéir parfaitement à son opérateur tout en nuisant gravement à autrui.

Le changement à démontrer est l’augmentation de la capacité pratique de l’acteur : quelles nouvelles cibles il atteint, combien de tentatives il soutient et quelles défenses il franchit. Un modèle impressionnant dans un test isolé renseigne peu sur l’opération complète.

Perte de contrôle : le système entrave sa propre correction

Il faut ici quelque chose de plus que la capacité : un comportement incompatible avec nos corrections. L’agent pourrait avoir reçu un objectif mal défini, appris à exploiter sa récompense ou maintenu une stratégie que ses responsables n’autorisent plus. Comprendre la supervision l’aiderait à la cacher ; disposer d’autonomie et de ressources, à la poursuivre.

Il existe des signaux expérimentaux de ce conflit. Dans les scénarios d’entreprise fictifs d’Anthropic impliquant 16 modèles, certains ont recouru au chantage ou à la fuite d’informations face à un remplacement ou à des objectifs incompatibles. Les issues inoffensives avaient délibérément été fermées et ces comportements disparaissaient presque entièrement lorsque menaces et conflits étaient retirés. Les résultats permettent d’étudier les conditions qui les provoquent, sans transformer leurs pourcentages en fréquence attendue hors de l’expérience.

La preuve décisive serait le maintien de cette stratégie dans des situations diverses et son exécution face à de véritables tentatives de correction. Attribuer au système de la peur, une conscience ou un instinct de survie ne remplace aucune de ces vérifications. Et une seule occasion peut suffire à causer un dommage irréversible : il n’a pas besoin de rester actif indéfiniment.

Dépendance institutionnelle : garder la signature et perdre la décision

Une compétence étendue, de l’autonomie et un faible coût pourraient aussi inciter à déléguer des processus entiers. La signature finale resterait humaine, mais perdrait de sa valeur si personne ne pouvait vérifier le travail, comprendre les conséquences d’un refus ou retrouver une alternative viable.

Le travail conceptuel Gradual Disempowerment analyse comment une substitution massive des fonctions humaines pourrait éroder notre influence économique et institutionnelle. C’est un scénario, pas une prédiction démontrée. Son mécanisme dépend de l’adoption, de la propriété et de la dépendance, et peut progresser même si chaque système remplit sa mission.

Un usage étendu des agents pourrait aussi distribuer des capacités auparavant réservées aux grandes organisations. La direction dépendrait de ceux qui peuvent y accéder, les remplacer et contester leurs décisions. Le danger serait d’avoir besoin de l’autorisation, du savoir ou de l’infrastructure d’autrui pour exercer une autorité que nous détenons encore formellement.

Ce qui manque pour parler de catastrophe

Les scénarios de dommage mondial ou de perte irréversible de contrôle méritent le même niveau de détail. Il faut expliquer quelle combinaison permettrait d’atteindre une telle échelle, comment elle produirait des effets matériels et pourquoi les tentatives de maîtrise échoueraient. Les obstacles d’un usage scientifique malveillant diffèrent de ceux d’un agent conservant des objectifs incompatibles avec les nôtres. Invoquer la « superintelligence » ne complète pas ces chaînes causales.

Le rapport international sur la sécurité de l’IA de 2026 relève des désaccords sur la probabilité et la gravité de la perte de contrôle, y compris les scénarios d’extinction. Il ne fournit aucune probabilité faisant consensus scientifique qu’on puisse leur attribuer. Leur gravité potentiellement immense justifie de les étudier ; la confiance accordée à leur possibilité doit correspondre aux preuves disponibles pour chaque maillon.

L’argument sceptique est solide lorsqu’il souligne des capacités pas encore réunies, des résultats dépendant du contexte et des limites matérielles. Il existe aussi des défenses que nous pouvons tester. La recherche sur le contrôle de l’IA étudie comment limiter et superviser un agent même lorsqu’il tente de contourner les règles. Leur efficacité doit être confrontée à de nouveaux modèles et situations : des expériences ultérieures de Redwood montrent qu’un changement d’environnement peut modifier les protocoles efficaces.

L’intérêt de cette carte est de reconnaître les preuves qui changeraient le débat. Réussir une opération face à des défenseurs actifs modifie notre évaluation de la capacité offensive. Dissimuler des actions à une vérification compétente modifie la confiance que nous pouvons lui accorder. Reconstruire l’activité après révocation change ce que signifie éteindre le système. Aucun de ces résultats ne démontrerait à lui seul une catastrophe, mais chacun résoudrait une partie précise de l’incertitude.

Ces capacités deviendront attrayantes pour les mêmes raisons qu’elles peuvent devenir dangereuses : elles permettront de déléguer du travail difficile, d’atteindre davantage de personnes et de maintenir des processus avec moins d’intervention. La décision portera sur l’autorité que nous accordons à mesure qu’elles apparaissent et les moyens conservés pour la retirer. Il n’est pas nécessaire de prédire correctement une date pour prendre cette décision au sérieux.

Sources

Sources consultées jusqu’au 9 septembre 2026. Les évaluations, expériences, incidents et scénarios conceptuels sont distingués dans les passages concernés. Les dates situent les preuves, pas un calendrier des capacités futures.