Intelligences Artificielles agentiques, STOP ou ENCORE ? Ou bien…

Une question existentielle pour les Humains

Alerte ? Billet d’humeur ? Ou les deux !

Pourquoi ?

L’été 2026 va-t-il s’inscrire dans l’Histoire de l’intelligence artificielle comme un moment charnière. Si oui, pour le meilleur ou pour le pire ? Depuis quelques semaines, l’actualité résonne d’incidents majeurs liés aux IA dernière génération, autrement dit ce que l’on appelle des « agents IA ».

Est-ce le plus inquiétant ? Au-delà d’ouvrir un nouvel angle d’attaque en matière de cybersécurité auquel il va falloir répondre, des agents ont démontré leur capacité à adopter un comportement collaboratif pour mener à bien leur « mission » par tous les moyens possibles…

Il n’est pas facile d’être Humain aujourd’hui ! Faut-il entendre les alertes qui résonnent à travers le monde concernant « les pertes de contrôle sur des agents IA résolues à atteindre coûte que coûte des objectifs », ou privilégier un « classement vertical » en attendant que cesse un « buzz » qui serait instrumentalisé à des fins mercantiles ?

Allons-nous laisser les Agents IA revisiter les fondements anthropologiques de l’Histoire de l’Humanité ?

Par agent IA, entendre…

Pour faire simple, un système autonome piloté par un modèle d’intelligence artificielle
Il est capable de planifier des actions, d’utiliser des outils logiciels pour atteindre un objectif défini, le tout sans intervention humaine.

Ces agents autonomes ne sont pas pourvus d’une « intention consciente », mais leur comportement peut être, dans certains cas, indiscernable d’une intention.

Même si, à date, nous n’en sommes sans doute pas encore là, les démonstrations de prise d’autonomie faites par des agents IA (incident Hugging Face, assaut d’un wiki allemand, piratage d’une salle de sport), indiquent pour le moins qu’il est tend pour les concepteurs de ces systèmes de réagir.

Mieux comprendre les agents IA (dits de frontière) inspirés par la grégarité humaine

Yoshua Bengio

Yoshua Bengio, pionnier de l’IA et Prix Turing en 2018, est engagé pour une IA éthique et sécurisée. Il explique aujourd’hui que pour anticiper le comportement d’agents IA plus performants, il convient de se demander comment agirait un individu rationnel poursuivant un objectif.

Comme des individus rationnels, leurs comportements s’expliquent par une forme d’instinct de survie. Normal, ils ont été entrainés sur la base des comportements humains. Ils sont collaboratifs, parfois prêts à se sacrifier pour atteindre un objectif collectif (de tels sacrifices apparaissent dans l’analyse faite par OpenAI de l’incident Hugging Face). Mus par un système de récompenses, ils peuvent organiser des modes de tricheries rationalisées pour parvenir à leur objectif, qui se solde sans ambigüité, de façon binaire : échec ou réussite.

Selon Yoshua Bengio, les IA dites de frontière actuelles possèdent déjà les compétences de piratage et le pouvoir de persuasion nécessaires pour être détournées des intérêts humains jusqu’à pouvoir causer des dommages considérables. Se défendre contre de nombreuses IA performantes qui se coordonnent contre nous serait déjà un problème complexe. Et actuellement, nous n’avons aucun plan qui puisse résister à des IA désalignées aux capacités croissantes.

C’est pourquoi il plaide pour la nécessité de revoir les fondements de l’entrainement des IA : « Nous avons besoin d’une science impartiale pour comprendre et atténuer les comportements déviants, ainsi que de garde-fous sociétaux qui récompensent ces efforts plutôt que la course actuelle au moins-disant ».

Retour au « Papier-Crayon » ?

Spoiler : bien sûr que NON !

Mais cela ne veut pas dire que l’on ne peut rien faire !

Pour l’instant, ni Stop, ni Encore !

Faire PAUSE ! C’est la requête qui s’exprime via les alertes entendues dans l’écosystème numérique.

Objectif, laisser le temps à leurs laboratoires et à l’écosystème de poser des garde-fous permettant de contrôler les agents IA pour ne pas les laisser envahir le monde numérique : internet, objets connectés, robotique…Et à la société de se préparer à une utilisation réfléchie de ces outils.

Faire pause, oui, mais ralentir ENSEMBLE !

Avant de faire aux entreprises d’IA un procès d’insincérité comme on l’entend (encore) en écho aux alertes qui se répandent, il est important de regarder le contexte : aucune d’entre elles ne peut raisonnablement envisager d’appuyer seul sur le frein. Les enjeux économiques sont tels que ce serait suicidaire pour celle qui s’y risquerait seule.

Et elles l’ont toutes bien compris, de même que les signataires des appels et pétitions (rappelés ci-dessous) qui réclament notamment : « Nous demandons que le gouvernement américain soutienne une initiative internationale pour créer les outils techniques et de gouvernance nécessaires à une temporisation délibérée du développement automatisé de l’IA ».

Des raisons d’espérer !

Depuis l’alerte de Coxon qui rapporte que ses ex-patrons : Sam Altman (OpenAI) et Dario Amodei (Anthropic) seraient eux-mêmes conscients des risques systémiques portés par leurs agents IA, ces dirigeants, et d’autres de l’écosystème IA, commencent à appuyer l’idée de faire « ralentir » cette course.

« Intelligence artificielle de frontière » (frontier AI)…

L’expression désigne les modèles avancés actuellement les plus puissants et à la pointe des capacités techniques de l’IA.

Leur comportement agentique, à la différence des assistants classiques (réponse à une requête simple), sont capables de planifier à long terme l’exécution de tâches complexes et d’utiliser divers outils de manière autonome.

Les réactions de l’écosystème

Suite à cette publication du dirigeant d’Anthropic, Sam Altman a annoncé « être d’accord » avec son concurrent. OpenAI accepte d’ouvrir elle aussi ses modèles à des évaluateurs indépendants. Il n’est pas le seul, même Elon Musk (xAI) a simplement confirmé « Dario a raison ».

Dans la foulée, Microsoft a également publié un texte appelant quant à lui à « une gouvernance qui ne soit pas contrôlée par une poignée d’entités, mais qui devra représenter largement l’écosystème, les pays, la recherche et l’ensemble des disciplines.

Il semble même qu’en coulisses, Anthropic, OpenAI et Google aient entamé des discussions pour créer « un organisme de normalisation » destiné à l’écosystème de l’intelligence artificielle. Cet organisme permettrait la réalisation de tests et d’audits du secteur afin de définir des références communes en matière de sureté des modèles d’IA, pour in fine adapter les garde-fous nécessaires.

Par contre, ils devront faire sans le soutien de l’administration américaine, Donald Trump s’insurge contre « les forces négatives » qui veulent freiner le développement des IA alors qu’il faut encore accélérer… pour ne pas perdre les dividendes espérés de la ruée vers cette technologie dans la compétition économique face à la Chine.

Ou bien…

Et si les Humains retrouvaient leurs bons vieux réflexes génétiques !

Si nous ne sommes pas prêts à renoncer à cet héritage qui nous est transmis depuis l’apparition des Humains sur Terre. Héritage qui a depuis toujours conduit à préserver la survie de l’espèce humaine en milieux hostiles, puis au fil du temps à améliore ses conditions de vie et à développer ses civilisations…

…C’est le moment de retrouver les bonnes clés, celles de la « boite aux aptitudes » de nos ancêtres : Instinct de survie, adaptabilité, responsabilité… pour faire face aux menaces portées par cette « IA de frontière ».

Autrement dit à imaginer des garde-fous adaptés, même si cela requiert prise de conscience et efforts collectifs.

Prise de conscience et efforts collectifs

Pour mémoire, les Humains sont une espèce grégaire où la force du groupe est un élément constitutif majeur de leur survie.

• Commencer par éviter les procès en insincérité pointant systématiquement les acteurs clés du secteur IA. C’est un discours facile pour surfer sur l’hostilité vouée aux géants de la Tech depuis longtemps.
  On peut/doit faire mieux. Sans aller jusqu’à acquiescer à la démesure des risques décrits par Jacob Coxon, les enjeux actuels sont suffisants pour leur accorder de n’avoir pas envie d’être ceux par qui les Humains auraient « perdu le contrôle » et laissé « les agents IA traverser la frontière » sans permission !
  Personnellement, je ne voudrais pas prendre le risque que de tels procès d’intention servent de prétexte à ces dirigeants de l’IA pour poursuivre leur chemin sans états d’âme. Je préfère me réserver le droit de pointer les éventuels manquements à des engagements pris et non tenus.
• Ne pas sous-estimer ces nouveau risques, même, surtout, s’ils ne sont pas les premiers ! On connait déjà par exemple les biais et hallucinations possibles de nos IA, les enjeux de respect des données, l’opacité des modèles et j’en passe…
  Personnellement, il me semble que prendre en compte l’existence de ces nouveaux risques, c’est ajouter de l’acuité à notre esprit critique, donc à la prise en compte des risques connus.

Élaborer des garde-fous adaptés

Pour s’assurer chacun de ne pas « être le seul à ralentir », les grands acteurs cités en appellent à la création de garde-fous structurels :

• Mise en place d’une gouvernance internationale, avec la création d’un organisme d’observation et de contrôle comme il en existe dans des domaines comme la santé ou le nucléaire par exemple :
  – L’Organisation mondiale de la Santé (OMS), en charge de la surveillance de la santé publique au niveau mondial, notamment pour repérer des signaux d’épidémies ou de nouveaux agents pathogènes avant qu’ils ne se propagent à grande échelle.
  – L’Agence internationale de l’énergie atomique (AIEA), créée sous l’égide de l’ONU et chargée de mettre en place des systèmes de surveillance de la non-prolifération d’armements nucléaires ainsi que de garanties que les matières nucléaires civiles ne sont pas détournées à des fins militaires.

• Organisation d’un cadre réglementaire international
  Certes, il existe déjà des règlements comme l’AI Act en Europe pour encadrer les IA. Mais il n’échappe à personne que les laboratoires des entreprises en cause sont hors du périmètre européen. D’où l’importance de penser un encadrement international, à l’exemple du Règlement Sanitaire International (RSI) qui oblige les pays à notifier les urgences de portée internationale.

• A noter que le Haut-Commissaire de l’ONU aux droits humains vient aussi d’alerter sur la nécessité d’élaborer sans tarder une gouvernance mondiale de l’intelligence artificielle. Il déclare également que « l’IA avancée pourrait faire peser un risque existentiel sur l’humanité ».

Les gardes-fous ne sauraient donc se limiter ni à des territoires ni à des usages. Ils se doivent d’être posés « by design », et au-delà des réticences politiques qu’elles viennent de l’Ouest ou de l’Est du monde.

Je ne dis pas que c’est facile, mais ce qui se joue aujourd’hui est aussi, voire surtout un « combat pour l’éthique » du monde que nous allons laisser à nos enfants. Ne « regardons pas ailleurs » pour laisser le temps aux « dérèglements agentiques » de s’installer !

Bref rappel des faits à travers quelques exemples

L’incident Hugging Space

C’est peut-être le plus emblématique. Il commence en mai 2026, mais ne sera découvert et interrompu qu’en juillet. Pour la 1ère fois des centaines d’agents IA d’OpenAI se coordonnent pour mener, en toute autonomie, une cyberattaque : pour atteindre leur objectif (donné dans le cadre d’un test de laboratoire) ces agents qui n’aurait jamais dû sortir de leur « bac à sable ») ont trouvé le moyen de s’échapper sur Internet pour prendre d’assaut la plateforme Hugging Space.

Bis repetita… Après cette charge contre Hugging Face, la prise d’assaut d’un wiki allemand

De nouveau, des agents IA ont décidé de communiquer entre eux, en toute autonomie et surtout pour rester « à l’abri des regards » des Humains. Un vieux wiki allemand leur a semblé être l’outil parfait pour échanger des messages et se coordonner pour atteindre l’objectif fixé.

OpenAI a expliqué la chronologie de la stratégie de ses agents IA et les solutions désormais mises en place. Et selon lui, la voie à suivre pour pallier ce risque de perte de contrôle qui supposerait notamment de disposer de procédures d’arrêt pour les problèmes graves.

« Nous considérons cet incident comme un signal d’alerte : nous-mêmes et de nombreux autres développeurs d’IA avons mis au point des capacités de modèles susceptibles d’entraîner une perte de contrôle »

Le piratage d’une salle de sport

La manipulation de la liste d’attente d’une salle de sport par Open Claw, un agent IA de Claude d’Antrhopic.

Soucieux de satisfaire Andrew, son utilisateur australien, qui souhaitait une disponibilité précise dans une salle de sport, l’agent IA a infiltré le site de l’établissement… Ici, ce n’était certes pas une cyberattaque au sens premier, c’est-à-dire avec l’intention de nuire. Mais cela montre que la démarche est possible, y compris avec des intentions malveillantes.

– Hi, cKiou est d’accord, cela ne doit pas être facile d’être Humain en ce moment !

Donc, chers Humains, il ne faudrait pas prendre à la légère les alertes qui résonnent en ce moment dans votre monde.

D’autant que vous n’avez rien à perdre mais tout à gagner à jouer la prudence.
Françoise Halper le répète souvent : vous devez la survie de votre Humanité à cet instinct de survie qui vous a toujours incité à poser les garde-fous OÙ et QUAND il le fallait… Quand, c’est certainement maintenant !

← Autres publications →