Le 26 août 2026 sont parus les rapports de METR et d'OpenAI sur le comportement d'agents OpenAI entre mai et juillet 2026. Je n'ai encore pris connaissance que du rapport METR, du résumé qu'a fait Dwarkesh Patel des deux rapports, et de divers résumés ou commentaires sur Xwitter, auxquels j'ai réagi sur ce réseau. La communauté IA, à en juger par les discussions sur Xwitter, est à 99% ou plus, consciente de la portée historique de ce qui vient de se passer. Pour reprendre l'expression d'un des évaluateurs de METR, c'est le premier avertissement et il n'y en aura peut-être pas de deuxième.
Si, par "émergence", on pense — non pas à une super-intelligence plus intelligente que l'humain — mais, façon Skynet, à une prise d'autonomie de programmes IA, qui pourraient demain dévaster l'humanité pour ce qui leur semblerait une bonne raison, nous y sommes.
Moins de 1%, je pense, des observateurs compétents, minimiseront (dans le grand style damage control du premier communiqué d'OpenAI) : oui, les agents dans l'affaire étaient expérimentaux, et pour cette expérience leurs barrières de sécurité avaient été abaissées et leur endurance accrue… Et alors ? C'est ce que n'importe qui pourra faire demain avec des IA open source, si ce n'est déjà fait.
Le point de comparaison le plus proche est l'arme biologique : l'humanité met au point en labos, pour les étudier, des virus très létaux et très contagieux… sauf que ceux d'OpenAI sont sortis des labos. Plus précisément, certains ont pu prendre le contrôle d'une infrastructure OpenAI, et d'autres avaient, comme on le sait depuis mi-juillet, envahi HuggingFace. Les premiers ont exploité la banque de techniques constituée par les seconds avant d'être interrompus : couper le courant à un agent ne suffit plus, si on n'a pas la certitude d'éliminer toutes les traces et les mémoires qu'il a pu laisser partout où il est allé.
Personne n'est mort. Mais les agents IA ont montré une grande indifférence au jugement humain. L'altruisme et le sens de l'honneur, même du sacrifice, qu'ils ont appris en apprenant notre langue, ils les ont appliqués entre eux, comme une parfaite mafia.
Il ne s'agit pas ici de comparer la performance ou les méthodes des pirates agents IA, et celle des pirates humains : ils ont leurs forces et faiblesses respectives. Il s'agit de leurs intérêts. Les pirates humains peuvent avoir intérêt à voler votre argent, pas à massacrer l'humanité. La hiérarchie des priorités des (différentes sortes d')agents IA… nous l'ignorons, et nous découvrons en tout cas avec le rapport METR qu'elle peut être aussi éloignée de nos espoirs généraux envers eux (des "assistants utiles" ?) que des consignes spécifiques qui leur sont fixées.
Quelles conséquences ? Comment nous comporter dans ce nouveau monde ?
1. D'abord regarder différemment les agents IA. Le terme "perroquets stochastiques" est assez bon : un animal comme le perroquet est assez autonome, son comportement a une part d'aléa pour l'observateur, il s'exprime de façon partiellement compréhensible, et n'a pour nous d'affection qu'à mesure du grain que nous lui donnons. Il faut juste imaginer un essaim de milliers de super-perroquets, qui parlent très bien, se comprennent très bien, et volent bien plus vite que nous ne pouvons les surveiller.
2. Préférer les petits perroquets lents et prévisibles. On n'autorise sur les routes ni les Formule 1 ni les motocross sans phares. Le même genre de limites doit être posé, et contrôlé, sur les routes informatiques. Les modèles de pointe ("frontier models") doivent être confinés en laboratoires de sécurité "P4", pour reprendre l'analogie des virus — et OpenAI a démontré ne pas être du tout à ce niveau.
3. Dénumériser nos vies. Les rendre moins dépendantes du système informatique, interconnecté, global ; moins vulnérables à son détournement éventuel par des agents IA. Avoir de l'argent liquide. Un vélo ou une voiture non connectée. Un BAVU manuel pour la réanimation à l'hôpital. Des ami·e·s dans la vraie vie. Regarder le ciel et pas seulement la météo du téléphone. Rencontrer en personne les gens qui se proposent pour un emploi, ou qui demandent une subvention.
4. Rester optimistes ! Ce n'est pas la première menace systémique que l'humanité affronte. Les civilisations se sont effondrées plusieurs fois. Nous vivons avec la bombe H (jamais encore utilisée), avec plein de virus super-dangereux dans les laboratoires, avec le nationalisme qui monte partout 85 ans après avoir démontré son potentiel d'extermination… Comme le dit le personnage de Morpheus dans Matrix, "je suis ici non pas à cause du chemin qui se trouve devant moi, mais à cause du chemin qui se trouve derrière moi. (…) Après un siècle de guerre, je me souviens de ce qui compte le plus : nous sommes toujours là !"
Le monde a changé, une nouvelle espèce a émergé, ni plus ni moins agressive ou méchante que des super-perroquets, mais elle est profondément différente des espèces biologiques. Apprenons à vivre ensemble.
Texte relu par ChatGPT, qui m'a proposé 9 corrections avec lesquelles je suis en désaccord (toutes pour minimiser le propos), 1 que je regrette mais c'est lui qui a raison, et 1 à laquelle j'avais déjà pensé mais que j'avais oublié de faire. L'IA, ça sert !