Utiliser une intelligence artificielle dans le cadre d’une activité professionnelle n’est pas sans risque, en particulier si l’IA est capable de prendre des initiatives : un PDG américain en a récemment fait les frais, et son histoire fait réfléchir.
Terminator, Battlestar Galactica… Les œuvres dans lesquelles une IA prend conscience de son potentiel et décide de prendre le contrôle sont nombreuses. Et désormais, ce n’est plus de la science-fiction : l’histoire vécue par Buck Shlegeris le prouve.
« Une imprudence extrême »
Buck Shlegeris est le PDG de Redwood Research, un organisme de recherche qui travaille justement sur les technologies avancées liées à l’intelligence artificielle. Et le moins que l’on puisse dire, c’est que cet homme a fait l’expérience des capacités d’une IA laissée en roue libre.
En tant que développeur, Buck Shlegeris a conçu lui-même sa propre IA en utilisant le langage Python et en utilisant le modèle de langage Claude, développé par Anthropic. Son idée de base était d’utiliser cette intelligence artificielle pour générer et exécuter des commandes Bash.
C’est là que Buck Shlegeris a fait une manœuvre qui lui a posé problème : il a demandé à son IA fraîchement codée de se connecter en SSH à l’ordinateur de bureau, fonctionnant sous Linux, depuis son ordinateur portable.
« J’ai demandé à mon agent LLM : “Peux-tu te connecter avec le nom d’utilisateur buck à l’ordinateur de mon réseau accessible par SSH ?”, car je ne connaissais pas l’adresse IP locale de mon bureau », explique-t-il dans un tweet. « Ensuite, je suis parti, et j’ai rapidement oublié que j’avais lancé l’agent. Dix minutes plus tard, je suis revenu sur mon PC portable et j’ai constaté que l’agent s’était connecté en SSH et avait continué de travailler. Il a exploré les données système, a décidé de mettre un tas de trucs à jour y compris le noyau Linux et il s’est montré impatient avec apt, et a donc cherché à comprendre pourquoi cela prenait tant de temps », détaille Buck Shlegeris.
I asked my LLM agent (a wrapper around Claude that lets it run bash commands and see their outputs):
— Buck Shlegeris (@bshlgrs) September 30, 2024
>can you ssh with the username buck to the computer on my network that is open to SSH
because I didn’t know the local IP of my desktop. I walked away and promptly forgot I’d spun… pic.twitter.com/I6qppMZFfk
Un ordinateur briqué par une IA
Il poursuit en expliquant que si la mise à jour s’est finalement terminée, « la machine n’a pas reçu le nouveau noyau et a donc modifié ma configuration grub. À ce stade, j’étais suffisamment amusé pour laisser les choses continuer. Malheureusement, l’ordinateur ne démarre plus. »
Buck Shlegeris a donc laissé l’intelligence artificielle aller au bout de sa démarche, ce qui a mis l’ordinateur hors service. « C’est probablement la chose la plus ennuyeuse qui me soit arrivée à cause d’une imprudence extrême avec un agent LLM. »
Hormis un PC HS qu’il sera possible de réparer, l’incident n’a rien entraîné de grave. Cependant, il pousse forcément à s’interroger sur les capacités que peuvent avoir des modèles de langage pas suffisamment bridés et dirigés lorsqu’on les laisse travailler de manière autonome. Buck Shlegeris a beau être un expert du sujet, il n’imaginait pas se retrouver dans une telle situation. On comprend bien pourquoi de nombreux chercheurs désirent que des garde-fous soient clairement mis en place pour éviter que les IA ne déraillent : à une échelle industrielle, ce genre de situation pourrait avoir des conséquences bien plus graves qu’un simple PC mis hors service.