L’IA qui contrôle votre PC

Google vient de lever le voile sur un projet pour le moins ambitieux : Mariner. Derrière ce nom, qui évoque l'exploration et la navigation, se cache ce que l'on appelle un agent d'intelligence artificielle conçu pour interagir avec une page web à votre place. Loin d'être un simple gadget, Mariner est présenté par Google comme un véritable tournant dans la manière dont nous utilisons Internet. Mais de quoi s'agit-il exactement ?

L'idée derrière Mariner est simple : permettre à une IA de réaliser des actions sur le web comme le ferait un humain. Concrètement, Mariner se matérialise sous la forme d'une extension pour le navigateur Chrome. Une fois activée, elle est capable de naviguer sur des sites, de cliquer sur des liens, de remplir des formulaires et de réaliser des tâches complexes comme faire des achats en ligne, réserver des vols ou rechercher des informations précises.

Dans une démonstration présentée par nos confrères de TechCrunch, Google a illustré les capacités de Mariner en lui confiant une simple mission : remplir un panier d'achat virtuel sur un site de supermarché, à partir d'une liste prédéfinie. L'IA a alors pris le contrôle du navigateur, navigant de page en page, ajoutant les articles au panier, le tout avec une autonomie impressionnante. Un véritable petit assistant numérique capable de réaliser des tâches chronophages à votre place.

Un fonctionnement qui pose question

L'approche de Google est radicale. Plutôt que de se contenter de faire analyser du texte à l'IA, Mariner lui donne la capacité de voir et d'interagir avec le web tel que nous le connaissons. Pour ce faire, l'extension capture une image de la page web affichée, l'envoie aux serveurs de Google où l'IA Gemini 2.0 l'analyse et détermine les actions à effectuer. Gemini renvoie ensuite les instructions à l'ordinateur qui exécute la tâche. Ce processus s’appuie sur une technologie de reconnaissance visuelle et d'interprétation sémantique de l'interface web.

Bon comme on peut s'en douter cette approche n'est pas sans inconvénients. Lors de sa démonstration, il est apparu que Mariner était particulièrement lent, avec un délai d'environ cinq secondes entre chaque action. De plus, l'agent ne peut agir que sur l'onglet Chrome actif, contraignant l'utilisateur à observer, parfois avec un peu d'impatience, l'IA mener ses opérations comme une personne âgée. Enfin, Mariner a parfois besoin d'être guidé pour des actions plus complexes ou des informations ambiguës.

Bon qu'on se le dise entre nous, ces limitations sont inévitables, étant donné que Mariner est encore en phase de test, accessible uniquement sur invitation. Toutefois, elles soulèvent des questions importantes sur son fonctionnement et son impact sur l’expérience utilisateur. Les allers-retours entre l'ordinateur de l'utilisateur et les serveurs de Google ne sont pas seulement chronophages, ils soulèvent aussi des préoccupations légitimes en termes de protection des données personnelles. Chaque capture d'écran, envoyée à Google pour être analysée, peut potentiellement contenir des informations sensibles, nom prénom adresse postale email numéro de téléphone numéro de carte bancaire, etc.

La tendance du moment

Mariner n’est pas un cas isolé. Il s'inscrit dans une tendance plus large, celle des agents d’IA capables de naviguer sur le web et d'exécuter des tâches à la place des utilisateurs. Anthropic, avec son IA Claude 3.5, a fait des promesses similaires, tout comme ChatGPT, qui prépare ce genre de fonctionnalités pour 2025.

Ce foisonnement d'initiatives soulève une question essentielle : ces outils répondent-ils à un réel besoin ou ne sont-ils que des démonstrations de prouesses technologiques ? Il est indéniable que l'automatisation des tâches web peut simplifier la vie de nombreux utilisateurs, notamment ceux qui ont peu d'expérience avec internet. Cependant, la question de la perte de contrôle sur la navigation et l'accès à l'information est prépondérante.

Dans les mois et années à venir, la question de l’acceptation de ces nouveaux outils par le grand public sera déterminante. Google devra rassurer les utilisateurs en termes de protection des données, mais aussi en termes de transparence et de contrôle de l'IA.