Google franchit une nouvelle étape dans l’utilisation de l’intelligence artificielle. Son assistant Gemini peut désormais naviguer dans les logiciels d’un Mac, manipuler des fichiers et accomplir des tâches à la place de son utilisateur. Une évolution qui reste, pour l’instant, réservée aux États-Unis.

Jusqu’ici, les assistants IA servaient surtout à rechercher des informations, rédiger des textes ou analyser des documents. Ils peuvent désormais aller plus loin, en exécutant directement des opérations sur un ordinateur. Google vient d’ajouter cette possibilité à son application Gemini pour macOS.

L’utilisateur n’a plus besoin de détailler chaque manipulation. Il décrit le résultat souhaité et Gemini se charge d’effectuer les différentes étapes nécessaires, en utilisant les applications et les sites web auxquels il a été autorisé à accéder.

Des tâches réalisées en arrière-plan

Concrètement, Gemini peut ouvrir des menus, cliquer sur des boutons, remplir des formulaires ou saisir des informations dans un logiciel. Il peut aussi exploiter des documents enregistrés sur l’ordinateur.

Google cite plusieurs exemples. L’assistant peut traiter une série de photos dans un logiciel de création, récupérer des données dans des fichiers PDF pour compléter des formulaires ou rassembler des informations provenant de tableaux de bord afin de préparer une présentation.

Il devient également possible de lui confier des opérations qui nécessitent habituellement de passer d’une application à l’autre. L’intérêt ne réside donc pas seulement dans l’exécution automatique d’une action, mais dans l’enchaînement de plusieurs tâches.

Autre particularité: Gemini travaille dans une fenêtre isolée, en arrière-plan. L’utilisateur conserve son écran et son curseur pour poursuivre ses propres activités. Un aperçu intégré à la conversation permet de suivre les opérations en cours.

L’utilisateur garde le contrôle

Cette autonomie soulève évidemment des questions de sécurité. Donner à une intelligence artificielle la possibilité d’interagir avec des logiciels et des fichiers n’est pas anodin, surtout lorsque ces derniers contiennent des informations personnelles ou professionnelles.

Google affirme avoir prévu plusieurs garde-fous. L’utilisateur choisit les applications auxquelles Gemini peut accéder, observe son travail et peut l’interrompre. Certaines opérations importantes nécessitent aussi une validation préalable.

Ces mécanismes devront néanmoins faire leurs preuves. Une mauvaise interprétation des instructions pourrait entraîner des manipulations indésirables, même si l’assistant fonctionne dans un environnement séparé.

Une nouvelle concurrence entre assistants IA

Cette annonce illustre l’évolution rapide des assistants conversationnels vers des agents capables d’agir. OpenAI explore également cette voie avec ChatGPT Work, qui peut mener des recherches, utiliser des applications et prendre en charge des missions comportant plusieurs étapes.

Google cherche à son tour à transformer Gemini en assistant opérationnel, intégré au travail quotidien sur ordinateur. La véritable différence se mesurera à la fiabilité des tâches accomplies, aux possibilités offertes par les logiciels compatibles et au niveau de contrôle laissé à l’utilisateur.

Quand et combien?

La nouvelle fonction commence à être déployée aux États-Unis, exclusivement en anglais. Aucun calendrier de disponibilité en Belgique n’a été communiqué. Google n’annonce pas non plus de supplément tarifaire propre à cette fonction.