Annoncé dans un article publié sur le blog Google DeepMind, le modèle Computer Use permet à Gemini d'interagir directement avec les applications, les navigateurs et les systèmes d'exploitation, en effectuant de manière autonome des tâches complexes en plusieurs étapes, telles que remplir des formulaires, prendre des rendez-vous, modifier des documents et configurer les paramètres des logiciels.

Google décrit ce modèle comme une étape majeure vers la création d'agents IA véritablement utiles, capables de comprendre à la fois les intentions des utilisateurs et les interfaces informatiques.

Google a déclaré dans un communiqué : "Nous voulons que Gemini aide les gens à accomplir des tâches, et pas seulement à générer du texte."

Le modèle fonctionne en interprétant visuellement les éléments à l'écran, en simulant des clics et des frappes au clavier, et en vérifiant chaque étape en temps réel pour garantir la précision et la sécurité. Cette technologie est actuellement testée en interne, Google confirmant que Computer Use fait partie de sa famille Gemini 2.5, une évolution du système qui alimente Gemini Advanced et Gemini for Workspace.

Google a affirmé que lors de démonstrations, l'IA a réussi à gérer des tâches telles que la mise à jour de feuilles de calcul, la réponse à des e-mails et la mise en forme de présentations sans intervention directe de l'utilisateur.