Graphical User Interface Agent


en construction

Définition

Agent autonome intelligent qui interagit avec diverses interfaces numériques, telles que les ordinateurs de bureau ou les téléphones mobiles, via leur interface utilisateur graphique. Il identifie et observe les éléments visuels affichés et interagit avec eux en cliquant, en tapant ou en appuyant, imitant ainsi les schémas d'interaction d'un utilisateur humain.

Voir aussi modèle fondateur

Compléments

On retrouve le terme computer use pour désigner ce genre d'outil lorsque cette fonctionnalité qui permet d'utiliser un ordinateur par une interface graphique est présente dans un grand modèle de langues.

Français

agent d'interface graphique

agent d'interface graphique personnalisée

agent d'environnement graphique

agent IUG

agnet GUI

Anglais

Graphical User Interface Agent

GUI Agent

Intelligent autonomous agent that interacts with digital platroms, such as desktops or mobile phones through their Graphical User Interface. It identifies and observes interactable visual éléments displayed on these plaforms or screens and engages with them by clicking, typing or tapping, mimicking the interaction patterns of a human user.

Sources

Source : Anthropic

Source : Arxiv

Source : Arxiv

Source : TERMIUM Plus

Contributeurs: Arianne Arel, Patrick Drouin