« Sondage d'un grand modèle de langue » : différence entre les versions
m (Patrickdrouin a déplacé la page Llm probing vers Sondage d'un grand modèle de langue) |
Aucun résumé des modifications |
||
| (Une version intermédiaire par le même utilisateur non affichée) | |||
| Ligne 5 : | Ligne 5 : | ||
L'objectif est de comprendre comment ces modèles encodent les connaissances linguistiques, sémantiques et factuelles. | L'objectif est de comprendre comment ces modèles encodent les connaissances linguistiques, sémantiques et factuelles. | ||
Cette méthode consiste à entraîner de petits [[Adaptation par modèle auxiliaire|modèles auxiliaires]] ou [[Classificateur|classificateurs]] légers nommés ''sondes'' sur les vecteurs d'activation du modèle afin de prédire des caractéristiques spécifiques (par exemple, la syntaxe ou la logique). | Cette méthode consiste à entraîner de petits [[Adaptation par modèle auxiliaire|modèles auxiliaires]] ou [[Classificateur|classificateurs]] légers nommés ''sondes'' sur les [[activation|vecteurs d'activation]] du modèle afin de prédire des caractéristiques spécifiques (par exemple, la syntaxe ou la logique). | ||
==Français== | ==Français== | ||
'''sondage d'un grand modèle de langue''' | '''sondage d'un grand modèle de langue''' | ||
'''sondage d'un GML''' | |||
'''sonder un grand modèle de langue''' | '''sonder un grand modèle de langue''' | ||
'''sonder un GML''' | |||
==Anglais== | ==Anglais== | ||
Dernière version du 31 mars 2026 à 14:51
Définition
Technique utilisée en interprétabilité de l'IA pour analyser les états cachés (latents) des grands modèles de langues (GML).
Compléments
L'objectif est de comprendre comment ces modèles encodent les connaissances linguistiques, sémantiques et factuelles.
Cette méthode consiste à entraîner de petits modèles auxiliaires ou classificateurs légers nommés sondes sur les vecteurs d'activation du modèle afin de prédire des caractéristiques spécifiques (par exemple, la syntaxe ou la logique).
Français
sondage d'un grand modèle de langue
sondage d'un GML
sonder un grand modèle de langue
sonder un GML
Anglais
LLM probing
Sources
Contributeurs: Patrick Drouin
