Sondage d'un grand modèle de langue

Définition

Technique utilisée en interprétabilité de l'IA pour analyser les états cachés (latents) des grands modèles de langues (GML).

Compléments

L'objectif est de comprendre comment ces modèles encodent les connaissances linguistiques, sémantiques et factuelles.

Cette méthode consiste à entraîner de petits modèles auxiliaires ou classificateurs légers nommés sondes sur les vecteurs d'activation du modèle afin de prédire des caractéristiques spécifiques (par exemple, la syntaxe ou la logique).

Français

sondage d'un grand modèle de langue

sondage d'un GML

sonder un grand modèle de langue

sonder un GML

Anglais

LLM probing

Sources

Ballier et al. (2024) - sonder

Lin et al. (2025) - LLM probing