Échantillonnage à troncature k fixe

Définition

Stratégie d'échantillonnage qui prélève un élément parmi nombre fixe k des meilleurs éléments d'un ensemble. La valeur de k reste constante,

Ceci signifie que la méthode ne s'adapte pas au contexte, ce qui a conduit à l'échantillonnage à troncature de masse p.

Compléments

Cette stratégie d'échantillonnage est utilisée par les grands modèles de langues pour prélève un segment parmi un nombre fixe k de segments textuels. La valeur de K reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré, ce qui a conduit à l'échantillonnage à troncature de masse p.

Une valeur K plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur K plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent.

Dans cette méthode, le modèle génère une distribution de probabilité pour tous les mots possibles du vocabulaire. On ne conserve que les k mots ayant les probabilités les plus élevées. Les probabilités de ces $k$ mots sont ensuite redistribuées (normalisées) pour que leur somme soit égale à 1, puis un mot est choisi aléatoirement parmi eux.

Attention: À ne pas confondre avec la température.

Français

Échantillonnage à troncature k fixe

Échantillonnage parmi les k meilleurs

Échantillonnage Top-k

Anglais

Top-k sampling

Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.

A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.

Sources

Source : Medium

Source : The Large Language Model Playbook

Source : Wikipedia