Échantillonnage des k-meilleurs

Définition

Stratégie d'échantillonnage qui prélève toujours un nombre fixe de segments textuels, ce qui peut s'avérer trop restrictif ou trop large selon le contexte. La valeur de K reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré, ce qui a conduit à l'échantillonnage des p-meilleurs.

Compléments

Une valeur K plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur K plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent.

Attention: À ne pas confondre avec la température.

Français

Échantillonnage des k-meilleurs

Anglais

Top-k sampling

Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.

A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.

Sources

Source : Medium

Source : The Large Language Model Playbook

Source : Wikipedia