Échantillonnage des p-meilleurs

Définition

Stratégie d'échantillonnage stochastique afin de générer des séquences à partir de modèles probabilistes autorégressifs qui introduisent un caractère aléatoire tout en conservant la qualité. Plus simplement, son principe fondamental consiste à échantillonner à chaque étape un ensemble plus petit et plus probable (d'où le p dans le terme) de segments textuels (appelé noyau). Le choix du paramètre p peut influencer considérablement le texte généré.

Cette stratégie est utile lorsque l'on souhaite obtenir une génération de texte plus adaptée et plus sensible au contexte.

Voir aussi génération automatique de texte

Compléments

Alors que l'échantillonnage k-meilleurs limite l'échantillon aux k mots suivants les plus probables, l'échantillonnage meilleur-p ajoute une variante. Au lieu de spécifier un nombre défini de candidats principaux (k), on spécifie un probabilité (p) et on échantillonne que le groupe de segments textuels dont la probabilité est supérieure à p.

En pratique, l'échantillonnage p-meilleurs est souvent préféré au k-meilleurs car il est plus adaptatif. Il est généralement recommandé de spécifier soit la température, soit le paramètre p, mais pas les deux.

Français

Échantillonnage des p-meilleurs

Échantillonnage du noyau

Échantillonnage top-p

Anglais

Top-p sampling

Nucleus sampling

Stochastic decoding strategy for generating sequences form autoregressive probabilistic models that introduces randomness while maintaining quality. The choice of p can significantly influence the generated text. Its core idea is to sample from a smaller, more credible set of tokens at each step (called the nucleus). It is useful when you want more adaptative and context-sensitive text generation.

In practice, top-p sampling is often preferred over top-k because it’s adaptive. It is generally recommended to specify either the temperature or the top_p parameter, but not both.

Sources

Source : Medium

Source : The Large Language Model PLaybook

Source : Wikipedia