« Échantillonnage des p-meilleurs » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (Une version intermédiaire par un autre utilisateur non affichée) | |||
| Ligne 7 : | Ligne 7 : | ||
== Compléments == | == Compléments == | ||
Cette stratégie d'échantillonnage est utilisée par les [[grand modèle de langues|grands modèles de langues]] pour choisir aléatoirement un [[ | Cette stratégie d'échantillonnage est utilisée par les [[grand modèle de langues|grands modèles de langues]] pour choisir aléatoirement un [[jeton textuel]] parmi un ensemble de [[jeton textuel|jetons textuels]]. | ||
Alors que l'[[échantillonnage à troncature k fixe]] limite l'échantillon à un nombre ''k'' fixe de mots, l'échantillonnage à troncature de masse p spécifie une probabilité cumulée ''p'' entre 0 et 1 et on échantillonne parmi un nombre variable de [[ | Alors que l'[[échantillonnage à troncature k fixe]] limite l'échantillon à un nombre ''k'' fixe de mots, l'échantillonnage à troncature de masse p spécifie une probabilité cumulée ''p'' entre 0 et 1 et on échantillonne parmi un nombre variable de [[jeton textuel|jetons textuels]] dont la somme des probabilités atteint ou dépasse p. | ||
En pratique, l'échantillonnage à troncature de masse p est préféré à l'[[échantillonnage à troncature k fixe]] car il est plus adaptatif. | En pratique, l'échantillonnage à troncature de masse p est préféré à l'[[échantillonnage à troncature k fixe]] car il est plus adaptatif. | ||
| Ligne 18 : | Ligne 18 : | ||
'''Échantillonnage des p-meilleurs''' | '''Échantillonnage des p-meilleurs''' | ||
''' Échantillonnage à troncature de masse p''' | '''Échantillonnage à troncature de masse p''' | ||
'''Échantillonnage du noyau''' | '''Échantillonnage du noyau''' | ||
Dernière version du 9 juin 2026 à 15:08
Définition
Stratégie d'échantillonnage où un modèle génère une distribution de probabilité pour tous les éléments possibles d'un ensemble. On ne conserve que les éléments les plus probables dont la somme des probabilités atteint un seuil p défini (la masse de probabilité) également appelée noyau.
Les probabilités de ces éléments sont alors normalisées pour que leur somme soit égale à 1 avant le tirage aléatoire.
Voir aussi échantillonnage à troncature k fixe
Compléments
Cette stratégie d'échantillonnage est utilisée par les grands modèles de langues pour choisir aléatoirement un jeton textuel parmi un ensemble de jetons textuels.
Alors que l'échantillonnage à troncature k fixe limite l'échantillon à un nombre k fixe de mots, l'échantillonnage à troncature de masse p spécifie une probabilité cumulée p entre 0 et 1 et on échantillonne parmi un nombre variable de jetons textuels dont la somme des probabilités atteint ou dépasse p.
En pratique, l'échantillonnage à troncature de masse p est préféré à l'échantillonnage à troncature k fixe car il est plus adaptatif.
Notez qu'il est généralement recommandé de spécifier soit la température, soit le paramètre p, mais pas les deux.
Français
Échantillonnage des p-meilleurs
Échantillonnage à troncature de masse p
Échantillonnage du noyau
Échantillonnage par troncature dynamique
Échantillonnage par seuil de probabilité cumulée
Échantillonnage top-p
Anglais
Top-p sampling
Nucleus sampling
Stochastic decoding strategy for generating sequences form autoregressive probabilistic models that introduces randomness while maintaining quality. The choice of p can significantly influence the generated text. Its core idea is to sample from a smaller, more credible set of tokens at each step (called the nucleus). It is useful when you want more adaptative and context-sensitive text generation.
In practice, top-p sampling is often preferred over top-k because it’s adaptive. It is generally recommended to specify either the temperature or the top_p parameter, but not both.
Sources
Medium - Top-k sampling, Top-p sampling
Contributeurs: Arianne Arel, Claude Coulombe, Patrick Drouin, wiki
