« Échantillonnage des k-meilleurs » : différence entre les versions
(Page créée avec « == en construction == == Définition == xxxxxxx Voir aussi '''échantillonnage des p-meilleurs''' == Français == ''' Échantillonnage des k-meilleurs''' == Anglais == ''' Top-k sampling''' == Sources == [https://medium.com/thinking-sand/the-top-k-and-top-p-parameters-explained-bfaecc8cd342 Source : Medium] [https://cyrilzakka.github.io/llm-playbook/nested/topk.html Source : The Large Language Model Playbook] [https://en.wikipedia.org/wiki/Top-p_sa... ») |
Aucun résumé des modifications |
||
| Ligne 2 : | Ligne 2 : | ||
== Définition == | == Définition == | ||
Stratégie d'échantillonnage qui prélève toujours un nombre fixe de '''[[Segment textuel|segments textuels]]''', ce qui peut s'avérer trop restrictif ou trop large selon le contexte. La valeur de ''K'' reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré, ce qui a conduit à l''''[[échantillonnage des p-meilleurs]]'''. | |||
== Compléments == | |||
Une valeur ''K'' plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur ''K'' plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent. | |||
Attention: À ne pas confondre avec la '''[[température]]'''. | |||
== Français == | == Français == | ||
| Ligne 11 : | Ligne 14 : | ||
== Anglais == | == Anglais == | ||
''' Top-k sampling''' | ''' Top-k sampling''' | ||
''Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.'' | |||
''A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.'' | |||
== Sources == | == Sources == | ||
Version du 9 novembre 2025 à 11:53
en construction
Définition
Stratégie d'échantillonnage qui prélève toujours un nombre fixe de segments textuels, ce qui peut s'avérer trop restrictif ou trop large selon le contexte. La valeur de K reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré, ce qui a conduit à l'échantillonnage des p-meilleurs.
Compléments
Une valeur K plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur K plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent.
Attention: À ne pas confondre avec la température.
Français
Échantillonnage des k-meilleurs
Anglais
Top-k sampling
Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.
A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.
Sources
Contributeurs: Arianne Arel
