« Suppression de jeton » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (9 versions intermédiaires par 4 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Technique utilisée pour le '''[[préentraînement]]''' d’un modèle où les '''[[ | Technique utilisée pour le '''[[préentraînement]]''' d’un '''[[modèle de langue|modèle]]''' où les '''[[jeton textuel / jeton génératif|jetons textuels ou jetons génératifs]]''' sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées. | ||
== Français == | == Français == | ||
''' | ''' suppression de jeton textuel / génératif''' | ||
''' destruction de jeton textuel / génératif''' | |||
== Anglais == | == Anglais == | ||
''' | ''' token deletion''' | ||
<!--''Token deletion takes the original sentence and randomly deletes a token from the sequence. Tokens are randomly removed from the documents. The model is pre-trained to determine tokens at which positions are removed.''--> | |||
== Sources == | == Sources == | ||
[https://arxiv.org/abs/2405.12630 Source : arxiv] | [https://arxiv.org/abs/2405.12630 Source : arxiv] | ||
| Ligne 17 : | Ligne 16 : | ||
[https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub] | [https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub] | ||
[[Catégorie: | [[Catégorie:GRAND_LEXIQUE_FRANÇAIS]] | ||
Dernière version du 3 septembre 2026 à 16:56
Définition
Technique utilisée pour le préentraînement d’un modèle où les jetons textuels ou jetons génératifs sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées.
Français
suppression de jeton textuel / génératif
destruction de jeton textuel / génératif
Anglais
token deletion
Sources
Contributeurs: Arianne Arel, Claude Coulombe, Patrick Drouin, wiki
