« Suppression de jeton textuel » : différence entre les versions
Aucun résumé des modifications |
m (Patrickdrouin a déplacé la page Suppression de segment textuel vers Suppression de jeton textuel) |
||
| (4 versions intermédiaires par 3 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Technique utilisée pour le '''[[préentraînement]]''' d’un modèle où les '''[[ | Technique utilisée pour le '''[[préentraînement]]''' d’un '''[[modèle de langue|modèle]]''' où les '''[[jeton textuel|jetons textuels]]''' sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées. | ||
== Français == | == Français == | ||
''' | ''' suppression de jeton textuel''' | ||
''' destruction de jeton textuel''' | |||
== Anglais == | == Anglais == | ||
''' | ''' token deletion''' | ||
<!--''Token deletion takes the original sentence and randomly deletes a token from the sequence. Tokens are randomly removed from the documents. The model is pre-trained to determine tokens at which positions are removed.''--> | <!--''Token deletion takes the original sentence and randomly deletes a token from the sequence. Tokens are randomly removed from the documents. The model is pre-trained to determine tokens at which positions are removed.''--> | ||
| Ligne 16 : | Ligne 16 : | ||
[https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub] | [https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub] | ||
[[Catégorie: | [[Catégorie:GRAND_LEXIQUE_FRANÇAIS]] | ||
[[Catégorie:Publication]] | |||
Dernière version du 9 juin 2026 à 14:49
Définition
Technique utilisée pour le préentraînement d’un modèle où les jetons textuels sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées.
Français
suppression de jeton textuel
destruction de jeton textuel
Anglais
token deletion
Sources
Contributeurs: Arianne Arel, Patrick Drouin, wiki
