Suppression de jeton


Révision datée du 3 septembre 2026 à 16:56 par Claude COULOMBE (discussion | contributions)
(diff) ← Version précédente | Voir la version actuelle (diff) | Version suivante → (diff)

Définition

Technique utilisée pour le préentraînement d’un modèle où les jetons textuels ou jetons génératifs sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées.

Français

suppression de jeton textuel / génératif

destruction de jeton textuel / génératif

Anglais

token deletion

Sources

Source : arxiv

Source : GitHub