Suppression de jeton

Définition

Technique utilisée pour le préentraînement d’un modèle où les jetons textuels ou jetons génératifs sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées.

Français

suppression de jeton textuel

destruction de jeton textuel

Anglais

token deletion

Sources

Source : arxiv

Source : GitHub