Suppression de jeton

Définition

Technique utilisée pour le préentraînement d’un modèle où les jetons textuels ou jetons génératifs sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées.

Français

suppression de jeton textuel / génératif

destruction de jeton textuel / génératif

Anglais

token deletion

Sources

Source : arxiv

Source : GitHub