Masquage de segment textuel

Définition

Technique utilisée pour le préentraînement d’un grand modèle de langues où les segments textuels (ou segments) sont masqués de manière aléatoire par un symbole [MASK], comme dans BERT, afin de prédire le segment en fonction de son contexte.

Voir aussi grand modèle de langues, segmentation et Text Infilling

Français

Masquage de segment(s) textuel(s)

Masquage de segment(s)

Anglais

Token Masking

Text Corruption

Sources

Source: Arxiv

Source: TowardsAI