« Token Masking » : différence entre les versions

Dernière version du 22 mai 2025 à 14:06

en construction

Définition

Technique utilisée pour le préentraînement d’un modèle où les segments textuels (ou segments) sont masqués de manière aléatoire par un symbole [MASK], comme dans BERT, afin de prédire le segment en fonction de son contexte.

Voir aussi grand modèle de langues, segmentation et Text Infilling

Français

Masquage de segment

Masquage des segments

Anglais

Token Masking

Sources

Source: Arxiv

Source: TowardsAI

@@ Ligne 2 : / Ligne 2 : @@
 == Définition ==
-XXXXXXX
+Technique utilisée pour le '''[[préentraînement]]''' d’un modèle où les '''[[Segment textuel|segments textuels]]''' (ou segments) sont masqués de manière aléatoire par un symbole [MASK], comme dans '''[[BERT]]''', afin de prédire le segment en fonction de son contexte.
-Voir aussi '''[[grand modèle de langues]]''', '''[[BERT]]''', '''[[segmentation]]''' et '''[[entropie croisée]]'''
+Voir aussi '''[[grand modèle de langues]]''', '''[[segmentation]]''' et '''[[Text Infilling]]'''
 == Français ==
-''' XXXXXXXX'''
+''' Masquage de segment'''
+''' Masquage des segments'''
 == Anglais ==
 ''' Token Masking'''
-''Masking sensitive tokens from users’ data helps reduce the privacy risks and prevent any personal information being leaked or extracted from adversaries. Such token masking task shall be performed without human-in-the-loop since practitioners are not allowed to have the access to annotate or label private data of users.''
-''Token masking provides privacy protections, however, the resulting masked corpus might not be suitable to be directly used for training NLP models for downstream tasks.''
 == Sources ==

« Token Masking » : différence entre les versions