« Masquage de segment textuel » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 2 : | Ligne 2 : | ||
== Définition == | == Définition == | ||
Technique utilisée pour le '''[[préentraînement]]''' d’un modèle où les '''[[Segment textuel|segments textuels]]''' (ou segments) sont masqués de manière aléatoire par un symbole [MASK], comme dans '''[[BERT]]''', afin de prédire le segment en fonction de son contexte. | Technique utilisée pour le '''[[préentraînement]]''' d’un [[grand modèle de langues]] où les '''[[Segment textuel|segments textuels]]''' (ou segments) sont masqués de manière aléatoire par un symbole [MASK], comme dans '''[[BERT]]''', afin de prédire le segment en fonction de son contexte. | ||
Voir aussi '''[[grand modèle de langues]]''', '''[[segmentation]]''' et '''[[Text Infilling]]''' | Voir aussi '''[[grand modèle de langues]]''', '''[[segmentation]]''' et '''[[Text Infilling]]''' | ||
== Compléments == | |||
== Français == | == Français == | ||
''' Masquage de segment''' | '''Masquage de segment(s) textuel(s)''' | ||
''' Masquage | '''Masquage de segment(s)''' | ||
== Anglais == | == Anglais == | ||
''' Token Masking''' | ''' Token Masking''' | ||
'''Text Corruption''' | |||
== Sources == | == Sources == | ||
Version du 3 juin 2025 à 19:15
en construction
Définition
Technique utilisée pour le préentraînement d’un grand modèle de langues où les segments textuels (ou segments) sont masqués de manière aléatoire par un symbole [MASK], comme dans BERT, afin de prédire le segment en fonction de son contexte.
Voir aussi grand modèle de langues, segmentation et Text Infilling
Compléments
Français
Masquage de segment(s) textuel(s)
Masquage de segment(s)
Anglais
Token Masking
Text Corruption
Sources
Contributeurs: Arianne , Claude Coulombe
