« Masquage de segment textuel » : différence entre les versions
Aucun résumé des modifications |
m (Arianne a déplacé la page Token Masking vers Masquage de segment textuel) |
||
| (3 versions intermédiaires par le même utilisateur non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Technique d''''[[apprentissage auto-supervisé]]''' pour le '''[[préentraînement]]''' d’un '''[[grand modèle de langues]]''' où les '''[[segment textuel|segments textuels]]''' sont masqués de manière aléatoire par un symbole ou [masque], afin de prédire le segment textuel masqué en fonction de son contexte. | Technique d''''[[apprentissage auto-supervisé]]''' pour le '''[[préentraînement]]''' d’un '''[[grand modèle de langues]]''' où les '''[[segment textuel|segments textuels]]''' sont masqués de manière aléatoire par un symbole ou [masque], afin de prédire le segment textuel masqué en fonction de son contexte. | ||
Voir aussi '''[[segmentation]]''' et '''[[ | Voir aussi '''[[segmentation]]''' et '''[[insertion de segment textuel]]''' | ||
== Compléments == | == Compléments == | ||
Le masquage de segments textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''permutation de phrases''' (en anglais, sentence permutation), la '''rotation de phrases''' (en anglais, document rotation), l''''insertion de segment textuel''' (en anglais, text infilling) et la '''suppression de segment textuel''' (en anglais, token deletion). | Le masquage de segments textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''[[permutation de phrases]]''' (en anglais, ''sentence permutation''), la '''[[rotation de phrases]]''' (en anglais, ''document rotation''), l''''[[insertion de segment textuel]]''' (en anglais, ''text infilling'') et la '''[[suppression de segment textuel]]''' (en anglais, ''token deletion''). | ||
<hr/> | <hr/> | ||
En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de segment textuel et l''''[['entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''. | En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de segment textuel et l''''[['entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''. | ||
== Français == | == Français == | ||
''' | '''masquage de segment(s) textuel(s)''' | ||
''' | '''masquage de segment(s)''' | ||
== Anglais == | == Anglais == | ||
''' | '''token masking''' | ||
''' | '''text corruption''' | ||
== Sources == | == Sources == | ||
Dernière version du 10 juin 2025 à 15:28
Définition
Technique d'apprentissage auto-supervisé pour le préentraînement d’un grand modèle de langues où les segments textuels sont masqués de manière aléatoire par un symbole ou [masque], afin de prédire le segment textuel masqué en fonction de son contexte.
Voir aussi segmentation et insertion de segment textuel
Compléments
Le masquage de segments textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, text corruption) pour l'apprentissage auto-supervisé qui comprend la permutation de phrases (en anglais, sentence permutation), la rotation de phrases (en anglais, document rotation), l'insertion de segment textuel (en anglais, text infilling) et la suppression de segment textuel (en anglais, token deletion).
En 2018, BERT de Google fut le premier modèle d'apprentissage à utiliser le masquage de segment textuel et l''entraînement autosupervisé pour préentraîner un modèle de langue.
Français
masquage de segment(s) textuel(s)
masquage de segment(s)
Anglais
token masking
text corruption
Sources
Contributeurs: Arianne , Claude Coulombe
