« Masquage de jeton » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (3 versions intermédiaires par le même utilisateur non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Technique d''''[[apprentissage auto-supervisé]]''' pour le '''[[préentraînement]]''' d’un '''[[grand modèle de langues]]''' où les '''[[jeton textuel|jetons textuels]]''' ou segments textuels sont masqués de manière aléatoire par un symbole ou [masque], afin de prédire le jeton textuel masqué en fonction de son contexte. | Technique d''''[[apprentissage auto-supervisé]]''' pour le '''[[préentraînement]]''' d’un '''[[grand modèle de langues]]''' où les '''[[jeton textuel|jetons textuels]]''' ou segments textuels sont masqués de manière aléatoire par un symbole ou [masque], afin de prédire le [[jeton textuel / jeton génératif|jeton textuel ou jeton génératif]] masqué en fonction de son contexte. | ||
Voir aussi '''[[segmentation]]''' et '''[[insertion de jeton | Voir aussi '''[[segmentation]]''' et '''[[insertion de jeton]]''' | ||
== Compléments == | == Compléments == | ||
Le masquage de jetons textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''[[permutation de phrases]]''' (en anglais, ''sentence permutation''), la '''[[rotation de phrases]]''' (en anglais, ''document rotation''), l''''[[insertion de jeton | Le masquage de jetons textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''[[permutation de phrases]]''' (en anglais, ''sentence permutation''), la '''[[rotation de phrases]]''' (en anglais, ''document rotation''), l''''[[insertion de jeton]]''' (en anglais, ''text infilling'') et la '''[[suppression de jeton]]''' (en anglais, ''token deletion''). | ||
<hr/> | <hr/> | ||
En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de jeton textuel et l''''[[entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''. | En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de jeton textuel et l''''[[entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''. | ||
| Ligne 11 : | Ligne 11 : | ||
== Français == | == Français == | ||
'''masquage de jeton(s) textuel(s)''' | '''masquage de jeton(s) textuel(s) / génératif(s)''' | ||
'''masquage de jeton(s)''' | '''masquage de jeton(s)''' | ||
Dernière version du 3 septembre 2026 à 17:06
Définition
Technique d'apprentissage auto-supervisé pour le préentraînement d’un grand modèle de langues où les jetons textuels ou segments textuels sont masqués de manière aléatoire par un symbole ou [masque], afin de prédire le jeton textuel ou jeton génératif masqué en fonction de son contexte.
Voir aussi segmentation et insertion de jeton
Compléments
Le masquage de jetons textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, text corruption) pour l'apprentissage auto-supervisé qui comprend la permutation de phrases (en anglais, sentence permutation), la rotation de phrases (en anglais, document rotation), l'insertion de jeton (en anglais, text infilling) et la suppression de jeton (en anglais, token deletion).
En 2018, BERT de Google fut le premier modèle d'apprentissage à utiliser le masquage de jeton textuel et l'entraînement autosupervisé pour préentraîner un modèle de langue.
Français
masquage de jeton(s) textuel(s) / génératif(s)
masquage de jeton(s)
masquage de segment(s) textuel(s)
masquage de segment(s)
Anglais
token masking
text corruption
Sources
Contributeurs: Arianne Arel, Claude Coulombe, wiki
