« Insertion de segment textuel » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 10 : | Ligne 10 : | ||
''' Text Infilling''' | ''' Text Infilling''' | ||
== | == Sources == | ||
[https://arxiv.org/abs/2405.12630 Source : arxiv] | [https://arxiv.org/abs/2405.12630 Source : arxiv] | ||
Version du 23 mai 2025 à 14:51
en construction
Définition
Technique utilisée dans le préentraînement d’un modèle qui est similare au Token Masking où un certain nombre de passages de texte de différentes longueurs (y compris la longueur 0) sont échantillonnés et remplacés par un seul segment [MASK]. Ceci permet de déterminer le nombre de segments correspondant à une certaine longueur.
Français
Remplissage du texte
Anglais
Text Infilling
Sources
Contributeurs: Arianne , Patrick Drouin
