Insertion de segment textuel

Définition

Technique utilisée dans le préentraînement d’un modèle qui est similaire au masquage de segment où un certain nombre de passages de texte de différentes longueurs (y compris la longueur 0) sont échantillonnés et remplacés par un seul segment [masque]. Ceci permet de déterminer le nombre de segments correspondant à une certaine longueur.

Français

insertion de segment textuel

Anglais

text infilling

Sources

Source : arxiv

Source : GitHub