« Suppression de segment textuel » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (Une version intermédiaire par un autre utilisateur non affichée) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Technique utilisée pour le '''[[préentraînement]]''' d’un '''[[modèle de langue|modèle]]''' où les '''[[Segment textuel|segments textuels]]''' sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les segments à partir desquels les positions sont supprimées. | Technique utilisée pour le '''[[préentraînement]]''' d’un '''[[modèle de langue|modèle]]''' où les '''[[Segment textuel|segments textuels]]''' sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les segments à partir desquels les positions sont supprimées. | ||
| Ligne 18 : | Ligne 16 : | ||
[https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub] | [https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub] | ||
[[Catégorie: | [[Catégorie:GRAND_LEXIQUE_FRANÇAIS]] | ||
Dernière version du 5 août 2025 à 10:19
Définition
Technique utilisée pour le préentraînement d’un modèle où les segments textuels sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les segments à partir desquels les positions sont supprimées.
Français
suppression de segment textuel
destruction de segment textuel
Anglais
token deletion
Sources
Contributeurs: Arianne Arel, wiki
