« Segmenteur » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (Une version intermédiaire par un autre utilisateur non affichée) | |||
| Ligne 5 : | Ligne 5 : | ||
==Compléments== | ==Compléments== | ||
L'unité qui en résulte se nomme [[Segment|segment]]. | L'unité qui en résulte se nomme '''[[Segment|segment]]'''. | ||
En général, puisque le segment résultant est un nombre entier, le segmenteur procède également à l'encodage du segment. Le processus inverse, le décodage part de la représentation par un nombre entier vers un segment de texte. | En général, puisque le segment résultant est un nombre entier, le segmenteur procède également à l'encodage du segment. Le processus inverse, le décodage part de la représentation par un nombre entier vers un segment de texte. | ||
| Ligne 23 : | Ligne 23 : | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
[[Catégorie:101]] | |||
Dernière version du 17 janvier 2025 à 11:26
Définition
En traitement automatique de la langue naturelle, le segmenteur réalise la segmentation d’un texte en une liste de mots, une liste de segments ou de parties de mots ou de symboles, ou encore une suite de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.
Voir aussi segment
Compléments
L'unité qui en résulte se nomme segment.
En général, puisque le segment résultant est un nombre entier, le segmenteur procède également à l'encodage du segment. Le processus inverse, le décodage part de la représentation par un nombre entier vers un segment de texte.
Français
segmenteur
découpeur
Anglais
tokenizer
Sources
Contributeurs: Arianne , Claude Coulombe, Patrick Drouin, wiki
