Segmenteur

Définition

En traitement automatique de la langue naturelle, le segmenteur réalise la segmentation d’un texte en une liste de mots, une liste de segments ou de parties de mots ou de symboles, ou encore une suite de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.

Compléments

L'unité qui en résulte se nomme segment.

En général, puisque le segment résultant est un nombre entier, le segmenteur procède également à l'encodage du segment. Le processus inverse, le décodage part de la représentation par un nombre entier vers un segment de texte.

Français

segmenteur

découpeur

Anglais

tokenizer

A tokenizer is a tool in AI and programming that breaks raw text into smaller pieces called tokens, like words, parts of words, or characters. It then changes these pieces into numbers so a computer model can read them.

Español

tokenizador

En el procesamiento del lenguaje natural, el segmentador realiza segmentación de un texto en una lista de palabras, una lista de segmentos o partes de palabras o símbolos, o una secuencia de caracteres. Suele ser la primera etapa del análisis léxico.

Sources

Source : TERMIUM Plus 101 MOTS DE L' IA
Ce terme est sélectionné pour le livre « Les 101 mots de l'intelligence artificielle »