« Segmenteur » : différence entre les versions
(Page créée avec « ==Définition== En '''traitement automatique de la langue naturelle''', le segmenteur réalise la segmentation d’un texte en une liste de mots, une liste de morceaux de mots (ou symboles), ou encore une liste de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale. ==Compléments== On appelle parfois les unités résultant de la segmentation des '''jetons''' (en anglais, ''tokens''), mais le terme '''jeton''' est plut... ») |
Aucun résumé des modifications |
||
| (13 versions intermédiaires par 4 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
En '''[[traitement automatique de la langue naturelle]]''', le segmenteur réalise la [[segmentation]] d’un texte en une liste de mots, une liste de | En '''[[traitement automatique de la langue naturelle]]''', le segmenteur réalise la '''[[segmentation]]''' d’un texte en une liste de mots, une liste de '''[[Segment|segments]]''' ou de parties de mots ou de symboles, ou encore une suite de caractères. Typiquement, il s'agit de la première étape de l’'''[[analyse lexicale]]'''. | ||
==Compléments== | ==Compléments== | ||
L'unité qui en résulte se nomme '''[[Segment|segment]]'''. | |||
En général, puisque le segment résultant est un nombre entier, le segmenteur procède également à l'encodage du segment. Le processus inverse, le décodage part de la représentation par un nombre entier vers un segment de texte. | |||
==Français== | ==Français== | ||
| Ligne 12 : | Ligne 15 : | ||
==Anglais== | ==Anglais== | ||
'''tokenizer''' | '''tokenizer''' | ||
==Español== | |||
''''' tokenizador ''''' | |||
''En el procesamiento del lenguaje natural, el segmentador realiza segmentación de un texto en una lista de palabras, una lista de segmentos o partes de palabras o símbolos, o una secuencia de caracteres. Suele ser la primera etapa del análisis léxico.'' | |||
==Sources== | ==Sources== | ||
[https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-fra.html?lang=fra&i=1&srchtxt=tokenizer&index=alt&codom2nd_wet=1#resultrecs | [https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-fra.html?lang=fra&i=1&srchtxt=tokenizer&index=alt&codom2nd_wet=1#resultrecs Source : TERMIUM Plus] | ||
{{Modèle:101}} | |||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
[[Catégorie: | [[Catégorie:101]] | ||
Dernière version du 23 juillet 2025 à 11:09
Définition
En traitement automatique de la langue naturelle, le segmenteur réalise la segmentation d’un texte en une liste de mots, une liste de segments ou de parties de mots ou de symboles, ou encore une suite de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.
Compléments
L'unité qui en résulte se nomme segment.
En général, puisque le segment résultant est un nombre entier, le segmenteur procède également à l'encodage du segment. Le processus inverse, le décodage part de la représentation par un nombre entier vers un segment de texte.
Français
segmenteur
découpeur
Anglais
tokenizer
Español
tokenizador
En el procesamiento del lenguaje natural, el segmentador realiza segmentación de un texto en una lista de palabras, una lista de segmentos o partes de palabras o símbolos, o una secuencia de caracteres. Suele ser la primera etapa del análisis léxico.
Sources
Source : TERMIUM Plus
101 MOTS DE L' IA
Ce terme est sélectionné pour le livre « Les 101 mots de l'intelligence artificielle »
Contributeurs: Arianne Arel, Claude Coulombe, Espanol: Jean-Sébastien Zavalone, Patrick Drouin, wiki
