Segmentation
Définition
En traitement automatique de la langue naturelle, la segmentation est le découpage d’un texte en une liste de mots, une liste de parties de mots ou de symboles, ou encore une liste de caractères. Typiquement, il s'agit de la première étape de l’analyse lexicale.
Pour la segmentation d'image, voir l'entrée segmentation d'image.
Compléments
On appelle parfois les unités résultant de la segmentation des jetons (en anglais, tokens), mais le terme jeton est plutôt réservé à la cybersécurité. On emploiera les vocables mot, partie de mots, morceau de mot, ou symbole pour la segmentation de texte.
Attention! On utilise également le terme segmentation pour la division d'un texte en phrases, mais on le précisera avec l'expression « segmentation en phrases ».
La pratique récente, avec la généralisation de l'emploi de réseaux de neurones profonds, favorise la segmentation en parties de mots, morceaux de mots, ou symboles (en anglais, subwords).
Français
segmentation
découpage
tokénisation calque de l'anglais
Anglais
tokenization
Español
tokenización
En el procesamiento automático del lenguaje natural, el segmentador lleva a cabo la segmentación de un texto en una lista de palabras, una lista de segmentos o partes de palabras o símbolos, o bien en una secuencia de caracteres. Típicamente, esta constituye la primera etapa del análisis léxico.
Para la segmentación de imágenes, consulte la entrada segmentación de imágenes.
Sources
Source: Wikipédia - Glossaire de l'exploration des données
Source: Wikipédia, Analyse lexicale.
101 MOTS DE L' IA
Ce terme est sélectionné pour le livre « Les 101 mots de l'intelligence artificielle »
Contributeurs: Arianne Arel, Claude Coulombe, Espanol: Jean-Sébastien Zavalone, Patrick Drouin, wiki
