« Analyse lexicale » : différence entre les versions
m (Remplacement de texte — « n.f. » par « nom fém. ») |
Aucun résumé des modifications |
||
| (20 versions intermédiaires par 3 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
En '''[[ | En '''[[traitement automatique de la langue naturelle]]''', l’analyse lexicale débute par la '''[[segmentation]]''' qui convertit un texte en une liste de mots, de parties de mots ou de symboles (''tokens'' en anglais) et se poursuit par l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots. | ||
Voir aussi '''[[segment textuel]]''' | |||
==Compléments== | |||
En théorie des langages de programmation, l'analyse lexicale fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un '''analyseur lexical''' (en anglais, ''tokenizer'', ''lexical analyser'' ou ''lexer''). | |||
<hr/> | |||
La pratique récente, avec la généralisation de l'emploi de réseaux de neurones profonds, favorise la segmentation en parties de mots ou symboles (en anglais, '''subword'''). | |||
==Français== | ==Français== | ||
'''analyse lexicale''' | '''analyse lexicale''' | ||
==Anglais== | |||
'''lexical analysis''' | |||
== | ==Español== | ||
'''''analizador léxico''''' | |||
'''''analizador lexicográfico''''' | |||
''El análisis léxico comienza con la segmentación, que convierte un texto en una lista de palabras, partes de palabras o símbolos (tokens en inglés), y continúa con el estudio de los fenómenos (estadísticos, morfológicos) relacionados con estas palabras.'' | |||
==Sources== | |||
[https://fr.wikipedia.org/wiki/Glossaire_de_l%27exploration_de_donn%C3%A9es Source: Wikipedia - ''Glossaire de l'exploration des données''] | [https://fr.wikipedia.org/wiki/Glossaire_de_l%27exploration_de_donn%C3%A9es Source: Wikipedia - ''Glossaire de l'exploration des données''] | ||
[https://fr.wikipedia.org/wiki/Analyse_lexicale Source: Wikipedia, ''Analyse lexicale'']. | [https://fr.wikipedia.org/wiki/Analyse_lexicale Source: Wikipedia, ''Analyse lexicale'']. | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | |||
[[Catégorie:101]] | |||
Dernière version du 21 juillet 2025 à 14:50
Définition
En traitement automatique de la langue naturelle, l’analyse lexicale débute par la segmentation qui convertit un texte en une liste de mots, de parties de mots ou de symboles (tokens en anglais) et se poursuit par l'étude des phénomènes (statistiques, morphologiques) relatifs à ces mots.
Voir aussi segment textuel
Compléments
En théorie des langages de programmation, l'analyse lexicale fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical (en anglais, tokenizer, lexical analyser ou lexer).
La pratique récente, avec la généralisation de l'emploi de réseaux de neurones profonds, favorise la segmentation en parties de mots ou symboles (en anglais, subword).
Français
analyse lexicale
Anglais
lexical analysis
Español
analizador léxico
analizador lexicográfico
El análisis léxico comienza con la segmentación, que convierte un texto en una lista de palabras, partes de palabras o símbolos (tokens en inglés), y continúa con el estudio de los fenómenos (estadísticos, morfológicos) relacionados con estas palabras.
Sources
Contributeurs: Arianne Arel, Claude Coulombe, Jacques Barolet, Espanol: Jean-Sébastien Zavalone, wiki
