« Encodage positionnel » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 2 : | Ligne 2 : | ||
== Définition == | == Définition == | ||
Méthode des '''[[Réseau autoattentif|réseaux autoattentifs]]''' qui aide à | Méthode des '''[[Réseau autoattentif|réseaux autoattentifs]]''' qui aide à préserver l’ordre séquentiel des [[segment textuel|segments textuels]] (tokens) en ajoutant des informations sur la position de chaque '''[[Segment textuel|segment]]''' dans la séquence, ce qui leur permet d’avoir une meilleure compréhension [[Fenêtre contextuelle|contextuelle]] et d’éviter les problèmes de symétrie. | ||
== Français == | == Français == | ||
| Ligne 11 : | Ligne 11 : | ||
''' PE''' | ''' PE''' | ||
<!--Positional encoding refers to a method in transformer models that helps to maintain the sequential order of words. This is a crucial component for understanding the context within a sentence and between sentences.--> | |||
== Sources == | == Sources == | ||
| Ligne 18 : | Ligne 19 : | ||
[https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-eng.html?lang=eng&i=1&srchtxt=POSITIONAL+ENCODING&index=alt&codom2nd_wet=1#resultrecs Source : TERMIUM Plus] | [https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-eng.html?lang=eng&i=1&srchtxt=POSITIONAL+ENCODING&index=alt&codom2nd_wet=1#resultrecs Source : TERMIUM Plus] | ||
[[Catégorie:Publication]] | |||
[[Catégorie: | |||
Version du 27 mai 2025 à 15:31
en construction
Définition
Méthode des réseaux autoattentifs qui aide à préserver l’ordre séquentiel des segments textuels (tokens) en ajoutant des informations sur la position de chaque segment dans la séquence, ce qui leur permet d’avoir une meilleure compréhension contextuelle et d’éviter les problèmes de symétrie.
Français
Encodage positionnel
Anglais
Positional Encoding
PE
Sources
Contributeurs: Arianne , Patrick Drouin, wiki
