Encodage positionnel

Définition

Méthode des réseaux autoattentifs qui aide à maintenir l’ordre séquentiel des mots en ajoutant des informations sur la position de chaque segment dans la séquence, ce qui leur permet d’avoir une meilleure compréhension contextuelle et d’éviter les problèmes de symétrie.

Français

Encodage positionnel

Anglais

Positional Encoding

PE

Positional encoding refers to a method in transformer models that helps to maintain the sequential order of words. This is a crucial component for understanding the context within a sentence and between sentences.

Sources

Source : kdnuggets

Source : TERMIUM Plus