Codage positionnel
ROBOTIQUE
Définition
Un mécanisme qui injecte des informations sur la position des jetons dans les entrées du Transformer, car l'auto-attention est invariante par permutation et ne peut pas distinguer l'ordre des jetons.
Les codages absolus sinusoïdaux et appris sont courants ; le codage positionnel rotatif (RoPE) est la norme moderne. Dans l'apprentissage robotique, les codages positionnels encodent également la position temporelle dans les séquences d'actions.
Français
Codage positionnel
Anglais
positional encoding
Sources
Contributeurs: wiki
