« Attention clairsemée » : différence entre les versions
m (Patrickdrouin a déplacé la page Sparse attention vers Attention clairsemée) |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Technique d'optimision d'une [[Réseau autoattentif|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention. | |||
== Compléments == | |||
Au lieu de comparer tous les [[segment textuel|segments textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc. | |||
== Français == | == Français == | ||
Version du 31 mars 2026 à 15:33
Définition
Technique d'optimision d'une architecture auto-attentive qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention.
Compléments
Au lieu de comparer tous les segments textuels entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc.
Français
attention clairsemée
attention parcimonieuse
attention creuse
attention clairsemée native
Anglais
sparse attention
native sparse attention
Sources
Aroosa Hameed (2023) - attention clairsemée
Contributeurs: Patrick Drouin, wiki
