« Attention clairsemée » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (Une version intermédiaire par le même utilisateur non affichée) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Technique d' | Technique d'optimisation d'une [[Réseau autoattentif|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention. | ||
== Compléments == | == Compléments == | ||
Au lieu de comparer tous les [[segment textuel|segments textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc. | Au lieu de comparer tous les [[segment textuel|segments textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc. | ||
Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI. | |||
== Français == | == Français == | ||
Dernière version du 31 mars 2026 à 15:35
Définition
Technique d'optimisation d'une architecture auto-attentive qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention.
Compléments
Au lieu de comparer tous les segments textuels entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc.
Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI.
Français
attention clairsemée
attention parcimonieuse
attention creuse
attention clairsemée native
Anglais
sparse attention
native sparse attention
Sources
Aroosa Hameed (2023) - attention clairsemée
Contributeurs: Patrick Drouin, wiki
