Attention clairsemée

Définition

Technique d'optimisation d'une architecture auto-attentive qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention.

Compléments

Au lieu de comparer tous les segments textuels entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc.

Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI.

Français

attention clairsemée

attention parcimonieuse

attention creuse

attention clairsemée native

Anglais

sparse attention

native sparse attention

Sources

Aroosa Hameed (2023) - attention clairsemée

Wikipedia - attention clairsemée

DeepSeek - sparse attention