Autoattention multitêtes

Définition

En apprentissage profond, l'autoattention multitêtes est un traitement de séquence (typiquement en langue naturelle) qui consiste à paralléliser le mécanisme d'autoattention en plusieurs points de la séquence pour ensuite fusionner les résultats.

Compléments

Puisque chaque tête prête attention à un élément distinct de la séquence, le modèle capture mieux les effets de la position dans la séquence. Il en résulte une représentation plus riche.

---

En fonction des segments sur lesquels se focalise l'attention, le mécanisme pourra vérifier l'accord sujet-verbe, reconnaîtra une entité nommée ou simplement une relation entre deux mots.

Français

autoattention multitêtes

autoattention multi-têtes

attention multitêtes

attention multi-têtes

Anglais

multi-head self-attention

multi-head attention

Español

autoatención multicéfala

En el aprendizaje profundo, la autoatención multicabezal es el procesamiento de una secuencia (normalmente en lengua natural) paralelizando el mecanismo de autoatención en varios puntos de la secuencia y fusionando después los resultados.

Source

Cordonnier, J.-B. (2023), Transformer Models for Vision.

Punyakeerthi (2024), Difference between Self-Attention and Multi-head Self-Attention

Vaswani et al. (2017) Attention Is All You Need 101 MOTS DE L' IA
Ce terme est sélectionné pour le livre « Les 101 mots de l'intelligence artificielle »