« Autoattention multitêtes » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 22 : | Ligne 22 : | ||
''' multi-head attention''' | ''' multi-head attention''' | ||
<!-- Multi-head attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies). --> | <!-- Multi-head attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies). --> | ||
==Español== | |||
''''' autoatención multicéfala ''''' | |||
''En el aprendizaje profundo, la autoatención multicabezal es el procesamiento de una secuencia (normalmente en lengua natural) paralelizando el mecanismo de autoatención en varios puntos de la secuencia y fusionando después los resultados.'' | |||
== Source == | == Source == | ||
[https://infoscience.epfl.ch/record/300271/files/EPFL_TH9822.pdf Cordonnier, J.-B. (2023), ''Transformer Models for Vision''.] | [https://infoscience.epfl.ch/record/300271/files/EPFL_TH9822.pdf Cordonnier, J.-B. (2023), ''Transformer Models for Vision''.] | ||
| Ligne 28 : | Ligne 35 : | ||
[https://cs.paperswithcode.com/method/multi-head-attention Vaswani et al. (2017) ''Attention Is All You Need''] | [https://cs.paperswithcode.com/method/multi-head-attention Vaswani et al. (2017) ''Attention Is All You Need''] | ||
{{Modèle:101}} | |||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
[[Catégorie:101]] | [[Catégorie:101]] | ||
Dernière version du 21 juillet 2025 à 15:34
Définition
En apprentissage profond, l'autoattention multitêtes est un traitement de séquence (typiquement en langue naturelle) qui consiste à paralléliser le mécanisme d'autoattention en plusieurs points de la séquence pour ensuite fusionner les résultats.
Compléments
Puisque chaque tête prête attention à un élément distinct de la séquence, le modèle capture mieux les effets de la position dans la séquence. Il en résulte une représentation plus riche.
En fonction des segments sur lesquels se focalise l'attention, le mécanisme pourra vérifier l'accord sujet-verbe, reconnaîtra une entité nommée ou simplement une relation entre deux mots.
Français
autoattention multitêtes
autoattention multi-têtes
attention multitêtes
attention multi-têtes
Anglais
multi-head self-attention
multi-head attention
Español
autoatención multicéfala
En el aprendizaje profundo, la autoatención multicabezal es el procesamiento de una secuencia (normalmente en lengua natural) paralelizando el mecanismo de autoatención en varios puntos de la secuencia y fusionando después los resultados.
Source
Cordonnier, J.-B. (2023), Transformer Models for Vision.
Punyakeerthi (2024), Difference between Self-Attention and Multi-head Self-Attention
Vaswani et al. (2017) Attention Is All You Need
101 MOTS DE L' IA
Ce terme est sélectionné pour le livre « Les 101 mots de l'intelligence artificielle »
Contributeurs: Arianne Arel, Claude Coulombe, Espanol: Jean-Sébastien Zavalone, Patrick Drouin, wiki
