« Autoattention multitêtes » : différence entre les versions

Dernière version du 8 février 2025 à 14:42

Définition

En apprentissage profond, l'autoattention multitêtes est un traitement de séquence (typiquement en langue naturelle) qui consiste à paralléliser le mécanisme d'autoattention en plusieurs points de la séquence pour ensuite fusionner les résultats.

Compléments

Puisque chaque tête prête attention à un élément distinct de la séquence, le modèle capture mieux les effets de la position dans la séquence. Il en résulte une représentation plus riche.

En fonction des segments sur lesquels se focalise l'attention, le mécanisme pourra vérifier l'accord sujet-verbe, reconnaîtra une entité nommée ou simplement une relation entre deux mots.

Français

autoattention multitêtes

autoattention multi-têtes

attention multitêtes

attention multi-têtes

Anglais

multi-head self-attention

multi-head attention

Source

Cordonnier, J.-B. (2023), Transformer Models for Vision.

Punyakeerthi (2024), Difference between Self-Attention and Multi-head Self-Attention

Vaswani et al. (2017) Attention Is All You Need

@@ Ligne 1 : / Ligne 1 : @@
 == Définition ==
-En [[apprentissage profond]], l'[[Réseau autoattentif|autoattention]] multitêtes est un traitement de séquences (typiquement en langue naturelle) qui consiste à paralléliser le mécanisme d'[[Réseau autoattentif|autoattention]] en plusieurs points de la séquence pour ensuite fusionner les résultats.
+En [[apprentissage profond]], l'autoattention multitêtes est un traitement de [[Séquence de mots|séquence]] (typiquement en [[langue naturelle]]) qui consiste à paralléliser le mécanisme d'[[Mécanisme d'attention|autoattention]] en plusieurs points de la séquence pour ensuite fusionner les résultats.
+== Compléments ==
+Puisque chaque tête prête attention à un élément distinct de la séquence, le modèle capture mieux les effets de la position dans la séquence. Il en résulte une représentation plus riche.
+<hr/>
+En fonction des [[segment|segments]] sur lesquels se focalise l'[[Mécanisme d'attention|attention]], le [[Mécanisme d'attention|mécanisme]] pourra vérifier l'accord sujet-verbe, reconnaîtra une entité nommée ou simplement une relation entre deux mots.
 == Français ==
-''' Autoattention multitêtes '''
+''' autoattention multitêtes '''
-''' Autoattention multi-têtes '''
+''' autoattention multi-têtes '''
-== Anglais ==
+'''attention multitêtes'''
-''' Multi-Head Attention'''
-''' Multi-Head Self-Attention'''
+'''attention multi-têtes'''
+== Anglais ==
+''' multi-head self-attention'''
-<!-- Multi-head Attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies).
+''' multi-head attention'''
--->
+<!-- Multi-head attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies).  -->
+== Source ==
+[https://infoscience.epfl.ch/record/300271/files/EPFL_TH9822.pdf Cordonnier, J.-B. (2023), ''Transformer Models for Vision''.]
-== Source ==
+[https://medium.com/@punya8147_26846/difference-between-self-attention-and-multi-head-self-attention-e33ebf4f3ee0, Punyakeerthi (2024), ''Difference between Self-Attention and Multi-head Self-Attention'']
-[https://infoscience.epfl.ch/record/300271/files/EPFL_TH9822.pdf Source : Cordonnier, J.-B. (2023), ''Transformer Models for Vision''.]
-[https://medium.com/@punya8147_26846/difference-between-self-attention-and-multi-head-self-attention-e33ebf4f3ee0, Source: Punyakeerthi (2024), ''Difference between Self-Attention and Multi-head Self-Attention'']
+[https://cs.paperswithcode.com/method/multi-head-attention Vaswani et al. (2017) ''Attention Is All You Need'']
-[https://cs.paperswithcode.com/method/multi-head-attention   Source : paperswithcode]
+[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
-[[Catégorie:Publication]]
+[[Catégorie:101]]

« Autoattention multitêtes » : différence entre les versions